Resumo Técnico: Teste Ativo de Modelos de Linguagem de Grande Escala via Alocação Aproximada de Neyman

Declaração do Problema

A avaliação de Modelos de Linguagem de Grande Escala (LLMs) e modelos multimodais tornou-se um gargalo recorrente e de alto custo. À medida que os modelos escalam por meio de paradigmas de pré-treinamento, pós-treinamento e tempo de teste, o custo computacional por inferência aumenta. Simultaneamente, a complexidade das tarefas-alvo frequentemente excede as capacidades de anotadores padrão, tornando necessários especialistas de domínio custosos para a rotulagem.

As abordagens existentes de teste ativo, que visam estimar o desempenho de toda a população a partir de um subconjunto pequeno e informativo de dados, são projetadas principalmente para tarefas de classificação. Esses métodos geralmente dependem de:

1. Entropia no estilo de classificação: Uso da entropia preditiva ao nível de token (PE) como sinal de incerteza.
2. Estimadores LURE: Estimadores ponderados por importância que exigem o retreinamento de seletores de dados ou acesso a ativações internas/modelos de logits (frequentemente indisponíveis em configurações de API de caixa preta).

Os autores identificam que esses pipelines existentes falham em tarefas generativas modernas porque:

• Incerteza Semântica vs. Superficial: A PE ao nível de token confunde incerteza sobre o significado com incerteza sobre a forma superficial (paráfrase). Gerações semanticamente equivalentes com formulações diferentes inflacionam a entropia sem refletir dificuldade genuína.
• Excesso de Confiança: LLMs modernos são sistematicamente excessivamente confiantes, colapsando a entropia ao nível de token em uma faixa estreita de baixa entropia, enfraquecendo o sinal de aquisição.
• Instabilidade do Estimador: O mecanismo de ponderação por importância do estimador LURE amplifica as discrepâncias entre modelos substitutos e modelos-alvo, levando à variância em vez de sua redução.

Metodologia

O artigo propõe um novo framework de teste ativo, livre de treinamento e teoricamente não tendencioso, adaptado para tarefas generativas e multimodais. O método, detalhado no Algoritmo 1, opera em quatro etapas:

1. Geração de Sinal via Modelos Substitutos

Em vez de depender dos estados internos do modelo-alvo, o método utiliza um modelo substituto ($g$) menor e mais barato para gerar $k$ respostas para cada entrada no conjunto de avaliação $D$.

• Entropia Semântica (ES): Para abordar a questão do nível de token versus nível de significado, o método agrupa as gerações do substituto em classes de equivalência de significado. Calcula-se a entropia de Shannon sobre as probabilidades dessas classes. Isso captura a incerteza regarding a resposta em vez da formulação.
• Pontuação de Autoconsistência (SC): Um sinal secundário que mede o acordo entre as gerações do substituto. Alta SC indica consenso (instâncias mais fáceis), enquanto baixa SC indica desacordo.

2. Estratificação

O conjunto de avaliação $D$ é partitionado em $H$ estratos com base na Entropia Semântica do modelo substituto.

• Um estrato base ($D_0$) é criado para instâncias onde $ES = 0$ (altamente certas).
• As instâncias restantes ($ES > 0$) são agrupadas usando agrupamento de quantis iguais.
• Isso cria estratos onde se espera que a variância da perda-alvo seja relativamente homogênea.

3. Alocação Aproximada de Neyman

A alocação clássica de Neyman minimiza a variância de estimativa alocando rótulos proporcionais ao tamanho do estrato ($N_h$) e ao desvio padrão do estrato ($\sigma_h$). No entanto, $\sigma_h$ é desconhecido sem rotular todo o conjunto.

• Estratégia de Proxy: O método aproxima $\sigma_h$ usando a pontuação média de autoconsistência ($p_h$) do substituto dentro de cada estrato.
• Fórmula de Alocação: O orçamento de rótulos $m_h$ para o estrato $h$ é alocado como:
  $$m_h \propto N_h \cdot \sqrt{p_h(1 - p_h) + \delta}$$
  onde $\delta$ é um deslocamento de suavização para evitar o colapso quando $p_h \to 1$. Isso permite que o método aloque mais orçamento para estratos onde o substituto indica alta incerteza (baixa autoconsistência), sem exigir rótulos-alvo.

4. Estimativa

O método amostra $m_h$ itens uniformemente de cada estrato e os rotula usando o modelo-alvo. Agrega os resultados usando um estimador de Horvitz–Thompson, que é comprovadamente teoricamente não tendencioso para o risco de conjunto finito.

Contribuições Principais

1. Primeiro Pipeline de Teste Ativo Generativo Não Tendencioso: Segundo os autores, este é o primeiro método a fornecer um estimador teoricamente não tendencioso e eficiente em rótulos especificamente para avaliação de linguagem generativa e multimodal, que suporta operação livre de treinamento e implantação apenas via API.
2. Entropia Semântica Orientada por Substitutos: A introdução de um novo algoritmo que aproveita a entropia semântica de modelos substitutos para estruturar o processo de amostragem, desacoplando efetivamente a incerteza semântica da variação de forma superficial.
3. Alocação Proxy-Neyman: Uma estratégia de alocação inovadora que acopla sinais de entropia semântica com uma distribuição de orçamento consciente da variância, eliminando a necessidade de retreinamento de seletores ou acesso a logits internos do modelo.

Resultados Empíricos

O método foi avaliado em quatro benchmarks (MMLU-Redux, MMLU-Pro, GPQA-Diamond, MMBench) usando vários pares de modelos de código aberto (série Qwen-3.5) e proprietários (série GPT-5.4).

• Desempenho: O método superou consistentemente a Amostragem Uniforme e a Alocação Proporcional. No cenário representativo ($M=70$), alcançou uma redução de até 28% no Erro Quadrático Médio (MSE) em comparação com a Amostragem Uniforme.
• Proximidade com Oráculo: O método acompanha de perto o desempenho do Neyman-Oráculo (o ótimo teórico que exige conhecimento completo das variâncias-alvo), demonstrando que o proxy orientado por substituto captura efetivamente informações de variância.
• Economia de Orçamento: Na precisão correspondente, o método alcançou uma economia média de 22,9% nos custos de rotulagem por especialistas entre os benchmarks. As economias variaram de 15,0% (MMBench) a 28,0% (MMLU-Redux).
• Estudos de Ablação:
  • Estratificação: A estratificação adaptativa de ES (isolando clusters de ES zero) superou a Estrutura de Largura Igual, k-means e agrupamento de quantis padrão.
  • Alocação: A estratégia Proxy-Neyman superou significativamente as regras de alocação Igual, Proporcional e de Potência, confirmando que a alocação consciente da variância é crítica.

Significado e Alegações

O artigo afirma que o teste ativo para modelos generativos requer uma mudança fundamental de métricas ao nível de token para métricas ao nível de significado. Ao migrar da entropia no estilo de classificação para entropia semântica e substituir estimadores instáveis ponderados por importância por estimação estratificada de Horvitz–Thompson, os autores demonstram que é possível alcançar eficiência de avaliação quase ótima sem retreinamento ou acesso a detalhes internos de caixa preta.

O trabalho aborda um gargalo prático crítico: o aumento do custo de anotação por especialistas para tarefas de raciocínio complexo. Ao reduzir o número de rótulos de especialistas necessários em ~23% em média, mantendo a precisão da avaliação, o método oferece uma solução escalável para a avaliação contínua de modelos generativos de grande escala.

Limitações Reconhecidas:

• O método atualmente depende de benchmarks com respostas de verdade fundamental verificáveis (espaços de resposta fechados ou analisáveis). Estender isso para geração aberta permanece desafiador devido ao ruído de avaliação.
• A abordagem assume o acesso a um modelo substituto que é mais barato que o alvo, mas correlacionado com a dificuldade do alvo, o que pode limitar a implantação em cenários onde nenhum substituto adequado existe.