Resumo Técnico: Avaliação Eficiente do Desempenho de LLMs com Garantias Estatísticas

Declaração do Problema

A rápida proliferação de Modelos de Linguagem de Grande Escala (LLMs), com centenas de milhares de variantes disponíveis em plataformas como o HuggingFace, criou um gargalo na avaliação. Testar exaustivamente modelos candidatos em grandes conjuntos de benchmarks curados (por exemplo, MMLU-Pro com 12.000 perguntas) é proibitivamente caro em termos de custos de API, tempo de execução e anotação por especialistas. Embora as organizações frequentemente dependam de julgamentos baseados em "vibes" em subconjuntos ad hoc, isso carece de rigor estatístico.

O artigo enquadra esse desafio como um problema de inferência em população finita. Dado um banco fixo de $N_q$ perguntas e um novo modelo, o objetivo é estimar a precisão $\theta$ do modelo (a proporção de respostas corretas sobre todo o banco) usando um orçamento limitado de consultas $n_b$. A restrição crítica é que o intervalo de confiança (IC) resultante deve manter cobertura frequentista válida (por exemplo, 95% das vezes, o verdadeiro $\theta$ está dentro do intervalo relatado). Essa garantia é essencial para a seleção e monitoramento confiáveis de modelos, particularmente quando estratégias de avaliação adaptativa poderiam, de outra forma, invalidar as suposições padrão de i.i.d.

Metodologia: Consulta Ativa Fatorizada (FAQ)

Os autores propõem a Consulta Ativa Fatorizada (FAQ), um método que combina dados históricos com amostragem adaptativa para construir ICs apertados com cobertura válida. A FAQ consiste em três componentes principais:

1. Modelo Fatorial Bayesiano para Informações Históricas

Para aproveitar dados de desempenho históricos (uma matriz de resultados modelo-pergunta de modelos anteriores), a FAQ emprega um modelo fatorial probabilístico.

• Fatores Latentes: Cada modelo histórico $i$ é atribuído a um fator latente $u_i \in \mathbb{R}^k$, e cada pergunta $j$ é atribuída a um fator latente $v_j \in \mathbb{R}^k$.
• Verossimilhança: A probabilidade de uma resposta correta é modelada via um link logístico: $P(H_{ij}=1) = \sigma(u_i^\top v_j)$.
• Função: Este modelo é usado apenas para orientar a seleção adaptativa de consultas e fornecer previsões iniciais. Ele não é usado para derivar os intervalos de confiança finais, garantindo que a validade do método não dependa de o modelo fatorial estar perfeitamente especificado.
• Implantação: Para um novo modelo, seu fator latente $u$ é inicializado a partir da média empírica e da covariância dos fatores dos modelos históricos. À medida que o modelo é consultado, $u$ é atualizado online usando aproximações de Laplace.

2. Estimador de Inferência Pro-Ativa (PAI)

Para garantir cobertura frequentista válida sem depender da fidelidade do modelo fatorial, a FAQ utiliza a Inferência Pro-Ativa (PAI), uma extensão de população finita da inferência estatística ativa.

• Mecanismo: Diferentemente da inferência ativa sequencial, que processa perguntas em uma "ordem da natureza" fixa e decide rotular ou pular, a PAI seleciona proativamente a próxima pergunta a consultar de todo o banco com base nas informações atuais.
• Estimador: O estimador $\hat{\theta}_{n_b}$ é um estimador não tendencioso, ponderado por probabilidade inversa:
  $$\hat{\theta}_{n_b} = \frac{1}{n_b} \sum_{t=1}^{n_b} \phi_t, \quad \text{onde } \phi_t = \frac{1}{N_q} \sum_{j=1}^{N_q} \hat{p}^{(t-1)}_j + \frac{1}{N_q} \frac{z_{I_t} - \hat{p}^{(t-1)}_{I_t}}{q_t(I_t)}$$
  Aqui, $\hat{p}^{(t-1)}_j$ é a probabilidade prevista pelo modelo fatorial, $z_{I_t}$ é o rótulo observado e $q_t(I_t)$ é a probabilidade de selecionar a pergunta $I_t$.
• Garantia Teórica: Sob condições de regularidade leves, os autores provam, via um teorema central do limite de martingale (CLT), que $\hat{\theta}_{n_b}$ é não tendencioso e assintoticamente normal, permitindo a construção de ICs válidos: $[\hat{\theta}_{n_b} \pm z_{1-\alpha/2} \frac{\hat{\sigma}_{n_b}}{\sqrt{n_b}}]$.

3. Política de Amostragem Híbrida

Para minimizar a largura do IC, a FAQ emprega uma política de amostragem híbrida variante no tempo $q_t(\cdot)$ que equilibra exploração (redução de variância) e exploração (aprendizado do fator latente do novo modelo).

• Redução de Variância Oracular: Inspirada em um cenário oracular, perguntas com probabilidades previstas próximas de 0,5 (alta incerteza) são ponderadas para reduzir a variância.
• Aprendizado Ativo: Perguntas que se espera reduzam maximamente a variância posterior do fator latente $u$ do modelo são ponderadas para melhorar previsões futuras.
• Mistura: A política combina essas pontuações com um expoente de temperamento e um termo de mistura uniforme $\tau$ para garantir que todas as perguntas retenham uma probabilidade de seleção não nula, satisfazendo as condições de regularidade necessárias para o CLT.

Contribuições Principais

1. Estrutura: Introdução da FAQ, um método para benchmarking de LLMs que alcança cobertura frequentista válida sob orçamentos fixos, aproveitando dados históricos.
2. Inferência Pro-Ativa: Uma extensão inovadora da inferência ativa que permite a seleção direta e adaptativa de dados de perguntas de um banco finito, em vez de processamento de fluxo sequencial, preservando a validade estatística.
3. Eficiência: O método entrega ganhos de até 5× no tamanho efetivo da amostra (ESS) sobre a amostragem uniforme e ganhos de 1,8–2,4× sobre bases fortes (incluindo variantes de inferência ativa selecionadas post hoc). Isso se traduz em igualar a largura do IC da amostragem uniforme enquanto usa até 5× menos consultas.
4. Robustez: O método mantém cobertura válida mesmo sob significativa ausência de dados históricos (por exemplo, apenas 0,1% das entradas históricas observadas) e em cenários de início frio onde o histórico do conjunto-alvo não está disponível (usando transferência entre conjuntos).

Resultados Experimentais

Os autores avaliaram a FAQ em dois conjuntos de benchmarks: MMLU-Pro (12 mil perguntas) e um conjunto composto (BBH+GPQA+IFEval+MATH+MuSR, 9,5 mil perguntas), usando 2.200 modelos de teste e 100 sementes aleatórias por modelo.

• Histórico Totalmente Observado: A FAQ alcançou 4–5× maior ESS do que a amostragem uniforme e 1,8–2,4× maior ESS do que a base post hoc mais forte. A cobertura empírica permaneceu próxima do alvo de 95%.
• Histórico Esparso: Mesmo com apenas 12–42% dos dados históricos observados, a FAQ superou substancialmente as bases. Com apenas 0,1% observado, ela manteve uma vantagem consistente de ESS, embora o desempenho tenha degradado ligeiramente em orçamentos muito grandes devido a estimativas fatoriais ruidosas.
• Transferência de Início Frio: Em um cenário com zero histórico do conjunto-alvo, a FAQ (inicializada via transferência do MMLU-Pro) alcançou até 1,32× ESS sobre a amostragem uniforme, superando bases que tinham acesso a 0,1% de histórico do conjunto-alvo em 8 de 10 orçamentos.
• Estabilidade da Cobertura: A cobertura foi estável entre datas de lançamento de modelos e níveis de precisão, indicando nenhuma subcobertura sistemática para tipos específicos de modelos.
• Ablação: Comparar a FAQ com uma ablação de inferência ativa sequencial "tradicional" (que usa o mesmo modelo fatorial, mas segue a ordem da natureza) revelou que a FAQ é superior no regime de baixo orçamento (o alvo principal para economia de custos), enquanto o método sequencial pode alcançar o mesmo patamar em orçamentos muito grandes.

Significado e Alegações

O artigo afirma que a FAQ fornece uma estrutura estatisticamente rigorosa para o monitoramento contínuo de LLMs. Ao aproveitar dados históricos acumulados e adicionar novos resultados, torna a avaliação quantificada por incerteza progressivamente mais econômica. Os autores enfatizam que isso é particularmente valioso para organizações que comparam repetidamente variantes de modelos (por exemplo, checkpoints, ajustes finos, modelos quantizados) sob orçamentos limitados de consulta ou adjudicação.

O significado reside na capacidade de reduzir os custos de avaliação (créditos de API, latência, tempo de especialistas) em até 5× sem sacrificar as garantias estatísticas exigidas para decisões de implantação de alto risco. O método é livre de modelos em relação à inferência final, o que significa que sua validade não depende da correção do modelo fatorial subjacente, apenas da regularidade da política de amostragem. Os autores lançam seus conjuntos de dados curados (4,4 mil+ modelos, 21,5 mil+ perguntas) e o código-fonte para apoiar a avaliação reprodutível.