LLM Evaluation as Tensor Completion: Low Rank Structure and Semiparametric Efficiency

Formulação do Problema

O artigo aborda os desafios estatísticos inerentes à avaliação de Grandes Modelos de Linguagem (LLMs) via julgamentos humanos pareados, como observado em plataformas como a ARENA. Nesses cenários, usuários comparam duas respostas de modelos e selecionam uma preferida, gerando dados ruidosos, esparsos e altamente não uniformes. As práticas atuais de leaderboards costumam reportar estimativas pontuais com quantificação de incerteza limitada e falham em explorar explicitamente a estrutura de baixo posto (low-rank) do desempenho dos modelos através de tarefas, categorias e contextos.

Os autores formalizam este problema como inferência semiparamétrica para um tensor de escores latentes de baixo posto ($T^\star$) observado através de comparações pareadas.

• Modelo: Eles adotam uma estrutura do tipo Bradley-Terry-Luce (BTL), onde a probabilidade de o modelo $a$ vencer o modelo $b$ no contexto $t$ é $\sigma(\langle T^\star, X \rangle)$, com $X$ codificando o contraste pareado.
• Estrutura: Assume-se que $T^\star$ possui uma estrutura Tucker de baixo posto, refletindo que o desempenho do modelo é impulsionado por um pequeno número de fatores latentes (ex: raciocínio, codificação, habilidade multilíngue) em vez de entradas independentes para cada par modelo-tarefa.
• Observação: Os dados consistem em resultados binários de contrastes pareados amostrados de forma não uniforme, não em entradas diretas do tensor.
• Objetivo: O objetivo não é a recuperação total do tensor, mas a estimativa eficiente de funcionais suaves $\psi(T^\star)$, que podem ser lineares (ex: lacunas de capacidade, escores de categoria) ou não lineares (ex: probabilidades de vitória).

Metodologia

O artigo desenvolve um framework para construir estimadores estatisticamente eficientes e intervalos de confiança válidos sob estas restrições.

1. Teoria da Eficiência Semiparamétrica
Os autores derivam os limites fundamentais de estimativa ao caracterizar a função de influência eficiente (EIF) e o limite de eficiência semiparamétrica.

• Espaço Tangente: Eles definem um espaço tangente de sinal $\mathcal{T}$ que combina as restrições de variedade (manifold) de baixo posto com restrições de identificação linear (ex: normalização de soma zero) necessárias para a identificabilidade em modelos pareados.
• Operador de Informação: Definem um operador de informação de Fisher $G$ induzido pelo link logístico e pela distribuição de amostragem. Crucialmente, eles mostram que, sob confrontos heterogêneos e amostragem não uniforme, $G$ é anisotrópico (dependente da direção).
• Limite de Eficiência: O limite de eficiência é dado por $V_{\text{eff}}(\psi) = \langle P_{\mathcal{T}}\nabla\psi, A^{-1}P_{\mathcal{T}}\nabla\psi \rangle$, onde $A = P_{\mathcal{T}} G P_{\mathcal{T}}$ é o operador de informação restrito e $P_{\mathcal{T}}$ é a projeção sobre o espaço tangente.

2. O Gargalo da Não-Comutatividade
Um desafio técnico central identificado é que o operador de informação $G$ geralmente não comuta com o projetor do espaço tangente $P_{\mathcal{T}}$.

• Em cenários isotrópicos (ex: ruído Gaussiano), $G$ é proporcional à identidade, tornando a inversão direta.
• Em comparações pareadas, a variação da informação de Fisher $I(\eta) = \sigma(\eta)(1-\sigma(\eta))$ cria anisotropia. Consequentemente, o operador inverso restrito $(P_{\mathcal{T}} G P_{\mathcal{T}})^{-1}$ pode exibir uma amplificação elemento a elemento desfavorável, criando um gargalo dependente da dimensão para argumentos de debiasing padrão. Isso é quantificado por uma constante $C_A$ que pode escalar com $\sqrt{\bar{d}}$ (a maior dimensão do modo).

3. Estimadores
Para enfrentar esses desafios, os autores propõem dois estimadores principais:

• Estimador de Debiasing de Passo Único (One-Step Debiased Estimator): Uma abordagem semiparamétrica padrão usando a EIF. Requer a inversão do operador de informação restrito estimado. Embora seja eficiente, suas garantias teóricas dependem da magnitude de $C_A$, exigindo amostras maiores para garantir normalidade assintótica quando a informação é altamente heterogênea.
• Estimador de Branqueamento de Score (Score-Whitened Estimator): Para superar o gargalo da não-comutatividade, os autores introduzem um método de branqueamento de score (score-whitening). Ao reescalar a função de score pela informação de Fisher local ($\tilde{s}_\eta = s_\eta / I(\eta)$), eles transformam o operador de informação efetivo em um isotrópico. Isso elimina a necessidade de inversão de operador, remove o gargalo de $C_A$ e produz um estimador mais simples com comportamento assintótico estável sob condições de complexidade de amostra mais fracas ($n \gg \bar{d} \text{polylog}(\bar{d})$).
• Ponderação pela Probabilidade Inversa (IPW): Para amostragem não uniforme, eles combinam o branqueamento de score com IPW para restaurar a isotropia, permitindo que o método lide com dados do mundo real onde modelos populares recebem desproporcionalmente mais comparações.

Principais Contribuições

1. Formulação Estatística: O artigo unifica a avaliação de LLMs em um framework de completude de tensor de baixo posto sob comparações pareadas, lidando explicitamente com restrições de identificação e amostragem não uniforme.
2. Caracterização da Eficiência: Fornece os primeiros limites de eficiência semiparamétrica para modelos de comparação pareada de baixo posto, derivando a EIF e a equação de informação $AH^\star = P_{\mathcal{T}}\nabla\psi$.
3. Identificação de um Novo Gargalo: Os autores identificam e analisam a não-comutatividade entre o operador de informação anisotrópico e o projetor do espaço tangente como um obstáculo fundamental em dados pareados heterogêneos, um fenômeno ausente na completude de tensores isotrópicos.
4. Solução de Branqueamento de Score: Introduzem uma técnica de branqueamento de score que equaliza a informação de Fisher local, efetivamente "pré-condicionando" o problema para restaurar a isotropia e permitir inferência eficiente sem inversão de operador.
5. Garantias Teóricas: O artigo estabelece normalidade assintótica e estimativa de variância válida para funcionais lineares e não lineares, provando que os estimadores propostos alcançam o limite de eficiência semiparamétrica (ou uma alternativa robusta) em escalas de complexidade de amostra ótimas.

Resultados

Os autores validam sua teoria através de experimentos sintéticos e com dados reais:

• Inicialização: Demonstram que uma inicialização de baixo posto (via estimativa espectral e minimização alternada) seguida de refinamento elemento a elemento é essencial para uma estimativa precisa em regimes esparsos, superando significativamente os modelos BTL por tarefa.
• Normalidade Assintótica: Simulações confirmam que tanto o estimador eficiente quanto o de branqueamento de score alcançam cobertura quase nominal (95%) para alvos lineares e não lineares (ex: probabilidades de vitória) conforme o tamanho da amostra aumenta.
• Eficiência vs. Robustez: O estimador eficiente consistentemente apresenta erros padrão menores (maior eficiência) do que o estimador de branqueamento de score, confirmando que ele visa o limite semiparamétrico. No entanto, o estimador de branqueamento de score oferece maior robustez e estabilidade sob geometrias de informação altamente heterogêneas.
• Amostragem Não Uniforme: Experimentos com amostragem não uniforme (imitando dados da ARENA) mostram que o IPW combinado com o branqueamento de score mantém a cobertura válida. O estimador eficiente retém uma vantagem de variância, mas exige uma estimativa estável do operador de informação.
• Aplicação em Dados Reais: Aplicado ao conjunto de dados ARENA (81k observações, 30 modelos, 10 categorias), o estimador de passo único eficiente produziu os intervalos de confiança mais estreitos com cobertura próxima a 95%, superando abordagens de base e a abordagem mais conservadora de branqueamento de score.

Significância e Alegações

O artigo afirma fornecer um framework principiado para quantificação de incerteza na avaliação de LLMs. Ao ir além do simples ranking para a inferência semiparamétrica em tensores latentes estruturados, ele aborda a necessidade crítica de intervalos de confiança confiáveis para comparação de modelos.

Os autores enfatizam que seu trabalho faz a ponte entre a teoria de completude de tensores e a estatística de comparação pareada. Eles argumentam que métodos de completude padrão são insuficientes porque ignoram a natureza binária dos dados, as restrições de identificação e a heterocedasticidade da informação. O framework proposto não se limita a LLMs; os autores observam sua aplicabilidade ampla a qualquer problema de inferência de baixo posto envolvendo geometria de informação heterogênea, amostragem não uniforme e observações de 1-bit.

O artigo posiciona modestamente sua contribuição como o estabelecimento dos limites teóricos e a construção de estimadores viáveis para esta classe específica de problemas, em vez de propor novas arquiteturas de LLM ou protocolos de benchmarking. Destaca que o "gargalo da não-comutatividade" é uma característica única deste cenário que exige o branqueamento de score proposto ou estratégias cuidadosas de inversão de operador.