Resumo Técnico: A Geometria do LLM-como-Juiz

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) tornaram-se o padrão para a avaliação de geração aberta, mas uma assimetria estrutural crítica persiste: juízes LLM concordam fortemente entre si, enquanto concordam apenas fracamente com avaliadores humanos. Este fenômeno é frequentemente interpretado ou como alta confiabilidade (sustentando métodos de ensemble) ou como viés compartilhado (minando a validade da avaliação por LLM). O artigo argumenta que, sem um teste estrutural, essas duas leituras são indistinguíveis. O problema central é determinar se o consenso inter-LLM representa um alinhamento genuíno com o julgamento humano ou meramente um "consenso dentro de um subespaço colapsado", onde os juízes compartilham vieses, mas perdem o eixo de avaliação humana.

Metodologia

Os autores propõem um arcabouço geométrico para formalizar o LLM-como-juiz como um operador de projeção de posto deficiente em um manifold de qualidade latente. Eles testam quatro quantidades geométricas específicas através de quatro conjuntos de dados Indic construídos pela comunidade, oito línguas Indic e 41 juízes LLM (incluindo variantes base, ajustadas via fine-tuning, otimizadas por preferência e calibradas):

1. Dispersão de Pontuação ($\sigma_J / \sigma_H$): Medindo a compressão do intervalo de pontuação do juiz em relação aos humanos.
2. Posto Efetivo ($r_{95}$): Determinando a dimensionalidade da variância capturada pelo juiz em comparação aos humanos.
3. Ângulo Principal ($\theta$): Calculando o ângulo entre o subespaço de avaliação do juiz e o subespaço humano.
4. Correlações Empilhadas: Comparando a concordância inter-LLM ($r_{LL}$) contra a concordância LLM-humano ($r_{LH}$).

O estudo utiliza dois benchmarks primários:

• Community-Health: Um benchmark de aconselhamento médico com quatro rubricas subjetivas (clareza, utilidade, precisão, completude) e rótulos pareados isolados/comparativos.
• Real-World Cultural QA (DLQ): Três domínios (saúde e bem-estar, finanças, vida cotidiana) cobrindo oito línguas Indic, apresentando tanto rubricas subjetivas (aceitabilidade linguística, alucinações) quanto uma rubrica factual verificável (qualidade da tarefa).

Os autores empregam intervalos de bootstrap (1.000 réplicas) para inferência estatística e decompõem os deltas de treinamento em componentes de "estiramento" (amplificando rankings base), "rotação" (movendo-se em direção ao eixo humano) e "resíduo" (reorganizando).

Principais Contribuições

1. Diagnóstico Geométrico do Consenso: O artigo estabelece que a concordância inter-LLM em rubricas subjetivas não é evidência de alinhamento humano. Em vez disso, os juízes colapsam em um subespaço redundante de baixo posto que é quase ortogonal ao eixo de avaliação humana.
2. A Condição de Fronteira: O estudo identifica uma fronteira nítida entre rubricas objetivas e subjetivas. Em rubricas com respostas fatuais verificáveis, as assinaturas geométricas (ângulo, posto, dispersão) alinham-se com os intervalos humanos, enquanto em rubricas subjetivas, elas divergem significamente.
3. Análise da Dinâmica de Treinamento: Os autores demonstram que técnicas de treinamento padrão (Fine-tuning, Direct Preference Optimization) restauram primariamente a dispersão de pontuação ($\sigma$), mas falham em rotacionar o eixo de avaliação em direção ao subespaço humano. Apenas a calibração post-hoc em um pequeno conjunto ancorado por humanos melhora o desempenho em todas as rubricas, embora não alcance totalmente a confiabilidade humana.
4. Topologia de Subespaço: A análise revela que o consenso inter-LLM é impulsionado por dados de pré-treinamento e objetivos compartilhados, criando uma covariância intra-família forte, enquanto o subespaço humano permanece distinto e multidimensional mesmo após a remoção da dispersão de pontuação.

Resultados Empíricos

• Rubricas Subjetivas: Em tarefas subjetivas, os juízes LLM utilizam menos da metade do intervalo de pontuação humano ($\sigma_J / \sigma_H \approx 0.3\text{--}0.5$). Seu eixo de avaliação é quase ortogonal ao eixo humano ($87\text{--}89^\circ$ vs. ângulos inter-avaliador humanos de $78\text{--}81^\circ$). A concordância inter-LLM ($r_{LL} \approx 0.35$) supera significativamente a concordância LLM-humano ($r_{LH} \approx 0.27\text{--}0.32$).
• Rubricas Objetivas: Na rubrica factual verificável, a lacuna geométrica se fecha. O ângulo principal cai para $58.5^\circ$ (dentro do piso humano), e a concordância LLM-humano sobe para $0.519$, igualando-se à concordância inter-LLM ($0.530$).
• Efeitos de Treinamento: O fine-tuning e a otimização de preferência aumentam a razão de dispersão de pontuação de $0.32$ para $1.08$, mas mal movem o ângulo principal (permanecendo em $87\text{--}88^\circ$). Uma decomposição dos deltas de treinamento mostra que a rotação em direção ao eixo humano constitui $\le 3\%$ da mudança total; o restante é "estiramento" (amplificando rankings base existentes) ou "reorganização".
• Calibração: A calibração post-hoc em um pequeno conjunto ancorado por humanos eleva com sucesso todas as quatro rubricas do Community-Health, colocando um juiz Indic de 24B calibrado ($r=0.184$) à frente de um modelo de fronteira como o gpt-5.5 ($r=0.123$), mas ainda abaixo da confiabilidade humana ($r_{HH} \approx 0.474$ na rubrica factual).

Significância e Alegações

O artigo argumenta que a concordância inter-LLM deve contar como evidência de alinhamento humano apenas quando um check geométrico direto no subespaço de pontuação do juiz passar. Sem tal verificação, a alta concordância entre LLMs indica apenas que eles estão projetando sobre o mesmo subespaço de baixo posto e legível para o modelo, efetivamente ignorando as nuances multidimensionais e culturalmente situadas do julgamento humano.

Os autores concluem que, para avaliação subjetiva, culturalmente situada e do mundo real, mesmo ensembles de LLM que passam no teste geométrico não eliminam a necessidade de um humano no ciclo (human in the loop). O "consenso" observado nos juízes LLM é frequentemente um colapso de perspectiva em vez de um verdadeiro alinhamento, e as técnicas de treinamento atualmente disponíveis corrigem o estiramento das pontuações, mas não a orientação do eixo de avaliação. Portanto, o julgamento humano matizado e de múltiplas perspectivas permanece um sinal crítico que não pode ser totalmente substituído pelos atuais paradigmas de LLM-como-juiz.