Resumo Técnico: De Julgamentos Incertos a Rankings Calibrados

Definição do Problema

A avaliação de Grandes Modelos de Linguagem (LLMs) normalmente depende de campanhas de anotação humana dispendiosas. Embora o "LLM-as-a-judge" (LLM como juiz) ofereça uma alternativa escalável e de baixo custo, ele introduz erros sistemáticos que descalibram os rankings resultantes. Esses erros incluem viés de posição, viés de comprimento e auto-preferência. Além disso, os pipelines de avaliação padrão frequentemente colapsam as pontuações nuances dos juízes em rótulos binários rígidos (vitória/derrota/empate), descartando informações sobre a força da preferência.

O artigo identifica dois modos de falha específicos nos atuais pipelines de "Hard-Elo":

1. Distorção de Escala: Embora os juízes frequentemente recuperem o ranking correto dos modelos, as distâncias de Elo resultantes são mal escalonadas. Os juízes tendem a ser excessivamente confiantes, produzindo lacunas de Elo que não se alinham com as lacunas derivadas por humanos.
2. Intervalos de Incerteza Amplos: Ao tentar quantificar a incerteza usando predição conformal sobre esses resíduos mal escalonados, os intervalos de confiança resultantes são excessivamente amplos (abrangendo 132–261 pontos de Elo), tornando-os operacionalmente inúteis para distinguir o desempenho dos modelos.

O problema central é que o Hard-Elo trata uma vitória decisiva (grande diferença de pontuação) e um confronto acirrado (pequena diferença de pontuação) de forma idêntica, ignorando a incerteza local codificada na diferença de pontuação do juiz.

Metodologia: Soft-Elo

Os autores propõem o Soft-Elo, um framework de duas camadas que melhora a estimativa de Elo preservando a informação de incerteza no nível local e calibrando-a no nível global.

1. Nível Local: Probabilidades de Vitória Calibradas

Em vez de converter as pontuações do juiz em rótulos rígidos ($y \in \{0, 0.5, 1\}$) para o modelo de Bradley-Terry (BT), os autores propagam as diferenças de pontuação bruta ($s$) em probabilidades de vitória calibradas.

• Mapeamento de Pontuação para Probabilidade: A diferença de pontuação bruta $s(x)$ é mapeada para um alvo suave $\tilde{y}(x)$ usando uma função logística com um parâmetro de temperatura aprendido $\beta$:
  $$\tilde{y}(x) = P[B \prec A | x] = \sigma(\beta s(x))$$
• Calibração: O parâmetro $\beta$ é estimado via Estimativa de Máxima Verossimilhança (MLE) em um conjunto de calibração de batalhas (excluindo o modelo mantido fora do treino) para garantir que as probabilidades previstas correspondam às taxas de concordância observadas por humanos.
• Integração: Este alvo suave substitui o rótulo rígido na objetiva de log-verossimilhança padrão do BT. A estrutura do modelo BT e a conversão de Elo permanecem inalteradas; apenas os alvos de treinamento são "suavizados" para refletir a confiança do juiz.

2. Nível Global: Predição Conformal de Divisão (Split Conformal Prediction)

Mesmo com a calibração local, uma lacuna residual geralmente permanece entre as classificações de Elo derivadas por LLM e as derivadas por humanos. Para quantificar essa discrepância irredutível e fornecer limites de incerteza honestos:

• Modelagem de Resíduos: Os autores calculam o resíduo assinado $\epsilon_i = \text{Elo}_{\text{LLM}, i} - \text{Elo}_{\text{Human}, i}$ para um conjunto de modelos de calibração.
• Não-conformidade Normalizada: Para considerar variações no tamanho das amostras e ruído, os resíduos são normalizados pelo erro padrão bootstrap ($\hat{SE}_i$) da estimativa de Elo do LLM: $S_i = |\epsilon_i| / \hat{SE}_i$.
• Construção do Intervalo: Usando predição conformal de divisão, um quantil $\hat{q}$ é determinado a partir do conjunto de calibração. Para um novo modelo, a estimativa de Elo humano final é fornecida como um intervalo conformal:
  $$C = [\text{Elo}_{\text{LLM}, n+1} - \hat{q}\hat{SE}_{n+1}, \text{Elo}_{\text{LLM}, n+1} + \hat{q}\hat{SE}_{n+1}]$$
  Isso fornece garantias de cobertura marginal independentes de distribuição para novos modelos extraídos da mesma população.

Principais Contribuições

1. Tratamento de Incerteza Local: Demonstrou que a regressão de probabilidades de vitória calibradas a partir de pontuações brutas de juízes (em vez de colapsá-las em rótulos binários) melhora drasticamente a precisão da estimativa de Elo e reduz resíduos estruturados.
2. Quantificação de Incerteza Global: Aplicou predição conformal de divisão aos resíduos de Elo LLM-humano, gerando intervalos de predição com garantias de cobertura marginal independentes de distribuição.
3. Pipeline de Avaliação de Baixo Custo: Estabeleceu um protocolo que estima classificações de Elo e limites de incerteza sem a necessidade de anotações humanas para o modelo em teste, baseando-se em batalhas contra oponentes diversos.
4. Benchmarking: Validou a abordagem no LMArena (55 modelos mantidos fora do treino), mostrando que o Soft-Elo traz as classificações derivadas por LLM para dentro de 17,9 de Erro Médio Absoluto (MAE) de Elo em relação às classificações derivadas por humanos.

Resultados

• Melhoria de Precisão: Em oito modelos de juiz diferentes, o Soft-Elo reduziu o MAE de Elo do modelo mantido fora do treino em 39% a 73%. O MAE médio caiu de 45,9 Elo (Hard-Elo) para 17,9 Elo (Soft-Elo).
• Estabilidade de Ranking: O método melhorou a fidelidade da escala sem alterar os rankings dos modelos; as mudanças na correlação de ranking de Spearman foram insignificantes ($\Delta\rho \in [-0,011, +0,014]$).
• Estreitamento de Intervalos: Ao reduzir os resíduos estruturados alimentados na etapa conformal, o Soft-Elo reduziu a largura mediana dos intervalos confomais de 90% em 39% a 70%. Por exemplo, no juiz DeepSeek-V3.2, a largura mediana do intervalo diminuiu de 261 Elo (Hard-Elo) para 78 Elo (Soft-Elo), mantendo a cobertura empírica próxima ao alvo de 90%.
• Eficiência de Amostra: O Soft-Elo superou o Hard-Elo em todos os orçamentos de anotação, sendo que a diferença de desempenho foi mais significativa em regimes de baixos dados.

Significância e Alegações

O artigo alega que o Soft-Elo fornece uma ferramenta de avaliação de baixo custo que oferece estimativas de Elo calibradas e "limites de incerteza honestos" sem a necessidade de grandes campanhas de anotação humana para o modelo alvo.

A significância reside na mudança de foco de apenas reportar uma estimativa pontual (que pode ser enviesada) para fornecer um intervalo calibrado que considera tanto a incerteza local do juiz quanto a discordância sistemática global. Os autores enfatem que esta abordagem visa a quantidade específica que os usuários de leaderboards inspecionam: as distâncias na escala de Elo humana. Ao apresentar a incerteza calibrada ao nível do modelo, o método visa prevenir a interpretação errônea de rankings de modelos causada por vieses e fragilidades do juiz.

Limitações Reconhecidas:

• O método apenas modela a incerteza codificada na diferença de pontuação do juiz; ele não contabiliza a incerteza epistêmica, pontuações alucinadas ou ambiguidade de prompt.
• A garantia conformal depende da intercambialidade dos modelos de calibração e teste. Mudanças significativas na distribuição de prompts, famílias de modelos ou mudanças temporais podem violar esta condição, exigindo recalibração.