Resumo Técnico: Classificação Consciente de Juízes Heterogêneos com Sensibilidade, Desacordo e Confiança

Declaração do Problema

A avaliação de modelos de linguagem de grande escala (LLM) depende cada vez mais de comparações em pares provenientes de painéis de múltiplos juízes (anotadores humanos, juízes baseados em modelos ou protocolos variados). Pipelines de classificação padrão normalmente agrupam esses julgamentos em um único vetor de pontuação latente, tratando o desacordo sistemático entre juízes como ruído intercambiável. No entanto, evidências recentes indicam que o desacordo entre juízes é frequentemente estruturado, variando significativamente entre modelos de juízes, idiomas, tarefas e protocolos. Essa heterogeneidade é particularmente consequente em avaliações subjetivas e comparações de "quase empate", onde pequenas perturbações podem alterar drasticamente os rankings finais.

O problema central é que a transição de um único juiz para um painel não aumenta meramente o tamanho da amostra para um problema clássico de classificação; ela altera fundamentalmente o objeto de inferência. O objetivo deixa de ser recuperar uma única ordenação agrupada para compreender um problema de classificação estruturado de múltiplos juízes que leva em conta o consenso, a sensibilidade específica de cada juiz e o desacordo residual sistemático.

Metodologia: Classificação Consciente de Juízes Heterogêneos (HJA)

Os autores propõem a Classificação Consciente de Juízes Heterogêneos (HJA), um framework que decompõe pontuações latentes específicas de cada juiz em três componentes distintos e identificáveis:

1. Formulação do Modelo

O framework modela a matriz de pontuação latente $S \in \mathbb{R}^{K \times N}$ (onde $K$ é o número de juízes e $N$ é o número de itens) usando uma decomposição estruturada:
$$S = \gamma\mu^\top + UV^\top$$

• Classificação de Consenso ($\mu$): Uma direção de consenso baseada na média das linhas, representando o alvo de classificação em nível populacional.
• Sensibilidade de Consenso ($\gamma$): Um vetor de parâmetros específicos de cada juiz ($\gamma_k$) que mede o quanto o juiz $k$ rastreia o sinal de consenso compartilhado. Diferentemente de métricas globais de qualidade, $\gamma_k$ mede especificamente o alinhamento com a direção de consenso.
• Desacordo Estruturado ($UV^\top$): Um componente residual de baixo posto que captura desvios sistemáticos do consenso que não podem ser explicados apenas por redimensionamento escalar. Este termo é restrito a ser ortogonal à direção de consenso.

As probabilidades de preferência em pares seguem o modelo Bradley-Terry-Luce (BTL):
$$\text{logit}(p_{kij}) = \gamma_k(\mu_i - \mu_j) + U_{k,:}(V_{i,:} - V_{j,:})^\top$$

2. Identificabilidade e Restrições

Para garantir que a decomposição seja estatisticamente bem definida, os autores impõem condições específicas de normalização e posto (Condição 1):

• Centralização: $\mu$ e as colunas de $V$ são centralizados; as linhas de $U$ somam zero.
• Escala: $\gamma$ soma $K$; $U$ e $V$ são escalados para normas unitárias.
• Ortogonalidade: A direção de consenso $\mu$ é ortogonal ao subespaço heterogêneo $V$.
• Ancoragem do Subespaço: Os valores singulares do componente residual são distintos e ordenados.

Sob essas condições e assumindo que a pontuação agregada entre juízes é não nula, os autores provam (Proposição 1) que a direção de consenso, os parâmetros de sensibilidade e o subespaço de desacordo residual são identificáveis a partir dos dados de comparação em pares, únicos até mudanças de sinal coluna a coluna.

3. Algoritmo de Estimação

Os autores desenvolvem um estimador de máxima verossimilhança (MLE) com restrições. Devido à natureza não convexa da fatoração bilinear e às restrições de ancoragem não lineares, eles propõem um algoritmo alternado proximal ancorado (Algoritmo 1):

• Atualizações em Blocos: Minimização alternada sobre os parâmetros dos juízes ($\gamma, U$) e os parâmetros dos itens ($\mu, V$) com termos proximais para garantir estabilidade.
• Re-ancoragem: Uma etapa crítica (Algoritmo C.2) que restaura as restrições de identificação não lineares após cada atualização de bloco, preservando a geometria de identificação da decomposição.
• Convergência: O algoritmo é provado para desfrutar de convergência linear local (Teorema 2) sob suposições padrão de regularidade.

4. Quantificação da Incerteza

O framework suporta inferência estatística em um regime de comparações repetidas de painel fixo, onde o número de juízes $K$ pode permanecer fixo enquanto a informação cresce através de comparações repetidas.

• Normalidade Assintótica: O MLE com restrições é mostrado como assintoticamente normal (Teorema 3).
• Intervalos de Confiança: Usando a matriz de informação de Fisher derivada da estrutura de grafos das comparações, o método fornece intervalos de confiança para contrastes de pontuação de consenso, contrastes específicos de juiz, parâmetros de sensibilidade e probabilidades em pares. Isso permite a quantificação da incerteza mesmo quando o painel de juízes é pequeno ou fixo.

Resultados Principais

Experimentos Sintéticos

• Recuperação: O HJA recupera com sucesso classificações de consenso, comportamentos específicos de juízes e heterogeneidade estruturada à medida que a informação de comparação aumenta.
• Robustez: Linhas de base mal especificadas (BTL agrupado e modelos apenas de sensibilidade como JA-Ranking) degradam-se significativamente sob forte heterogeneidade, concentrando-se em torno de matrizes de pontuação enviesadas.
• Calibração de Incerteza: O HJA fornece declarações de incerteza bem calibradas, enquanto as linhas de base falham em capturar a verdadeira variância no desacordo estruturado.

Benchmarks de Dados Reais

Avaliado em quatro conjuntos de dados (Chatbot Arena, MT-Bench, UltraFeedback e um conjunto de dados interno), o HJA demonstra:

• Melhor Robustez: Maior estabilidade nas classificações quando juízes ruidosos são injetados.
• Melhor Previsão: Precisão superior de previsão em pares retidos (held-out).
• Desempenho em Quase Empate: Ganhos significativos de precisão para pares de quase empate empiricamente ambíguos, onde métodos padrão são frágeis.
• Utilidade Diagnóstica: O modelo ajustado identifica juízes de alta alavancagem (aqueles com alta sensibilidade, mas também alto desacordo residual) e revela padrões estruturados de afinidade juiz-modelo (por exemplo, efeitos de auto-preferência baseados em família) sem tratá-los como achados universais.

Significado e Alegações

O artigo alega fornecer um framework estatisticamente fundamentado para classificação sob julgamentos comparativos heterogêneos. Suas principais contribuições são:

1. Decomposição de Alvos: Separa a classificação de consenso, a sensibilidade do juiz e o desacordo estruturado em alvos de inferência separados, em vez de colapsá-los em uma única pontuação ou tratar o desacordo como ruído.
2. Identificabilidade: Estabelece condições sob as quais esses componentes são unicamente recuperáveis a partir de dados em pares, indo além de fatorações arbitrárias de espaço latente.
3. Inferência de Painel Fixo: Permite quantificação rigorosa de incerteza (intervalos de confiança) para alvos de classificação mesmo quando o painel de juízes não cresce, uma restrição comum na avaliação de LLMs.
4. Poder Diagnóstico: O framework serve como uma ferramenta diagnóstica para detectar juízes não confiáveis, quantificar a sensibilidade ao consenso e localizar padrões de afinidade sistemática (como viés de auto-preferência) dentro do termo de desacordo residual.

Os autores observam modestamente que o framework não se destina a certificar classificações sob painéis de juízes adversários onde um viés coordenado severo pode afetar a estimativa de consenso, nem garante otimalidade global devido à natureza não convexa da otimização. Em vez disso, é posicionado como uma camada diagnóstica para avaliação heterogênea, visando melhorar a robustez e a interpretabilidade das conclusões de classificação.