Resumo Técnico: Classificação Ativa de Top-k Bayesiana Sensível ao Viés com Juízes LLM

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais implantados como "juízes" para realizar comparações pareadas para classificar respostas, selecionar modelos ou triar documentos. Embora sejam econômicos, esses juízes sofrem de duas responsabilidades críticas: ruído (vereditos inconsistentes) e viés sistemático (preferências por verbosidade, formatação específica ou ordem de apresentação).

O problema central abordado é a identificação dos itens top-$k$ (por exemplo, os melhores $k$ respondentes) sob um orçamento fixo de comparação. Os autores argumentam que a agregação ingênua de votos de LLMs (por exemplo, contagem simples de vitórias) falha porque confunde a qualidade da apresentação com a qualidade latente do item. Consequentemente, métodos ingênuos convergem para uma classificação de "apresentação" em vez de "verdade", e esse erro persiste independentemente do número de comparações realizadas. Além disso, estratégias de aprendizado ativo padrão que visam resolver o ranking inteiro são ineficientes quando o objetivo é especificamente identificar o conjunto top-$k$, pois desperdiçam orçamento em itens que estão longe da fronteira do top-$k$.

Metodologia

O artigo propõe um framework que combina Inferência Bayesiana Sensível ao Viés com Aquisição Ativa Sensível ao Top-$k$.

1. Modelo Bradley-Terry Bayesiano Sensível ao Viés

Os autores modelam o processo de julgamento como um problema de inferência bayesiana sobre qualidades latentes de itens ($\theta$). Eles estendem o modelo padrão de Bradley-Terry para contabilizar explicitamente vieses específicos do juiz:

$$\Pr(y = 1 | a, b) = \sigma \left( \theta_a - \theta_b + \sum_{m=1}^d c_m (x_{a,m} - x_{b,m}) + \kappa \right)$$

Onde:

• $\theta_a, \theta_b$: Pontuações de qualidade latente dos itens $a$ e $b$.
• $x_{a,m}, x_{b,m}$: Covariáveis observáveis (ex: comprimento da resposta/verbosidade, indicadores de formatação).
• $c_m$: Coeficientes de viés aprendidos conjuntamente com a qualidade.
• $\kappa$: Um termo de posição que captura a preferência pelo primeiro item mostrado.
• $\sigma$: A função logística.

Shrinkage Adaptativo (Contração): Um componente crítico é o uso de um prior de contração (Gaussiano com pequena variância $\tau^2$) sobre os coeficientes de viés ($c, \kappa$). Isso permite que os dados determinem quais vieses estão ativos. Se um juiz for imparcial, os coeficientes são contraídos em direção a zero, reduzindo o modelo ao modelo Bradley-Terry padrão. Isso garante que o método seja "seguro" para aplicar a juízes desconhecidos, incorrendo em penalidade mínima se nenhum viés existir.

2. Aquisição Ativa Sensível ao Top-$k$

Em vez de selecionar pares para maximizar a precisão global do ranking (ex: design D-ótimo), os autores introduzem uma regra de aquisição que visa a fronteira de membros do top-$k$.

A pontuação de aquisição $s(i, j)$ para um par candidato $(i, j)$ é definida como:
$$s(i, j) = \underbrace{\hat{p}_{ij}(1 - \hat{p}_{ij})}_{\text{Informatividade}} \times \underbrace{(\Sigma_{ii} + \Sigma_{jj} - 2\Sigma_{ij})}_{\text{Variância de } \theta_i - \theta_j} \times \underbrace{(H(p_i) + H(p_j))}_{\text{Relevância da Fronteira}}$$

• Informatividade e Variância: Termos padrão que estimam o ganho de informação sobre a diferença de qualidade $\theta_i - \theta_j$.
• Relevância da Fronteira: O termo $H(p_i) + H(p_j)$ utiliza entropia binária, onde $p_i = \Pr(i \in \text{Top-}k)$. Este termo é maximizado quando a participação de um item no top-$k$ é incerta ($p \approx 0.5$) e desaparece para itens claramente dentro ou fora. Isso foca o orçamento na resolução da fronteira específica do conjunto top-$k$.

3. Inferência e Procedimento

O sistema opera em um loop:

1. Ajuste (Fit): Estima o posterior sobre $\theta, c, \kappa$ usando uma aproximação de Laplace (minimizando o log-posterior negativo penalizado via L-BFGS).
2. Estimativa: Calcula as probabilidades de participação no top-$k$ $p_i$ via amostragem de Monte Carlo a partir do posterior.
3. Aquisição: Seleciona o próximo par $(i, j)$ maximizando $s(i, j)$, apresenta-o em ordem aleatorizada ao juiz e observa o veredito.
4. Atualização: Adiciona os novos dados e repete até que o orçamento seja esgotado.

Principais Contribuições

1. Modelo Bayesiano Sensível ao Viés: Um modelo generativo que separa explicitamente a qualidade latente das preferências de apresentação (verbosidade, posição) usando um prior de contração. Isso permite a estimativa robusta da verdadeira qualidade mesmo quando o juiz é enviesado, permanecendo seguro (sem penalização) para juízes imparciais.
2. Regra de Aquisição Sensível ao Top-$k$: Uma estratégia eficiente em termos de orçamento que prioriza comparações próximas à fronteira do top-$k$ em vez do ranking completo. O artigo demonstra que isso é superior às estratégias de incerteza global (D-ótima) e round-robin sob orçamentos limitados.
3. Evidência Empírica em LLMs Reais: Avaliação extensiva em 16 juízes LLM reais (abrangendo famílias de código aberto e proprietárias como Llama, Qwen, GPT-4o, Gemini, Claude, etc.) em um benchmark controlado com ground truth conhecido.

Resultados Experimentais

Correção (Recuperação do Top-$k$)

• Falha da Agregação Ingênua: Em juízes enviesados (ex: Llama-3.1-8B, Qwen-2.5, GPT-4o-mini), a contagem de vitórias ingênua converge para o conjunto top-$k$ errado, independentemente do orçamento. O recall estabiliza em valores baixos (ex: ~0.50–0.60).
• Recuperação Sensível ao Viés: O modelo proposto recupera o conjunto top-$k$ correto, elevando o recall para 0.84–1.00 em juízes enviesados.
• Heterogeneidade do Viés: O viés não é uniforme. Juízes de "fronteira" (ex: GPT-5.1, Claude Opus) mostraram pouco ou nenhum viés e já alcançavam recall perfeito com métodos ingênuos. O modelo sensível ao viés proporcionou ganho negligenciável nesses casos, confirmando a segurança do prior de contração. Por outro lado, juízes mais baratos/intermediários exibiram forte viés de verbosidade, o qual o modelo corrigiu com sucesso.
• Correlação com Competência: Existe uma forte correlação negativa (Spear $\rho = -0.88$) entre a competência bruta de um juiz (recall ingênuo) e o ganho da correção de viés. O método é mais benéfico para juízes que são competentes o suficiente para classificar, mas corrompidos pelo viés.

Eficiência (Uso de Orçamento)

• A regra de aquisição sensível ao top-$k$ atinge o teto de desempenho do modelo sensível ao viés com significativamente menos comparações do que as estratégias de incerteza global ou round-robin.
• Com um orçamento de $B=120$, a regra sensível ao top-$k$ alcançou 0.80 de recall, comparado a 0.70 para incerteza global e 0.61 para round-robin.
• Estudos de ablação confirmaram que o termo de "relevância da fronteira" no score de aquisição é o principal motor desta eficiência; removê-lo colapsa o desempenho para o nível da D-otimalidade global.

Custo-Efetividade

• O artigo demonstra que aplicar a correção de viés a um juiz barato (ex: GPT-4o-mini) é aproximadamente 20 vezes mais barato do que usar um juiz de fronteira e imparcial (ex: GPT-5.1) para alcançar recall semelhante (0.90).

Significância e Alegações

O artigo afirma que o viés é real, heterogêneo e dependente de capacidade. Ele argumenta que:

1. A agregação ingênua é fundamentalmente falha para seleção top-$k$ sob juízes enviesados porque estima uma quantidade confundida (qualidade + preferência de apresentação), levando a um platô de erro irrecuperável.
2. A modelagem explícita é necessária: O viés não pode ser assumido como zero ou tratado por heurísticas simples (como troca de ordem), porque o viés de verbosidade é distinto do viés de posição e varia por juiz.
3. A estimativa online é a solução: Ao tratar o viés como um parâmetro latente a ser inferido por juiz (regularizado por contração), o sistema se adapta ao comportamento específico do juiz sem exigir conhecimento prévio de seu perfil de viés.
4. A aquisição direcionada importa: Em cenários de orçamento restrito, gastar esforço para resolver o ranking completo é um desperdício. Focar as comparações na fronteira do top-$k$ gera utilidade significativamente maior.

Os autores concluem que sua abordagem permite o uso de juízes LLM baratos e enviesados para tarefas de avaliação de alto risco, corrigindo seus erros sistemáticos, oferecendo um caminho para uma classificação escalável, precisa e muito mais custo-efetiva do que depender apenas de modelos de fronteira. Eles observam limitações quanto à suposição de que as covariáveis (como comprimento) são espúrias; se o comprimento sinaliza legitimamente a qualidade (como em algumas tarefas de sumarização), a remoção do viés pode prejudicar o desempenho, sugerindo a necessidade de um portão de "âncora confiável" para determinar quando aplicar a correção.