Resumo Técnico: Avaliação por Juiz Causal (CJE) para Métricas Substitutas Calibradas em Sistemas de LLM

1. Declaração do Problema

Avaliar sistemas de Grandes Modelos de Linguagem (LLMs) em relação a resultados de longo prazo (ex: satisfação do usuário, julgamento de especialistas, KPIs de downstream) é proibitivamente caro. Consequentmente, as equipes dependem de proxies baratos de "LLM-as-judge" (LLM como juiz). No entanto, proxies não calibrados sofrem de vieses sistemáticos (ex: verbosidade, estilo, sicoofancia) que podem inverter totalmente os rankings de políticas — um fenômeno que os autores denominam "paradoxo do substituto".

Abordagens padrão enfrentam três falhas críticas:

1. Inversão de Ranking: Scores de juiz não calibrados ($S$) não estão na mesma escala que as recompensas reais ($Y$). Sem calibração, scores mais altos podem prever um valor real menor, levando à implantação de modelos inferiores.
2. Intervalos de Confiança Catastróficos: Intervalos de confiança (CIs) ingênuos sobre scores não calibrados alcançam cobertura quase nula (0% nos experimentos dos autores), falhando em capturar o valor real mesmo em níveis nominais de 95%.
3. Falha da Avaliação Off-Policy (OPE): Estimadores ponderados por importância (IPS/SNIPS) falham em fornecer rankings precisos mesmo quando a estabilização de peso aumenta o Tamanho de Amostra Efetivo (ESS) para >80%. Isso se deve a um problema de "Eficiência Limitada pela Cobertura" (CLE): a política de registro (logging policy) raramente visita regiões onde a política alvo se concentra, criando um piso de precisão rígido que nenhuma estabilização de peso pode superar.

Soluções existentes frequentemente assumem que a correlação entre o juiz e o oráculo se mantém através de diferentes políticas ou contextos de implantação. Este artigo argumenta que tais suposições são inverificáveis e frágeis.

2. Metodologia: Avaliação por Juiz Causal (CJE)

CJE é um framework que trata a validade do substituto como uma propriedade auditável em vez de uma suposição de identificação. Ele unifica calibração de recompensa, estabilização de peso e quantificação de incerteza em um único protocolo.

Componentes Principais

1. Calibração de Recompensa (Isotônica de Dois Estágios):

   • O CJE aprende um mapeamento $f(S, X) \approx E[Y | S, X]$ de um pequeno "slice de oráculo" (labels caros) para os scores do juiz.
   • Ele emprega regressão isotônica de preservação de média para garantir que a calibração seja monótona e preserve a média do slice de oráculo.
   • Uma abordagem de dois estágios é recomendada: primeiro, aprende-se um índice suave $Z(S, X)$ (usando splines e covariáveis como comprimento da resposta); segundo, um mapa isotônico é ajustado sobre os ranks de $Z$. Isso captura padrões não monotônicos enquanto impõe monotonicidade e preservação de média.

2. Estabilização de Peso:

   • Para avaliação off-policy (usando dados registrados), o CJE estabiliza pesos de importância ($W_{\pi'}$) projetando-os no cone de funções monótonas do score do juiz $S$.
   • Utiliza o empilhamento out-of-fold (OOF) de candidatos monótonos (crescentes, decrescentes e identidade) para minimizar a variância da função de influência, melhorando assim o ESS sem introduzir viés na média.

3. Inferência Consciente de Calibração:

   • CIs padrão tratam a função de calibração $\hat{f}$ como fixa, ignorando a incerteza proveniente do pequeno slice de oráculo. O CJE propaga essa incerteza.
   • Utiliza um jackknife de exclusão de um fold (delete-one-fold) para estimar a variância da calibração e adicioná-la à variância de avaliação.
   • Para estimativa de ponto, emprega um estimador aumentado com correção de viés ($\hat{\theta}_{aug}$) derivado da função de influência eficiente (EIF) para estimativa de desfecho ausente. Isso corrige a covariância entre a função de calibração e as amostras de avaliação.

4. Diagnósticos de Transporte Auditáveis:

   • A inovação central é substituir a suposição não testável de surrogacia global por um teste de transporte de média por política.
   • Para cada política alvo $\pi'$, uma pequena amostra de oráculo é usada para testar a hipótese nula $H_0: E_{\pi'}[Y - f(S, X)] = 0$.
   • Passou: A calibração é reutilizada.
   • Falhou: O sistema ou recalibra com dados específicos da política ou recusa alegações de nível (reportando apenas rankings ou recusando estimativas de valor absoluto) para aquela política.

Fundamentos Teóricos

• Eficiência via Restrição de Modelo: O CJE formaliza que codificar conhecimento justificado (monotonicidade, preservação de média) como restrições de modelo encolhe o espaço tangente, reduzindo assim o limite de eficiência (variância) sem alterar o estimando.
• Eficiência Limitada pela Cobertura (CLE): O artigo deriva um limite inferior no erro padrão de estimadores do tipo IPS que depende da Cobertura de Tipicidade do Alvo (TTC). Se o logger raramente visita regiões típicas do alvo (baixo TTC), o piso de precisão é proibitivo, independentemente da estabilização de peso. Isso explica por que a OPE falha em geração de texto aberto.

3. Resultados Principais

Os autores validam o CJE em um benchmark de larga escala usando 4.961 prompts do Chatbot Arena, 5 políticas de LLM (incluindo uma política adversária "não útil") e uma razão de custo de 16x entre o oráculo (GPT-5) e o juiz (GPT-4.1-nano).

• Precisão de Ranking: Com 5% de fração de oráculo, o CJE (Método Direto com calibração de dois estágios) atinge 99% de precisão de ranking pareado, comparado a 38% para o SNIPS padrão. Em todas as configurações, a precisão média é de 94%.
• Cobertura de Intervalo de Confiança: CIs ingênuos sobre scores não calibrados atingem 0% de cobertura. A inferência bootstrap do CJE com correção de viés atinge ~95% de cobertura (próximo ao nominal).
• Confirmação de Falha de OPE: Apesar da estabilização de peso elevar o ESS de <1% para >80%, a precisão de ranking do IPS calibrado permaneceu próxima ao acaso (47%). O limite CLE e o baixo TTC (19–49% para políticas não clones) previram corretamente essa falha.
• Direto vs. DR: Sob baixa sobreposição, estimadores Doubly Robust (DR) não superaram o Método Direto; de fato, o Direto superou ligeiramente o DR (94,4% vs. 94,1%) porque o componente IPS adicionou ruído em vez de informação.
• Detecção Adversária: O auditor de transporte sinalizou corretamente a política adversária "não útil", que falhou no teste de transporte de média (resíduo médio = -0,31), indicando que o substituto superestimava sistematicamente sua qualidade.
• Eficiência de Custo: O CJE atinge precisão próxima ao oráculo com um custo 14x menor do que a rotulagem pura do oráculo para um conjunto de 5 políticas (amortizando o custo de calibração).

4. Significância e Alegações

O artigo afirma que o CJE transforma a avaliação de LLMs de uma prática frágil e baseada em suposições em um protocolo rigoroso e auditável.

• Da Suposição para a Auditoria: O CJE substitui o "esperar que a correlação se mantenha" por um diagnóstico falsificável (o teste de transporte de média). Isso permite que as equipes detectem quando uma calibração falha ao ser transferida para uma nova política ou contexto.
• Framework Unificado: Ele unifica três problemas anteriormente distintos: calibração (mapeamento $S \to Y$), controle de variância (estabilização de peso) e quantificação de incerteza (inferência consciente de calibração).
• Orientação Operacional: O artigo fornece "portões" (gates) concretos para praticantes:
  • Padronize para Direto + calibração de dois estágios para geração de texto aberto.
  • Audite o transporte para decisões de alto risco.
  • Monitore o TTC (Cobertura de Tipicidade do Alvo); se o TTC < 0,70, a OPE de dados registrados provavelmente falhará.
  • Sempre use inferência bootstrap com correção de viés para evitar subcobertura catastrófica.

Os autores enfatizam que, embora o CJE reduza significamente o custo da avaliação, ele não elimina a necessidade de labels de oráculo; em vez disso, ele otimiza a alocação desses recursos e garante que os proxies baratos usados para escalonamento sejam estatisticamente válidos para as políticas específicas sendo avaliadas. O framework está implementado em uma biblioteca de código aberto (cje-eval) e validado através de tarefas de preferência de ranking e geração de código.