Resumo Técnico: Limites de Seleção Não Compensatórios com Evidência Bloqueada para Falhas de Juiz de LLM em Pipelines de Raciocínio

1. Definição do Problema

O artigo aborda uma falha crítica na implementação de juízes baseados em Grandes Modelos de Linguagem (LLMs) dentro de pipelines de raciocínio. Embora os juízes sejam cada vez mais utilizados para filtrar candidatos, filtrar dados de preferência e fornecer recompensas para aprendizado por reforço (RL), sua saída é frequentemente tratada como uma decisão direta, em vez de uma medição. Os autores argumentam que o custo da decisão de um juiz depende menos da precisão intrínseca do juiz e mais da regra de decisão que governa sua autoridade.

Um juiz escalar, que produz um único escore de "qualidade", sofre de conflação: ele colapsa distintas dimensões de raciocínio (ex: validade lógica vs. fundamentação factual) em um único número. Isso permite que uma cadeia de raciocínio fluente, mas factualmente incorreta (ex: identificar corretamente um país hospedeiro, mas declarar incorretamente sua capital), receba uma pontuação alta porque a estrutura lógica é sólida, enquanto o erro factual permanece silencioso. O artigo postula que, sem restrições, um juiz pode unilateralmente sobrescrever um consenso correto com uma alternativa incorreta, porém de alta pontuação, causando uma degradação significativa da precisão.

2. Metodologia

O estudo avalia regras de decisão em pools de candidatos congelados gerados por quatro políticas GRPO. Ao manter os candidatos, os prompts e o orçamento de computação fixos, os autores isolam o impacto da própria regra de seleção.

2.1 Decomposição Diagnóstica (RA-MSD)

Os autores implementaram primeiro um modelo de recompensa de Decisão Multi-Sinal com Recuperação Aumentada (RA-MSD). Este decompõe a avaliação do juiz em sete canais explícitos computados ao nível do passo:

1. Validade Lógica ($R_{logic}$): Verifica a conexão inferencial com os passos precedentes.
2. Fundamentação Factual ($R_{fact}$): Verifica o suporte contra evidências recuperadas.
3. Calibração Epistêmica ($R_{epist}$): Mede a confiança vs. força da evidência.
4. Ganho de Informação ($R_{info}$): Penaliza verbosidade/estagnação.
5. Triangulação de Fontes ($R_{triang}$): Exige múltiplas fontes corroborativas.
6. Robustez Adversária ($R_{adv}$): Testa a sensibilidade a mudanças lexicais vs. semânticas.
7. Suficiência Mínima ($R_{min}$): Penaliza o preenchimento com alegações não verificáveis.

Gating ao Nível de Passo (Variante Falha): Inicialmente, esses canais foram combinados em uma soma ponderada onde lógica e factualidade atuavam como restrições de viabilidade (limiar $\tau=0.5$). Isso foi usado como recompensa de treinamento para o GRPO. No entanto, essa abordagem falhou em melhorar a precisão em dados não vistos em relação ao GRPO puro, sugerindo que somar os canais de volta em um escalar para o otimizador reintroduz o problema da conflação.

2.2 Derive–Gate–Repair com Evidência Bloqueada (EL-DGR)

A abordagem bem-sucedida aplica a decomposição não como um sinal de treinamento, mas como uma regra de seleção pós-treinamento que subordina o juiz a certificados de evidência. O EL-DGR particiona os candidatos em estratos de viabilidade:

1. Definição de Certificado:

   • QA de Recuperação: Um certificado extrativo estrito $c(a, E)$ é definido como 1 apenas se a resposta $a$ ocorrer literalmente na evidência recuperada $E$.
   • Aritmética: Uma resposta numérica derivada deve ser verificada independentemente para consistência.

2. Lógica de Decisão (Não Compensatória):
   O selecionador escolhe a resposta final $a_{EL-DGR}$ baseando-se em uma hierarquia estrita:

   • Padrão (Default): A resposta do voto majoritário ($m$) é retornada, a menos que seja deslocada.
   • Sobrescrita (Override): A resposta preferida do juiz ($s$) é aceita apenas se for certificada ($c(s, E)=1$) E a maioria não for certificada.
   • Reparo (Repair): Um reparo verificado ($r$) é aceito apenas se nem $m$ nem $s$ forem certificados, mas $r$ for.

Crucialmente, a preferência escalar do juiz nunca pode promover um candidato não certificado através dos estratos. Ele pode apenas classificar candidatos dentro de um estrato. Isso limita o "raio de explosão" do juiz, impedindo-o de converter um consenso correto em uma resposta incorreta, a menos que a própria evidência contenha o erro.

3. Principais Contribuições

1. Medição da Autoridade do Juiz: O artigo demonstra que, em pools congelados, um juiz escalar sem restrições oferece melhoria negligenciável sobre o voto majoritário (+1,0 pp no GSM8K, +0,34 EM no HotpotQA) e performa significativamente pior (−10,0 pp) em um split de confirmação de regra congelada comparado ao voto majoritário.
2. Regra EL-DGR: A introdução de uma regra de decisão não compensatória e adaptável à tarefa que subordina o juiz a certificados de evidência. Esta regra melhora o desempenho sobre todos os seletores correspondentes (primeiro candidato, voto majoritário, juiz escalar) sem gerar novos candidatos ou aumentar o orçamento significativamente.
3. Auditoria de Decisão & Resultados Negativos:
   • Auditoria: Em um piloto de 30 questões, o EL-DGR reverteu o consenso em apenas 8 questões e nunca converteu um consenso correto em uma resposta incorreta.
   • Resultado Negativo: A mesma decomposição de sete canais usada como recompensa de treinamento (somada em um escalar) gerou resultados nulos, confirmando que o benefício vem da lógica de particionamento, não da granularidade da pontuação em si.

4. Resultados

Experimentos foram conduzidos no GSM8K (500 questões) e HotpotQA (300 questões) usando um pool congelado de candidatos de uma política Qwen2.5-3B.

• GSM8K (Aritmética):

  • Primeiro Candidato: 55,4%
  • Voto Majoritário: 55,8%
  • Juiz Escalar: 56,8%
  • EL-DGR: 58,2% (+2,8 pp sobre o primeiro candidato, $p=0,0026$).
  • Nota: O ganho aqui é impulsionado pelo ramo executável "derive-repair", já que o GSM8K carece de fatos externos para extração.

• HotpotQA (Recuperação):

  • Primeiro Candidato: 15,33 EM / 22,97 F1
  • Voto Majoritário: 15,33 EM / 23,19 F1
  • Juiz Escalar: 15,67 EM / 23,49 F1
  • EL-DGR: 17,33 EM / 25,46 F1 (+2,00 EM sobre o primeiro candidato, $p=0,0703$; +1,67 EM sobre o majoritário, $p=0,0625$).
  • Nota: A melhoria é impulsionada pela restrição de evidência bloqueada, que impede o juiz de sobrescrever o consenso suportado.

• Confirmação de Regra Congelada (HotpotQA, n=30):

  • O juiz escalar sem restrições obteve 10,0 EM, que ficou 10 pontos abaixo do voto majoritário (20,0) e 3,3 pontos abaixo do primeiro candidato (13,3).
  • Sob o EL-DGR, o mesmo juiz alcançou 26,7 EM, superando todos os outros seletores neste split.

5. Significância e Alegações

A principal alegação do artigo é limitar a autoridade do juiz em vez de tentar tornar o juiz preciso.

• Admissibilidade sobre Precisão: O estudo sugere que, em loops operacionais, a regra de decisão (restrições de admissibilidade) é mais crítica para a confiabilidade do sistema do que a taxa de concordância pareada do juiz. Um juiz com uma taxa de concordância de 60% é inofensivo se puder apenas desempatar entre respostas admissíveis, mas perigoso se puder unilateralmente sobrescrever um consenso correto.
• A Decomposição "Nula": O artigo afirma explicitamente que decompor o raciocínio em múltiplos sinais não ajuda se esses sinais forem recombinados em um único escalar para treinamento. A decomposição só é eficaz quando usada como uma restrição estrutural (um particionamento) que impede a compensação entre dimensões.
• Orientação para Praticantes: Os autores aconselham os praticantes a definir qual é o "padrão" (default) que um juiz deve superar, qual é o "certificado" necessário para sobrescrever esse padrão e a medir a taxa de sobrescrita. Eles argumentam que restringir o que um juiz pode anular é um mecanismo de segurança mais barato e eficaz do que fazer o ajuste fino (fine-tuning) do próprio juiz.

Limitações: Os autores reconhecem que seus resultados baseiam-se em uma única semente de treinamento, uma política de 3B e um juiz de 7B. As pontuações absoltas não são comparáveis ao estado da arte devido ao orçamento restrito e aos artefatos legados no pool de candidatos. O poder estatístico para algumas comparações (ex: contraste do primeiro candidato no HotpotQA) é limítrofe.