Through the Judge's Eyes: Inferred Thinking Traces Improve Reliability of LLM Raters

Título: Através dos Olhos do Juiz: Rastros de Pensamento Inferidos Melhoram a Confiabilidade de Avaliadores de LLM

1. Problema

Os Grandes Modelos de Linguagem (LLMs) são cada vez mais utilizados como avaliadores automatizados para tarefas de geração de texto aberto (como sumarização, tradução e avaliação de histórias). No entanto, sua confiabilidade diminui significativamente em tarefas subjetivas que exigem julgamento humano nuances.

O principal gargalo identificado é a ausência de "rastros de pensamento" (thinking traces) — ou seja, o processo de raciocínio detalhado que leva a uma etiqueta (label) específica.

• Limitação Atual: A maioria dos conjuntos de dados de anotação contém apenas rótulos finais (ex: uma nota de 1 a 5), sem a justificativa ou o raciocínio subjacente.
• Consequência: Sem esses rastros, é difícil alinhar LLMs com o julgamento humano, pois os modelos aprendem apenas o "o quê" (o rótulo), mas não o "como" (o raciocínio). Além disso, os manuais de anotação (codebooks) frequentemente contêm instruções vagas, levando a inconsistências entre diferentes avaliadores (humanos ou LLMs).

2. Metodologia

Os autores propõem um framework colaborativo humano-LLM para inferir rastros de pensamento a partir de anotações que contêm apenas rótulos. O processo baseia-se em três pilares principais:

A. Inferência de Rastros de Pensamento Latentes (Rejeição por Amostragem)

O objetivo é reconstruir o processo de raciocínio de um especialista humano para cada exemplo anotado.

1. Entrada: Um conjunto de dados com pares $(x_i, y_i)$, onde $x_i$ é o texto e $y_i$ é o rótulo humano.
2. Geração: Um Modelo de Linguagem com Capacidade de Raciocínio (RLM - Reasoning Language Model, como DeepSeek-R1 ou gpt-oss) recebe o código de anotação e o texto, e gera múltiplos candidatos de rastros de pensamento ($t'$) e rótulos previstos ($y'$).
3. Filtragem (Rejection Sampling): Apenas os rastros de pensamento onde o rótulo previsto pelo modelo ($y'$) corresponde exatamente ao rótulo humano ($y_i$) são mantidos.
4. Resultado: Cria-se um conjunto de dados aumentado ($D_{reason}$) contendo o texto, o rótulo humano e o traco de pensamento inferido que levou a esse rótulo.

B. Duas Aplicações Complementares

O framework utiliza esses rastros inferidos de duas formas distintas:

1. Ajuste Fino (Fine-Tuning) de Avaliadores LLM Abertos:

   • Os rastros inferidos são usados como dados de treinamento para Supervised Fine-Tuning (SFT).
   • O modelo é treinado para prever não apenas o rótulo final, mas todo o processo de raciocínio ($t'$) antes de chegar à conclusão. Isso ensina o modelo a "pensar" como um avaliador humano.

2. Refinamento Automático de Manuais de Anotação (Codebooks):

   • Para modelos proprietários (caixa-preta) onde o ajuste fino não é possível, os rastros inferidos são usados para melhorar os prompts.
   • Processo de Refinamento:
     • Instruções da Tarefa: O modelo resume padrões de raciocínio comuns nos rastros para criar instruções passo a passo mais explícitas.
     • Rubricas de Pontuação: O modelo extrai críticas curtas dos rastros, agrupa-as semanticamente e sintetiza novas rubricas detalhadas baseadas em exemplos concretos, reduzindo a ambiguidade.

3. Contribuições Principais

1. Método de Inferência Escalável: Uma abordagem prática para transformar conjuntos de dados "apenas-rótulo" em recursos ricos em raciocínio, utilizando RLMs como proxies para o pensamento humano.
2. Framework Híbrido: Demonstra que os rastros inferidos são úteis tanto para treinar modelos abertos (via SFT) quanto para otimizar prompts de modelos fechados (via refinamento de codebooks).
3. Validação Empírica: Testes em cinco tarefas diversas (avaliação de histórias curtas, ensaios, resumos de notícias, traduções e respostas de chatbots) cobrindo escalas Likert e critérios subjetivos.

4. Resultados Experimentais

Os experimentos foram conduzidos em múltiplos conjuntos de dados (HANNA, SummEval, WMT, HelpSteer, etc.) com métricas de concordância com humanos (Kendall's $\tau$, ICC3, MSE).

• Melhoria no Ajuste Fino (SFT):

  • Modelos ajustados com rastros de pensamento inferidos apresentaram ganhos significativos na concordância com julgamentos humanos.
  • A correlação de Kendall's $\tau$ aumentou em média de 0.197 para 0.281 (um aumento relativo de 42,6%).
  • O desempenho foi consistente entre rastros gerados por diferentes modelos (DeepSeek-R1 e gpt-oss), indicando a universalidade do método.

• Refinamento de Codebooks:

  • O uso de codebooks refinados melhorou a concordância entre humanos e LLMs em modelos proprietários (Claude, Gemini, GPT-5).
  • Confiabilidade Inter-Avaliador (Inter-Rater Reliability): A concordância entre diferentes LLMs avaliadores (medida por ICC3) aumentou de 0.580 para 0.621.
  • Qualitativo: Análise de casos mostrou que o codebook refinado padronizou o processo de avaliação, fazendo com que modelos diferentes seguissem o mesmo fluxo lógico (ex: identificar elementos primeiro, depois julgar), reduzindo viés sistemático e divergências.

• Estudos de Ablação:

  • Confirmou-se que os rastros de pensamento são essenciais; treinar apenas com rótulos finais (sem o raciocínio intermediário) resultou em desempenho inferior.
  • O método é robusto mesmo quando se usam explicações post-hoc (geradas após o fato) em vez de tokens de pensamento nativos, embora com ligeira perda de performance.

5. Significado e Impacto

O trabalho demonstra que é possível superar a limitação de dados de anotação "pobres" (apenas rótulos) utilizando modelos de raciocínio modernos para inferir o "pensamento" oculto dos avaliadores humanos.

• Proxies Confiáveis: Os rastros inferidos servem como proxies eficazes para o raciocínio humano, permitindo que conjuntos de dados existentes sejam transformados em recursos de treinamento de alta fidelidade.
• Acessibilidade: Oferece uma solução para modelos proprietários (caixa-preta) que não podem ser ajustados, permitindo melhorar sua performance através de prompts mais inteligentes e estruturados.
• Futuro: Abre caminho para a criação de conjuntos de dados "enriquecidos com raciocínio" em escala, essenciais para desenvolver avaliadores de IA mais confiáveis, interpretáveis e alinhados com valores humanos em tarefas subjetivas.

Em resumo, o artigo propõe uma mudança de paradigma: em vez de apenas coletar rótulos, devemos inferir e utilizar o raciocínio por trás deles para treinar e guiar sistemas de avaliação de IA.