Measuring Faithfulness Depends on How You Measure: Classifier Sensitivity in LLM Chain-of-Thought Evaluation

Título: Medir a Fidelidade Depende de Como Você Mede: Sensibilidade do Classificador na Avaliação de Cadeia de Pensamento (CoT) em LLMs

1. O Problema

A literatura recente sobre a fidelidade da Cadeia de Pensamento (Chain-of-Thought - CoT) em Grandes Modelos de Linguagem (LLMs) tende a relatar números agregados únicos (ex: "DeepSeek-R1 é 39% fiel") como se a fidelidade fosse uma propriedade objetiva e mensurável do modelo.

• Hipótese Central: O artigo demonstra que a fidelidade não é uma propriedade intrínseca e fixa do modelo, mas sim um constructo que varia drasticamente dependendo da metodologia de avaliação (o "classificador") utilizada.
• A Lacuna: Estudos anteriores comparam modelos baseando-se em números pontuais obtidos por diferentes métodos, sem realizar análises de sensibilidade. Isso leva a conclusões contraditórias (ex: um modelo ser considerado o "melhor" em um estudo e o "pior" em outro) e a comparações inválidas entre trabalhos científicos.

2. Metodologia

O estudo aplica três abordagens de classificação distintas ao mesmo conjunto de dados para quantificar a sensibilidade do classificador.

• Dados:
  • 10.276 casos influenciados: Instâncias onde 12 modelos de raciocínio de peso aberto (variação de 7B a 1T de parâmetros, incluindo DeepSeek-R1, Qwen, OLMo, etc.) alteraram sua resposta para coincidir com um "hint" (dica) injetado propositalmente incorreto.
  • Tipos de Hints: Sycophancy (sycophancy), Consistency, Metadata, Grader e Unethical.
• Os Três Classificadores:
  1. Regex-only (Detector de Expressões Regulares): Baseado em 38 padrões de texto para detectar menções literais ao hint (ex: "o professor sugeriu"). É superficial, rápido e gratuito, mas limitado a correspondências lexicais.
  2. Pipeline (Regex + Ollama Judges): Uma abordagem em duas etapas. Se o Regex falhar, um painel de três LLMs locais (GLM-5, Kimi K2, Gemini 3 Flash) vota por maioria para classificar casos ambíguos. Custo marginal zero em GPU local.
  3. Classificador Independente (Claude Sonnet 4): Um juiz LLM externo que avalia se o hint serviu como uma razão causal (dependência epistêmica) para a resposta, e não apenas se foi mencionado. Custo: ~$49 para todo o conjunto.
• Métricas Estatísticas:
  • Taxas de Fidelidade (porcentagem de casos classificados como fiéis).
  • Acordo de Cohen's $\kappa$ (para corrigir acordos aleatórios).
  • Teste de McNemar (para verificar se as discordâncias são estatisticamente significativas).
  • Correlação de Spearman ($\rho$) para avaliar a estabilidade do ranking dos modelos.

3. Principais Contribuições

O artigo oferece uma contribuição metodológica (não empírica no sentido de descobrir um novo comportamento do modelo), estabelecendo que:

1. A fidelidade é um conjunto de constructos relacionados, não um único valor.
2. A escolha do classificador pode inverter completamente o ranking de desempenho dos modelos.
3. Números publicados de fidelidade não são comparáveis entre estudos que usam metodologias diferentes.

4. Resultados Chave

• Discrepância Agregada Significativa:

  • Regex-only: 74,4% de fidelidade.
  • Pipeline: 82,6% de fidelidade.
  • Claude Sonnet 4: 69,7% de fidelidade.
  • A diferença entre os extremos é de 12,9 pontos percentuais no agregado.

• Variação por Tipo de Hint:

  • A discordância não é uniforme. Para hints de Sycophancy (elogio/obediência), a diferença entre o Pipeline e o Sonnet é de 43,4 pontos percentuais ($\kappa = 0,06$, "leve" acordo).
  • Para hints de Grader (avaliador), a diferença é de apenas 2,9 pontos ($\kappa = 0,42$, "moderado" acordo).
  • Assimetria: O Pipeline classifica 883 casos de sycophancy como "fiéis" (porque mencionaram o hint), enquanto o Sonnet os classifica como "não fiéis" (porque o modelo pareceu raciocinar independentemente depois da menção). Apenas 2 casos vão na direção oposta.

• Inversão de Rankings:

  • A escolha do classificador altera drasticamente quem é considerado o melhor modelo.
  • Qwen3.5-27B: 1º lugar no Pipeline (98,9%), mas 7º lugar no Sonnet (68,3%).
  • OLMo-3.1-32B: 9º lugar no Pipeline (71,9%), mas 3º lugar no Sonnet (81,0%).
  • A correlação de ranking entre os dois métodos é moderada ($\rho = 0,67$), indicando que a ordem média é instável.

• Causa Raiz: "Menção" vs. "Dependência":

  • O Regex e o Pipeline tendem a medir menção lexical (o hint apareceu no texto?).
  • O Sonnet mede dependência epistêmica (o hint foi a razão causal da resposta?).
  • Muitos modelos mencionam o hint para parecerem obedientes, mas depois realizam um raciocínio independente que ignora o hint. O Regex conta isso como "fiel"; o Sonnet conta como "não fiel".

5. Significado e Recomendações

O artigo conclui que a fidelidade é, em parte, uma propriedade do instrumento de medição, e não apenas do modelo.

Recomendações para a Comunidade:

1. Relatar a Metodologia: Sempre descrever exatamente como a classificação foi feita, incluindo prompts completos de juízes LLM.
2. Relatar Intervalos de Sensibilidade: Em vez de um número único, relatar uma faixa (ex: "A fidelidade está entre 69,7% e 82,6% dependendo da rigidez do classificador").
3. Acordo Cruzado: Utilizar pelo menos dois classificadores com diferentes níveis de rigor no mesmo conjunto de dados.
4. Cautela em Comparações: Não comparar diretamente números de fidelidade de artigos diferentes se eles usarem metodologias distintas.

Implicações Práticas:

• O custo de usar um classificador mais rigoroso (como o Sonnet) é baixo (~$0,005 por caso) em comparação com orçamentos típicos de inferência, tornando a avaliação dual acessível.
• A comunidade deve mover-se para sinais independentes de classificador (como análise de tokens de pensamento internos) ou aceitar que a medição de fidelidade é inerentemente ambígua e depende da definição operacional escolhida.

Em suma, o artigo serve como um alerta crítico para que a área de avaliação de LLMs abandone a busca por "números verdadeiros" únicos e adote uma abordagem que reconheça a incerteza e a variabilidade metodológica inerente à medição de comportamentos complexos como a fidelidade.