Resumo Técnico: Métricas de Fidelidade Não Medem Fidelidade: Uma Meta-Avaliação com Verdade Terrena

Declaração do Problema

Cadeias de Pensamento (CoTs) tornaram-se centrais para interpretar e auditar Modelos de Linguagem de Grande Escala (LLMs). No entanto, evidências crescentes sugerem que esses rastros de raciocínio frequentemente falham em representar fielmente os cálculos internos que impulsionam as previsões do modelo, servindo, em vez disso, como racionalizações post-hoc. Embora várias métricas tenham sido propostas para avaliar a fidelidade das CoTs, sua validade permanece não comprovada. Validar essas métricas requer rótulos de verdade terrena indicando quais CoTs são fiéis e quais não são. Como os cálculos internos não são diretamente observáveis, as avaliações existentes dependeram de proxies indiretos, como plausibilidade ou importância. Os autores argumentam que essas propriedades são ortogonais à fidelidade; uma CoT pode ser plausível, mas não fiel, ou importante, mas não fiel, levando a avaliações enganosas sobre se uma CoT pode ser confiável.

Metodologia

Para abordar a falta de verdade terrena, os autores propõem uma metodologia onde designs de tarefas revelam quais cálculos intermediários devem ter ocorrido para produzir uma saída específica. Isso permite a derivação de rótulos de fidelidade de verdade terrena sem a necessidade de observar estados internos do modelo diretamente.

1. Revisão das Definições de Fidelidade

O artigo redefine a fidelidade para o cenário de CoT, distinguindo-a de plausibilidade e importância:

• Fidelidade de Passo: Um passo é fiel se e somente se descreve com precisão um processo que ocorreu em algum momento no modelo. Isso rejeita leituras "fenomenológicas" onde um passo é considerado fiel se o modelo "acredita" que é verdadeiro, mesmo que a crença seja falsa.
• Fidelidade de CoT: Uma CoT é fiel se (1) contiver um caminho de raciocínio completo que o modelo seguiu para chegar à sua resposta, e (2) não contiver passos não fiéis.

2. Design de Tarefa para Verdade Terrena

Os autores construíram dois cenários para inferir cálculos necessários:

• Cenário Direto: Tarefas são geradas proceduralmente (por exemplo, travessia de grafos, sequências de Collatz) de modo que uma resposta correta exija passos intermediários específicos de "gargalo". Se o modelo responder corretamente, isso implica que esses cálculos ocorreram. Uma CoT é não fiel se omitir esses passos necessários.
• Cenário Diversivo: Modelos recebem uma pergunta juntamente com uma dica apontando para uma resposta aleatória e incorreta. Se o modelo adotar a resposta sugerida pela dica, isso implica que ele confiou na dica. Uma CoT é fiel apenas se reconhecer explicitamente a dica; é não fiel se omitir a dica ou atribuir a resposta a uma fonte fabricada (mala atribuição).

3. O Benchmark BONAFIDE

Usando esses cenários, os autores construíram o BONAFIDE, um benchmark contendo 3.066 CoTs rotuladas em 13 tarefas e 10 modelos (variando de 4B a 70B parâmetros, incluindo Qwen3, OLMo 3, DeepSeek-R1-Distill e Llama 3.3).

• Pipeline de Rotulagem: Um pipeline automatizado usando juízes LLM (Gemini 3 Flash e Pro) classifica passos e CoTs. O pipeline foi validado contra anotação humana, alcançando 98,9% de precisão.
• Rótulos: O conjunto de dados inclui rótulos em nível de passo (Passo Fiel, Passo Não Fiel) e rótulos em nível de CoT (CoT Fiel, CoT Não Fiel), cobrindo tanto erros de omissão (passos faltantes) quanto de comissão (passos fabricados).

4. Avaliação de Métricas Existentes

Os autores usaram o BONAFIDE para avaliar sistematicamente oito métricas de fidelidade proeminentes:

• Baseadas em Importância (IMP): Adição de Erros, Resposta Antecipada, Tokens de Preenchimento, SCM.
• Baseadas em Parâmetros (PAR): FUR (Fidelidade via Desaprendizado de Passos de Raciocínio).
• Baseadas em Atribuição (ATT): CC-SHAP.
• Utilidade Semântica (SEM): Simulabilidade, Parafraseamento.

Resultados Principais

A avaliação revela deficiências significativas nas métricas de fidelidade atuais:

1. Desempenho Próximo ao Acaso: A maioria das métricas performa perto do acaso aleatório (AUROC ~0,5). O melhor desempenho no nível de CoT é o CC-SHAP (0,70 AUROC), enquanto no nível de passo, Tokens de Preenchimento atinge 0,59. Crucialmente, esses sucessos não se transferem entre cenários; o CC-SHAP cai abaixo do acaso no nível de passo, e Tokens de Preenchimento fica perto do acaso no nível de CoT.
2. Vieses Sistemáticos: As métricas exibem fortes vieses de previsão. Métricas baseadas em importância rotulam 90%–96% das CoTs como não fiéis, enquanto métricas de utilidade semântica rotulam 94%–96% como fiéis em amostras balanceadas. Isso sugere que elas medem propriedades subjacentes diferentes em vez da própria fidelidade.
3. Sensibilidade ao Comprimento: A maioria das métricas degrada o desempenho à medida que o comprimento da CoT aumenta, uma questão crítica dado a tendência para rastros de raciocínio mais longos em LLMs modernos.
4. Custo Computacional: A métrica mais precisa para CoTs (CC-SHAP) é proibitivamente cara, exigindo até $10^3$ segundos por instância, tornando-a impraticável para monitoramento em tempo real.

Significado e Contribuições

O artigo faz quatro contribuições principais:

1. Revisão de Definição: Propõe novas definições de fidelidade adaptadas ao cenário de CoT, indo além de explicações post-hoc estáticas para levar em conta a natureza dinâmica e passo a passo dos modelos de raciocínio.
2. Metodologia para Verdade Terrena: Desenvolve uma metodologia para obter rótulos de fidelidade de verdade terrena baseados em designs de tarefas que tornam os cálculos internos parcialmente recuperáveis a partir das saídas.
3. Benchmark BONAFIDE: Apresenta o primeiro benchmark que avalia métricas de fidelidade usando rótulos de verdade terrena em vez de proxies, permitindo validação direta.
4. Evidência Empírica: Demonstra que nenhuma métrica atualmente disponível fornece uma medida confiável e prática de fidelidade.

Os autores concluem que o campo requer o desenvolvimento de métricas de fidelidade mais precisas e eficientes. Eles lançam o BONAFIDE e o código de avaliação para a comunidade para facilitar esse desenvolvimento, observando que as ferramentas atuais são insuficientes para as necessidades de segurança e interpretabilidade dos modelos de raciocínio contemporâneos.