💬 NLP

How Language Models Fail: Token-Level Signatures of Committed and Persistent Reasoning Failures

Este artigo identifica e caracteriza dois modos distintos de falha de raciocínio ao nível de token em modelos de linguagem — a falha comprometida, marcada pelo travamento precoce de caminho, e a incerteza persistente, caracterizada pelo acúmulo de dúvida — demonstrando que essas assinaturas são reproduzíveis em diversas configurações e podem guiar a otimização de estratégias de detecção de falhas como a autoconsistência.

Autores originais: Tanvi Thoria, Kiana Jafari, Marc R. Schlichting, Mykel J. Kochenderfer

Publicado 2026-06-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tanvi Thoria, Kiana Jafari, Marc R. Schlichting, Mykel J. Kochenderfer

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está assistindo a um detetive resolver um mistério. Às vezes, o detetive comete um erro logo no início, foca no suspeito errado e passa o resto do filme argumentando com confiança por que aquele suspeito é culpado, mesmo sendo inocente. Outras vezes, o detetive está genuinamente confuso o tempo todo, analisando pistas, incerto sobre a resposta até o último segundo.

Este artigo trata de descobrir que tipo de erro um Grande Modelo de Linguagem (LLM) está cometendo apenas observando como ele "pensa" (sua cadeia de pensamento) enquanto escreve sua resposta. Os pesquisadores descobriram que os modelos não falham de apenas uma maneira; eles falham em dois padrões distintos, e reconhecer o padrão muda a forma como devemos tentar capturar o erro.

Aqui está uma análise de suas descobertas usando analogias simples:

1. Os Dois Tipos de Erros

Os pesquisadores descobriram que, quando um modelo erra uma resposta, isso geralmente acontece de uma de duas formas:

Tipo A: O "Comprometimento Precoce" (O Detetive Teimoso)

O que acontece: O modelo escolhe um caminho errado muito cedo em seu raciocínio. Uma vez que escolhe esse caminho, ele fica "preso". Ele para de explorar outras possibilidades e continua escrevendo mais frases para sustentar essa ideia errada.
A Assinatura: Se você observar a "incerteza" do modelo (o quanto ele se sente inseguro) enquanto ele escreve, verá um pico logo no início e, depois, ela cai. O modelo torna-se confiante demais rápido demais.
A Lição: Você não precisa esperar a história inteira terminar para saber que está errada. Na verdade, ler o final da história pode até confundir você, porque o modelo está tão confiante em sua resposta errada que ela parece ser uma boa resposta. O melhor momento para detectar este erro é logo após o modelo cometer seu primeiro grande erro.

Tipo B: "Incerteza Persistente" (O Detetive Confuso)

O que acontece: O modelo nunca realmente escolhe um lado. Ele vaga pelo raciocínio, incerto sobre a resposta o tempo todo. Ele continua mudando de ideia ou hesitando até a última palavra.
A Assinatura: A incerteza do modelo permanece alta ou aumenta lentamente do início ao fim. Ele nunca se fixa em um único caminho.
A Lição: Você deve ler a história inteira para saber se ela falhou. Se você parar no meio, pode pensar que ele está apenas sendo cuidadoso. O erro só se torna claro quando você vê todo o rastro de pensamento confuso.

2. Como Eles Descobriram Isso (O "Medidor de Incerteza")

Os pesquisadores não precisaram olhar dentro do cérebro do modelo (o que é impossível para muitos modelos de IA populares). Em vez disso, eles observaram as log probabilities — uma forma técnica de dizer "o quão certo o modelo estava de cada palavra que digitou".

Eles trataram o raciocínio do modelo como um filme. Observaram o "medidor de incerteza" subir e descer conforme o modelo digitava palavra por palavra.

Para o Tipo A, o medidor mostrou um pico claro no início e depois estabilizou.
Para o Tipo B, o medidor continuou subindo ou permaneceu alto até o fim.

Eles testaram isso em 23 combinações diferentes de modelos de IA e tarefas (como matemática, programação e ciência). Em 20 de 23 casos, a teoria deles se sustentou perfeitamente. Eles conseguiram distinguir entre um erro "teimoso" e um erro "confuso" apenas observando esses padrões.

3. Por Que Isso Importa: A Estratégia da "Segunda Opinião"

O artigo também analisou um truque comum chamado Autoconsistência (Self-Consistency). Isso é quando você faz a mesma pergunta à IA 10 vezes e escolhe a resposta que aparece com mais frequência.

Para o Modelo "Teimoso" (Tipo A): Fazer a mesma pergunta 10 vezes é inútil. Se o modelo é teimoso, ele dará a mesma resposta errada 10 vezes seguidas. A "votação da maioria" apenas confirmará a resposta errada. Neste caso, observar a incerteza de uma única resposta é, na verdade, melhor do que perguntar várias vezes.
Para o Modelo "Confuso" (Tipo B): Fazer a pergunta 10 vezes é muito útil. Como o modelo está genuinamente incerto, ele dará respostas diferentes a cada vez. O fato de ele não conseguir concordar consigo mesmo é um enorme sinal de alerta.

A Conclusão

O artigo argumenta que não devemos usar uma abordagem de "tamanho único" para detectar erros de IA.

Se a IA se fixa em uma ideia errada precocemente, devemos detectá-la rapidamente observando seus níveis de confiança iniciais, e não devemos nos dar ao trabalho de pedir uma segunda opinião (porque ela apenas repetirá o erro).
Se a IA está genuinamente confusa, devemos deixá-la terminar seu processo de pensamento e, então, pedir múltiplas opiniões para ver se ela consegue concordar consigo mesma.

Ao entender como a IA está falhando, podemos escolher a ferramenta certa para capturar o erro, economizando tempo e aumentando a confiabilidade.

Resumo Técnico: Como os Modelos de Linguagem Falham: Assinaturas ao Nível de Token de Falhas de Raciocínio Comprometidas e Persistentes

Declaração do Problema

Detectar quando Modelos de Linguagem de Grande Escala (LLMs) falharão em tarefas de raciocínio complexas continua sendo um desafio crítico para a confiabilidade de implantação. Métodos existentes de detecção de falhas, como a autoconsistência (amostragem de múltiplas cadeias de pensamento) e a quantificação de incerteza, tipicamente tratam a falha como uma tarefa de predição binária. Essas abordagens assumem um processo singular de emergência da falha, o que limita a capacidade de adaptar estratégias de detecção. Especificamente, a autoconsistência falha quando um modelo se "compromete" com um caminho de raciocínio incorreto precocemente, reproduzindo a mesma resposta errada consistentemente através das amostras. Por outro via, para modelos que exibem incerteza genuína ao longo de um traço, sinais de incerteza de amostra única podem ser insuficientes. O artigo argumenta que as falhas de raciocínio se desenvolvem através de processos distintos que requerem diferentes estratégias de detecção, embora os métodos atuais apliquem uma abordagem uniforme, independentemente do modo de falha subjacente.

Metodologia

Os autores propõem um framework que caracteriza falhas de raciocínio usando sinais de incerteza ao nível de token derivados de traços de cadeia de pensamento (CoT). O framework requer apenas as probabilidades de log de uma única conclusão do modelo, tornando-o aplicável a modelos de fronteira de API fechada (ex: GPT-4o, Gemini) onde os pesos internos são inacessíveis.

Conceitos Centrais

Modos de Falha: O framework identifica dois modos de falha qualitativamente distintos:
- Falha Comprometida (Committed Failure): O modelo trava em um caminho de raciocínio incorreto precocemente no traço. Os sinais de incerteza são mais preditivos sobre um prefixo inicial do traço; adicionar tokens subsequentes dilui o sinal.
- Incerteza Persistente (Persistent Uncertainty): O modelo nunca se compromete com um único caminho. A incerteza se acumula monotonicamente ao longo do traço, e o traço completo é necessário para distinguir conclusões falhas de bem-sucedidas.
Ponto de Compromisso ( $T^*$ ): Definido como a posição do token em um traço de raciocínio onde os sinais de incerteza são maximamente preditivos de falha. Além deste ponto, os tokens subsequentes representam ruído descendente em vez de sinal em relação ao resultado final.
Recursos de Incerteza (Uncertainty Features): Os autores computam cinco sinais de nível de token sobre janelas de prefixo ( $W_T$ ) do traço de raciocínio:
- Entropia: Dispersão da distribuição top- $K$ .
- Margem: Diferença entre as duas maiores probabilidades.
- NLL (Log-Verossimilhança Negativa): Confiança no token principal.
- Núcleo (Nucleus): Tokens necessários para capturar um limiar de probabilidade de 0,9.
- Empate Próximo (Near-Tie): Fração de tokens top- $K$ dentro de 90% da probabilidade principal.
- Agregação: Tanto a média quanto o máximo dos recursos são computados para cada sinal através da janela.
Métrica Diagnóstica (PR-AUC): O framework utiliza a Área Sob a Curva de Precisão-Recall (PR-AUC) para quantificar a detecção de falhas em vários tamanhos de janela de prefixo.
- Assinatura Comprometida: Uma forma de U invertido na curva PR-AUC. O poder preditivo atinge o pico em $T^*$ e declina conforme a janela se expande.
- Assinatura Persistente: Uma curva PR-AUC monotonicamente crescente onde o traço completo sempre supera qualquer prefixo.
Análise Pré-final: Para controlar o fator de confusão do comprimento do traço (onde modelos que falham frequentemente escrevem traços mais longos), o framework remove todos os tokens que ocorrem após o marcador de resposta final antes de computar os sinais de incerteza.

Configuração Experimental

O framework foi avaliado em 23 configurações de modelo-dataset envolvendo:

Modelos: Cinco famílias (Qwen, Llama, GPT-OSS, Gemma, GPT-4o/Gemini) variando de 2B a 122B de parâmetros, incluindo modelos de código aberto e de fronteira.
Datasets: Quatro domínios de raciocínio (GSM8K, MATH-500, GPQA Diamond, LiveCodeBench).
Restrições: Experimentos foram limitados a configurações com taxas de falha entre 15% e 60% e contagens de falhas suficientes para confiabilidade estatística. Modelos de fronteira foram limitados aos top-20 log probabilidades.

Resultados Principais

Reprodutibilidade dos Modos de Falha: As predições falsificáveis do framework mantiveram-se em 20 de 23 casos, significativamente acima do acaso.
- Falha Comprometida: Observada em 14 configurações (ex: Gemma4-31B no LiveCodeBench, GPT-OSS-20B no MATH-500). Estas exibiram a curva PR-AUC em forma de U invertido prevista com um ponto de compromisso distinto.
- Incerteza Persistente: Observada em 9 configurações (ex: Llama3.1-8B no MATH-500, Qwen3.5-122B no GPQA). Estas mostraram curvas PR-AUC monotonicamente crescentes onde o traço completo era estritamente mais informativo que qualquer prefixo.
Validação Estatística: O agrupamento meta-analítico confirmou as predições bidirecionais:
- Teste de sinal em configurações comprometidas: 14/14 consistentes ( $p = 6,1 \times 10^{-5}$ ).
- Teste de sinal conjunto em todas as configurações: 20/23 consistentes ( $p = 2,4 \times 10^{-4}$ ).
- O tamanho do efeito agrupado ( $\hat{\Delta}$ ) para casos comprometidos foi de $+0,013$ (95% CI $[+0,005, +0,020]$ ).
Implicações para Autoconsistência:
- Regime Comprometido: A autoconsistência é ineficaz porque o modelo reproduz a mesma resposta errada. Aqui, os sinais de incerteza de conclusão única (especificamente recursos de janela inicial) fornecem detecção superior. Os autores demonstram que, para modelos comprometidos, a autoconsistência pode ser ignorada para os top 30% de inputs confiantes sem sacrificar o recall de falhas.
- Regime Persistente: A autoconsistência permanece eficaz, pois a falha se manifesta como discordância entre conclusões.
- Complementaridade: Combinar a incerteza de conclusão única com as taxas de concordância da autoconsistência melhorou consistentemente a PR-AUC em todos os regimes testados, capturando a qualidade de raciocínio dentro da própria conclusão que as taxas de concordância sozinhas não captam.

Significância e Alegações

O artigo afirma oferecer um framework fundamental para entender quando e como as falhas de raciocínio dos LLMs tornam-se detectáveis. Ao caracterizar as falhas como "comprometidas" ou "persistentes", os autores argumentam que as estratégias de detecção devem ser adaptadas ao modo de falha específico em vez de serem aplicadas uniformemente.

Principais contribuições incluem:

Assinaturas ao Nível de Token: Demonstrar que sinais de incerteza ao nível de token podem distinguir entre dois processos de falha distintos usando apenas probabilidades de log externas.
Identificação do Ponto de Compromisso: Definir e validar empiricamente um ponto específico em um traço de raciocínio onde o modelo trava em um caminho, marcando a transição de sinal para ruído.
Orientação Prática de Implantação: Fornecer um mecanismo para triagem de quando a autoconsistência é necessária versus quando ela pode ser seletivamente ignorada, e mostrar como os recursos de incerteza complementam métodos de verificação existentes.

Os autores mantêm a modéstia em relação às suas alegações, observando que o framework opera sobre traços de CoT visíveis (sem afirmar que esses traços refletem perfeitamente o cálculo interno) e é limitado pelas restrições de acesso à log probabilidade das APIs. Eles enfatizam que o framework requer taxas de falha moderadas para funcionar de forma confiável e que o ponto de compromisso é identificado na granularidade de tamanhos de janela, em vez de posições exatas de tokens.