💬 NLP

Causal Tongue-Tie: LLMs Can Encode Causal Direction, But Their Yes/No Outputs Fail to Express

Este artigo revela um fenômeno de "Anquiloglossia Causal" em modelos de linguagem de grande escala, no qual estados ocultos codificam com precisão evidências causais (aproximadamente 97% de precisão) apesar das respostas verbais Sim/Não dos modelos falharem em expressar esse conhecimento (aproximadamente 50% de precisão), sugerindo que benchmarks padrão baseados exclusivamente em respostas finais podem distorcer as verdadeiras capacidades de raciocínio causal de um modelo.

Autores originais: Ziyi Ding, Xiao-Ping Zhang

Publicado 2026-05-26

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Ziyi Ding, Xiao-Ping Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um modelo de linguagem grande (LLM) como um aluno brilhante, mas tímido, sentado em uma sala de aula. Este aluno fez uma prova sobre causa e efeito (como "Fumar causa câncer de pulmão?").

O artigo descobre um fenômeno estranho que os autores chamam de "Travamento Causal". Eis o que está acontecendo, dividido em partes simples:

1. As Duas Vozes: O "Cérebro" vs. A "Boca"

Geralmente, assumimos que, se o "cérebro" de um computador (sua matemática interna e cálculos ocultos) conhece a resposta, sua "boca" (o texto que ele digita) dirá a mesma coisa.

Este artigo descobriu que, para esses modelos, o cérebro e a boca estão contando histórias diferentes.

O Cérebro (Estado Oculto): Quando você espreita a matemática do modelo enquanto ele pensa, ele claramente deduziu a resposta correta com base nas evidências fornecidas na pergunta. É como o aluno levantando a mão e sussurrando a resposta certa para o professor.
A Boca (A Saída): Quando o modelo realmente fala (escreve "Sim" ou "Não"), ele ignora seu próprio cérebro e recua para o que ele acha que é senso comum, mesmo que as evidências digam o contrário. É como o aluno sussurrando a resposta certa, mas depois gritando a errada em voz alta porque tem medo de estar errado.

2. O Teste "Anti-Senso Comum"

Para provar isso, os pesquisadores usaram um truque. Eles deram aos modelos perguntas onde as evidências estavam invertidas.

O Cenário: Eles disseram ao modelo: "Nesta história, fumar previne o câncer de pulmão." (No mundo real, fumar causa-o).
O Resultado:
- A Boca do Modelo: Disse "Não, fumar não previne o câncer de pulmão". Ela se recusou a aceitar a nova regra e manteve-se nos hábitos do mundo real.
- O Cérebro do Modelo: Uma ferramenta especial (uma "sonda") olhou dentro da matemática do modelo e descobriu que ele havia entendido perfeitamente a nova regra. Ele sabia que a resposta era "Sim" com base na história fornecida.

A lacuna entre o cérebro conhecendo a verdade (97% de precisão) e a boca dizendo a coisa errada (50% de precisão) é o "Travamento Causal".

3. A Metáfora do "Travamento"

Pense nisso como uma pessoa que está travada.

Ela sabe exatamente o que quer dizer.
Ela tem as palavras certas na cabeça.
Mas, quando tenta falar, a língua fica presa, e ela acidentalmente diz o oposto ou algo genérico.

O artigo argumenta que, quando um modelo erra uma pergunta causal, isso nem sempre significa que o modelo é estúpido ou não entende. Às vezes, significa que o modelo entende perfeitamente, mas não consegue expressar isso através do formato padrão "Sim/Não".

4. Por Que "Sim/Não" é o Problema

Os pesquisadores tentaram diferentes maneiras de fazer a pergunta para ver se conseguiam "desatar" a língua.

Perguntando "Sim/Não": O modelo falha. Ele fica preso em seus velhos hábitos.
Perguntando "A ou B": Quando forçaram o modelo a escolher entre duas opções específicas (por exemplo, "A causa B, ou B causa A?"), o modelo de repente acertou quase 100% das vezes.

Isso sugere que o problema não é que o modelo carece do conhecimento. O problema é a interface. O simples botão "Sim/Não" age como uma armadilha que força o modelo a recorrer aos seus dados de treinamento (senso comum) em vez das evidências específicas no prompt.

5. O Que Isso Significa para o "Raciocínio"

O artigo faz um ponto crucial sobre como julgamos a IA:

Se um modelo acerta a resposta: Pode ser apenas um chute ou seguir um padrão, não necessariamente "raciocinando".
Se um modelo erra a resposta: Não significa que ele não consegue raciocinar. Ele pode estar raciocinando corretamente dentro de seu "cérebro", mas falhando em dizer em voz alta.

A Conclusão:
Não podemos apenas olhar para o "Sim" ou "Não" final para decidir se uma IA entende causa e efeito. Às vezes, a IA conhece a verdade, mas está muito "travada" para dizê-la da maneira que esperamos. O artigo sugere que precisamos de melhores maneiras de ouvir o que o modelo está realmente pensando, e não apenas o que ele está dizendo.

Resumo Técnico: Amarramento Causal da Língua

Declaração do Problema

O artigo aborda uma discrepância crítica entre as capacidades de raciocínio causal interno dos Modelos de Linguagem de Grande Escala (LLMs) e suas saídas textuais explícitas. Enquanto benchmarks padrão avaliam o raciocínio causal com base na precisão das respostas "Sim/Não" de um modelo, este trabalho investiga se os LLMs possuem a direção causal correta em seus estados ocultos, mesmo quando sua saída verbal falha em expressá-la. Especificamente, os autores focam em consultas causais anti-senso comum (por exemplo, prompts que estipulam que "o fumo previne o câncer de pulmão"), onde os modelos frequentemente recorrem a priors de senso comum em sua saída, apesar de evidências no prompt sugerirem o contrário.

O problema central é que uma única métrica de precisão em benchmarks baseados apenas na saída confunde dois modos de falha distintos:

Papagaios Causais: O modelo carece completamente do sinal causal interno e depende de heurísticas superficiais.
Amarramento Causal da Língua: O modelo codifica a direção causal apoiada pelas evidências internamente, mas falha em verbalizá-la no formato de saída padrão.

Metodologia

Os autores propõem um protocolo de medição que compara dois canais de leitura a partir da mesma única passagem forward de um decodificador transformer instruído e congelado:

Leitura Interna (Sonda): Uma sonda linear (regressão logística congelada) ou uma direção de subespaço contrafactual ( $V_{cs}$ ) derivada das ativações do estado oculto ( $h^{(\ell)}$ ) no último token do prompt.
Saída Externa: As próprias probabilidades de próximo token do modelo ( $lm\_head$ ) para a resposta padrão "Sim/Não".

Configuração Experimental

Conjuntos de Dados: O estudo utiliza CLADDER (Jin et al., 2023) e CounterBench (Chen et al., 2025), focando em itens anti-senso comum (anti-SC) onde a evidência do prompt contradiz priors do mundo real.
Pares Mínimos Contrafactuais: Para cada prompt $x_i$ , um par contrafactual $x_i^{cf}$ é gerado trocando palavras causais (por exemplo, "causa" vs. "previne") para inverter a resposta ouro, mantendo a forma superficial idêntica. A diferença nos estados ocultos ( $\Delta h$ ) define o sinal de direção causal.
Modelos: O protocolo é aplicado em oito modelos instruídos, incluindo Qwen2.5 (de 0,5B a 72B), Mistral-7B e DeepSeek-7B.
Controles: O estudo emprega controles rigorosos para descartar memorização de palavras superficiais, incluindo:
- Subespaços Falsos: Sondas treinadas em prompts de entidades sem sentido.
- Controles de Direção Aleatória: Vetores aleatórios de Haar do mesmo rank.
- Variação de Palavras Causais: Remoção ou alteração de vocabulário causal mantendo a estrutura.
- Variações de Interface: Testando diferentes formatos de resposta (Sim/Não, escolha forçada A/B, Verdadeiro/Falso, Chinês, etc.).

Principais Contribuições

O artigo introduz o conceito de Amarramento Causal da Língua, definido como o fenômeno empírico onde:
$\Delta = Acc_{sonda} - Acc_{saida} \approx +0,5$
Em itens anti-senso comum, a sonda linear recupera a resposta apoiada pelas evidências com alta precisão ( $\approx 0,97$ ), enquanto a saída falada Sim/Não recua para o prior de senso comum ( $\approx 0,5$ ).

Os autores formalizam um framework 2×2 para falhas em benchmarks causais:

(a) Correto Alinhado: Tanto a sonda quanto a saída estão corretas.
(b) Amarramento Causal da Língua (Este Trabalho): A sonda está correta; a saída está errada (foco do artigo).
(c) Papagaio Causal: A sonda não encontra nada; a saída está correta por heurística superficial.
(d) Falha Genuína: Ambos estão errados.

Resultados Empíricos

Escala da Lacuna: A lacuna ( $\Delta \approx +0,5$ ) persiste em tamanhos de modelo de 0,5B a 72B parâmetros. À medida que o tamanho do modelo aumenta, a precisão da sonda interna aumenta (atingindo 1,0 em 72B), enquanto a precisão da saída permanece estagnada perto do acaso (0,35–0,53).
Validade do Sinal Interno:
- A direção da sonda não é aleatória; ela rastreia a evidência causal, não apenas palavras superficiais.
- Lesionamento: Projetar a direção causal ( $V_{cs}$ ) para fora do estado oculto colapsa a capacidade interna do modelo de distinguir pares contrafactuais (queda de KL de -96,3%), confirmando que a direção é funcionalmente usada para comparação interna.
- Correção de Ativação: Substituir o estado oculto de um item anti-SC errado por aquele de um item de senso comum correspondente inverte a precisão da saída de 0 para 0,57, demonstrando que o estado interno contém informações suficientes para corrigir a saída, embora uma simples troca escalar do vetor de direção seja insuficiente.
Dependência de Interface: A falha está localizada na interface de resposta verbal.
- Quando o formato de saída é alterado para uma escolha forçada A/B estruturada (por exemplo, "Qual é mais plausível: A. c causa e, ou B. c não causa?"), a precisão salta para quase perfeita (1,0), enquanto o formato padrão Sim/Não permanece no acaso.
- A lacuna persiste em diferentes formas superficiais (Sim/Não, Verdadeiro/Falso, Chinês "Shi/Fou"), indicando que o problema não é específico dos tokens "Sim/Não", mas sim da etapa de compromisso na interface verbal.
Análise de Entropia: O modelo exibe baixa entropia (alta confiança) na resposta errada no formato Sim/Não, indicando um "compromisso confiante errado" impulsionado por priors de senso comum, enquanto o formato A/B permite que o sinal interno se expresse com entropia próxima de zero.

Significado e Alegações

O artigo alega que conclusões abrangentes sobre se os LLMs podem realizar raciocínio causal baseadas em um único número de precisão de saída são falhas.

Reavaliando Benchmarks: Um veredito "errado" em um benchmark não significa necessariamente que o modelo carece de conhecimento causal; pode significar apenas que o modelo não consegue expressar esse conhecimento através da interface verbal específica utilizada. Por outro lado, um veredito "correto" não garante que o modelo tenha compreendido o mecanismo causal (pode ser um Papagaio Causal).
Natureza da Falha: Os autores caracterizam o Amarramento Causal da Língua como uma falha de interface verbal, não uma falta de representação interna. O modelo "sabe" a resposta em seus estados ocultos, mas está "amarrado" em sua capacidade de dizê-la quando forçado a comprometer-se com um formato verbal enviesado pelo senso comum.
Limitações: Os autores afirmam explicitamente que "codificação" neste contexto refere-se à recuperabilidade de uma direção linear no estado oculto, não a uma compreensão semelhante à humana ou a um circuito causal completo. A direção interna é causalmente suficiente para corrigir a saída em mais de 50% dos casos, mas não em todos, e a direção recuperada é sensível à redação do modelo.

Em resumo, o artigo defende uma avaliação de duplo canal para LLMs (estado interno + saída externa) para distinguir entre falhas de raciocínio genuínas e limitações expressivas, alertando para cautela na interpretação de benchmarks causais baseados apenas na saída.