💬 NLP

Evidence-Type Competition: When Can Interventional Data Teach Language Models Causal Direction?

Este artigo demonstra que em ambientes sintéticos onde evidências observacionais e intervencionais conflitam, a capacidade de um modelo de linguagem de inferir a direção causal não é determinada pela mistura de dados de treinamento, mas é, em vez disso, alternada dinâmica e binariamente pelo tipo de evidência presente no contexto de inferência, com pistas observacionais suprimindo ativamente as capacidades latentes de raciocínio causal do modelo.

Autores originais: Xining Xun

Publicado 2026-08-03

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xining Xun

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Detetive, a Pista e a Voz Alta

Imagine que você está tentando ensinar um robô superinteligente a entender causa e efeito. Você quer que ele saiba que, se você apertar um botão, uma luz acende, e não apenas que o botão e a luz costumam aparecer juntos. No mundo da inteligência artificial, existe uma ideia famosa chamada "Escada da Causalidade". Ela sugere que, para entender verdadeiramente por que as coisas acontecem, você precisa de mais do que apenas observar o mundo passar (observação); você precisa realmente intervir e mudar as coisas (intervenção). Por muito tempo, os pesquisadores pensaram que a melhor maneira de ensinar essa habilidade a uma IA era alimentá-la com uma dieta rica em "dados intervencionais" — histórias onde a IA via alguém realmente apertando o botão e a luz acendendo.

A grande questão era simples: Se misturarmos mais dessas histórias de "ação" na dieta do robô, ele ficará melhor em descobrir a causa e o efeito? Este artigo mergulha nessa questão usando um mundo fictício e muito controlado, onde as respostas são matematicamente conhecidas. O pesquisador configurou um cenário complicado chamado "Paradoxo de Simpson", um enigma estatístico onde duas coisas parecem se mover em direções opostas quando você apenas as observa, mas na verdade se movem juntas quando você olha para a causa real. É como ver que pessoas que carregam guarda-chuvas ficam mais molhadas do que aquelas que não carregam, e concluir que os guarda-chuvas causam a chuva, quando na verdade a chuva causa tanto os guarda-chuvas quanto o molhado. O artigo testa se dar ao robô mais treinamento de "intervenção" pode ajudá-lo a ignorar as pistas enganosas da "observação" e encontrar a verdadeira causa.

O Experimento: Alimentando o Robô com uma Dieta Mista

O autor construiu um parquinho digital com 50 "mundos" diferentes. Em cada mundo, ele criou um truque oculto: a observação natural mostrava uma relação negativa (como o exemplo do guarda-chuva), mas o verdadeiro efeito causal era positivo. Ele então treinou modelos de linguagem nesses mundos, misturando diferentes quantidades de dados "intervencionais" (onde o modelo via alguém forçando uma mudança) versus dados "observacionais" (onde o modelo apenas observava).

O pesquisador partiu de uma crença comum, que ele chamou de Hipótese 1: "Se aumentarmos a quantidade de dados de intervenção na mistura de treinamento, o modelo ficará melhor em encontrar a causa verdadeira." Ele testou isso aumentando lentamente a porcentagem de dados de intervenção de 0% até 100%.

Aqui está a reviravolta surpreendente: a hipótese estava errada.

Mesmo quando alimentaram o modelo com 100% de dados de intervenção durante o treinamento, o modelo ainda errava a direção da causa se lhe fossem mostradas pistas observacionais no momento em que precisava responder. O modelo aprendeu o tamanho do efeito a partir dos dados de intervenção (ele sabia que a luz ficaria mais brilhante), mas copiou a direção (positiva ou negativa) das pistas observacionais que viu no contexto. Era como um aluno que memorizou as fórmulas matemáticas perfeitamente, mas, ao fazer uma prova, ignorou as fórmulas e apenas adivinhou com base no padrão das questões anteriores.

O Verdadeiro Culpado: A Troca de Contexto

Então, se a mistura de treinamento não importava, o que importava? O artigo descobriu que o fator decisivo era o tipo de evidência presente no contexto no momento em que o modelo respondia à pergunta.

O pesquisador realizou uma "comparação de quatro vias" para ver como diferentes tipos de pistas afetavam o modelo:

Observação Pura: Quando o contexto tinha apenas registros observacionais, o modelo errou a direção 29 de 50 vezes.
Evidência Mista: Quando o contexto tinha uma mistura de observação e intervenção, ele errou 19 de 50 vezes.
Intervenção Pura (Sondas): Quando o contexto tinha apenas registros de intervenção (sondas), o modelo acertou 41 de 50 vezes.

A descoberta mais emocionante veio de um "truque de mágica" realizado durante o teste. O pesquisador pegou um modelo que havia sido treinado em uma mistura de dados e que estava falhando devido às pistas observacionais em seu contexto. Ele então apagou as pistas observacionais do contexto logo antes de o modelo responder. Instantaneamente, a capacidade do modelo de encontrar a verdadeira causa "ligou". Sua precisão saltou de uma pontuação negativa para uma positiva, igualando o desempenho de um modelo que só tinha visto dados de intervenção.

Isso provou que o modelo tinha aprendido o raciocínio causal o tempo todo; ele estava apenas "desligado" pela presença de evidência observacional. A capacidade estava no cérebro do modelo (seus pesos), mas o contexto estava agindo como um controle remoto que silenciava a resposta correta.

Como a Troca Funciona: Um Botão de Ajuste Gradual

O artigo também explorou como esse interruptor funciona. Não é um simples botão de liga/desliga; é mais como um botão de volume.

Um registro observacional: Mal suprimiu o modelo.
Dois registros: Diluíram o sinal, deixando o modelo confuso.
Quatro registros: Capturaram completamente a atenção do modelo, forçando-o a seguir a direção observacional errada.

Ainda mais interessante, o conteúdo da observação importava. Se os registros observacionais fossem apenas números aleatórios que não correspondiam ao mundo atual, a supressão era mais fraca. Mas se os registros fossem coerentes e correspondessem às correlações específicas do mundo atual, a supressão era mais forte. Isso sugere que o modelo está ouvindo ativamente a "história" no contexto e deixando a narrativa mais coerente sobrepor as regras aprendidas.

Escalonamento e o "Viés Positivo"

O pesquisador também verificou se esse problema melhorava ou piorava conforme os modelos ficavam maiores. Eles testaram um modelo com quase 1 bilhão de parâmetros (muito maior que os 25 milhões iniciais). O problema persistiu: o modelo de contexto misto ainda revertia a direção da causa cerca de 32% das vezes, enquanto o modelo de intervenção pura apenas revertia 6% das vezes.

Finalmente, eles analisaram um conjunto de dados diferente (CLadder) para ver se o modelo havia aprendido uma regra geral como "causas são sempre positivas". Eles descobriram que o modelo de fato havia aprendido um "viés positivo" porque todos os exemplos de treinamento que usaram tinham efeitos positivos. Quando tentaram corrigir isso treinando novamente com exemplos positivos e negativos, o modelo melhorou na leitura de sinais dentro do mundo de treinamento, mas ainda voltava ao padrão de uma resposta positiva quando confrontado com dados externos confusos. Isso sugere que o modelo tem uma "rede de segurança" que entra em ação quando ele está incerto, e essa rede de segurança é difícil de remover.

A Conclusão

Este artigo nos ensina uma lição vital sobre o ensino de IA: apenas alimentá-la com os dados certos não é suficiente. O modelo pode aprender a habilidade, mas se o ambiente em que ele opera (o contexto) estiver cheio de pistas enganosas, ele ignorará o que aprendeu e seguirá as pistas em vez disso. O "interruptor" que liga a verdadeira capacidade de raciocínio do modelo não está nos dados de treinamento; está no contexto que fornecemos no momento do teste. Para obter os melhores resultados, precisamos projetar o contexto para destacar o tipo certo de evidência, em vez de apenas esperar que os dados de treinamento sozinhos deem conta do recado.

Resumo Técnico: Competição de Tipos de Evidência em Modelos de Linguagem

Declaração do Problema

O artigo desafia a hipótese predominante (denotada como H1) de que o aumento da proporção de dados intervencionais no pré-treinamento melhora automaticamente as capacidades de raciocínio causal de um modelo de linguagem (LM). Embora os dados intervencionais sejam teoricamente o "padrão ouro" para aprender a direção causal (Pearl, 2009), este estudo investiga se os LLMs conseguem utilizar efetivamente esses dados quando eles conflitam com a correlação observacional.

O autor foca em cenários de Paradoxo de Simpson, especificamente "mundos de armadilha de Simpson" (Simpson-trap worlds) onde a correlação observacional entre variáveis $X$ e $Y$ é negativa ( $Cor_{obs}(X, Y) < 0$ ), mas o efeito causal verdadeiro é positivo ( $eff(X \to Y) > 0$ ). A questão central é se um LM treinado em uma mistura de dados observacionais e intervencionais pode inferir corretamente a direção causal ou se ele recorre à correlação observacional presente no contexto de inferência.

Metodologia

O estudo emprega um ambiente sintético totalmente controlado para isolar o raciocínio causal do ruído da linguagem natural.

Gerador de Mundo Sintético: O autor gera Modelos Estruturais Causais (SCMs) paramétricos com confundidores ocultos ( $Z$ ). A família de avaliação consiste em 50 mundos onde $Cor_{obs}(X, Y)$ e $eff(X \to Y)$ possuem sinais opostos.
Protocolo de Treinamento: Um decodificador estilo GPT de 25,7M de parâmetros é treinado em uma mistura de dados observacionais (OBS) e intervencionais (INT/PROBE). A fração intervencional $\alpha$ $α$ é variada de 0,0 a 1,0.
- OBS: Amostras observacionais $(v_1, \dots, v_n) \sim P(V)$ .
- PROBE: Registros intervencionais no nó de consulta $X$ ( $do(X=v) \to$ respostas).
Métricas de Avaliação:
- Critério de Acerto (Hit Criterion): Uma previsão é um "acerto" se a inclinação da regressão sobre uma grade $do(X)$ for não nula ($|slope| > 0,05$) e tiver o sinal correto.
- Razão Verdadeira (Ratio True): A razão entre a inclinação prevista pelo modelo e a inclinação do oráculo.
- Controle do Piso de Ruído (Noise Floor Control): O autor quantifica que mesmo um interpolador perfeito comete erros de sinal (26%) devido ao ruído de amostragem em avaliações de sonda de disparo único (single-shot probe). Eles implementam a média de evidências ( $n_{rep}=8$ ) para reduzir esse piso para 9%, garantindo que as reversões observadas sejam artefatos mecanísticos e não estatísticos.
Intervenções em Tempo de Inferência: Para distinguir entre falta de capacidade e supressão impulsionada pelo contexto, o autor realiza intervenções de custo zero de treinamento na inferência, como apagar a evidência observacional ou manipular a "dose" de tipos de evidência.

Principais Contribuições

Falsificação de H1 (Dualidade Magnitude–Direção): O estudo demonstra que o aumento da fração de dados intervencionais no pré-treinamento ( $\alpha$ ) não melhora a precisão da direção causal. Em vez disso, emerge uma dualidade magnitude–direção: o modelo aprende a magnitude do efeito causal a partir dos dados intervencionais (que cresce monotonicamente com $\alpha$ ), mas copia o sinal (direção) do contexto observacional.
O Fator Tipo de Evidência: O principal determinante do desempenho do raciocínio causal não é a proporção da mistura de treinamento, mas o tipo de evidência presente no contexto de inferência.
- Contexto Puramente Observacional: Induz reversão sistemática de sinal em 29/50 mundos.
- Contexto Misto: Induz reversão em 19/50 mundos.
- Contexto de Sonda Puro: Obtém a direção correta em 41/50 mundos (com reversões apenas no nível de ruído de medição).
Localização do Mecanismo: A supressão da habilidade causal é um fenômeno de tempo de inferência, não um déficit de treinamento.
- Apagar a evidência observacional do contexto libera imediatamente a capacidade de interpolação suprimida do modelo (a razão verdadeira salta de -0,09 para +0,56).
- Dobrar a dose de sondagem sem remover a evidência observacional falha em elevar a supressão.
- Patching de Ativação (Activation Patching): Localiza o "interruptor" nas linhas de registros observacionais nas camadas intermediárias (camadas 2–3) do transformer.
Robustez e Escala: O efeito de supressão persiste em escala (0,93B de parâmetros), embora os ganhos intervencionais absolutos diminuam. O fenômeno é estável entre sementes de treinamento, mas manifesta-se como uma elevação difusa da taxa em vez de um conjunto fixo de mundos revertidos em escalas maiores.
Descoberta de Prior de Duas Camadas: Uma auditoria externa no benchmark CLadder revela um prior de efeito positivo aprendido.
- Camada 1 (Dentro da Distribuição): Um viés para efeitos positivos que pode ser removido por retreinamento com randomização de sinal.
- Camada 2 (Fora da Distribuição): Um "padrão positivo" persistente que permanece mesmo após a randomização de sinal, sugerindo um mecanismo de fallback quando a maquinaria de evidência falha em engajar.

Resultados

Ineficácia da Mistura de Treinamento: Nos mundos de Paradoxo de Simpson, variar $\alpha$ de 0 a 1,0 não resulta em melhoria monótona na precisão do sinal (a precisão flutua entre 0,2 e 0,5).
Gradiente de Dose Contextual: Uma comparação de quatro braços (Baseline: OBS Puro; C1: OBS + Sondas; C2: Sondas Puras) mostra um gradiente claro. À medida que a evidência observacional no contexto diminui, a razão verdadeira média aumenta monotonicamente (-0,288 $\to$ -0,092 $\to$ +0,418).
Interruptor Mediado por Conteúdo: A supressão é graduada e mediada pelo conteúdo. Remover o conteúdo observacional (mesmo que os tokens de formato permaneçam) libera a supressão, enquanto apenas diluir a dose não o faz. Dados observacionais coerentes e compatíveis com o mundo exercem o efeito supressor mais forte.
Auditoria CLadder: Modelos treinados em dados intervencionais exibem um comportamento de "leitura unilateral" no CLadder, colapsando mundos de ATE (efeito médio de tratamento) negativos em um padrão positivo. Isso confirma a existência de um forte prior positivo que sobrepõe a evidência quando o modelo está fora da distribuição.

Significância e Alegações

O artigo afirma fornecer um resultado negativo motivador que redefine como a competência causal é compreendida em LLMs. O autor argumenta que:

Capacidade vs. Ativação: A capacidade de realizar interpolação causal existe nos pesos do modelo (provado pelo sucesso dos contextos de sonda pura), mas é desativada pela presença de evidência observacional conflitante no contexto.
Ecologia da Evidência: O gargalo para o raciocínio causal não é a escassez de dados intervencionais no pré-treinamento, mas a ecologia da evidência do contexto de inferência. Priores observacionais podem dominar e suprimir sinais intervencionais.
Rigor Metodológico: O estudo destaca a necessidade de controlar os pisos de ruído de amostragem em avaliações causais e demonstra que "campos de atrator" na precisão de sinal podem ser artefatos de ruído se não forem devidamente calculados pela média.
Implicação Prática: Otimizar apenas as misturas de dados de pré-treinamento é insuficiente. O raciocínio causal eficaz requer engenharia de contexto ou filtragem de tipo de evidência no momento do deploy para evitar que os priores observacionais sobreponham os mecanismos causais aprendidos.

O autor mantém-se modesto, observando que o micromecanismo específico do padrão positivo fora da distribuição ainda não foi identificado e que os achados são atualmente limitados a domínios sintéticos e de grafos de livros didáticos, não à linguagem natural.