Resumo Técnico: Crença ou Circuitos? Evidência Causal para Aprendizado de Grafos em Contexto

1. Declaração do Problema

O artigo aborda um debate fundamental na interpretabilidade mecânica sobre como os Modelos de Linguagem de Grande Escala (LLMs) realizam aprendizado em contexto (ICL). Especificamente, investiga se os LLMs inferem relações estruturais latentes (um mecanismo de "crença" análogo à inferência bayesiana sobre modelos do mundo) ou simplesmente copiam transições locais recentes por meio de circuitos de indução (um mecanismo de "circuitos").

Embora trabalhos recentes (Park et al., 2025) sugerissem que os LLMs mantêm modelos probabilísticos implícitos do mundo sobre estruturas de grafos, contra-argumentos (Arditi, 2026; Ransome, 2026) postulam que os comportamentos observados podem ser totalmente explicados por cabeças de indução locais acumulando estatísticas de transição sem inferência de estrutura global. Os autores visam triangular este debate utilizando uma tarefa controlada de brinquedo envolvendo passeios aleatórios em estruturas de grafos concorrentes.

2. Metodologia

O estudo emprega uma abordagem multifacetada combinando modelagem comportamental, análise representacional e intervenções causais no modelo Llama-3.1-8B.

2.1. Design da Tarefa

Os autores utilizam uma tarefa de passeio aleatório em grafos onde o modelo prevê o próximo nó em uma sequência gerada por um grafo desconhecido. Duas hipóteses concorrentes são testadas:

• $H_{grid}$: Um grafo de grade $4\times4$ (16 nós, 24 arestas, grau variável).
• $H_{ring}$: Um grafo anular de 16 nós (16 arestas, grau uniforme).

Para criar uma competição genuína, os autores intercalam passeios aleatórios de ambos os grafos em proporções de mistura controladas ($\rho$), onde $\rho$ representa a probabilidade de um segmento ser extraído do anel.

2.2. Modelagem Comportamental (Experimento 1)

Os autores ajustam um modelo de dinâmica de crença às curvas de acurácia observadas. Diferentemente das abordagens anteriores de log-prior plano, eles introduzem um prior ponderado por complexidade:
$$b_k = b_0 - \lambda \cdot C(H_k)$$
Onde $C(H_k)$ é a complexidade do Comprimento Mínimo de Descrição (MDL) da hipótese do grafo (baseada na codificação da lista de arestas).

• Hipótese: Se o modelo realizar inferência estrutural, ele deverá exigir mais evidências para comprometer-se com o grafo mais complexo ($H_{grid}$), resultando em $\hat{\lambda} > 0$.
• Contraste: Circuitos de indução puros deveriam acumular estatísticas de transição uniformemente, independentemente da topologia global, prevendo $\hat{\lambda} \approx 0$.

2.3. Análise Representacional (Experimento 2)

Os autores analisam as ativações do fluxo residual (especificamente a camada 26) usando Análise de Componentes Principais (PCA).

• Métrica: Eles medem a energia de Dirichlet normalizada por grau ($E_{norm}$) para quantificar o quão bem a geometria de baixa dimensão das representações de tokens-nó se alinha com a estrutura de adjacência real do grafo.
• Objetivo: Determinar se ambas as topologias de grafos são simultaneamente recuperáveis em subespaços ortogonais em proporções de mistura intermediárias, uma assinatura inconsistente com uma única representação mesclada proveniente de cópia local.

2.4. Intervenções Causais (Experimento 3)

Para estabelecer causalidade entre representações internas e previsões, os autores realizam duas intervenções:

1. Correção de Ativação (Activation Patching): Substituição das ativações do fluxo residual de um prompt "corrompido" (misto) por aquelas de um prompt "limpo" (grafo único) em camadas específicas. Eles medem a recuperação da preferência pelo grafo limpo usando uma pontuação de contraste de logits.
2. Direcionamento de Ativação (Activation Steering): Adição de um "vetor de diferença de grafo" aprendido (derivado de contextos limpos versus anel) ao fluxo residual para deslocar previsões em direção a uma família de grafos específica.

3. Resultados Principais

3.1. Evidência Comportamental

• Sensibilidade à Complexidade: O modelo ajustado mostra $\hat{\lambda} > 0$ e $\hat{b}_{grid} < \hat{b}_{ring}$. O modelo exige contexto desproporcionalmente maior para comprometer-se com a topologia de grade mais densa em comparação com o anel.
• Transição de Fase: O ponto de inflexão para a grade desloca-se monotonicamente para mais tarde à medida que a evidência do anel aumenta.
• Seleção de Modelo: Uma parametrização por grafo (permitindo dinâmicas distintas para cada grafo) supera significativamente uma ablação de viés de mistura (que apenas ajusta o prior) nas métricas AIC e BIC. Isso sugere que o modelo processa evidências estruturais diferentemente para cada topologia, não apenas via um prior estático.

3.2. Evidência Representacional

• Subespaços Ortogonais: Em proporções de mistura intermediárias ($\rho = 0.5$), a PCA revela que ambas as topologias de grade e anel são codificadas simultaneamente em subespaços principais ortogonais.
• Implicação: Um mecanismo de indução puramente local produziria uma única representação mesclada de estatísticas de co-ocorrência. A existência de duas estruturas globais separáveis contradiz a hipótese de "apenas cópia".
• Alinhamento Geométrico: À medida que o comprimento do contexto aumenta além do ponto de inflexão, a geometria interna espelha progressivamente a topologia real, com $E_{norm}$ deslocando-se de 0,785 para 0,828.

3.3. Evidência Causal

• Transferência de Correção: A correção em camadas tardias (por volta das camadas 26–30) transfere quase totalmente a preferência pelo grafo limpo para o prompt corrompido. Crucialmente, este efeito estende-se a arestas não vistas (vizinhos nunca observados no contexto corrompido), indicando que o modelo não está meramente reproduzindo transições observadas, mas utilizando uma representação estrutural.
• Direcionamento: O direcionamento linear usando o vetor de diferença de grafo move com sucesso as previsões na direção pretendida. Este efeito é robusto contra vetores aleatórios com norma correspondida e controles com rótulos embaralhados, confirmando que a direcionalidade é específica ao sinal da família de grafos.

4. Contribuições

1. Prior Ponderado por Complexidade: Substituição de priores planos por uma medida de complexidade inspirada em MDL, recuperando uma assinatura quantitativa de viés estrutural sensível à topologia ($\hat{\lambda} > 0$).
2. Competição Intercalada: Demonstrou que o acúmulo de evidências com viés de topologia resiste à previsão do circuito de indução de comportamento simétrico em um regime de hipótese mista.
3. Codificação Simultânea: Fornecimento de evidências de PCA de que topologias globais distintas de grafos são recuperáveis em subespaços ortogonais simultaneamente, um padrão difícil de conciliar com a cópia de transições locais.
4. Ligação Causal: Estabelecimento, via correção e direcionamento, de que essas estruturas representacionais controlam causalmente as previsões do próximo token, inclusive para transições não vistas.

5. Significado e Conclusão

O artigo conclui que a dicotomia entre "crença" (inferência de estrutura global) e "circuitos" (indução local) é provavelmente uma falsa dicotomia. A evidência apoia uma conta de mecanismo duplo:

• Caches semelhantes à indução permanecem importantes, conforme evidenciado por efeitos atrasados em arestas não vistas e recuperação incompleta sob direcionamento.
• Representações de estrutura latente operam em paralelo, integrando evidências antes da previsão final.

Os autores afirmam que a arquitetura desta coexistência — onde a inferência de estrutura genuína e os circuitos de indução operam simultaneamente — é o principal desafio para a interpretabilidade mecânica no futuro. Eles não afirmam que os LLMs possuem raciocínio totalmente semelhante ao humano, mas sim que mantêm modelos probabilísticos do mundo implícitos e manipuláveis ao lado de mecanismos de correspondência de padrões locais.