🤖 machine learning

Where's the Plan? Locating Latent Planning in Language Models with Lightweight Mechanistic Interventions

Este artigo investiga onde e como os modelos de linguagem formam representações internas de restrições futuras durante o planejamento, revelando que, embora informações de rima futura sejam linearmente decodificáveis em múltiplas famílias e escalas de modelos, apenas o Gemma-3-27B depende causalmente de um mecanismo específico de transferência nas camadas tardias para utilizar essa informação, ao passo que outros modelos condicionam-se à própria palavra de rima, apesar de exibirem sinais de sondagem fortes.

Autores originais: Nicole Ma, Nick Rui

Publicado 2026-05-11

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nicole Ma, Nick Rui

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está assistindo a um mágico realizar um truque. Você vê ele tirar um coelho de um chapéu, mas não sabe como ele fez isso. Ele tinha o coelho escondido na manga o tempo todo? Ou ele o conjurou magicamente no momento em que mergulhou a mão no chapéu?

Este artigo é como um par de óculos de raio X para modelos de IA. Os pesquisadores queriam saber: Quando uma IA escreve um poema, ela secretamente "planeja" o final antes mesmo de começar a escrever a próxima linha?

Aqui está a história de sua descoberta, dividida em partes simples.

O Teste: O Desafio da Rima

Para testar isso, os pesquisadores deram às modelos de IA uma tarefa simples: completar um parelho rimado.

O Prompt: "Ela sentiu um súbito medo",
O Objetivo: A IA precisa escrever uma segunda linha que termine com uma palavra que rime com "medo" (como "frio" ou "rio").

A pergunta era: A IA tem uma nota interna secreta dizendo "Preciso rimar com 'medo'" antes de começar a digitar a segunda linha? Ou ela apenas descobre isso palavra por palavra, conforme avança?

As Duas Ferramentas: O "Espião" e o "Viajante do Tempo"

Os pesquisadores usaram dois métodos diferentes para olhar dentro do cérebro da IA (seus "estados ocultos").

O Espião (Probing Linear):
Imagine um espião que pode espiar as anotações da IA e perguntar: "Ei, você sabe qual palavra vem a seguir?"
- O que descobriram: Em quase todos os modelos de IA testados (Qwen, Llama e Gemma), o espião encontrou a resposta! No exato momento em que a IA terminou a primeira linha (o caractere de nova linha), as anotações internas da IA de fato continham a informação sobre a rima.
- O Pulo do Gato: Apenas porque o espião encontrou a nota não significa que a IA está realmente usando ela. Pode ser como ter um mapa no bolso, mas ignorá-lo e apenas caminhar aleatoriamente.
O Viajante do Tempo (Patching de Ativação):
Este é o teste real. Imagine que você é a IA. Você está prestes a escrever a segunda linha. Os pesquisadores "viajam no tempo" e trocam seu estado cerebral atual pelo estado cerebral de uma IA diferente que estava tentando rimar com uma palavra diferente (por exemplo, tentando rimar com "medo" em vez de "medo").
- A Pergunta: Se você trocar o estado cerebral, a IA começa subitamente a escrever palavras que rimam com "medo"?
- Se sim: A IA estava realmente planejando e usando essa informação.
- Se não: A IA estava apenas fingindo ter o plano, ou descobriu isso mais tarde.

A Grande Surpresa: Apenas Um Modelo Realmente Planejou

É aqui que a história fica interessante. Os resultados foram muito diferentes para modelos diferentes:

Os "Planejadores Falsos" (Qwen e Llama):
Esses modelos foram ótimos no teste do "Espião". Eles tinham a informação da rima armazenada em seus cérebros no final da primeira linha. Mas quando os pesquisadores tentaram o teste do "Viajante do Tempo", nada aconteceu. Trocar o estado cerebral não alterou a saída.
- Analogia: É como um chef que tem um cartão de receita no balcão (a informação está lá), mas o ignora e apenas cozinha pelo cheiro e instinto. Eles não realmente usaram o plano para guiar sua cozinha; apenas continuaram olhando para a última palavra que escreveram ("medo") para descobrir a próxima.
O "Planejador Real" (Gemma-3-27B):
Este modelo específico foi diferente.
- Camadas iniciais: No início da segunda linha, ele dependia da última palavra ("medo").
- A Transferência: Por volta da camada 30 (uma profundidade específica no cérebro da IA), algo mágico aconteceu. O "dever de planejar" mudou da última palavra para a nova linha (o espaço vazio após a primeira linha).
- O Resultado: Quando os pesquisadores trocaram o estado cerebral na nova linha, a IA imediatamente começou a tentar rimar com a nova palavra.
- Analogia: Este modelo é como um maestro. No início da música, ele olha para a partitura (a última palavra). Mas no meio do caminho, ele deixa a partitura de lado e começa a reger a orquestra com base em um mapa mental que construiu na pausa (a nova linha). Ele realmente usou o plano para guiar a música.

A Investigação "Quem Fez Isso?"

Para o modelo Gemma, os pesquisadores queriam saber exatamente quais partes do cérebro estavam fazendo esse planejamento. Eles reduziram a busca a uma equipe pequena e específica: cinco cabeças de atenção (pense nelas como cinco neurônios específicos ou "trabalhadores" no cérebro da IA).

Quando eles mexeram apenas nesses cinco trabalhadores, a IA perdeu sua capacidade de planejar. Quando os deixaram sozinhos, a IA planejou perfeitamente. Não foi um processo bagunçado e geral; foi uma operação precisa e cirúrgica realizada por uma pequena equipe.

A Conclusão Principal

O artigo conclui que apenas porque uma IA tem informação não significa que ela está planejando.

Muitos modelos podem armazenar a ideia de uma rima futura (eles têm o mapa).
Mas apenas um modelo (Gemma-3-27B) realmente usa esse mapa armazenado para guiar suas ações futuras (ele segue o mapa).
Para os outros, eles estão apenas reagindo ao passado imediato, não planejando para o futuro, mesmo que a informação futura esteja tecnicamente sentada em seus cérebros.

Isso é importante porque mostra que "inteligência" ou "planejamento" não é apenas sobre ter dados; é sobre como esses dados são ativamente usados para moldar o que acontece a seguir. E, surpreendentemente, essa capacidade de "planejar" não é apenas uma característica geral de todas as IAs grandes; é uma peculiaridade específica que apenas alguns modelos desenvolveram.

Resumo Técnico: Onde Está o Plano? Localizando Planejamento Latente em Modelos de Linguagem com Intervenções Mecanísticas Leves

Declaração do Problema
Modelos de linguagem autoregressivos geram texto token por token, mas frequentemente produzem saídas que exigem coerência estrutural de longo alcance, como parelhas rimadas. Isso levanta uma questão fundamental sobre planejamento latente: os modelos formam representações internas de saídas futuras que causalmente impulsionam a geração, mesmo quando esses processos são invisíveis à avaliação comportamental externa? Embora trabalhos anteriores tenham estabelecido que informações compatíveis com planejamento existem em alguns modelos, permanece incerto onde exatamente essas informações residem durante a passagem direta e se elas se movem (um fenômeno que os autores denominam formação de local de planejamento). Além disso, distinguir entre informações que são meramente codificadas (passivas) e informações que são causalmente utilizadas (ativas) é crítico para uma compreensão mecanística precisa e avaliação de segurança.

Metodologia
Os autores empregam um caso de teste limpo: completamento de parelhas rimadas. Dada uma primeira linha terminando em uma palavra de rima $r_1$ , o modelo deve gerar uma segunda linha terminando em uma palavra de rima $r_2$ . O estudo utiliza dois métodos de intervenção mecanística leve em três famílias de modelos de código aberto (Qwen3, Gemma-3, Llama-3) em várias escalas (até 70B parâmetros):

Sondagem Linear (Evidência de Codificação): Classificadores lineares são treinados para prever o token de rima futuro $r_2$ a partir dos estados ocultos $h_{\ell,i}$ em várias camadas $\ell$ e posições $i$ . Isso determina se informações compatíveis com planejamento são decodificáveis em locais específicos (por exemplo, o token da última palavra versus o token de nova linha).
Correção de Ativação (Evidência Causal): O estado oculto em uma posição e camada específicas de uma execução "corrompida" (visando uma família de rimas diferente) é substituído em uma execução "limpa". Se essa intervenção redirecionar a geração para a rima corrompida, o local é identificado como um local de planejamento causalmente ativo.

O estudo compara especificamente o token da última palavra (posição $i \approx -1$ ou $-2$) contra o token de nova linha (posição $i = 0$ ) para rastrear a migração da influência causal.

Principais Resultados

Dissociação entre Codificação e Causalidade:
- Sondagem: Em todas as três famílias de modelos, as sondas lineares decodificam com sucesso informações de rima futura no token de nova linha. A força desse sinal geralmente aumenta com a escala do modelo, sugerindo que representações compatíveis com planejamento são uma propriedade emergente de modelos maiores.
- Correção de Ativação: Apesar de sinais de sonda fortes, apenas o Gemma-3-27B exibe um local de planejamento causalmente ativo no token de nova linha. Neste modelo, o motor causal da geração migra do token da última palavra para o token de nova linha por volta da camada 30.
- Outros Modelos: Qwen3 (até 32B) e Llama-3 (até 70B) condicionam-se ao token da última palavra durante toda a geração. Apesar de codificarem informações de rima no token de nova linha (como mostrado pelas sondas), corrigir o token de nova linha nestes modelos tem um efeito causal quase nulo na saída.
Localização da Transferência (Gemma-3-27B):
- A "transferência" da influência causal da última palavra para a nova linha é mediada por um conjunto esparsa de cinco cabeças de atenção nas camadas 28 e 30.
- Usando correção de caminho em dois estágios, os autores demonstram que corrigir essas cinco cabeças específicas simultaneamente recupera aproximadamente 90% da capacidade de roteamento de rima normalmente alcançada ao sobrescrever todo o fluxo residual no token de nova linha.
- O mecanismo é específico para atenção; corrigir os MLPs correspondentes não produz efeito.

Principais Contribuições

Definição de Formação de Local de Planejamento: O artigo formaliza a distinção entre representações compatíveis com planejamento (detectáveis via sondagem) e locais de planejamento causalmente ativos (estabelecidos via intervenção), destacando que a primeira não garante a segunda.
Estrutura Mecanística Escalável: Os autores propõem uma estrutura usando sondagem linear e correção de ativação que não requer treinamento de transcodificadores e utiliza significativamente menos dados do que abordagens de vetores de direção, tornando-a aplicável a arquiteturas grandes e de código aberto.
Descoberta Empírica de Divergência: O estudo revela que diferentes arquiteturas de modelos (mesmo dentro da mesma faixa de escala) resolvem restrições estruturais por meio de mecanismos fundamentalmente diferentes: alguns dependem de uma condição estática de "última palavra", enquanto outros (como o Gemma-3-27B) implementam uma "transferência" dinâmica para a nova linha.
Identificação de Circuito Esparsa: O trabalho localiza com sucesso um comportamento complexo de planejamento no Gemma-3-27B em um conjunto específico e pequeno de cabeças de atenção, demonstrando que tais fenômenos emergentes podem ser estruturados em vez de difusos.

Significado e Alegações
O artigo argumenta que o sinal da sonda sozinho é evidência insuficiente de um local de planejamento. Avaliações comportamentais padrão ou sondagens simples podem subestimar sistematicamente ou caracterizar erroneamente as capacidades de planejamento de um modelo se falharem em distinguir entre codificação passiva e uso causal ativo.

Os autores afirmam que a formação de local de planejamento é um fenômeno emergente distinto ligado a escala e arquitetura específicas do modelo, em vez de uma consequência universal de representações compatíveis com planejamento fortes. A identificação de um circuito causal esparsa (as cinco cabeças de atenção) sugere que o planejamento latente pode ser um processo computacional altamente estruturado.

O estudo conclui com limitações modestas: as descobertas estão atualmente restritas a três famílias de modelos e a uma única tarefa estruturada (rimas). Os autores observam que permanece uma questão em aberto se esse mecanismo de "transferência" é um primitivo de planejamento geral ou específico para restrições fonológicas, e se a ausência dessa transferência nos modelos Qwen e Llama se deve a diferenças arquitetônicas ou dados de treinamento.