💬 NLP

One mechanism for many mental spaces: a shared router over a value slot in language models

Este artigo demonstra que modelos de linguagem transformer implementam um mecanismo unificado para diversos espaços mentais (tais como crenças, ficções e contrafatuais) utilizando um roteador de baixo posto compartilhado que seleciona valores de um único slot reutilizável, em vez de empregar estruturas lógicas distintas para cada tipo de contexto.

Autores originais: Oliver Steele, Jiangtao Wen, Yuxing Han

Publicado 2026-07-14

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Oliver Steele, Jiangtao Wen, Yuxing Han

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um modelo de linguagem como um bibliotecário superorganizado que não apenas armazena livros, mas armazena mundos inteiros dentro de uma única biblioteca. Nesta biblioteca, uma flor pode ser vermelha na seção do "Mundo Real", roxa na seção de "Retrato" e verde na seção do "Sonho de Alice". A grande questão era: o bibliotecário mantém esses mundos em salas totalmente separadas, com regras diferentes para cada um? Ou ele usa um sistema inteligente e reutilizável para lidar com todos eles?

Este artigo sugere que o bibliotecário usa um sistema compartilhado para tudo.

A Etiqueta Mágica e o Roteador

Pense na cor da flor como um pedaço de dado sentado em uma prateleira. O artigo descobre que o modelo usa uma "etiqueta" especial de baixo rank (chamada de roteador ou índice de espaço) para selecionar qual mundo ler. Esta etiqueta é separada dos próprios dados. Os dados residem em uma área de armazenamento neutra chamada slot de valor, que contém a cor, mas não se importa se ela pertence à realidade ou a um sonho.

Mas como o modelo sabe qual cor escolher quando você pergunta: "Qual é a cor da flor no retrato?" Ele usa o roteador. Você pode pensar neste roteador como um índice inteligente e causalmente manipulável. Quando você pergunta sobre o retrato, o roteador seleciona a configuração "Retrato", e o modelo lê a flor roxa do slot compartilhado. Quando você pergunta sobre a realidade, o roteador seleciona "Realidade", e o modelo lê a flor vermelha.

O artigo mostra que este roteador não é uma máquina diferente para cada tipo de mundo. Quer o mundo seja uma crença (o que Alice pensa), uma memória (ontem), um hipotético (e se...) ou uma ficção (em um filme), o modelo usa o mesmo tipo de roteador.

Um Interruptor para Reger a Todos

Os pesquisadores testaram isso treinando o modelo para controlar apenas um tipo de mundo, como "hipotéticos" (coisas que poderiam acontecer). Então, tentaram usar esse mesmo mecanismo de controle em outros mundos, como "crenças" ou "filmes".

O resultado? O interruptor funcionou para tudo.

Quando eles treinaram o modelo para inverter a cor em um cenário hipotético, esse mesmo treinamento inverteu a cor em um cenário de crença de 71% a 89% das vezes (dependendo da família do modelo).
Isso sugere que o modelo não possui uma "máquina de crença" especial e secreta que é totalmente diferente de sua "máquina de filmes". Em vez disso, ele tem um roteador compartilhado que lida com todos esses diferentes contextos.

O Que NÃO É (As Ideias Descartadas)

O artigo é muito cuidadoso ao dizer o que este sistema não é:

Não é apenas memorização de palavras: O modelo não está apenas memorizando que a palavra "vermelho" apareceu perto de "realidade" e "roxo" perto de "retrato". O sistema realmente carrega um código para o próprio contexto.
Não é um quarto separado para crenças: A lógica formal frequentemente trata "crenças" como uma categoria totalmente diferente e opaca, onde as regras mudam. Este artigo argumenta que, mecanicamente, o modelo trata as crenças como qualquer outro espaço. A etiqueta de "crença" não é especial ou separada da etiqueta "hipotético" na fiação do modelo.
Não é um post-it estático: O modelo não escreve a cor em um bilhete permanente e o deixa lá. Em vez disso, é mais como um sistema de recuperação. Quando você faz uma pergunta, o modelo volta à fonte do texto e rele o conteúdo baseado na configuração do "espaço" atual. É uma leitura "just-in-time", não um slot de armazenamento permanente.

A Divisão entre "Relato" vs. "Raciocínio"

Aqui está uma reviravolta interessante que o artigo descobriu. O modelo tem dois caminhos diferentes para a mesma informação:

O Caminho do Relato: É o que o modelo diz em voz alta.
O Caminho do Raciocínio: É o que o modelo usa para resolver um quebra-cabeça.

Os pesquisadores descobriram que podem controlar esses caminhos separadamente. Eles puderam treinar o modelo para dizer "A flor é verde" (invertendo o relato), enquanto mantêm o modelo resolvendo um quebra-cabeça lógico como se a flor fosse "azul" (mantendo o raciocínio inalterado). Isso prova que o modelo mantém o "o que eu digo" e o "o que eu penso" em partes ligeiramente diferentes de seu cérebro, embora ambos venham da mesma fonte.

Construindo Novos Mundos

Quando o modelo encontra uma frase complexa como "Alice costumava acreditar que a xícara era azul", ele está construindo um novo espaço (uma mistura de "passado" e "crença"). O artigo mostra que o modelo não constrói uma biblioteca inteira para isso. Em vez disso, ele reutiliza o mesmo slot de valor (a cor da xícara), mas cunha um novo roteador (um novo ajuste de índice) especificamente para este novo mundo combinado. É como pegar um livro existente e dar a ele uma nova etiqueta de capa temporária sem reescrever toda a história.

O Quão Certos Estamos?

O artigo é bastante confiante sobre essas descobertas, mas com limites específicos:

Provado em laboratório: Os resultados baseiam-se em medições diretas das "ativações" internas do modelo (seus sinais elétricos) em três famílias de modelos (Qwen, Pythia e Falcon3). Os pesquisadores não apenas adivinharam; eles intervieram fisicamente no código do modelo para provar que o roteador causa o comportamento.
Não é uma solução mágica: O artigo admite que, embora o roteador seja compartilhado, ele não é perfeitamente idêntico para cada tipo de mundo. Por exemplo, contextos de "pintura" ou "filme" às vezes agem de forma um pouco diferente de contextos de "crença". Além disso, a capacidade do modelo de lidar com esses mundos tem um formato de "recuperação" (retrieval-shaped), o que significa que depende de reler o texto em vez de manter uma memória estática, o que o torna ligeiramente "vazante" em alguns testes.
A escala importa: Esses detalhes mecânicos foram encontrados em modelos menores (3 bilhões de parâmetros). No entanto, o comportamento (a capacidade de lidar com esses mundos) foi confirmado como existente em modelos massivos e de fronteira (como GPT-4o e modelos de 72B), sugerindo que o mecanismo escala mesmo que não possamos espiar dentro desses gigantes com tanta facilidade.

Em suma, o artigo sugere que os modelos de linguagem possuem um "roteador de espaço" unificado e reutilizável que permite que eles manipulem realidade, sonhos, crenças e filmes usando a mesma ferramenta mecânica, em vez de precisarem de uma ferramenta diferente para cada tipo de imaginação.

Resumo Técnico: Um Mecanismo para Muitos Espaços Mentais

Declaração do Problema
Modelos de linguagem (LMs) devem gerenciar contextos de discurso que divergem da realidade, como crenças, memórias, hipóteses e representações (por exemplo, uma flor que é vermelha na realidade, mas roxa em um retrato). A semântica formal trata esses casos como domínios lógicos distintos (modal, temporal, doxástico, depictivo) com diferentes regras de inferência. Em contrapartida, a teoria dos espaços mentais de Fauconnier postula uma operação unificada de "construção de espaço" onde o discurso cria espaços parciais e vincula valores a eles. A questão central é se os LMs transformer implementam isso como módulos semânticos separados ou como uma operação mecanística unificada. Especificamente, o modelo mantém um código dedicado para o contexto de discurso local (um "índice de espaço") que é causalmente distinto dos próprios valores das entidades, e se esse código é compartilhado entre diferentes tipos de contextos não atuais?

Metodologia
O estudo emprega técnicas de interpretabilidade mecanística em modelos transformer de pesos abertos (primariamente Qwen2.5-3B, com replicação em Pythia-2.8b e Falcon3-3B) utilizando estímulos de linguagem natural controlados.

Estímulos: Itens apresentam uma entidade com dois valores de atributo conflitantes (ex: cor) através de um mundo "base" (realidade) e um espaço "alternativo" (ex: uma pintura, uma crença, um estado passado). O modelo é consultado em um token posterior para recuperar o valor para um espaço específico.
Localização: Os autores utilizam sondagem linear (linear probing) para verificar que tanto o valor base quanto o valor alternativo são decodificáveis a partir das ativações do fluxo residual no token de consulta.
Intervenção Causal:
- Busca de Alinhamento Distribuído (DAS): Para superar a falha de vetores de direção construídos manualmente, os autores treinam subespaços ortonormais de baixo posto ( $R \in \mathbb{R}^{d \times k}$ ) usando um objetivo de troca (interchange objective). Este subespaço é otimizado para inverter a saída do modelo do valor base para o valor alternativo quando o componente do subespaço é transposto de um item doador.
- Dupla Dissociação: Os autores testam se o valor que o modelo reporta (emite como texto) e o valor que ele usa para raciocinar (aplica uma regra de ordenação) são controlados por subespaços distintos.
- Transferência entre Tipos: Um subespaço treinado para controlar um tipo de construtor (ex: hipotético) é aplicado sem alterações a outros tipos de construtores (ex: crença, temporal) para testar um mecanismo compartilhado.
- Composição: O estudo examina espaços aninhados (ex: "Alice costumava acreditar...") para ver se um novo espaço reutiliza o slot de valor da base enquanto cria um novo roteador (router).

Contribuições Principais e Resultados

Existência de um Subespaço Compartilhado de Baixo Posto (O Índice de Espaço):
- O modelo representa valores coexistentes para a mesma entidade em uma menção posterior.
- O mecanismo é um subespaço de baixo posto (posto efetivo $\sim$ 4–5, posto causal $\le$ 4) que atua como um "roteador" ou "índice de espaço".
- Este índice se compõe aditivamente com a identidade da entidade (a representação de "Entidade E no Espaço S" fatoriza em Entidade + Espaço).
- É geral em propriedades (funciona para cor, altura, riqueza, etc.) e geral em tipos de entidade (funciona para pessoas e objetos).
- O vínculo é do tipo recuperação (retrieval-shaped): os valores não são armazenados em slots globais estáticos, mas são relidos de tokens de origem via cabeças de atenção de camadas tardias, assemelhando-se a um mecanismo de "olhar para trás" (lookback).
Unificação Causal entre Tipos de Espaço:
- Um subespaço DAS treinado em um tipo de construtor (ex: contrafatuais) controla causalmente outros tipos (crença, temporal, ficcional) com altos índices de transferência (0,71–0,89 entre famílias de modelos).
- Esta unificação ocorre mesmo para crença, que a semântica formal trata como um caso distinto e hiperintencional. O modelo não separa a etiqueta de crença de outras etiquetas de espaço; ele compartilha o mesmo mecanismo de roteamento.
- A unificação não é uma identidade plana; uma taxonomia semântica grosseira (atitude, intencional, temporal, ficcional) sobrevive dentro do subespaço compartilhado, mas a crença não é separada de forma especial.
Dissociação de Relato e Raciocínio:
- O valor que o modelo reporta (emite como texto) e o valor que ele usa para raciocinar (aplica uma regra a) são controlados por subespaços distintos.
- Treinar um subespaço na leitura do "relato de cor" inverte a cor reportada, mas deixa a consequência derivada pela regra inalterada, e vice-versa. Isso fornece um mecanismo causal para o "hiato de fidelidade" (faithfulness gap), onde a saída de um modelo pode não refletir sua computação interna.
Construção como uma Operação de Vínculo (Binding):
- Quando uma sentença constrói um espaço composto (ex: "crença passada"), o modelo reutiliza o slot de valor da base (alta transferência do subespaço de vínculo de valor) mas gera um novo roteador (o subespaço do token de consulta para o espaço composto é distinto e ortogonal ao roteador da base).
- Isso confirma que a construção de espaço é uma operação sobre a própria maquinaria de vínculo, e não uma faculdade separada.

Significância e Alegações
O artigo estabelece que os modelos de linguagem transformer implementam uma versão mecanística da teoria unificada de espaços mentais de Fauconnier. Em vez de manter módulos lógicos separados para modalidade, tempo e crença, o modelo utiliza um único "índice de espaço" de baixo posto, causalmente manipulável, para rotular a qual espaço de discurso um valor pertence.

Formato Representacional: O modelo carrega uma chave compacta para o contexto de discurso, separada da entidade e do valor.
Generalidade: Este mecanismo é geral para o inventário semântico de contextos não atuais. A distinção semântica formal entre crença (referencialmente opaca) e outros contextos intencionais não é refletida em um mecanismo representacional separado; a "etiqueta de crença" não é privilegiada.
Insight Mecanístico: As descobertas sugerem que o problema da "fidelidade" (onde o raciocínio e o relato divergem) surge porque esses processos operam em subespaços distintos dentro do mesmo token vinculado.
Escopo: O artigo apresenta isso como evidência de um formato representacional compartilhado em LMs, não como uma adjudicação da semântica da língua inglesa ou uma prova de que LMs possuem uma Teoria da Mente humana. Os resultados são robustos em três famílias de modelos e escalam comportamentalmente para modelos de fronteira, embora o acesso mecanístico seja limitado a modelos menores de pesos abertos.

Os autores afirmam explicitamente que o "índice de espaço" é distinto dos IDs de vínculo de entidade (que rastreiam entidades) e do rastreamento de personagem-objeto-estado (que rastreia triplas específicas). A contribuição é a localização da própria variável de espaço de discurso como um roteador de baixo posto, causalmente compacto e compartilhado.