💬 NLP

Stories in Space: In-Context Learning Trajectories in Conceptual Belief Space

Este artigo propõe que os modelos de linguagem de grande escala realizam aprendizado em contexto navegando em "espaços de crença conceitual" estruturados e de baixa dimensão, onde as atualizações de crença se manifestam como trajetórias geométricas consistentemente refletidas tanto no comportamento do modelo quanto em suas representações internas e que podem ser causalmente manipuladas por meio de intervenções lineares.

Autores originais: Eric Bigelow, Raphaël Sarfati, Daniel Wurgaft, Owen Lewis, Thomas McGrath, Jack Merullo, Atticus Geiger, Ekdeep Singh Lubana

Publicado 2026-05-13

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Eric Bigelow, Raphaël Sarfati, Daniel Wurgaft, Owen Lewis, Thomas McGrath, Jack Merullo, Atticus Geiger, Ekdeep Singh Lubana

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um Modelo de Linguagem de Grande Escala (LLM) não como um robô que simplesmente memoriza fatos, mas como um contador de histórias lendo um livro em voz alta. À medida que o contador de histórias lê cada nova frase, sua compreensão do enredo, dos sentimentos dos personagens e do clima da cena muda. Eles não apenas "sabem" a história; estão constantemente atualizando sua "crença" interna sobre o que está acontecendo.

Este artigo, intitulado "Histórias no Espaço", tenta mapear exatamente como esse contador de histórias atualiza suas crenças. Os autores propõem uma ideia fascinante: As crenças em mudança do modelo percorrem um mapa específico e de baixa dimensão chamado "Espaço de Crença Conceitual".

Aqui está uma análise de suas descobertas usando analogias simples:

1. O Mapa das Crenças (O Espaço Conceitual)

Imagine uma sala 3D gigante e invisível onde cada possível "sentimento" ou "ideia" tem uma localização específica.

Felicidade pode estar no canto superior direito.
Tristeza pode estar no canto inferior esquerdo.
Raiva pode estar em algum lugar entre eles.

O artigo sugere que, quando um LLM lê uma história, ele não salta aleatoriamente de uma ideia para outra. Em vez disso, seu estado interno se move ao longo de um caminho suave (uma trajetória) através deste mapa.

A Analogia: Pense na história como uma trilha de caminhada. À medida que o protagonista cai em um buraco, o "marcador de crença" do modelo desliza pelo mapa em direção à zona de "Tristeza". Quando o herói resgata as criaturas, o marcador desliza de volta para cima em direção à "Felicidade". O artigo descobriu que esses caminhos não são caóticos; eles seguem uma geometria estruturada e previsível, muito como um rio fluindo através de um vale.

2. Os Dois Lados da Moeda (Comportamento vs. Cérebro)

Os pesquisadores analisaram o modelo de duas maneiras:

Comportamento: O que o modelo diz quando perguntado: "Quão feliz é esta história agora?" (por exemplo, dando uma pontuação de 7/10).
Representações Internas: A matemática real acontecendo dentro do "cérebro" do modelo (suas ativações neurais) enquanto processa o texto.

A Descoberta: O caminho que o modelo percorre no "Mapa de Comportamento" (o que ele diz) é quase idêntico ao caminho que ele percorre no "Mapa do Cérebro" (o que está pensando).

A Analogia: É como observar um fantoche. O artigo descobriu que os fios puxando o fantoche (a matemática interna) e os movimentos reais do fantoche (a saída) estão perfeitamente sincronizados. Se você pudesse ver os fios, poderia prever exatamente para onde o fantoche se moveria a seguir, e vice-versa.

3. Lendo a Mente com uma Sonda Linear

Os autores usaram uma ferramenta chamada "sonda linear". Pense nisso como um tradutor simples.

Eles mostraram que é possível olhar para a matemática complexa e confusa dentro do "cérebro" do modelo em qualquer momento dado e usar uma equação linear simples (uma linha reta) para traduzi-la em uma previsão do que o modelo acredita sobre a emoção da história.
O Resultado: Este tradutor funcionou incrivelmente bem. Isso significa que as "crenças" do modelo não estão escondidas em alguma caixa preta impenetrável; elas estão escritas claramente no código interno do modelo, apenas esperando para serem lidas.

4. Dirigindo a História (O Controle Remoto)

A parte mais emocionante do artigo é que eles não apenas observaram o modelo; eles o dirigiram.

A Analogia: Imagine que o caminho de crença do modelo é um carro dirigindo por uma estrada. Os pesquisadores descobriram que podiam pegar o volante (ajustando a matemática interna) e forçar o carro a virar em direção a um destino específico, como "Felicidade", mesmo que o texto da história estivesse naturalmente indo em direção à "Tristeza".
O Problema (A Geometria da Direção): Quando eles dirigiram o modelo em direção à "Tristeza", ele não ficou apenas mais triste; também ficou ligeiramente mais bravo e menos feliz.
Por quê? Porque no "Mapa de Crença", Tristeza e Raiva são vizinhos. Se você empurrar o modelo em direção à Tristeza, inevitavelmente o empurra em direção à Raiva também. O artigo descobriu que o quanto o modelo fica "confuso" com essa direção depende inteiramente de quão próximos os conceitos estão no mapa. Se dois conceitos estão distantes no mapa, direcionar um não afeta o outro. Se estão próximos, eles se emaranham.

Resumo das Principais Afirmações

As crenças têm forma: Quando LLMs leem histórias, suas crenças em mudança se movem ao longo de caminhos suaves e estruturados em um espaço geométrico de baixa dimensão.
Pensamentos correspondem a ações: A matemática interna do modelo e suas respostas externas seguem exatamente o mesmo caminho neste mapa.
Podemos ler e escrever crenças: Podemos prever o que o modelo acredita apenas olhando para sua matemática interna, e podemos mudar suas crenças ajustando essa matemática.
A geometria manda: A maneira como o modelo reage às mudanças (direção) é ditada pela distância entre os conceitos neste mapa. Conceitos que são "vizinhos" no mapa influenciam uns aos outros; aqueles que estão distantes não o fazem.

Em resumo, o artigo argumenta que os LLMs não estão apenas adivinhando; eles estão navegando em uma paisagem estruturada e geométrica de conceitos, e agora podemos ver o mapa, ler as coordenadas e até mesmo dirigir o veículo.

Resumo Técnico: Histórias no Espaço: Trajetórias de Aprendizado em Contexto no Espaço de Crenças Conceituais

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) exibem capacidades impressionantes de aprendizado em contexto (ICL), adaptando seu comportamento a novas informações sem atualizações de pesos. Esse processo é frequentemente enquadrado como inferência bayesiana, onde o modelo re-pesa conceitos latentes com base nos dados de entrada. No entanto, a estrutura do espaço de hipóteses latentes sobre o qual essa inferência opera permanece obscura. Especificamente, é desconhecido como os LLMs representam conceitos complexos e como atualizam dinamicamente as crenças sobre esses conceitos ao processar texto livre, como histórias, onde as atualizações de crença podem ser não lineares e idiossincráticas, em vez de estáveis e monotônicas.

Metodologia

Os autores propõem que os LLMs atribuem crenças sobre um espaço geométrico de baixa dimensão, denominado espaço de crenças conceituais, e que o ICL corresponde a uma trajetória através desse espaço. Para investigar isso, eles combinam análises comportamentais e representacionais usando a compreensão de histórias como um cenário natural para atualização dinâmica de crenças.

Marco Teórico

O trabalho estende a teoria dos espaços conceituais (Gärdenfors, 2000) para levar em conta incerteza e crença.

Espaço Conceitual ( $C$ ): Um espaço métrico sobre atributos onde conceitos são definidos como sub-espaços convexos.
Espaço de Crenças Conceituais ( $B$ ): Um espaço métrico de distribuições de probabilidade sobre $C$ , representando os estados de crença do modelo.
Trajetórias de Crença: Uma sequência de estados de crença ( $b_{1:T}$ ) conforme o modelo processa uma história $x_{1:T}$ , formando um caminho através do espaço de crenças.

Configuração Experimental

Conjunto de Dados: Os autores utilizam o conjunto de dados SimpleStories, consistindo em histórias curtas geradas sinteticamente em vários estilos (aventura, clássico, leve, melancólico, trágico).
Domínios: Três domínios conceituais foram testados:
1. Emoções: Felicidade, Tristeza, Raiva, Surpresa, Medo, Nojo.
2. Gêneros: Leve, Conto de fadas, Aventura, Suspense, Trágico, Terror.
3. Arbitrário: Magia, Animais, Curiosidade, Trabalho em equipe, Criatividade, Responsabilidade (servindo como contra-exemplo sem estrutura esperada).
Modelo: Llama-3.1-8b-instruct (quantizado em 4 bits).

Técnicas Principais

Elicitação de Crenças: O modelo é solicitado após cada frase de uma história a classificar a aplicabilidade de conceitos específicos em uma escala de 0–10. O estado de crença comportamental $y_{t,c}$ é calculado como o valor esperado das probabilidades de tokens do modelo.
Redução de Dimensionalidade: Aproximação e Projeção de Variedade Uniforme (UMAP) e PCA são aplicados tanto aos dados comportamentais ( $Y$ ) quanto às ativações residuais ( $Z$ ) para identificar variedades de baixa dimensão ( $\mathcal{M}_y$ e $\mathcal{M}_z$ ).
Sondas Lineares: Modelos de regressão linear são treinados para prever crenças comportamentais ( $y_{t,c}$ ) a partir de ativações de camadas ocultas ( $z_{t,\ell}$ ) para testar se as crenças são codificadas linearmente.
Direcionamento de Ativação: Os autores intervêm nas ativações latentes adicionando vetores de direcionamento (derivados de pesos de sondas lineares ou diferença de médias) para testar o controle causal sobre as trajetórias de crença.

Contribuições e Resultados Principais

1. Variedades Estruturadas de Baixa Dimensão

O estudo encontra que as atualizações de crença em LLMs são bem descritas como trajetórias em variedades estruturadas de baixa dimensão.

Alinhamento Comportamental e Representacional: As variedades derivadas do comportamento do modelo ( $\mathcal{M}_y$ ) e das ativações internas ( $\mathcal{M}_z$ ) são altamente correlacionadas e compartilham propriedades estruturais.
Estrutura de Domínio: Para os domínios Emoções e Gêneros, as variedades exibem estrutura clara. Para Emoções, a geometria da variedade aprendida corresponde estreitamente ao espaço Valência-Arousal validado por humanos (Russell & Mehrabian, 1977), com uma correlação de $r=0,93$ entre as classificações humanas e a variedade comportamental do modelo.
Contraste com Arbitrário: O domínio Arbitrário, carecendo de estrutura semântica inerente, mostrou estrutura de variedade menos clara e menor correlação entre as variedades de comportamento e ativação ( $r=0,71$ ), apoiando a hipótese de que a estrutura surge de relações conceituais significativas.

2. Decodificabilidade Linear de Crenças

Sondas lineares treinadas em ativações ocultas podem prever com precisão as crenças comportamentais do modelo.

Sondas na camada $\ell=9$ alcançaram baixo Erro Quadrático Médio (RMSE) na previsão da dinâmica de crença: 0,09 para Emoções, 0,09 para Gêneros e 0,11 para Arbitrário.
Isso sugere que a informação relativa às "crenças" do modelo sobre a história é linearmente acessível no fluxo residual, mesmo quando o modelo não é explicitamente instruído a considerar conceitos específicos.

3. Direcionamento Causal e Geometria

Intervenções em representações ocultas direcionam causalmente as trajetórias de crença, e os efeitos dessas intervenções são previsíveis a partir da geometria do espaço conceitual.

Efeito de Direcionamento: Adicionar vetores de direcionamento para um conceito-alvo (por exemplo, tristeza) desloca a trajetória do modelo na variedade de crenças em direção a esse conceito.
Emaranhamento de Direcionamento: O direcionamento para um conceito frequentemente afeta conceitos relacionados (por exemplo, direcionar para tristeza aumenta a raiva e diminui a felicidade). Esse emaranhamento espelha as distâncias geométricas entre os centróides dos conceitos na variedade.
Previsibilidade: O grau de emaranhamento de direcionamento entre conceitos está significativamente correlacionado com a distância entre seus centróides na variedade aprendida ( $r=0,65$ para Emoções).
Dinâmica de Camadas: O direcionamento em uma única camada frequentemente falha em persistir até a saída devido à auto-correção do modelo; no entanto, o direcionamento através de um intervalo de camadas (por exemplo, camadas 7–14) altera com sucesso o comportamento final de saída.

Significado e Alegações

O artigo alega fornecer uma explicação geométrica da dinâmica de crenças em LLMs, fundamentando interpretações bayesianas do aprendizado em contexto em representações conceituais estruturadas.

Unificação de Marcos: O trabalho preenche a lacuna entre teorias probabilísticas de aprendizado (inferência bayesiana) e teorias geométricas de representação conceitual (espaços conceituais) na ciência cognitiva.
Interpretabilidade: Demonstra que atualizações de crença complexas e dinâmicas em texto livre podem ser entendidas como trajetórias suaves através de um espaço de baixa dimensão, que pode ser decodificado e manipulado.
Modéstia: Os autores reconhecem limitações, observando que o estudo depende de domínios e conceitos selecionados manualmente, trata conceitos como unitários em vez de composicionais e foca em crenças globais ao nível da história em vez de específicas de personagens. Eles enquadram isso como um primeiro passo em direção a uma base teórica para a interpretabilidade de LLMs, sugerindo que trabalhos futuros devem explorar métodos de "auto-interpretabilidade" para descobrir domínios conceituais e investigar como esses espaços moldam a incerteza na geração de textos longos.

Em resumo, o artigo argumenta que os LLMs não processam o texto meramente como uma sequência de tokens, mas navegam por um espaço de crenças conceituais estruturado e de baixa dimensão, atualizando seu estado interno ao longo de trajetórias suaves que refletem o conteúdo semântico e emocional da narrativa.