Resumo Técnico: O Contexto é Rei: Como a Especificação In-Context Molda a Geometria dos Conceitos

Declaração do Problema

A pesquisa atual de interpretabilidade frequentemente postula que os Grandes Modelos de Linguagem (LLMs) armazenam conceitos estruturados como variedades geométricas fixas em seus pesos (por exemplo, dias da semana formando um círculo, meses formando outro). Esta "hipótese da representação linear" sugere que as relações semânticas correspondem a deslocamentos ou formas topológicas fixas aprendidas durante o pré-treinamento e recuperadas durante a inferência. No entanto, permanece incerto se essas estruturas geométricas são propriedades intrínsecas e estáticas do modelo ou assembleias dinâmicas construídas sob demanda a partir do contexto de entrada. Especificamente, uma especificação in-context conflitante apenas desloca a posição de um conceito dentro de uma variedade fixa ou reconfigura fundamentalmente a própria topologia da representação?

Metodologia

Os autores investigam isso forçando um conflito direto entre os priors pré-treinados de um modelo e uma especificação declarativa in-context.

1. Estrutura Experimental:

• Especificação In-Context: Os autores definem uma "especificação" como uma regra declarativa que afirma relações entre um conjunto de entidades sem fornecer exemplares. Pode ser uma ordem (ex: "A única ordem válida é: Quarta-feira, Segunda-feira...") ou uma hierarquia (ex: "P é o pai de A e B").
• Regime de Conflito: O estudo impõe especificações que contradizem a compreensão natural do modelo (ex: redefinindo a ordem dos dias da semana ou aplicando uma estrutura hierárquica a conceitos cíclicos).
• Entidades: Os experimentos cobrem priors cíclicos fortes (dias da semana, meses, horas do relógio), priors fracos (signos do zodíaco), priors não cíclicos (notas musicais) e tokens arbitrários sem significado.
• Formas de Superfície: As especificações são apresentadas como listas numeradas ou arestas de adjacência, com ou sem uma aresta de "fechamento" (wrap) para fechar um ciclo.

2. Medição e Análise:

• Análise de Similaridade Representacional (RSA): A métrica primária é a correlação de Spearman entre a Matriz de Dissimilaridade Representacional (RDM) dos centroides das entidades (extraídos do fluxo residual no último token antes da geração) e um template teórico (ex: distância cíclica ou profundidade de árvore). Crucialmente, os centroides são centrados na média para remover direções anisotrópicas no fluxo residual.
• Patching de Ativação: Para estabelecer causalidade, os autores realizam o patching de substituição de entidade. Eles sobrescrevem a ativação residual de uma entidade ($E_{orig}$) com a de outra entidade ($E_{patch}$) do mesmo contexto e observam se a saída do modelo segue o sucessor da entidade patcheada de acordo com a ordem imposta pelo contexto, em vez da ordem pré-treinada.
• Varredura de Escala: O estudo avalia oito modelos ajustados por instrução em três famílias (Gemma, Qwen, Llama) variando de 2B a 31B de parâmetros para determinar como a escala do modelo afeta a formação e o uso dessas geometrias.

Principais Contribuições e Resultados

1. O Contexto dita o Tipo de Topologia, não apenas a Posição
O artigo demonstra que a especificação in-context determina a topologia da geometria do conceito, não meramente um deslocamento dentro de uma forma fixa.

• Troca de Topologia: Quando uma regra declarativa define uma hierarquia, a geometria das entidades (mesmo as cíclicas como dias da semana) reorganiza-se em uma árvore estratificada por profundidade. Inversamente, uma regra cíclica força uma estrutura de árvore em um anel.
• Tokens Arbitrários: Este efeito ocorre mesmo com tokens arbitrários e sem significado, onde não existe prior pré-treinado, provando que a geometria é construída a partir da especificação e não recuperada.
• Evidência: No Gemma-31B, uma hierarquia imposta sobre os dias da semana produz um RSA de profundidade de +0,67, enquanto um ciclo imposto produz um RSA cíclico de +0,72. A dimensionalidade efetiva muda de acordo (de ~4,8 para um anel natural para ~1,8 para uma árvore imposta).

2. A Geometria do Conjunto de Contexto Domina os Priors Pré-treinados
Quando o contexto conflita com um prior pré-treinado forte, a geometria do conjunto de contexto domina.

• Dominância: Em modelos capazes (Gemma-31B, Qwen-27B), o RSA para a ordem imposta é alto (+0,80 a +0,90), enquanto o RSA para a ordem natural e pré-treinada colapsa para próximo de zero (ex: -0,03 para dias).
• Uso Causal: O patching de ativação confirma que esta geometria é usada causalmente. Quando a ativação de uma entidade é trocada, a resposta do modelo segue o sucessor definido pelo mapa imposto pelo contexto, e não pelo mapa pré-treinado. Esta "dupla dissociação" (seguindo a ordem imposta em um contexto imposto e a ordem natural em um contexto natural) descarta uma simples busca em uma tabela fixa.

3. Fidelidade Controlada pela Escala: Formação vs. Uso
A capacidade de formar uma geometria bruta está presente mesmo em modelos pequenos, mas a capacidade de usá-la de forma limpa e fiel é controlada pela escala.

• Modelos Pequenos: Modelos como Gemma-2B ou Qwen-9B podem formar uma geometria imposta bruta (superando os nulos), mas o mapa é frequentemente "vazado" ou unilateral. Por exemplo, o patching pode afetar a resposta apenas sob o contexto imposto, mas falhar em realizar a troca sob o contexto natural, ou a geometria pode ser um anel autointerseccionante em vez de um ciclo limpo.
• Modelos Grandes: Mapas limpos e navegáveis e a dupla dissociação causal total emergem apenas em modelos maiores (Gemma-12B/31B, Qwen-27B).
• Implicação: Um mecanismo presente em um modelo grande (geometria dependente de contexto fiel) pode estar ausente ou ser fundamentalmente diferente em um modelo menor da mesma família.

4. Localização do Mecanismo
O estudo localiza a formação deste mapa em um estágio intermediário da rede (aproximadamente 0,45–0,75 de profundidade).

• Identidade ao Binding: As camadas iniciais codificam a identidade do token, mas até a camada intermediária, a identidade é vinculada (bound) à posição imposta pelo contexto. O patching nessas camadas intermediárias é mais eficaz para direcionar a saída.

Significância e Alegações

O artigo afirma que a estrutura geométrica dos conceitos em LLMs não é uma propriedade fixa e intrínseca armazenada nos pesos, mas uma computação definida pelo contexto.

• Reenquadramento de "Modelos de Mundo": Embora os modelos possam armazenar estruturas do tipo modelo de mundo, estas não são a representação única ou final usada durante a inferência. A "geometria que o modelo usa" é aquela especificada pelo contexto, mesmo que contradiga o prior armazenado.
• Mecânico vs. Instrucional: Este é um fenômeno mecânico, não meramente de seguimento de instruções. O tipo de topologia muda sob comando, forma-se em tokens sem prior para herdar e inverte-se sob edições causais.
• Cautela na Transferência: As descobertas sugerem que a interpretabilidade ao nível de circuito e as propriedades geométricas observadas em modelos pequenos podem não se transferir para modelos maiores. Modelos pequenos podem formar uma aproximação bruta de um mapa de contexto, mas a geometria limpa e causalmente operativa é uma capacidade que emerge com a escala.

Os autores concluem que as geometrias de "modelos de mundo" recuperadas devem ser lidas como dependentes de contexto e não como intrínsecas, e que o comportamento do modelo é impulsionado por um mapa construído sob demanda a partir da especificação.