Context Structure Reshapes the Representational Geometry of Language Models

Resumo Técnico: A Estrutura do Contexto Remodela a Geometria Representacional de Modelos de Linguagem

Enunciado do Problema
Modelos de Linguagem de Grande Escala (LLMs) demonstram a capacidade de se adaptar a novas tarefas e aprender estruturas dentro da janela de contexto (Aprendizado em Contexto, ou ICL). Embora pesquisas anteriores tenham estabelecido que os LLMs organizam sequências de entrada em trajetórias neurais mais "retas" em camadas profundas para facilitar a predição do próximo token via extrapolação linear, permanece incerto se esse endireitamento representacional é um mecanismo universal para todas as formas de ICL. Especificamente, a relação entre a estrutura do contexto e como os LLMs remodelam suas representações internas para adaptar o comportamento não é totalmente compreendida. Este artigo investiga se o endireitamento representacional ocorre de forma consistente através de diversas tarefas de contexto ou se é contingente a estruturas de tarefas específicas.

Metodologia
Os autores analisaram o modelo Gemma-2-27B (versão base/pré-treinada) através de três classes distintas de tarefas projetadas para sondar diferentes demandas cognitivas e estruturas de dados:

1. Dependências de Longo Alcance em Linguagem Natural: Utilizando o conjunto de dados LAMBADA, o estudo examinou como os modelos integram contextos mais amplos para prever a palavra final de uma passagem, contrastando isso com um controle de "texto aleatório" onde a estrutura semântica foi destruída.
2. Tarefas de Mundo de Grade (Grid World): Tarefas sintéticas que exigem que o modelo infira estruturas de grafos latentes a partir de sequências lineares de tokens. Estas incluíram:
   • Mapeamento Direto: Caminhadas aleatórias em uma grade 6x6 de palavras únicas.
   • Mapeamento Hierárquico: Inferência de um grafo latente oculto 4x4 a partir de observações ruidosas de tokens "filhos" associados a nós latentes.
   • Transições 0-shot: Testar a capacidade do modelo de inferir transições entre nós latentes que nunca foram explicitamente observados no contexto.
3. Tarefas de Predição Estruturada:
   • Aprendizado Few-Shot: Benchmarks padrão (ex: País-Capital, raciocínio algorítmico) formatados como pares alternados de "Q: [Entrada]" e "A: [Saída]".
   • Enigmas (Riddles): Uma tarefa de desambiguação semântica do dataset BIG-bench, contrastando o desempenho 0-shot e 8-shot.

Métricas Geométricas e Comportamentais
Para quantificar a geometria representacional, os autores empregaram quatro métricas complementares através das camadas do transformer:

• Endireitamento (Straightening): Medido como a redução na curvatura local (ângulo entre vetores de transição consecutivos) da primeira camada para as camadas subsequentes.
• Endireitamento de Menger: Uma medida de curvatura complementar baseada no raio do círculo circunscrito de três pontos consecutivos.
• Dimensionalidade Efetiva: Estimada via Razão de Participação dos autovalores da PCA para medir o volume do espaço de representação.
• Alongamento (Elongation): Medido via a anisotropia da trajetória (variância ao longo do primeiro vs. segundo componente principal).

O desempenho comportamental foi avaliado via diferenças de logit (para mundos de grade) e precisão de correspondência exata (para tarefas few-shot).

Resultos Principais
O estudo revela uma dicotomia fundamental em como as representações dos LLMs mudam durante o ICL, dependendo da estrutura da tarefa:

1. Tarefas de Predição Contínua (Linguagem Natural & Mundos de Grade):

   • Em tarefas que exigem a integração de dependências de longo alcance ou a inferência de estruturas de grafos latentes, o aumento do comprimento do contexto leva a um aumento consistente no endireitamento representacional, particularmente nas camadas médias (Camadas 15–25).
   • Este endireitamento correlaciona-se fortemente com a melhoria comportamental (ex: maior separação de logit entre vizinhos válidos e não vizinhos).
   • Em mundos de grade hierárquicos, o endireitamento persiste mesmo em condições de transição 0-shot, sugerindo que o modelo aprende o grafo latente subjacente em vez de apenas memorizar pares de tokens.
   • Geometricamente, estas tarefas mostram uma contração da representação sobre um manifold de menor dimensão e mais anisotrópico (alongado).

2. Tarefas de Predição Estruturada (Few-Shot & Enigmas):

   • Em tarefas que exigem o mapeamento de exemplos discretos para saídas (ex: País-Capital, Enigmas), o endireitamento representacional é inconsistente e se dissocia do núcleo computacional da tarefa.
   • Dissociação de Fase: Ao decompor exemplos few-shot em fases de Pergunta, Transição (formatação) e Resposta:
     • A fase de Transição (ex: "\n A:") exibe um endireitamento progressivo à medida que mais exemplos são adicionados, comportando-se como uma continuação previsível.
     • A fase de Pergunta frequentemente mostra uma queda no endireramento após o primeiro exemplo.
     • Crucialmente, a fase de Resposta (onde a solução real é gerada) não mostra endireitamento progressivo e, em alguns casos (como enigmas), apresenta uma diminuição significativa no endireitamento com o aumento do contexto.
   • Isso indica que o mecanismo que resolve a lógica central da tarefa (mapeamento de entrada para saída) não depende da linearização das trajetórias neurais observada na predição contínua.

Significância e Alegações
O artigo argumenta que o Aprendizado em Contexto não é um processo monolítico impulsionado por um único mecanismo geomético. Em vez disso, os autores propõem que os LLMs funcionam como um "canivete suíço", selecionando dinamicamente estratégias computacionais baseadas na estrutura específica da tarefa.

• Para tarefas de predição contínua, o modelo utiliza uma estratégia de endireitamento representacional para linearizar o manifold e facilitar a extrapolação.
• Para tarefas de mapeamento estruturado, o modelo emprega mecanismos distintos que não necessariamente se manifestam como endireitamento de trajetória.

Os autores concluem que, embora o endireitamento representacional seja uma assinatura robusta de aprendizado em configurações de predição contínua, ele não é um indicador universal da capacidade de ICL. Esta descoberta oferece uma perspectiva cautelosa para a interpretabilidade mecanística: confiar em uma única assinatura geométrica (como o endireitamento) pode falhar em capturar o espectro completo de como os modelos se adaptam a diversos contextos. O estudo enfatiza a necessidade de testar hipóteses de interpretabilidade através de um conjunto diversificado de estruturas de tarefas, em vez de assumir uma estrutura representacional generalizada que sustenta todos os comportamentos de ICL.