Resumo Técnico: Geometria de Trajetória das Representações de Transformers através das Camadas

Declaração do Problema

A interpretabilidade mecanística atual dos modelos transformer opera majoritariamente em dois regimes: o rastreamento de circuitos computacionais específicos (ex: cabeças de indução, camadas MLP) ou a sondagem de embeddings camada por camada para características linguísticas pré-especificadas. Ambos os paradigmas tratam as camadas da rede como instantâneos independentes, negligenciando a estrutura geométrica contínua de como as representações evoluem através da profundidade da rede. Este artigo aborda o problema em aberto de compreender como as representações do transformer evoluem através das camadas, em vez de meramente o que elas codificam em um ponto estático.

Metodologia

Os autores reformulam a passagem direta (forward pass) do transformer como uma trajetória de população discreta através de um manifold de representação de alta dimensão ($\mathbb{R}^d$). Inspirado por análises de trajetórias de população na neurociência computacional, o estudo evita a redução de dimensionalidade para o cálculo métrico, operando inteiramente no espaço ambiente total para evitar artefatos de projeção.

Estrutura Central

1. Extração de Trajetória: Para uma sequência de entrada, os estados ocultos são extraídos em cada camada $l$ (desde os embeddings de entrada $h^{(0)}$ até as saídas finais $h^{(L)}$). Representações ao nível da sequência são obtidas via mean pooling sobre tokens que não são de preenchimento (padding).
2. Métricas Geométricas: Cinco métricas são definidas diretamente em $\mathbb{R}^d$:
   • Comprimento da Trajetória ($L$): Deslocamento euclidiano total através das camadas.
   • Curvatura ($\kappa$): O ângulo de giro entre vetores de deslocamento consecutivos; a curvatura média ($\bar{\kappa}$) mede a não-linearidade.
   • Índice de Convergência Semântica (CI): Mede a compressão de prompts semanticamente relacionados em relação a outros não relacionados ($D_{entre} - D_{dentro}$).
   • Similaridade de Cosseno por Camada (SIM): Similaridade angular entre camadas adjacentes para detectar transições de fase.
   • Estabilidade Representacional: Similaridade entre um prompt e sua perturbação lexical para medir a abstração da forma superficial.
3. Design Experimental:
   • Modelos: Três famílias de decoders-only (GPT-2 Small, TinyLlama-1.1B, Qwen2.5-1.5B).
   • Prompts: 150 prompts semanticamente controlados através de cinco famílias: Categorias Semânticas, Variações Lexicais, Raciocínio Analógico, Raciocínio de Múltiplos Passos e Conceitos Ambíguos.
   • Controles: Quatro controles rigorosos (Rótulos Aleatórios, Embeddings Aleatórios, Ordenação de Camadas Embaralhada, Múltiplos Métodos de Projeção) para distinguir a computação aprendida de artefatos geométricos.

Principais Contribuições

O artigo introduz uma estrutura de geometria de trajetória para a interpretabilidade de transformers que é livre de sondagens (probe-free) e agnóstica ao modelo. Ele define cinco métricas de alta dimensão para caracterizar a dinâmica da representação sem exigir classificadores ou ajuste fino (fine-tuning). Os autores lançam um pipeline de código aberto permitindo esta análise para qualquer modelo de linguagem causal.

Principais Resultados

Através das três arquiteturas e validado contra os controles, o estudo reporta quatro descobertas principais:

1. Convergência Semântica em Bacias de Atração: Prompts semanticamente relacionados passam por uma convergência estatisticamente significativa nas camadas médias a tardias. O Índice de Convergência sobe abruptamente de valores próximos a zero nas camadas iniciais para valores de pico de 0,41–0,58 nas camadas posteriores ($p < 0,001$). Este efeito desaparece sob os controles de rótulos aleatórios, sugerindo uma dinâmica do tipo atrator impulsionada pela semântica aprendida.
2. Curvatura como Leitura de Complexidade: Tarefas de raciocínio e analogia produzem trajetórias com curvatura média significativamente maior do que variações lexicais.
   • Raciocínio (Múltiplos Passos/Analogia): 0,71–0,83 rad.
   • Variações Lexicais: 0,27–0,31 rad.
   • Esta diferença é consistente entre os modelos ($p < 0,001$), sugerindo que a curvatura média codifica a complexidade computacional. Os picos de curvatura ocorrem em uma "zona de inflexão computacional" (aprox. 20–45% da profundidade da rede), alinhando-se com camadas conhecidas de cabeças de indução e recuperação de MLP.
3. Desambiguação como Bifurcação de Trajetória: Tokens ambíguos (ex: "banco" em diferentes contextos) exibem uma bifurcação de trajetória mensurável. As representações para diferentes contextos começam quase idênticas na camada 0, mas se separam progressivamente, atingindo uma razão de separação de 5,6× na camada final. O início desta bifurcação é consistente em ~20–25% da profundidade da rede entre as arquiteturas, indicando um cronograma universal para a desambiguação progressiva em vez de uma resolução instantânea.
4. Estrutura Computacional Universal de Três Fases: A similaridade de cosseno por camada revela uma estrutura consistente de três fases em todos os modelos:
   • Fase I (Codificação): Mudança representacional rápida (baixa similaridade).
   • Fase II (Elaboração): Similaridade estabilizada, coincidindo com a convergência semântica e alta curvatura.
   • Fase III (Preparação de Saída): Uma queda secundária na similaridade à medida que as representações se recalibram em direção ao vocabulário de saída.
   • Esta estrutura colapsa sob controles de embedding aleatório, confirmando que é um produto da computação treinada.

Significância e Alegações

O artigo argumenta que a passagem direta do transformer não é uma sequência arbitrária de estados, mas um fluxo geometricamente estruturado. A significância deste trabalho reside em:

• Interpretabilidade Livre de Sondas (Probe-Free): Fornecer uma lente para analisar o comportamento do modelo sem pré-especificar características ou treinar classificadores.
• Ponte com Sistemas Dinâmicos: Conectar conceitos de neurociência computacional (manifolds, atratores, curvatura) ao aprendizado profundo, oferecendo uma visão unificada de como as representações evoluem.
• Insights Acionáveis: As descobertas sugerem que intervenções para desambiguação ou direcionamento (steering) devem visar fases específicas da trajetória (ex: antes do início da bifurcação) em vez de camadas arbitrárias.
• Universalidade: A consistência destes padrões geométricos através de modelos com diferentes escalas, arquiteturas e corpora de treinamento sugere que a geometria da trajetória pode ser impulsionada pela própria estrutura da linguagem.

Os autores mantêm a modéstia quanto à causalidade, observando que, embora a estrutura geométrica correlacione-se com propriedades semânticas e computacionais, o artigo estabelece correlação, não causalidade. Eles identificam a verificação causal via activation patching como o próximo passo necessário.