Dynamics of the Transformer Residual Stream: Coupling Spectral Geometry to Network Topology

Resumo Técnico: Dinâmica do Fluxo Residual do Transformer

Declaração do Problema
Embora os Modelos de Linguagem de Grande Escala (LLMs) demonstrem capacidades notáveis, os mecanismos pelos quais o cálculo se propaga através de suas camadas permanecem pouco compreendidos. Ferramentas existentes de interpretabilidade, como análise de circuitos e autoencoders esparsos, identificam o que os componentes representam, mas falham em explicar como perturbações são amplificadas, comprimidas ou redirecionadas entre camadas. A teoria dos sistemas dinâmicos oferece um formalismo para isso, tratando a profundidade como tempo discreto e o fluxo residual como um sistema dinâmico. No entanto, análises anteriores basearam-se em resumos escalares, linearizações aproximadas ou estudos conduzidos apenas na inicialização aleatória. Consequentemente, a geometria espectral completa dos Jacobianos treinados em escala de produção — especificamente suas distribuições de autovalores, estruturas de não normalidade e dinâmicas rotacionais — permanece não caracterizada. Além disso, a relação entre a topologia computacional de uma rede (estrutura de comunidades) e seu comportamento dinâmico não foi testada em escala.

Metodologia
Os autores realizam uma caracterização espectral completa de três transformers decodificadores-only em escala de produção: Llama 3.1 8B, OLMo 3 7B e Gemma 4 E4B.

• Cálculo do Jacobiano: Jacobianos exatos por amostra ($J_\ell = \partial h_{\ell+1} / \partial h_\ell$) são computados em cada limite de subcamada (pré-atenção e pré-MLP) através de 1.000 amostras do WikiText-2.
• Análise Espectral: Decomposição espectral completa e decomposição em valores singulares (SVD) são realizadas nos Jacobianos médios. Métricas-chave incluem números de condição, auto-alinhamento (sobreposição entre subespaços singulares de entrada/saída), desvio de Henrici (medida de não normalidade) e a fração de modos expansivos.
• Decomposição Treinamento vs. Arquitetura: Usando o OLMo 3 7B, o estudo compara três checkpoints: Passo 0 (inicialização aleatória), Passo 471k e Passo 1,41M (pré-treinamento final). Como o Passo 0 compartilha a arquitetura e a profundidade, mas carece de pesos aprendidos, ele serve como um modelo nulo para distinguir priores arquitetônicos de propriedades induzidas pelo treinamento.
• Análise Topológica: Grafos de correlação de ativação são construídos para cada camada, particionados em comunidades usando Leiden CPM assinado. O estudo analisa o acoplamento entre a topologia da comunidade (especificamente "nós de fronteira" que conectam múltiplas comunidades) e a dinâmica do Jacobiano.
• Intervenção: A decomposição de Schur é usada para isolar o componente não normal ($N_\ell$) do Jacobiano. Ao escalar $N_\ell$ mantendo o espectro ($\Lambda_\ell$) e a base ($Q_\ell$) fixos, os autores testam se os gargalos dimensionais observados surgem do espectro de autovalores ou da estrutura feedforward não normal.

Principais Resultados

1. Gradiente Monotônico de Não Normalidade:
   Modelos treinados exibem uma transição distinta dependente da profundidade no tipo de operador. Camadas iniciais são dominadas por dinâmicas não normais, pesadas em rotação (aproximadamente 98% dos autovalores aparecem como pares complexos conjugados), enquanto camadas tardias transitam para operadores quase simétricos. Este gradiente é amplamente aprendido; na inicialização (Passo 0 do OLMo), as camadas já são quase simétricas, e o treinamento puxa camadas iniciais e intermediárias em direção à rotação.

2. Gargalo Dimensional Cumulativo:
   Compor Jacobianos de ponta a ponta revela um funilamento severo de perturbações. No Llama 3.1 8B, a classificação efetiva do Jacobiano cumulativo cai de ~436 (camada única) para ~7 (profundidade total), significando que apenas um punhado de canais efetivos sobrevive do embedding ao logit. Este colapso não é arquitetônico (a classificação efetiva permanece alta no Passo 0), mas é instalado pelo treinamento. Crucialmente, experimentos de cirurgia de Schur mostram que remover o componente não normal ($N_\ell$) enquanto preserva o espectro dissolve amplamente este gargalo, indicando que o funil é uma propriedade da estrutura feedforward não normal treinada, e não dos autovalores.

3. Acoplamento Topologia-Dinâmica:
   O estudo identifica um acoplamento aprendido entre a topologia de comunidades da rede e sua dinâmica. Unidades que conectam múltiplas comunidades do grafo de ativação (nós de fronteira) são preferencialmente amplificadas ou suprimidas pelo Jacobiano.

   • Dependência do Sinal: O sinal deste acoplamento é determinado pelo tipo de operador local. Em camadas quase simétricas, unidades de fronteira são amplificadas. Em camadas fortemente não normais, elas são desamplificadas.
   • Emergência: Este acoplamento está ausente na inicialização e emerge monotonicamente ao longo do treinamento. No OLMo, o número de camadas significativas pelo FDR aumenta de 0 (Passo 0) para 14 (Passo 471k) e para 24 (Passo 1,41M).

Significado e Alegações
O artigo alega fornecer a primeira descrição completa ao nível de autovalores de Jacobianos de transformers em escala de produção após o treinamento. Suas principais contribuições são:

• Preenchendo a Lacuna: Ele preenche a lacuna entre a teoria do tempo de inicialização (que não prevê nenhuma dessas estruturas) e linearizações aproximadas (que não conseguem resolver as dinâmicas rotacionais que dominam o espectro).
• Insight Mecanístico: Demonstra que o "colapso dimensional" observado em LLMs é uma propriedade aprendida impulsionada pela não normalidade, e não uma inevitabilidade arquitetônica ou um artefato espectral.
• Vínculo Topologia-Dinâmica: Estabelece que a topologia funcional da rede (estrutura de comunidades) não é apenas uma característica estática, mas interage dinamicamente com a propagação de sinais, sendo a natureza dessa interação (amplificação vs. supressão) uma função aprendida do tipo de operador da camada.

Os autores observam que, embora a estrutura de comunidades em mesoescala seja parcialmente arquitetônica (presente na inicialização), o acoplamento específico entre nós de fronteira e a amplificação do Jacobiano é um fenômeno aprendido. O trabalho sugere que futuros esforços de interpretabilidade devem levar em conta a geometria espectral completa, particularmente a não normalidade e as dinâmicas rotacionais, em vez de depender exclusivamente de decomposições em valores singulares.