Disentangling Direction and Magnitude in Transformer Representations: A Double Dissociation Through L2-Matched Perturbation Analysis

Título: Desemaranhando Direção e Magnitude nas Representações de Transformers: Uma Dupla Dissociação Através de Análise de Perturbação com L2-Matching

1. O Problema

As representações ocultas (hidden states) em modelos Transformer são vetores de alta dimensão. A Hipótese da Representação Linear (Linear Representation Hypothesis) sugere que conceitos semânticos são codificados como direções específicas no espaço de ativação. No entanto, a hipótese tradicional é silenciosa sobre o papel da magnitude (norma L2 do vetor).

• A Lacuna: Não está claro se a direção (orientação) e a magnitude (comprimento do vetor) desempenham papéis funcionais distintos ou se são apenas redundantes.
• O Desafio Metodológico: Comparar diretamente a importância da direção versus a magnitude é problemático porque perturbações angulares (rotação) e de magnitude (escala) produzem deslocamentos euclidianos diferentes no espaço de representação. Sem controlar o tamanho da perturbação, não é possível determinar se um efeito maior se deve à importância do componente ou simplesmente ao tamanho da perturbação aplicada.

2. Metodologia: Análise de Perturbação com L2-Matching

A contribuição central do artigo é uma nova metodologia para isolar e comparar causalmente direção e magnitude.

• Decomposição Vetorial: Um vetor oculto $h$ é decomposto em direção unitária ($\hat{h}$) e magnitude ($\|h\|$).
• Perturbações Controladas:
  • Perturbação Angular: Rotaciona a direção mantendo a norma constante.
  • Perturbação de Magnitude: Escala a norma mantendo a direção constante.
• L2-Matching (O Núcleo da Solução): O método força ambas as perturbações a terem o mesmo deslocamento euclidiano ($\delta$) a partir do vetor original. Isso garante que qualquer diferença no impacto downstream (perda ou precisão) seja devida à natureza da perturbação (direção vs. magnitude) e não ao seu tamanho.
• Protocolo Experimental:
  • Modelos: Família Pythia (410M e 1.4B parâmetros), arquiteturas baseadas em LayerNorm.
  • Camadas de Intervenção: Camadas intermediárias (8 a 15), onde o processamento sintático e semântico é mais ativo.
  • Métricas de Avaliação:
    1. Perda de Modelagem de Linguagem (Next-token prediction): Sensibilidade à qualidade geral do texto.
    2. Precisão Sintática (BLiMP): Foco em concordância sujeito-verbo (sintaxe fina).

3. Principais Contribuições

1. Descoberta Empírica: Identificação de uma dissociação cruzada (crossover dissociation) robusta em modelos Pythia.
2. Inovação Metodológica: Introdução da análise de perturbação com L2-matching, permitindo comparações justas entre propriedades geométricas.
3. Evidência Mecanística: Uso de intervenções causais (reparo de atenção e LayerNorm) para mapear os caminhos de fluxo de informação.
4. Refinamento Teórico: Proposta de uma versão refinada da Hipótese da Representação Linear, incorporando a especialização funcional parcial de direção e magnitude.

4. Resultados Chave

A. Dissociação Comportamental (Dissociação Cruzada)

Os resultados mostram um padrão inverso dramático dependendo da tarefa:

• Impacto na Perda de Linguagem (Loss): Perturbações angulares causam danos massivos. Em deslocamentos pequenos ($\delta=1.0$), a perturbação angular causa 42,9 vezes mais dano à perda do que a perturbação de magnitude. A direção é crítica para a previsão do próximo token.
• Impacto na Sintaxe (BLiMP): Perturbações de magnitude causam danos significativamente maiores. Em $\delta=5.0$, a perturbação de magnitude reduz a precisão sintática em 20,4%, enquanto a angular reduz apenas 1,6%. A magnitude é crítica para julgamentos sintáticos finos.

B. Generalização de Escala

O padrão se replica e até se amplifica no modelo Pythia-1.4B. A razão entre o dano angular e o dano de magnitude na perda aumenta em modelos maiores, sugerindo que modelos de maior escala dependem ainda mais da informação direcional para a modelagem de linguagem.

C. Análise Mecanística (Caminhos de Fluxo)

Através de experimentos de "reparo causal" (injetar saídas limpas de componentes específicos), os autores identificaram dois caminhos distintos:

1. Direção $\rightarrow$ Caminhos de Atenção:
   • Reparar os padrões de atenção recupera 28,4% do dano causado por perturbações angulares (vs. 15,2% para magnitude).
   • Interpretação: A direção governa o roteamento da atenção (quais tokens atendem a quais). Corromper a direção desvia o fluxo de informação, causando erros em cascata.
2. Magnitude $\rightarrow$ Caminhos de LayerNorm:
   • Reparar as saídas do LayerNorm recupera 29,9% do dano causado por perturbações de magnitude (vs. 13,7% para angular).
   • Interpretação: A magnitude modula a intensidade do processamento através do LayerNorm.
   • Correlação com Profundidade de Parse: A magnitude dos vetores correlaciona-se significativamente com a profundidade na árvore de dependência sintática. Perturbar a magnitude destrói essa codificação estrutural, prejudicando tarefas como concordância sujeito-verbo.

D. Paradoxo Resolvido (Codificação vs. Computação)

Um paradoxo aparente é que sondas lineares mostram que a direção codifica mais informação sintática (81,6% de acurácia em POS tagging) do que a magnitude (29,7%). No entanto, perturbar a magnitude quebra a sintaxe mais severamente.

• Resolução: A direção codifica a categoria sintática (o que é o token), enquanto a magnitude codifica a posição estrutural (onde está no parse tree) e modula como essa informação é usada na computação. A magnitude é essencial para o mecanismo de computação, não apenas para o armazenamento da informação.

5. Limitações e Generalização Arquitetural

• Dependência Arquitetural: A dissociação observada é específica para arquiteturas baseadas em LayerNorm (família Pythia/OPT).
• Caso RMSNorm: Em modelos baseados em RMSNorm (como o TinyLlama), o padrão se inverte completamente: perturbações de magnitude causam mais dano à perda de linguagem do que as angulares. Isso sugere que o tipo de normalização define fundamentalmente o papel funcional da magnitude.
• Incompletude Mecanística: Os caminhos de reparo (Atenção e LayerNorm) explicam apenas cerca de 30% do dano total; o restante flui através de camadas MLP e conexões residuais.

6. Significado e Implicações

• Para a Interpretabilidade: Sugere que analisar direção e magnitude separadamente pode revelar fluxos de informação distintos (conteúdo semântico vs. intensidade/processamento estrutural).
• Para Edição de Modelos (Model Editing): Técnicas de edição devem considerar se o objetivo é preservar a qualidade da linguagem (proteger a direção) ou a coerência sintática/estrutural (proteger a magnitude).
• Teoria de Representação: Refina a Hipótese da Representação Linear, indicando que a geometria do espaço oculto não é apenas um contêiner passivo, mas molda ativamente o fluxo computacional. A direção roteia a informação, e a magnitude modula a intensidade e a estrutura.

Em suma, o artigo demonstra que, em arquiteturas Transformer com LayerNorm, a direção e a magnitude não são redundantes, mas sim componentes funcionalmente especializados que suportam diferentes aspectos da cognição do modelo.