Revisiting Anisotropy in Language Transformers: The Geometry of Learning Dynamics

Título: Revisiting Anisotropy in Language Transformers: The Geometry of Learning Dynamics

Autores: Raphael Bernas, Fanny Jourdan, Antonin Poché, Céline Hudelot.

1. O Problema

Desde sua introdução, as arquiteturas Transformer dominaram o Processamento de Linguagem Natural (NLP). No entanto, pesquisas recentes destacaram um fenômeno inerente de anisotropia nesses modelos: em vez de distribuir-se uniformemente no espaço vetorial, os embeddings de tokens (ou frases) concentram-se em um cone estreito, exibindo alta similaridade cosseno mesmo para conteúdos não relacionados.

A literatura anterior frequentemente tratou essa anisotropia como uma "patologia" que degrada o raciocínio baseado em similaridade e distorce a geometria semântica. Contudo, estudos recentes sugerem que a anisotropia pode não ser apenas um defeito, mas uma característica estrutural inerente ao mecanismo de auto-atenção e aos objetivos de treinamento. O problema central abordado neste trabalho é a falta de uma explicação teórica fundamentada na geometria da representação local e na dinâmica de aprendizado que explique por que e como essa anisotropia surge, especialmente em relação à frequência dos tokens e à curvatura do espaço de representação.

2. Metodologia

Os autores combinam argumentos teóricos de geometria diferencial com validação empírica rigorosa durante o treinamento (não apenas post hoc).

A. Argumentos Teóricos (Geometria Diferencial)

O trabalho adota uma hipótese de variedade local (local manifold hypothesis), assumindo que, em vizinhanças semânticas pequenas, os embeddings se concentram perto de uma variedade diferenciável de baixa dimensão.

1. Viés de Amostragem por Frequência: Eles propõem que tokens frequentes sofrem um "colapso de variância" induzido pela frequência. Tokens frequentes tendem a ter normas menores e estão mais "fixos" perto de seu centroide idealizado, enquanto tokens raros mantêm maior variabilidade geométrica.
2. Atenuação da Curvatura: Através de expansões de corda-arco (chord-arc expansion), os autores demonstram teoricamente que, quando a densidade de amostragem radial se concentra em distâncias pequenas (como ocorre com tokens frequentes), o viés geométrico que normalmente realçaria direções de alta curvatura é atenuado. Isso reduz a "visibilidade" da curvatura intrínseca do espaço.
3. Viés do Gradiente para Direções Tangentes: Eles derivam que, devido à decomposição tangente-normal, as atualizações de gradiente preferencialmente reforçam as direções tangentes à variedade local em vez das direções normais. Como as direções normais são geometricamente suprimidas (escala $O(t^2)$) em comparação com as tangentes (escala $O(t)$), cria-se um mecanismo de realimentação que amplifica a anisotropia alinhada ao tangente.

B. Validação Empírica

Para testar essas hipóteses, os autores utilizam interpretabilidade mecânica baseada em conceitos durante o treinamento:

• Extração de Subespaço: Eles extraem subespaços de baixa dimensão (proxies tangentes) derivados das ativações iniciais do treinamento (antes que o modelo se estabilize completamente).
• Teste de Gradientes: Comparam a energia dos gradientes verdadeiros (backpropagados) contra esses subespaços tangentes e contra subespaços normais de rank equivalente (controles).
• Métricas: Avaliam a concentração de energia do gradiente e a melhoria na isotropia (usando IsoScore) ao remover as direções tangentes versus as normais.
• Modelos Testados: Uma variedade de modelos encoder (ex: EuroBERT, CamemBERT) e decoder (ex: Pythia, OLMo, SmolLM2) em diferentes escalas.

3. Principais Contribuições

1. Fundamentação Geométrica da Anisotropia: Fornecem argumentos teóricos mostrando que a geometria sintática subjacente da linguagem favorece uma organização linear de baixa dimensão, e que a frequência dos tokens exacerba isso através do colapso de variância.
2. Mecanismo de Dinâmica de Aprendizado: Identificam um mecanismo de auto-reforço onde a otimização (gradientes) amplifica preferencialmente as direções tangentes à variedade de ativação, suprimindo componentes normais. Isso explica como a anisotropia é "impressa" principalmente nas fases iniciais do treinamento.
3. Validação Empírica em Tempo Real: Diferente de estudos anteriores que analisam checkpoints finais, este trabalho utiliza a dinâmica de treinamento para provar que os gradientes verdadeiros estão alinhados com as direções de ativação derivadas de conceitos, capturando a maior parte da energia e da anisotropia.
4. Reinterpretação da Anisotropia: Argumentam que a anisotropia não deve ser vista apenas como um defeito, mas possivelmente como uma forma de regularização natural que reduz a dimensionalidade intrínseca, facilitando a generalização em modelos superparametrizados.

4. Resultados Chave

• Colapso de Variância: Confirmação empírica de que tokens frequentes têm trajetórias de treinamento muito mais confinadas (menor distância ao centroide) do que tokens raros, validando a hipótese de colapso de variância induzido pela frequência.
• Dominância Tangente: Os testes de gradiente mostram que as direções derivadas de ativações (tangentes) capturam uma energia de gradiente significativamente maior (frequentemente ordens de magnitude) do que subespaços normais aleatórios de mesmo rank.
• Explicação da Anisotropia: A remoção dos subespaços tangentes derivados de conceitos resulta em uma melhoria substancial na isotropia (IsoScore) em comparação com a remoção de subespaços normais, indicando que a anisotropia reside especificamente nessas direções tangentes.
• Fase Inicial Crítica: O efeito é mais forte nas fases iniciais do treinamento. Isso sugere que a organização geométrica fundamental do espaço de representação é estabelecida cedo, quando o viés tangente é mais forte, e persiste através de atualizações subsequentes menores.
• Diferenças Arquiteturais: Modelos decoder (autoregressivos) exibem um alinhamento tangente mais forte do que modelos encoder (MLM), o que é consistente com a teoria, já que a otimização de verossimilhança em decoders gera uma concentração de frequência mais acentuada.

5. Significado e Impacto

Este trabalho oferece uma mudança de paradigma na compreensão da anisotropia em Transformers:

• De Patologia para Estrutura: Sugere que a anisotropia é uma consequência natural e talvez benéfica da interação entre a estrutura sintática da linguagem, a distribuição de frequência dos tokens e a dinâmica de otimização em variedades de baixa dimensão.
• Generalização: A redução da dimensionalidade intrínseca via anisotropia pode ser o mecanismo que permite que modelos massivamente superparametrizados generalizem bem, operando efetivamente em subespaços de baixa dimensão.
• Direções Futuras: O estudo abre caminho para o desenvolvimento de técnicas de regularização que explorem essa geometria, em vez de apenas tentar "corrigir" a anisotropia para forçar isotropia, o que pode ser contraproducente para a capacidade de generalização do modelo.

Em resumo, o artigo demonstra que a anisotropia não é um ruído aleatório, mas uma assinatura geométrica da dinâmica de aprendizado, onde a frequência dos tokens e a estrutura do gradiente convergem para alinhar as representações em direções tangentes de baixa dimensão.