Resumo Técnico: Anti-Concentração Espectral e a Dualidade Geométrica das Representações de Transformers

Declaração do Problema

O artigo investiga a estrutura geométrica das representações de conceitos em Modelos de Linguagem de Grande Escala (LLMs), testando especificamente duas hipóteses concorrentes sobre como os conceitos são codificados e transportados entre idiomas.

Primeiro, a Hipótese de Representação Linear (HRL) postula que conceitos de alto nível são codificados como direções lineares no espaço de ativação. Park et al. [2024] formalizaram isso propondo um produto interno causal definido pela inversa da matriz de desembedding ($\Sigma^{-1}$), sugerindo que conceitos causalmente separáveis são ortogonais sob essa métrica. Isso levou à hipótese de Alinhamento Causal Branqueado (WCA): que alinhar espaços de representação usando essa geometria causal (branqueamento por $\Sigma^{-1/2}$) permitiria um transporte de conceitos translinguístico superior ao alinhamento Euclidiano Procrustes padrão.

Segundo, a Hipótese de Representação Platônica sugere que modelos capazes convergem para representações internas compartilhadas, implicando que direções de conceitos extraídas de um idioma devem ser transferíveis para outro.

Os autores propuseram-se a validar se as direções próprias específicas do produto interno causal facilitam esse transporte translinguístico. No entanto, seus experimentos revelaram um fenômeno mais amplo, anteriormente não caracterizado: anti-concentração espectral. Eles descobriram que as representações de conceitos evitam sistematicamente as direções de alta variância do espectro do modelo, enquanto o vocabulário estático exibe o comportamento oposto.

Metodologia

O estudo emprega uma abordagem rigorosa e multi-método em 17 modelos abrangendo 5 famílias de arquiteturas (Llama, Qwen, Gemma, Mistral e Mixture-of-Experts) e 4 pares translinguísticos.

1. Extração de Conceitos (Três Métodos Independentes)

Para descartar artefatos metodológicos, os autores extraem direções de conceitos usando três abordagens distintas:

• Diferença de Médias: Cálculo da diferença média das ativações do fluxo residual agrupadas para pares de palavras contrafactuais (método subtrativo).
• Autoencoders Esparsos (SAE): Extração dos recursos que ativam diferencialmente no topo a partir de SAEs pré-treinados (Gemma Scope, Llama Scope) usando ativações contextualizadas (não supervisionado, não subtrativo).
• Probes Lineares: Treinamento de classificadores de regressão logística regularizados em L2 sobre ativações contextualizadas brutas e não centradas (supervisionado).

2. Framework de Análise Espectral

Todos os vetores de conceitos são projetados na base própria da matriz de covariância de desembedding específica do idioma $\Sigma_L$. Os autores definem:

• Distribuição de Energia Espectral: A fração da energia de um vetor em autovetores específicos.
• Desvio de Gini: Uma medida de concentração versus anti-concentração. Valores negativos indicam que a energia está concentrada na cauda espectral (direções de baixa variância).
• Centro de Massa Espectral (SCM): O ponto de variância cumulativa onde 50% da energia é atingida.

3. Experimentos Chave

• Randomização de Espectro Correspondente: Para testar a utilidade da geometria causal, os autores substituíram os autovetores reais de $\Sigma$ por matrizes ortogonais aleatórias, preservando o espectro de autovalores. Eles compararam WCA Real contra WCA Falsa para transporte translinguístico.
• Direcionamento por Injeção Dividida: Vetores de conceitos foram decompostos em componentes "gritando" (top 10% de autovetores, alta variância) e "sussurrando" (bottom 10% de autovetores, baixa variância). Estes foram injetados nos modelos Gemma e Llama em várias profundidades para medir a degradação da perplexidade (um proxy para interferência gramatical).
• Probing de Tags POS: Classificadores foram treinados em ativações projetadas em subespaços de alta variância (top-k) e baixa variância (bottom-k) para determinar onde a informação sintática reside.
• Verificação de Dualidade Geométrica: Os autores compararam vetores de conceitos no espaço de ativação contra diferenças de linhas de desembedding estáticas para identificar comportamentos espectrais contrastantes.

Resultados Principais

1. Falha da Geometria Causal para Transporte

O teste de randomização de espectro correspondente encontrou que a WCA Real é indistinguível da WCA Falsa (p = 0,95). As direções próprias específicas do produto interno causal não melhoram mensuravelmente o transporte translinguístico além do efeito da regularização espectral (atenuação de direções de alta variância).

2. Anti-Concentração Espectral

Contrariando a expectativa de que conceitos possam alinhar-se com direções de alta variância, o estudo encontra robusta anti-concentração espectral:

• Vetores de conceitos no espaço de ativação (de todos os três métodos de extração) colocam consistentemente energia desproporcional na cauda de baixa variância do espectro próprio.
• Isso se mantém em 17 modelos e 5 famílias de arquiteturas (Gini médio = -0,282, p < 10⁻³³).
• O efeito é independente da forma espectral de fundo e persiste mesmo quando artefatos de subtração são descartados via métodos SAE e probe linear.

3. A Dualidade Geométrica

O artigo identifica uma dualidade fundamental entre o espaço de vocabulário e o espaço de raciocínio:

• Espaço de Vocabulário (Estático): Diferenças específicas de conceitos nas linhas de desembedding concentram-se em direções de alta variância (Gini positivo). Isso permite que contrastes de conceitos influenciem maximamente os logits de previsão de tokens.
• Espaço de Raciocínio (Ativação): Representações de conceitos no fluxo residual anti-concentram-se na cauda espectral.
• Diferenças aleatórias de pares de tokens mostram leve anti-concentração, enquanto pares específicos de conceitos mostram concentração ativa no espaço de vocabulário, confirmando que a matriz de desembedding codifica especificamente contrastes relevantes para conceitos ao longo de seus eixos principais.

4. Evidência Funcional

• Assimetria de Interferência: Experimentos de injeção dividida em Gemma e Llama mostram que injetar vetores de conceitos em direções de alta variância ("gritando") causa degradação significativamente maior da perplexidade (disrupção gramatical) do que injetar em direções de baixa variância ("sussurrando") (d de Cohen até 1,80).
• Codificação Sintática: O probing de tags POS revela que, em 6 de 8 arquiteturas, a informação sintática é preferencialmente codificada no subespaço de alta variância.
• A Anomalia Qwen 2.5: A família Qwen 2.5 (3B, 7B) inverte esse padrão, mostrando uma vantagem bottom-k para informações POS e nenhuma assimetria de interferência. Isso sugere que a separação espectral de sintaxe e semântica pode ser dependente da arquitetura.

Significado e Alegações

O artigo alega revelar uma "Dualidade Geométrica" nas representações de transformers: "Conceitos sussurram enquanto a sintaxe grita."

• Insight Mecanístico: Os transformers parecem rotacionar o conteúdo semântico para regiões espectralmente silenciosas (baixa variância) durante o processamento contextualizado. Isso permite que conceitos sejam manipulados com redução da disrupção gramatical, enquanto sintaxe e padrões estruturais ocupam o subespaço "alto" de alta variância, onde podem sobreviver robustamente ao ruído do fluxo residual.
• Implicações para Interpretabilidade: Métodos focados exclusivamente nos principais componentes (por exemplo, visualização padrão de PCA) correm o risco de perder informações de nível de conceito, que residem na cauda espectral. Ferramentas de interpretabilidade devem atender a direções de baixa variância.
• Implicações para Direcionamento: As descobertas sugerem um refinamento prático para engenharia de ativação: projetar vetores de direcionamento no subespaço de baixa variância antes da injeção poderia alcançar manipulação de conceitos com menor disrupção de fluência, potencialmente mitigando a "afasia" causada pela disrupção do roteamento sintático.
• Conexão Teórica: Os resultados oferecem uma dimensão espectral à teoria da superposição. Se direções de alta variância são "reivindicadas" por padrões sintáticos frequentes, a dimensionalidade efetiva para conceitos semânticos é reduzida, forçando a rede a codificar recursos semânticos na cauda via superposição.

Os autores permanecem modestos quanto ao escopo, notando que seus conceitos são derivados de contrafactuais em nível de palavra e que o comportamento do fenômeno em arquiteturas codificador-decodificador ou para conceitos altamente abstratos permanece uma questão em aberto. Eles enfatizam que a anomalia Qwen 2.5 merece investigação adicional sobre como regimes de treinamento específicos ou escolhas arquitetônicas alteram a alocação espectral.