Resumo Técnico: Evidência de Correção de Erros Específica de Características em LLMs

Declaração do Problema

As representações internas de Grandes Modelos de Linguagem (LLMs) permanecem mal compreendidas. Uma hipótese prevalecente é que os LLMs utilizam superposição para representar mais características do que possuem dimensões, e potencialmente realizam computação em superposição (CiS). O trabalho teórico (Hänni et al., 2024) prevê que, para a CiS funcionar, a rede deve implementar correção de erros que privilegie direções de "características" específicas sobre direções genéricas para suprimir o ruído de interferência. No entanto, essa previsão carece de validação empírica. Sem direções de características de verdade absoluta (ground-truth), é difícil testar se os LLMs tratam certas direções como privilegiadas. Este artigo propõe um teste empírico para determinar se os LLMs exibem Correção de Erros Específica de Características (FSEC) — uma propriedade onde o modelo é menos sensível a perturbações ao longo de direções não-características do que ao longo de direções de características.

Metodologia

Os autores propõem um teste empírico baseado em perturbação para medir a geometria dos platôs de ativação (regiões onde pequenas perturbações geram uma resposta subsequente negligenciável).

1. Configuração da Perturbação:

   • As ativações do fluxo residual em uma camada inicial ($\ell=2$) são perturbadas rotacionando o vetor de ativação em direção a uma direção alvo $d$, mantendo o vetor's norma (perturbação de norma correspondente).
   • A resposta subsequente é medida na penúltima camada como a distância $L_2$ entre os fluxos residuais perturbados e não perturbados.
   • O ângulo de quebra de platô ($\alpha$) é definido como o menor ângulo de perturbação necessário para exceder um limiar de resposta específico.

2. Tipos de Direção:

   • Direções de Características Candidatas: Construídas via prompts contrastivos (ex: gênero, sentimento, idiomas), MELBO (otimização não supervisionada para resposta subsequente) e colunas de decodificador de Autoencoders Esparsos (SAE).
   • Direções de Linha de Base (Baseline): Direções isotrópicas aleatórias, direções de PCA e direções de diferença aleatória (diferenças de ativações não pareadas).

3. O Teste da Superelipse:

   • Os autores perturbam as ativações ao longo de misturas de duas direções ($d_1, d_2$) variando um ângulo de mistura $\phi$.
   • Eles modelam o ângulo de quebra de platô $\alpha(\phi)$ como uma função das projeções sobre as duas direções.
   • A resposta é modelada como uma norma $L_p$ da decomposição: $R(v) = F(\sum w_i |\hat{f}_i^\top v|^p)$.
   • Previsão Teórica:
     • Se o modelo responder apenas à magnitude da perturbação (isotrópico), a fronteira é uma elipse ($p=2$).
     • Se o modelo privilegiar direções de características individuais (FSEC), a fronteira projetará para fora, formando uma superelipse com $p > 2$. Isso indica que uma mistura de características requer uma perturbação maior para quebrar o platô do que uma direção de característica pura, implicando que a rede suprime a interferência de direções mistas.

Principais Contribuições

1. Proposta de FSEC como um Teste: Os autores formalizam a FSEC como um teste para computação em superposição, modelando a resposta do LLM às perturbações através do expoente $p$ da decomposição da norma $L_p$.
2. Evidência Empírica: Eles fornecem a primeira evidência empírica de que direções de características candidatas são privilegiadas em relação às suas misturas.
3. Replicação em Múltiplos Modelos: Os achados são replicados em seis LLMs diversos (Gemma-2-9B, Qwen3-1.7B, Llama-3.1-8B, Mistral-7B-v0.3, Aya-Expanse-8B e Yi-1.5-9B).
4. Validação por Modelo de Brinquedo (Toy Model): A metodologia é validada em uma rede de denoising de brinquedo com características de verdade absoluta conhecidas, confirmando que $p > 2$ é recuperado para características verdadeiras e degrada para $p \approx 2$ conforme as direções são rotacionadas para longe delas.

Resultados

• Direções Contrastivas: Através de 318 pares de direções contrastivas (cobrindo conceitos como riqueza, gênero e idiomas), o expoente da superelipse ajustado é consistentemente $p > 2$ (média $p \approx 2.42$, mediana $2.30$).
• Direções MELBO e SAE: Estas direções de características candidatas também geram $p > 2$ (média MELBO $2.21$; média SAE $2.28$), embora ligeiramente menores que as direções contrastivas.
• Linhas de Base (Baselines): As direções de PCA, aleatórias e de diferença aleatória todos se agrupam em torno de $p \approx 2$ (médias variando de $2.03$a$2.05$), indicando que não são privilegiadas.
• Análise de Rotação: Quando as direções contrastivas são rotacionadas em direção a direções ortogonais aleatórias, o expoente $p$ diminui monotonicamente de $\approx 2.4$ para $\approx 2.0$, demonstrando que $p$ rastreia o alinhamento com as direções de características.
• Robustez: Os resultados sustentam-se em várias ablações, incluindo diferentes camadas de perturbação, camadas de medição, métricas de resposta (distância de cosseno, divergência KL) e posições de tokens.

Significância e Alegações

O artigo afirma fornecer a primeira evidência empírica apoiando a hipótese de que os LLMs implementam a correção de erros específica de características, uma condição necessária para a computação em superposição.

• Interpretação de $p > 2$: Os autores argumentam que $p=2$ (uma forma quadrática) não pode privilegiar um grande número de direções de características sobre outras devido aos graus de liberdade limitados na dimensão do modelo. Em contraste, $p > 2$ permite que a rede seja altamente sensível a direções de características específicas enquanto suprime a interferência de suas misturas.
• Limite Inferior: Os autores observam modestamente que o $p \approx 2.3$ medido para os LLMs é provavelmente um limite inferior. Como suas direções candidatas (contrastivas, MELBO, SAE) são aproximações imperfeitas das verdadeiras características de base (ground-truth), o desalinhamento dilui a sensibilidade direcional, enviesando $p$ em direção a 2. Seus experimentos com modelos de brinquedo apoiam isso, mostrando que até um desalinhamento moderado reduz $p$ do intervalo da verdade absoluta ($3\text{--}3.4$) para o intervalo observado nos LLMs.
• Limitações: O artigo afirma explicitamente que, embora $p > 2$ seja uma condição necessária para FSEC, não é suficiente para provar que uma direção é uma característica (experimentos preliminares sugerem que maximizar $p$ sozinho não recupera as características). Além disso, a existência de platôs de ativação não prova definitivamente a correção de erros; eles podem advir de outros mecanismos de robustez. No entanto, o tratamento diferencial de direções ($p > 2$ para características vs. $p \approx 2$ para baselines) permanece uma observação robusta de tratamento preferencial.

Em conclusão, o artigo estabelece uma métrica quantitativa ($p$) que distingue direções de características candidatas de não-características, oferecendo um forte suporte empírico para o arcabouço teórico de superposição e correção de erros em LLMs.