Resumo Técnico: Dimensionalidade Causal das Representações de Transformers

Declaração do Problema

Autoencoders Esparsos (SAEs) tornaram-se a ferramenta padrão para decompor fluxos residuais de transformers em dicionários de características interpretáveis e monossêmicos. Uma premissa predominante no campo é que a capacidade representacional (o número de características que se ativam em qualquer entrada) escala linearmente com a capacidade causal (o número de características cuja perturbação altera efetivamente o comportamento do modelo). Se verdadeiro, simplesmente aumentar a largura do SAE expandiria proporcionalmente o conjunto de características causalmente relevantes disponíveis para a interpretabilidade mecânica.

Este artigo desafia essa premissa, argumentando que as capacidades representacional e causal divergem significativamente à medida que os SAEs escalonam. Os autores postulam que o campo carece de uma caracterização sistemática da relação entre a largura do SAE e a influência causal, necessitando de uma nova métrica para quantificar a estrutura causal intrínseca das camadas de transformers.

Metodologia

1. Definição de Dimensionalidade Causal ($\kappa$)

Os autores introduzem a dimensionalidade causal, denotada por $\kappa(L, M, T)$, definida como a classificação efetiva do produto externo esperado do Jacobiano na camada $L$:
$$\kappa(L, M, T) = \text{eff-rank}(\Sigma_L), \quad \text{onde } \Sigma_L = \mathbb{E}_{x \sim T} [J_L(x)^\top J_L(x)]$$
Aqui, $J_L(x)$ é o Jacobiano da saída do modelo em relação ao fluxo residual na camada $L$. $\kappa$ representa o número efetivo de direções no fluxo residual que influenciam causalmente a saída. Os autores provam que $\kappa \le \min(d, |V|)$, onde $d$ é a dimensão do modelo e $|V|$ é o tamanho do vocabulário.

2. Estimativa via Varredura de Largura de SAE e Patching de Atribuição

Como calcular $\Sigma_L$ exatamente é intratável (requerendo $d$ passagens de retropropagação por entrada), os autores propõem um estimador consistente usando Patching de Atribuição (AtP) acoplado a uma varredura de largura de SAE:

• Patching de Atribuição: Utilizado como um proxy de primeira ordem para influência causal. A pontuação para uma característica $i$ é $AtP_i = \mathbb{E} [|\frac{\partial \mathcal{L}}{\partial f_i} \cdot f_i(x)|]$, medindo o impacto da característica na perda.
• Varredura de Largura: Os autores treinam SAEs no Gemma-2-2B (Camada 12) em sete larguras variando de 16.384 a 1.048.576 características.
• Métrica: Eles contam o número de características $N_{causal}(m)$ que excedem um limiar absoluto calibrado $\epsilon$ (definido no percentil 98 das pontuações de AtP na largura de referência).
• Consistência: Sob as hipóteses de abrangência, fidelidade e ausência de características mortas, $N_{causal}(m)$ converge para uma contagem espectral que limita inferiormente $\kappa$.

3. Controles Experimentais

O estudo emprega controles rigorosos para isolar o sinal causal:

• $\ell_0$ Emparelhado: Controlando o número médio de características ativas entre as larguras para evitar confusão por deriva de esparsidade.
• Invariância de Escala: Comparando Gemma-2-2B e Gemma-2-9B em profundidades relativas emparelhadas.
• Invariância de Arquitetura: Testando SAEs TopK, JumpReLU e ReLU padrão.
• Ablações: Uma ablação de codificador/decodificador de quatro células para distinguir entre seleção de características e filtragem de esparsidade.
• Verdade Terrena Sintética: Testando a recuperação de direções causais conhecidas em um modelo de brinquedo.

Principais Resultados

1. A Cunha Representacional–Causal

No Gemma-2-2B Camada 12, aumentar a largura do SAE em 64× (de 16k para 1M) resultou em:

• Crescimento Representacional: A contagem de características ativadas ($N_{repr}$) aumentou 15,6×.
• Crescimento Causal: A contagem de características causalmente ativas ($N_{causal}$) aumentou apenas 4,35×.
  Essa divergência, denominada cunha representacional–causal, demonstra que a capacidade representacional cresce linearmente enquanto a capacidade causal satura de forma sub-linear.

2. Estimativa de $\kappa$

Ajustar uma curva de saturação à trajetória de $N_{causal}(m)$ produz uma estimativa de dimensionalidade causal:

• $\hat{\kappa} \approx 1.990$ (com um intervalo de confiança amplo devido a limitações de hardware na largura do SAE, mas uma razão robusta).
• $\hat{\kappa} / d_{modelo} \approx 0,86$: O modelo utiliza quase todas as suas dimensões representacionais causalmente em texto genérico, mas esse número é limitado e não cresce com a largura do SAE.
• Razão de Participação: Um limite inferior $\kappa_{PR} \approx 280$ indica um espectro de cauda pesada de influência causal.

3. Invariância e Estrutura

• Invariância de Escala: Apesar de um aumento de 3,46× nos parâmetros (Gemma-2-2B vs. 9B), a contagem causal em profundidade relativa emparelhada permaneceu idêntica ($N_{causal} = 328$). Isso sugere que $\kappa$ é determinado pela diversidade de tarefas, não pela contagem de parâmetros.
• Atenuação de Profundidade: Em oito camadas, o limiar absoluto de atribuição necessário para identificar os 2% principais de características caiu 20× da Camada 1 para a Camada 23, indicando que a força do sinal causal atenua com a profundidade.
• Invariância de Arquitetura: O crescimento sub-linear de $N_{causal}$ manteve-se em arquiteturas TopK, JumpReLU e ReLU padrão.

4. Insight Mecanístico: O Codificador como Filtro

Uma descoberta crítica da ablação de quatro células é que substituir o codificador treinado por uma projeção ortogonal aleatória inflou $N_{causal}$ em 9,27×.

• Implicação: O codificador treinado atua principalmente como um filtro de esparsidade (suprimindo características de fundo) em vez de um seletor de características.
• Consequência: O trabalho de interpretabilidade focado em rótulos de características do codificador pode estar mal direcionado; a estrutura do decodificador e o roteamento das características suprimidas são provavelmente mais críticos.

5. Validação e Controles

• Privilégio Geométrico: Características causais não mostraram distinção geométrica (magnitude ou similaridade de cosseno) de características não causais no espaço do decodificador.
• Recuperação Sintética: O AtP falhou em recuperar direções causais de verdade terrena em um modelo de brinquedo (Recall = 0), confirmando que o AtP mede padrões de ativação roteados através do decodificador, não uma recuperação direta de uma base causal.
• Recuperação Específica de Tarefa: Em circuitos de tarefas específicas (Marks et al., 2025), os 5% principais de características de AtP recuperaram 98,2% da verdade terrena, apoiando uma "estrutura em camadas" onde um núcleo de alto AtP é compartilhado entre tarefas, cercado por um halo específico da tarefa.

Significado e Afirmações

O artigo estabelece $\kappa$ como uma propriedade mensurável e intrínseca ao modelo das camadas de transformers. Suas principais contribuições são:

1. Definição Teórica: Definir dimensionalidade causal como a classificação efetiva do Jacobiano causal e provar seus limites superiores.
2. Caracterização Empírica: Demonstrar que a capacidade causal é recuperável de forma sub-linear pela largura do SAE e invariante à escalabilidade do modelo, contradizendo a premissa de que SAEs mais largos expandem linearmente a interpretabilidade causal.
3. Reenquadramento Mecanístico: Identificar o codificador treinado como um filtro de esparsidade, sugerindo que o "conjunto causal" é definido pela supressão de ruído pelo codificador, e não pela seleção de conceitos específicos.
4. Implicação Prática: As larguras atuais de SAE (ex: 1M) capturam apenas ~72% da dimensionalidade causal estimada ($\hat{\kappa}$), implicando que, para uma enumeração causal completa, seriam necessários SAEs significativamente mais largos (aproximadamente 2,6M), o que atualmente é computacionalmente proibitivo.

Os autores concluem que a "cunha" é uma propriedade fundamental das representações de transformers, impulsionada pela saturação das dimensões do subespaço causal, e que os esforços de interpretabilidade devem levar em conta essa escala não linear e o papel específico do codificador na filtragem de características de fundo.