Why Linear Interpretability Works: Invariant Subspaces as a Result of Architectural Constraints

Resumo Técnico: Por que a Interpretabilidade Linear Funciona

Título Original: Why Linear Interpretability Works: Invariant Subspaces as a Result of Architectural Constraints

1. O Problema (A Lacuna Teórica)

Atualmente, métodos de interpretabilidade de modelos Transformer — como probes lineares (sondas) e Autoencoders Esparsos (SAEs) — conseguem extrair estruturas semânticas significativas das representações internas dos modelos. No entanto, existe um paradoxo teórico: os Transformers são sistemas profundamente não lineares e complexos, então por que operações lineares simples conseguem isolar conceitos semânticos de forma tão consistente?

Embora trabalhos anteriores sugiram que a linearidade emerge do objetivo de predição do próximo token e do viés do gradiente, este artigo propõe que a causa fundamental é arquitetural.

2. Metodologia e Framework Teórico

Os autores desenvolvem um framework geométrico baseado na ideia de que a arquitetura do Transformer impõe restrições sobre a forma que as informações devem assumir para serem comunicadas.

Principais Conceitos Teóricos:

• Interfaces de Comunicação Linear: O artigo assume que a informação flui através de interfaces lineares, especificamente o circuito OV (Output-Value) da atenção e a matriz de unembedding (que mapeia estados ocultos para logits).
• Teorema da Necessidade de Subespaço Invariante (Invariant Subspace Necessity): Este é o núcleo do trabalho. O teorema prova que, se uma característica semântica é decodificada através de uma interface linear, sua representação deve residir em um subespaço linear invariante ao contexto. Ou seja, independentemente de como o conceito é expressado (ex: "França" ou "o país da Torre Eiffel"), a direção geométrica no espaço de ativação deve ser a mesma.
• Propriedade de Autorreferência (Self-Reference Property): Os autores derivam que os próprios tokens (ex: o token "França") fornecem a direção geométrica para suas características associadas. Isso permite a identificação de estruturas semânticas zero-shot, sem necessidade de treinamento ou rótulos.
• Restrição de Capacidade e Fatoração: Como o vocabulário ($|V|$) é muito maior que a dimensão oculta ($d$), os tokens não podem ser ortogonais. Isso força o modelo a "fatorar" as representações, compartilhando direções de características entre diferentes tokens para otimizar a compressão.

3. Principais Contribuições

1. Explicação Arquitetural: Fornece uma base teórica para a interpretabilidade linear, movendo a discussão de "por que isso funciona empiricamente" para "por que a arquitetura exige que isso funcione".
2. Identificação Zero-Shot: Introduz a capacidade de usar a geometria dos tokens como "âncoras" para extrair conceitos sem supervisão.
3. Unificação de Métodos: Demonstra que Probes Lineares e SAEs não são métodos conflitantes, mas sim diferentes formas de acessar a mesma estrutura de subespaço invariante imposta pela arquitetura.

4. Resultados Experimentais

Os autores validaram a teoria em oito tarefas de classificação (taxonomia, afetividade, estilo, linguística, etc.) e quatro famílias de modelos (LLaMA3, Mistral, GPT2-Small, LLaMA3.2).

• Validação da Autorreferência: Experimentos mostraram que os tokens de classe alinham-se consistentemente com as instâncias da mesma classe (ex: o token "Animal" está geometricamente mais próximo de "Cachorro" do que de "Carro"), validando a Propriedade de Autorreferência.
• Desempenho de Probes:
  • Zero-Shot Probes: Conseguiram classificar instâncias usando apenas a direção do token de classe.
  • Unsupervised Probes: Treinados apenas com tokens de classe, conseguiram generalizar para instâncias sem nunca tê-las visto.
  • SAEs: Mostraram uma sobreposição massiva de dimensões latentes entre tokens de classe e suas instâncias contextuais, confirmando que os SAEs recuperam as direções invariantes previstas.
• Teste de Polissemia: O modelo consegue lidar com palavras como "Apple" (fruta vs. empresa), mostrando que o contexto modula a magnitude da ativação ao longo de direções distintas, mas que coexistem no mesmo espaço.

5. Significância e Impacto

O trabalho é fundamental para a área de Interpretabilidade Mecanística. Ele sugere que a interpretabilidade não é um "acidente" do treinamento, mas uma consequência inevitável do design dos Transformers.

Implicações práticas:

• Permite o desenvolvimento de métodos de interpretação mais escaláveis e não supervisionados.
• Oferece uma base para o direcionamento de ativação (activation steering), explicando por que mudar uma direção linear altera o comportamento do modelo.
• Fornece uma nova métrica para avaliar a qualidade de Autoencoders Esparsos (SAEs) baseada no alinhamento com direções de tokens.