How Many Features Can a Language Model Store Under the Linear Representation Hypothesis?

Resumo Técnico: Quantas Características um Modelo de Linguagem Pode Armazenar sob a Hipótese de Representação Linear?

1. O Problema e o Contexto

A Hipótese de Representação Linear (LRH) é um princípio central na interpretação de modelos de linguagem (LLMs), sugerindo que as camadas intermediárias armazenam características (features) de forma linear. Observações empíricas mostram que características como sentimentos, entidades ou estados de jogo podem ser extraídas usando classificadores lineares simples ("linear probes") sobre as ativações neuronais.

No entanto, a literatura carece de uma formalização matemática rigorosa que responda a uma pergunta fundamental: Quantas características ($m$) podem ser armazenadas e acessadas linearmente em uma camada com $d$ neurônios?

O artigo identifica uma lacuna conceitual crítica: a distinção entre Representação Linear (as características estão embutidas linearmente nas ativações) e Acessibilidade Linear (as características podem ser recuperadas por meio de um decodificador linear). Enquanto a literatura frequentemente trata esses conceitos como equivalentes, os autores demonstram que há uma diferença quantitativa significativa na capacidade de armazenamento ("superposição") dependendo de qual hipótese é exigida.

2. Metodologia e Framework Matemático

Os autores propõem um framework matemático para formalizar a LRH e analisar a capacidade de superposição (armazenar $m \gg d$ características).

• Definições Formais:
  • Ativações: Um input $\ell$ é mapeado para um vetor $f(\ell) \in \mathbb{R}^d$.
  • Características: Funções $z_i: L \to \mathbb{R}$.
  • Representação Linear: Existe uma matriz $A \in \mathbb{R}^{d \times m}$ tal que $f(\ell) = Az(\ell)$, onde $z(\ell)$ é o vetor de características.
  • Acessibilidade Linear: Existe uma matriz de sondas (probes) $B \in \mathbb{R}^{d \times m}$ tal que $B^T f(\ell) \approx z(\ell)$.
• Suposição de Esparsidade: O modelo assume que, para qualquer input, apenas um subconjunto pequeno de características está ativo (vetores $k$-esparsos, onde $k \ll m$).
• Objetivo: Determinar o limite inferior e superior de $d$ (dimensão dos neurônios) necessário para representar e recuperar $m$ características com erro $\epsilon$, assumindo que $z$ é $k$-esparso.

O trabalho compara dois cenários:

1. Acessibilidade Geral (Compressed Sensing Clássico): A recuperação pode ser não-linear (ex: minimização $\ell_1$).
2. Acessibilidade Linear (Linear Compressed Sensing): A recuperação deve ser estritamente linear ($B^T A z \approx z$).

3. Principais Contribuições e Resultados Teóricos

O artigo estabelece limites superiores e inferiores quase coincidentes para o cenário de Acessibilidade Linear, revelando uma "lacuna quantitativa" em relação ao cenário clássico.

A. Resultados no Cenário Clássico (Acessibilidade Não-Linear)
Baseado em resultados conhecidos de Compressed Sensing (Candes, Tao, Donoho), se a recuperação for não-linear:

• $d = O(k \log(m/k))$ é suficiente.
• Isso permite uma superposição exponencial, mas depende de algoritmos de decodificação complexos.

B. Resultados Principais: Acessibilidade Linear (O Foco do Artigo)
Os autores provam que a exigência de um decodificador linear impõe restrições muito mais severas:

• Limite Superior (Teorema 2):
  $$d = O_\epsilon(k^2 \log m)$$
  Prova: Utiliza construções de matrizes aleatórias com colunas aproximadamente ortogonais (matrizes incoerentes). Mostra-se que é possível armazenar um número exponencial de características em relação a $d$, desde que $d$ cresça quadraticamente com a esparsidade $k$.

• Limite Inferior (Teorema 3):
  $$d = \Omega_\epsilon\left( \frac{k^2}{\log k} \log \frac{m}{k} \right)$$
  Prova: Utiliza técnicas avançadas de álgebra linear e teoria dos grafos:

  1. Limites de RANK (Alon, 2003): Matrizes próximas à identidade com entradas fora da diagonal pequenas devem ter posto (rank) alto.
  2. Teorema de Turán: Usado para analisar a estrutura de grafos de "interferência" entre características. Se $d$ for muito pequeno, é inevitável que existam pares de características que interferem fortemente uns nos outros (produto interno alto entre vetores de representação de uma característica e vetores de sonda de outra), violando a condição de recuperação linear.

C. A Lacuna Quantitativa
O resultado mais impactante é a diferença na dependência de $k$:

• Compressed Sensing Clássico: $d \propto k$ (linear).
• Linear Compressed Sensing: $d \propto k^2$ (quadrático).
  Isso demonstra que a Acessibilidade Linear é uma hipótese estritamente mais forte e restritiva do que a simples Representação Linear.

4. Geometria das Características e Generalizações

• Geometria de Vetores (Seção 4):
  O artigo desmistifica a intuição de que características devem ser representadas por direções ortogonais.

  • É possível construir cenários onde os vetores de representação ($a_i$) e os vetores de sonda ($b_i$) são quase ortogonais entre si, e onde diferentes características têm vetores de representação altamente correlacionados.
  • A condição crítica para a recuperação linear é que o vetor de sonda de uma característica seja ortogonal aos vetores de representação de outras características, não necessariamente aos seus próprios vetores de representação.
  • Se as normas dos vetores forem restritas (próximas de 1), o comportamento "limpo" (direções alinhadas e ortogonais entre features) emerge naturalmente.

• Generalização para Funções de Ativação (Seção 5):
  Os autores estendem o limite inferior para cenários onde o decodificador inclui uma função de ativação não-linear (como ReLU) e um viés (bias).

  • Teorema 12 e Corolário 13: Mesmo permitindo sondas da forma $g(x) = \sigma(Wx + b)$, o limite inferior de $d = \Omega(k^2 \log(m/k))$ permanece válido para características binárias.
  • Isso implica que adicionar não-linearidades simples ao decodificador não aumenta a capacidade assintótica de armazenamento de características sob a LRH.

5. Significado e Implicações

1. Validação Teórica da Superposição: O trabalho fornece evidência teórica robusta para a "Hipótese de Superposição" (Elhage et al., 2022). Mostra que, sob regimes de esparsidade razoáveis, uma única camada de neurônios pode armazenar e permitir o acesso linear a um número exponencial de características em relação ao número de neurônios.
2. Fundamentação da LRH: Ao separar formalmente representação de acessibilidade, o artigo oferece uma base matemática sólida para estudar a interpretabilidade de LLMs. Sugere que a LRH é expressiva o suficiente para explicar comportamentos complexos, mas impõe custos computacionais (dimensão $d$) específicos.
3. Diferença entre Decodificadores: A descoberta de que a acessibilidade linear exige $O(k^2)$ em vez de $O(k)$ sugere que a arquitetura de redes neurais (que opera com transformações lineares seguidas de não-linearidades) pode estar otimizada para um equilíbrio entre a capacidade de armazenamento e a facilidade de recuperação linear pelas camadas subsequentes.
4. Direções Futuras: O framework abre caminho para investigar como múltiplas camadas cooperam para recuperar características e como hipóteses de representação alternativas se comparam à LRH em termos de capacidade.

Em suma, o artigo estabelece que, embora a representação linear permita uma superposição massiva de informações, a exigência de que essa informação seja acessível linearmente (o que é crucial para que a próxima camada da rede neural utilize essas características) impõe um limite quadrático na esparsidade das características ativas, diferenciando-se fundamentalmente dos limites clássicos de compressão de dados.