The Geometric Wall: Manifold Structure Predicts Layerwise Sparse Autoencoder Scaling Laws

Resumo Técnico: A Parede Geométrica: A Estrutura de Variedade Prevê Leis de Escala de Autoencoders Esparsos por Camada

Declaração do Problema
Os Autoencoders Esparsos (SAEs) operacionalizam a Hipótese da Representação Linear (LRH) ao reconstruir as ativações do modelo como combinações lineares esparsas de átomos do dicionário. Essa abordagem assume implicitamente que o espaço de ativação é bem aproximado por uma estrutura globalmente linear. No entanto, as leis de escala existentes para a perda de reconstrução dos SAEs — especificamente a lei de potência conjunta que relaciona a perda à largura do dicionário ($n$) e à esparsidade ($k$) — foram ajustadas apenas em camadas individuais (por exemplo, camada 5/6 do GPT-4) e não levam em conta a variação acentuada no erro de reconstrução observada entre diferentes camadas de uma rede.

O artigo argumenta que essa variação não é meramente uma limitação de recursos, mas um traço empírico de um desajuste geométrico. Enquanto os SAEs assumem uma base plana e globalmente linear, as variedades de ativação dos grandes modelos de linguagem são curvas, e sua dimensão intrínseca varia sistematicamente com a profundidade. Consequentemente, nenhum dicionário linear esparso único pode corresponder uniformemente a essas variedades, fazendo com que a escala largura-esparsidade do SAE se torne uma função dependente da camada da geometria da variedade, em vez de uma lei universal.

Metodologia
Os autores realizam o primeiro estudo de escala entre camadas utilizando 844 checkpoints de SAEs do fluxo residual da família Gemma Scope, cobrindo todas as 26 camadas do Gemma 2 2B e todas as 42 camadas do Gemma 2 9B. A análise procede em duas etapas:

1. Etapa 1: Ajuste de Superfície de Escala por Camada

   • Para cada camada, os autores ajustam uma superfície de escala log-linear "sem piso" à perda de reconstrução ($L$) em função da largura do dicionário ($n$) e da esparsidade ($k$).
   • Devido à cobertura limitada de largura na maioria das camadas (apenas duas larguras de backbone disponíveis), eles ajustam uma superfície de 4 parâmetros: $\log L = a_0 + \beta_n \log n + \beta_k \log k + \gamma \log n \log k$.
   • A partir disso, derivam o expoente de escala de largura por camada $\alpha_\ell(k) = -(\beta_{n,\ell} + \gamma_\ell \log k)$.
   • Em seis camadas "exemplo" com grades de largura mais ricas ($\ge3$ larguras), realizam um ajuste não linear conjunto de uma superfície de 6 parâmetros "com piso" ($L = A(k)n^{-\alpha(k)} + B(k)$) para identificar o piso de reconstrução assintótico $B(k)$.

2. Etapa 2: Regressão Geométrica Entre Camadas

   • Os autores calculam quatro resumos geométricos por camada da variedade de ativação usando estimadores euclidianos extrínsecos (TWO-NN, PCA multi-escala, etc.):
     • Dimensão intrínseca ($d_{int}$): Graus de liberdade locais.
     • Curvatura multi-escala ($\kappa_{ms}$): Desvio médio do plano tangente em raios variados.
     • Variação do tangente ($\kappa_{tv}$): Taxa de rotação do espaço tangente.
     • Heterogeneidade ($\nu$): Variação local na dimensão intrínseca.
   • Eles regredem as saídas da Etapa 1 (especificamente o expoente de largura $\alpha_\ell(k)$ e os coeficientes $\beta_n, \gamma$) contra esses resumos geométricos usando Mínimos Quadrados Ordinários (OLS).
   • O teste de hipóteses compara uma nulidade invariante à geometria ($H_0$) contra modelos onde o alvo depende de recursos individuais, pares de recursos de baixa correlação ou todos os quatro recursos.
   • Transferência Entre Modelos: Coeficientes aprendidos em um modelo (por exemplo, 2B) são usados para prever os expoentes por camada do outro modelo (9B) para testar uma lei geométrica transferível.

Principais Contribuições

1. Estrutura Geométrica para Resíduos de SAE: O artigo fornece uma conta geométrica da informação de pullback explicando por que os espaços de ativação podem não admitir códigos lineares esparsos globalmente eficientes. Ele postula que a métrica "natural" no espaço de ativação é a métrica pullback Fisher-Rao, enquanto os SAEs otimizam para a distância euclidiana ambiente, criando um desajuste base-variedade.
2. Lei de Escala Condicionada à Geometria: Os autores estendem a lei de escala largura-esparsidade padrão para uma conta condicionada à geometria. Eles demonstram que os parâmetros da lei de escala (especificamente o expoente de largura) são funções por camada da geometria da variedade de ativação.
3. Lei Geométrica Entre Modelos e Acoplamento de Piso:
   • Eles mostram que coeficientes de regressão aprendidos em um modelo preveem com sucesso os expoentes de escala de largura por camada de outro modelo, indicando uma lei geométrica transferível.
   • Em camadas de exemplo, o piso de reconstrução assintótico ($B$) acompanha a ordenação geométrica: camadas com maior curvatura e dimensão intrínseca exibem pisos irredutíveis mais altos.

Resultados

• Previsão de Expoentes de Escala: A geometria da variedade prevê fortemente o expoente de escala de largura por camada $\alpha_\ell(k=50)$. A curvatura multi-escala ($\kappa_{ms}$) é o recurso único dominante, explicando quase toda a variação entre camadas no modelo 2B e a maioria no modelo 9B.
• Transferibilidade: A lei geométrica é transferível. Coeficientes de regressão ajustados no Gemma 2 2B preveem os expoentes do 9B com alta fidelidade ($R^2 \approx 0,92-0,93$), e vice-versa, sugerindo que a relação não é um artefato de um tamanho de modelo específico.
• A Parede Geométrica: Em camadas onde o piso assintótico é identificável, a magnitude do piso correlaciona-se com a complexidade geométrica. Maior curvatura e dimensão intrínseca correspondem a pisos mais altos. Isso é interpretado como um resíduo de segunda ordem irredutível: um dicionário linear esparso plano não pode aproximar perfeitamente uma variedade curva, deixando um erro residual que não desaparece mesmo quando a largura do dicionário tende ao infinito.
• Interpretação Mecanicista: A "parede geométrica" não é um teto de recursos finitos, mas um limite dependente da geometria. Maior curvatura aumenta o desvio de segunda ordem do plano tangente, enquanto maior dimensão intrínseca reduz a parcela do espaço tangente local cobrível por um orçamento finito de átomos.

Significado e Alegações
O artigo afirma redefinir o limite do SAE como uma parede dependente da geometria em vez de um teto de recursos. Argumenta que a variação na fidelidade do SAE entre camadas é condicionada pela estrutura geométrica das ativações, que as práticas atuais de escala de camada única deixam sem modelar.

Os autores não afirmam que os SAEs são inadequados para interpretabilidade. Em vez disso, afirmam que o comportamento de escala por camada é fundamentalmente restringido pela estrutura da variedade que o SAE tenta reconstruir. As descobertas sugerem que a "hipótese da representação linear" é uma aproximação dependente da métrica; as "direções lineares significativas" não são livres de métrica, e o alinhamento entre a métrica euclidiana ambiente (usada pelos SAEs) e a métrica pullback preditiva varia sistematicamente com a profundidade. O trabalho fornece um quadro diagnóstico para entender onde e por que a reconstrução do SAE falha, vinculando-a diretamente à geometria intrínseca dos estados ocultos da rede neural.