Resumo Técnico: Transformers Convergem para Núcleos Algorítmicos Invariantes

1. Definição do Problema

O obstáculo central à interpretabilidade mecanística em redes neurais é a subdeterminação. Embora o treinamento restrinja o comportamento de um modelo (o mapeamento de entradas para saídas), ele não restringe a realização interna desse comportamento. Modelos treinados de forma independente frequentemente exibem equivalência funcional — realizando a mesma tarefa com configurações de pesos e circuitos internos vastamente diferentes. Este fenômeno, observado na geometria do espaço de perda, na fusão de modelos e em sistemas biológicos (ex: degenerescência e deriva de sistema), impõe um desafio fundamental: se os mecanismos não generalizam através das realizações, quais explicações são "reais"?

Os esforços atuais de interpretabilidade frequentemente focam em detalhes específicos de implementação (ex: cabeças de atenção específicas ou características esparsas), que podem ser idiossincráticos a uma única execução de treinamento. Este artigo argumenta que, para alcançar uma compreensão mecanística generalizável, a pesquisa deve mudar o foco de circuitos específicos de realização para invariantes — estruturas computacionais estáveis compartilhadas entre execuções de treinamento independentes.

2. Metodologia: Extração de Núcleo Algorítmico (ACE)

O artigo introduz a Extração de Núcleo Algorítmico (ACE - Algorithmic Core Extraction), um framework projetado para isolar subespaços de baixa dimensão que sejam tanto necessários quanto suficientes para uma tarefa e invariantes através de realizações de modelos. O método operacionaliza princípios da teoria de sistemas lineares (especificamente a decomposição de Kalman e a redução de ordem balanceada) para transformers.

O pipeline ACE consiste em três estáções:

1. Extrair: Para uma determinada camada de transformer com dimensão oculta $D$ e $N$ entradas, o método computa a interação entre ativações centradas na média ($H$) e os Jacobianos das saídas relevantes para a tarefa ($J$). Ao realizar a Decomposição em Valores Singulares (SVD) de $HJ^\top$, o ACE identifica direções que são conjuntamente ativas e relevantes. Os vetores singulares principais definem um subespaço de baixa dimensão (o "núcleo") mapeado de volta para o espaço de ativação.
2. Validar: O núcleo extraído é validado causalmente via ablação. Um núcleo é considerado suficiente se a projeção das ativações sobre ele preservar o desempenho da tarefa, e necessário se a sua remoção (projeção sobre o complemento) reduzir o desempenho ao nível do acaso.
3. Identificar: A estrutura computacional dentro do núcleo é recuperada ajustando operadores lineares (ex: $z_{t+1} \approx Az_t$) às coordenadas do núcleo e inspecionando suas propriedades espectrais (autovalores) para determinar a dinâmica subjacente.

3. Resultados Principais

A. Tarefas de Cadeia de Markov Sintética

Em transformers de camada única treinados em uma cadeia de Markov de quatro estados:

• Parâmetros Divergentes, Núcleos Convergentes: Modelos treinados com diferentes sementes aleatórias alcançaram precisão quase ótima, mas apresentaram similaridade de cosseno quase nula em seus pesos.
• Subespaços 3D Invariantes: O ACE isolou com sucesso um núcleo de 3 dimensões em cada modelo. Estes núcleos foram necessários e suficientes para a tarefa.
• Alinhamento Geométrico vs. Estatístico: Embora os núcleos residissem em subespaços quase ortogonais (sobreposição de projetores $\approx 0,02$), eles exibiram um alinhamento estatístico quase perfeito (Correlação Canônica $\approx 0,99$).
• Recuperação de Dinâmica: Operadores lineares ajustados dentro destes núcleos recuperaram exatamente os autovalores não triviais da matriz de transição de Markov da verdade fundamental, demonstrando que os modelos codificam a mesma dinâmica de transição em diferentes sistemas de coordenadas.

B. Adição Modular e Grokking

Em transformers de duas camadas treinados em adição modular ($a + b \equiv c \mod p$):

• Emergência no Grokking: Os núcleos algorítmicos cristalizaram-se (condensaram-se em subespaços de baixa dimensão, necessários/suficientes) coincidentemente com o fenômeno do "grokking" (a transição tardia da memorização para a generalização).
• Dinâmicas Rotacionais: O ajuste automatizado de operadores revelou que, no grokking, os autovalores dos operadores do núcleo colapsaram sobre o círculo unitário, indicando a emergência de dinâmicas cíclicas/rotacionais necessárias para a aritmética modular.
• Inflação do Núcleo sob Regularização: Sob decaimento de peso contínuo após o grokking, os núcleos "inflaram" de ~15 para ~60 dimensões. Esta inflação foi impulsionada pela redundância: enquanto o número de dimensões suficientes para o desempenho permaneceu estável, o número de dimensões necessárias para evitar o desempenho ao acaso expandiu-se. O decaimento de peso atuou como uma força de redistribuição, espalhando os pesos por todos os modos funcionalmente equivalentes (até o máximo teórico de $\lfloor p/2 \rfloor$).
• Lei de Escala Inversa: O artigo deriva uma ligação teórica entre redundância funcional, regularização e tempo de grokking. Ele postula que a equivalência funcional acelera a transição para a generalização, gerando uma lei de escala inversa para o tempo de grokking: $\tau_{grok} \propto 1/(\omega p)$, onde $\omega$ é o decaimento de peso e $p$ é a redundância. Varreduras empíricas de $\omega$ e $p$ validaram esta previsão.

C. Grandes Modelos de Linguagem (LLMs)

O ACE foi aplicado a seis modelos pré-treinados abrangendo quatro famílias (GPT-2 Small/Medium/Large, LLaMA-3.1, Gemma-2, Qwen2.5) e em mais de duas ordens de magnitude de escala (117M a 32B parâmetros) na tarefa de concordância de número sujeito-verbo:

• Núcleo 1D Universal: Um único eixo causal de uma dimensão foi identificado nas camadas tardias de todos os seis modelos.
• Controle Causal: Este eixo é necessário e suficiente para a concordância. Projetar as ativações sobre ele prevê a margem de logit singular-plural. Crucialmente, inverter o sinal deste eixo inverte as preferências de número gramatical em toda a geração aberta (ex: mudando "The key... are" para "The key... is").
• Alinhamento Cross-Arquitetura: Apesar das diferenças em arquitetura, tokenização e dados de treinamento, as coordenadas destes núcleos 1D alinharam-se significativamente entre os modelos (correlações de Spearman até 0,93). Isso sugere um mecanismo compartilhado e invariante para o número gramatical que é independente de detalhes de implementação.

4. Significância e Alegações

O artigo afirma que, sob a aparente complexidade dos transformers treinados, reside uma estrutura computacional compartilhada e mais simples. As principais contribuições são:

1. Uma Mudança no Paradigma de Interpretabilidade: Mover do estudo de implementações de circuitos específicos para o estudo de invariantes. Os autores argumentam que as explicações mecanísticas devem estar ancoradas em quantidades estáveis e invariantes de implementação, em vez de detalhes idiossincráticos.
2. Operacionalização de Invariantes: O framework ACE fornece um método para isolar estes invariantes, validar causalmente e recuperar os algoritmos que eles implementam sem pressupor sua forma.
3. Explicação Mecanística do Grokking: O artigo fornece uma teoria ligando equivalência funcional, regularização e tempo de grokking, sugerindo que a redundância permite que o decaimento de peso acelere a transição para a generalização ao distribuir os pesos entre modos válidos.
4. Evidência de Modelos de Mundo Internos: A recuperação das estruturas de tarefa da verdade fundamental (espectros de Markov, operadores cíclicos) sugere que estes núcleos codificam representações internas do processo gerador de dados, alinhando-se com o "princípio do modelo interno" da teoria de controle.
5. Implicações para Fusão de Modelos: A observação de que modelos funcionalmente equivalentes embutem núcleos em subespaços quase ortogonais explica a dificuldade de fusão de modelos (a interpolação ingênua falha). Isso sugere que alinhar núcleos algorítmicos, em vez de pesos, pode ser uma abordagem principista para a recombinação de modelos.

O artigo conclui que focar em invariantes oferece um caminho mais tratável para a compreensão mecanística e controle, observando que, embora a dimensionalidade dos núcleos para tarefas de raciocínio complexas permaneça uma questão aberta, a estabilidade do núcleo de concordância 1D através de escalas massivas sugere que a dimensionalidade do núcleo pode não depender estritamente do tamanho do modelo.