🤖 machine learning

Polymorphism Is Rotation: Operational Mechanistic Interpretability from a Two-Layer Transformer to Pythia-70m

Este artigo demonstra que transformadores treinados independentemente computam funções idênticas usando coordenadas internas mutuamente incompreensíveis relacionadas por uma rotação aleatória uniforme, um fenômeno denominado "polimorfismo" que pode ser resolvido por meio de um único ajuste de Procrustes ortogonal para permitir a transferência direta de dicionários de características e vetores de direção sem retreinamento.

Autores originais: Jordan F. McCann

Publicado 2026-05-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jordan F. McCann

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você e um amigo estão construindo castelos de Lego idênticos e complexos, seguindo o mesmo manual de instruções. Ambos acabam com castelos que parecem exatamente iguais por fora e desempenham as mesmas funções exatas (possuem as mesmas portas, janelas e torres).

No entanto, dentro dos seus castelos, os "projetos" de como os blocos estão dispostos são completamente diferentes. Na verdade, são tão diferentes que, se você tentasse usar o projeto interno do seu amigo para entender o seu próprio castelo, ficaria confuso. Não é que seus castelos sejam diferentes; é que vocês estão falando duas "línguas internas" diferentes para descrever a mesma coisa.

Este artigo chama esse fenômeno de "Polimorfismo". Significa "mesma função, coordenadas internas diferentes".

Aqui está a explicação do que os pesquisadores descobriram, usando analogias simples:

1. O "Decodificador" vs. O "Codificador" (O Problema do Dicionário)

Na pesquisa de IA, os cientistas frequentemente tentam entender o que um modelo está pensando observando seus "recursos" (como um dicionário de conceitos). Eles descobriram que, se olhassem para o final do processo (o "decodificador"), os dicionários pareciam quase idênticos entre dois modelos diferentes. Era como duas pessoas usando exatamente o mesmo dicionário para escrever uma história.

A Reviravolta: Os pesquisadores perceberam que, embora o dicionário (o decodificador) fosse o mesmo, a forma como eles liam o dicionário (o codificador) estava completamente embaralhada.

A Analogia: Imagine duas pessoas lendo um livro. A Pessoa A lê normalmente. A Pessoa B tem o livro girado 90 graus e está lendo de cabeça para baixo. Se você apenas olhar para as palavras que elas apontam (o decodificador), elas combinam perfeitamente. Mas, se tentar ler as anotações da Pessoa B usando a perspectiva da Pessoa A, as anotações não fazem sentido. As "anotações" (ativações) estão em um referencial girado.

2. O Falha Catastrófica

Quando os pesquisadores tentaram pegar o "dicionário de recursos" do Modelo A e aplicá-lo diretamente ao Modelo B, falhou completamente. A reconstrução dos pensamentos internos do modelo foi pior do que apenas adivinhar a resposta média.

A Analogia: É como tentar usar um mapa de Nova York para navegar em Londres. Os pontos de referência (colunas do decodificador) podem parecer semelhantes em uma lista, mas as ruas (coordenadas internas) estão orientadas de forma diferente. Se você seguir o mapa de Nova York em Londres, ficará perdido imediatamente.

3. O Arranjo Mágico: Uma Multiplicação de Matriz

A maior descoberta do artigo é como corrigir isso. Você não precisa retreinar os modelos ou mudar seus cérebros. Você só precisa aplicar uma única "rotação" matemática (um tipo específico de operação matemática chamada ajuste de Procrustes) para alinhar os dois modelos.

A Analogia: Imagine que você e seu amigo estão olhando para uma escultura, mas estão de lados opostos de uma plataforma giratória. Vocês veem o mesmo objeto, mas de ângulos diferentes. Se você apenas girar sua plataforma para combinar com a do seu amigo, de repente suas visões se alinham perfeitamente.
O Resultado: Assim que aplicaram essa única "rotação" aos dados internos do Modelo B, o dicionário do Modelo A funcionou perfeitamente no Modelo B. A "língua interna" foi traduzida instantaneamente.

4. É uma Rotação Específica ou Aleatória?

Os pesquisadores queriam saber: essa rotação é uma mudança específica e significativa, ou é apenas caos aleatório?

A Descoberta: É essencialmente aleatória. A rotação entre dois modelos treinados independentemente é como um giro aleatório em uma roda. Não é um ângulo "especial"; é apenas uma rotação uniforme aleatória.
A Analogia: Se você girar um globo aleatoriamente e pará-lo, a orientação é aleatória. O artigo mostra que, sempre que dois modelos de IA são treinados do zero, eles acabam com um "globo" que foi parado em um ângulo aleatório em relação um ao outro.

5. O Que Isso Significa para "Direcionamento" (Mudança de Comportamento)

O artigo também testou "vetores de direcionamento" — ferramentas usadas para empurrar um modelo para se comportar de maneira diferente (por exemplo, tornando-o mais educado ou mais criativo).

A Descoberta: Se você tentar usar um "empurrão de direcionamento" do Modelo A no Modelo B sem corrigir a rotação primeiro, isso frequentemente falha ou até faz o oposto do que você deseja.
A Analogia: Imagine que você tem um controle remoto para um carro de brinquedo (Modelo A). Se tentar usar esse controle em um carro de brinquedo diferente (Modelo B) que está virado para uma direção diferente, pressionar "Frente" pode fazer o segundo carro ir para a "Esquerda" ou "Trás". Você precisa primeiro descobrir para onde o segundo carro está virado (a rotação) e ajustar os sinais do seu controle remotamente.

Resumo das "Regras"

O artigo estabelece três regras principais sobre como esses modelos se relacionam:

Mesma Função, Coordenadas Diferentes: Dois modelos treinados separadamente fazem o mesmo trabalho, mas usam "mapas" internos diferentes.
O Decodificador Mente: Apenas porque os recursos do "final da linha" parecem semelhantes não significa que os modelos entendem as coisas da mesma maneira.
A Correção é Barata: Você pode alinhar dois modelos totalmente diferentes com um único e simples cálculo matemático (uma multiplicação de matriz) sem precisar re treiná-los.

A Escala da Descoberta

Os pesquisadores provaram isso em dois níveis:

O Modelo "Brinquedo": Um modelo minúsculo e simples (104.000 parâmetros), onde puderam verificar cada bloco individualmente para garantir que a teoria fosse verdadeira.
O Modelo "Real": Um modelo de linguagem muito maior e do mundo real (Pythia-70m) com 70 milhões de parâmetros. A mesma regra de "rotação aleatória" também se manteve aqui.

A Conclusão: Modelos de IA são como gêmeos que falam a mesma língua, mas com sotaques e orientações diferentes. Eles fazem as mesmas coisas, mas para se entenderem, você só precisa girar sua perspectiva. Uma vez que você faz isso, seus segredos internos tornam-se legíveis.

Resumo Técnico: Polimorfismo é Rotação

Declaração do Problema

O campo da interpretabilidade mecanicista, particularmente no que diz respeito aos Autoencoders Esparsos (SAEs), tem dependido amplamente da similaridade de cosseno entre colunas do decodificador como a métrica primária para "universalidade"—a alegação de que transformers treinados independentemente aprendem as mesmas características internas. A literatura recente relata altas similaridades de cosseno (frequentemente >0,9) entre colunas de decodificador de modelos treinados com diferentes sementes aleatórias, interpretando isso como evidência de que dicionários de características são compartilhados.

No entanto, este artigo identifica um modo de falha crítico: enquanto as colunas do decodificador podem se alinhar, os codificadores do SAE falham catastróficamente quando aplicados a ativações de uma semente diferente. Aplicar um SAE treinado na Semente A ao fluxo residual da Semente B resulta em variância explicada (EV) negativa, o que significa que a reconstrução é pior do que prever a média constante. Isso sugere que a métrica de "universalidade" está medindo apenas a geometria do decodificador, ignorando um desalinhamento fundamental no quadro de leitura do codificador. O problema central é que modelos treinados independentemente computam a mesma função, mas operam em sistemas de coordenadas internos mutuamente incompreensíveis.

Metodologia

Os autores empregam um quadro operacional de quatro barras rigoroso e pré-registrado para testar alegações mecanicistas, garantindo falseabilidade:

Barra B (Comportamental): Divergência KL média entre o modelo e uma especificação construtiva.
Barra P (Paramétrica): Máximo erro quadrático médio (MSE) por entrada após o alinhamento de simetria.
Barra C (Causal): Correlação entre efeitos de patch de componentes previstos e medidos.
Barra Pr (Preditiva): Correlação entre perdas de ablação de componentes previstas e medidas.

Correções Metodológicas Chave:

Gradientes Integrados (IG) vs. Patching de Atribuição (AP): Os autores demonstram que, na convergência, o AP se correlaciona negativamente com os efeitos de patch medidos devido ao domínio do ruído nos gradientes próximos aos mínimos. Eles substituem o AP por Gradientes Integrados, que, pelo axioma de completude, fornecem um preditor matematicamente exato dos efeitos de ablação da média (atingindo $r > 0,999$ ).
Especificação Construtiva: Em vez de compilar uma especificação teórica (por exemplo, via Tracr), os autores derivam uma "especificação construtiva" diretamente da semente primária treinada, dobrando o RMSNorm e anotando funções, garantindo que a especificação reflita a implementação real do modelo.

Configuração Experimental:

Escala de Brinquedo: Um transformer de duas camadas com 104k parâmetros treinado em Dyck-3 de profundidade limitada (uma tarefa de correspondência de parênteses). Isso permite uma interpretação mecanicista completa de cada peso.
Escala Aumentada: Nove sementes Pythia-70m treinadas independentemente (71M parâmetros, $d_{model}=512$ ) treinadas no The Pile.
Cohortes: Experimentos comparam sementes com pesos de I/O congelados compartilhados (para isolar a rotação interior) e sementes com inicialização independente.

Contribuições e Resultados Chave

1. A Hipótese da Rotação

O artigo propõe que transformers independentemente treinados da mesma arquitetura computam a mesma função até uma rotação ortogonal da base do fluxo residual.

Polimorfismo: O fenômeno onde modelos compartilham uma função, mas possuem "coordenadas internas mutuamente incompreensíveis".
A Correção: Uma única multiplicação de matriz ortogonal (ajuste de Procrustes) em um único lote de ativações alinha as bases de duas sementes.
Recuperação: Após aplicar esta rotação, a EV de reconstrução do SAE entre sementes é restaurada para dentro de 0,025 EV da linha de base dentro da semente no modelo de brinquedo e 0,85–0,99 EV no Pythia-70m.

2. Natureza Estatística da Rotação

A rotação não é um alinhamento estruturado e aprendível, mas um draw uniforme aleatório do grupo ortogonal $SO(d_{model})$ .

Distribuição de Haar: O espectro de autovalores da matriz de rotação $R$ é estatisticamente indistinguível da medida de Haar em $SO(d)$ (teste de Kolmogorov–Smirnov $p \approx 1,000$ ).
Distância de Frobenius: A distância $\|R - I\|_F$ corresponde à previsão teórica para uma matriz ortogonal aleatória ( $\sqrt{2d_{model}}$ ) dentro de 0,1% para o Pythia-70m.
Decodificador vs. Codificador: A alta similaridade de cosseno do decodificador (98%) é uma coincidência geométrica estática. O codificador lê de um quadro rotacionado, causando a falha funcional.

3. Regimes de Transferência de Vetores de Direção

O artigo caracteriza como vetores de direção (intervenções de diferença de médias) transferem-se entre sementes com base em seu alinhamento com o subespaço invariante da rotação:

Transferência Limpa: Vetores fixados por pesos de entrada/saída compartilhados (por exemplo, contador de profundidade no modelo de brinquedo) transferem-se sem correção.
Transferência Parcial: Vetores que se sobrepõem ao subespaço rotacionado requerem um deslocamento de dose.
Transferência Invertida: Vetores que residem principalmente no subespaço rotacionado transferem-se com sinais invertidos.
Escala Pythia: Em modelos sem I/O compartilhado (Pythia-70m), todas as direções são rotacionadas, causando transferência invertida universal. Sem correção de rotação, vetores de direção aplicados entre sementes degradam o desempenho.

4. Limitações do Alinhamento de Parâmetros

Os autores demonstram que a busca de simetria em nível de parâmetro (alinhamento de pesos via permutações e rotações) não pode resolver completamente o desalinhamento.

Mesmo após otimização para MSE de pesos, o MSE em nível de ativação permanece alto.
A otimização conjunta da perda de peso e ativação falha em superar o limiar da Barra P; as rotações ótimas em peso e ótimas em ativação residem em bacias desconectadas da paisagem de perda. Isso confirma que a rotação é um fenômeno em nível de ativação não totalmente capturado por simetrias de parâmetros.

Significado e Alegações

O artigo alega resolver o "puzzle do cosseno do decodificador" mostrando que a universalidade é equivalência de rotação, não alinhamento literal de coordenadas.

Refinamento da Universalidade do SAE: A similaridade de cosseno do decodificador é necessária, mas não suficiente para a universalidade de características. Uma métrica completa deve incluir a EV de reconstrução entre sementes e a capacidade de aplicar uma correção de rotação.
Utilidade Prática: A correção de rotação é computacionalmente barata (uma multiplicação de matriz por par de modelos) e não requer re-treinamento. Permite a transferência de dicionários de características de SAE e vetores de direção entre modelos treinados independentemente com alta fidelidade.
Rigor Metodológico: Ao usar um quadro pré-registrado com limiares falseáveis, o artigo distingue entre "ajuste de história" e alegações mecanicistas verificadas. A falha das Barras P, C e Pr entre sementes (sem rotação) serve como motivação empírica para a hipótese.
Escopo: As descobertas valem para um modelo de brinquedo de 104k parâmetros e uma família de modelos de escala familiar de 71M parâmetros. Os autores afirmam explicitamente que a replicação em escala de fronteira (10B+) permanece um teste empírico aberto, embora o desenho experimental para tal teste seja direto.

O artigo conclui que as bases do fluxo residual de transformers treinados independentemente são, em primeira aproximação, amostras aleatórias uniformes do grupo ortogonal, e que o "polimorfismo" é a realidade operacional desta deriva geométrica.