🤖 machine learning

Analogies between Transformer Layers and Power Method

Este artigo estabelece uma analogia entre as camadas de transformadores e o método da potência, demonstrando que os tokens se alinham com o autovetor principal do produto das matrizes de pesos de saída e de valor, um fenômeno que é demonstrável analiticamente em modelos com pesos compartilhados e pode ser aproveitado para direcionar as saídas dos transformadores para direções arbitrárias.

Autores originais: Chenglong Li, Claudio Altafini

Publicado 2026-05-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chenglong Li, Claudio Altafini

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: Transformers como uma Máquina de "Método de Potência"

Imagine um Transformer (o cérebro por trás dos chatbots de IA) não como uma rede neural complexa, mas como um prédio gigante de vários andares. Cada andar do prédio é uma "camada". Quando uma peça de informação (um "token", como uma palavra em uma frase) entra no prédio, ela viaja do andar inferior até o superior, sendo processada em cada parada.

Os autores deste artigo descobriram um segredo surpreendente: A maneira como um token se move através dessas camadas é matematicamente quase idêntica a um truque clássico de matemática chamado "Método de Potência".

A Analogia: A Bússola Magnética

Pense no "Método de Potência" como uma bússola tentando encontrar o Norte.

O Cenário: Você tem uma agulha de bússola (o token) apontando em uma direção aleatória.
O Processo: Você coloca a bússola em um mapa que tem um ímã gigante e invisível escondido embaixo dele. O ímã puxa a agulha levemente em direção ao "Norte".
A Normalização: Depois que a agulha se move, você a força a manter o mesmo comprimento (você não a deixa crescer ou encolher, apenas a rotaciona).
O Resultado: Se você fizer isso repetidamente, a agulha eventualmente para de oscilar e aponta quase perfeitamente para o Norte.

O artigo argumenta que cada camada de um Transformer faz exatamente isso.

O "Ímã" é uma matriz matemática específica (uma grade de números) criada pelos pesos da camada.
O "Norte" é o Autovetor Principal. Esta é uma direção especial e dominante no espaço de dados.
A "Normalização" é o passo de Normalização de Camada, que mantém o tamanho do token constante.

Assim, à medida que um token sobe pelo Transformer, ele está constantemente sendo "inclinado" ou puxado em direção a essa direção dominante, assim como a agulha da bússola.

Dois Tipos de Prédios

O artigo examina dois tipos diferentes de prédios Transformer, e eles se comportam de maneira distinta.

1. O Prédio "Universal" (Pesos Compartilhados)

Alguns Transformers, como o ALBERT, usam exatamente o mesmo projeto para cada andar. O "ímã" é idêntico em todos os níveis.

O que acontece: Como o ímã é o mesmo em todos os lugares, o token é puxado na mesma direção a cada passo. É como subir uma escada onde cada degrau está levemente inclinado em direção à mesma parede.
O Resultado: Quando o token chega ao topo, ele está quase perfeitamente alinhado com aquela única direção dominante. O artigo prova matematicamente que, neste caso, todos os tokens eventualmente convergem para apontar na mesma direção (um estado chamado "consenso").

2. O Prédio "Personalizado" (Pesos Variáveis por Camada)

A maioria dos Transformers populares, como GPT-2, BERT e GPT-Neo, tem projetos diferentes para cada andar. O "ímã" muda de camada para camada.

O que acontece: No Andar 1, o ímã puxa o token em direção ao "Norte". No Andar 2, o ímã muda e o puxa em direção ao "Nordeste". No Andar 3, ele puxa em direção ao "Sul".
O Resultado: Como o alvo continua se movendo, o token nunca se alinha perfeitamente a uma única direção. No entanto, o artigo mostra que a cada passo individual, o token ainda tenta se alinhar à direção dominante do atual andar. É como um caminhante tentando seguir um guia que continua mudando de ideia sobre qual é o "melhor" caminho. O caminhante não chega a um destino perfeito, mas ainda está sendo empurrado em uma direção específica a cada momento.

O Truque de "Direcionamento"

A parte mais emocionante do artigo é uma aplicação prática dessa descoberta. Os autores perceberam que, como o "Método de Potência" depende da força do ímã (o gap espectral), podemos hackear o sistema.

A Analogia:
Imagine que você está no "Prédio Personalizado" (como o GPT-2). Os tokens estão vagando porque os ímãs de cada andar são fracos e conflitantes. Mas, você tem permissão para mudar o ímã no último andar antes que o token saia.

O Movimento: Você substitui o ímã do último andar por um ímã superforte e personalizado que aponta exatamente para onde você quer que o token vá (por exemplo, "Seja útil" ou "Seja criativo").
O Efeito: Como esse novo ímã é muito mais forte que os outros (criando um enorme "gap espectral"), ele anula toda a confusão anterior. O token se alinha instantaneamente à sua direção escolhida.

O artigo afirma que isso nos permite direcionar a saída de um modelo de linguagem grande para qualquer direção específica que desejarmos, simplesmente ajustando a matemática da camada final.

Resumo das Descobertas

O Mecanismo: Transformers funcionam como um exercício matemático repetido (o Método de Potência) que tenta alinhar dados a uma "direção principal".
Pesos Compartilhados (ALBERT): Se as camadas são idênticas, os tokens convergem perfeitamente para aquela direção principal.
Pesos Diferentes (GPT/BERT): Se as camadas são diferentes, os tokens não convergem perfeitamente, mas ainda mostram uma tendência a se alinhar à direção principal da camada atual a cada passo.
O Hack: Ao adicionar um "chute" forte e personalizado à camada final, podemos forçar os tokens a se alinhar a qualquer direção que escolhermos, efetivamente direcionando a saída da IA.

Nota Importante: O artigo ignora especificamente a "Rede de Alimentação Direta" (a parte da camada que faz o pensamento não linear complexo) para fazer essa analogia matemática funcionar. Eles focam apenas nas partes de atenção e normalização. Eles também observam que, em modelos do mundo real, esse alinhamento é frequentemente fraco porque os "ímãs" não são fortes o suficiente, mas o princípio permanece verdadeiro.

Resumo Técnico: Analogias entre Camadas de Transformer e o Método da Potência

Enunciado do Problema
O artigo aborda a falta de compreensão sobre a direção vetorial específica para a qual as representações de tokens convergem em transformers profundos, um fenômeno conhecido como "suavização excessiva" (oversmoothing), "colapso de rank" ou "uniformidade de tokens". Embora esteja estabelecido que transformers profundos tendem a um estado de consenso onde todos os tokens se tornam idênticos, a natureza desse vetor de consenso e o mecanismo que o impulsiona permanecem obscuros. A literatura existente frequentemente modela a autoatenção como um sistema de tempo contínuo ou foca em cenários de cabeça única, deixando o comportamento de tempo discreto e de múltiplas cabeças de modelos práticos (como GPT2, BERT e ALBERT) menos explorado. Especificamente, o artigo busca determinar se o processo iterativo de passar tokens através das camadas do transformer se assemelha a um método numérico conhecido para encontrar autovetores principais.

Metodologia
Os autores modelam um transformer como um sistema dinâmico de tempo discreto, onde o índice da camada $t$ representa o tempo. Eles focam na lei de atualização dos vetores de tokens $x_i(t)$ através de uma única camada, excluindo explicitamente a Rede Feed-Forward (FFN) e utilizando normalização $L_2$ (substituindo o LayerNorm padrão) para isolar os efeitos geométricos dos mecanismos de atenção e projeção.

O cerne da metodologia envolve a definição de uma "matriz de camada" $F_t$ para cada camada $t$ , construída como o produto da matriz de pesos de saída ( $O$ ) e das matrizes de pesos de valor concatenadas ( $V$ ) das cabeças de atenção:
$F_t = O_t V_t$
A regra de atualização é analisada como um passo em um sistema dinâmico:
$x_i(t+1) = \text{LayerNorm}\left(x_i(t) + \text{SaídaAtenção}\right)$
Os autores traçam uma analogia direta entre essa atualização e o Método da Potência, um algoritmo iterativo usado para calcular o autovetor principal de uma matriz. No Método da Potência, um vetor é repetidamente multiplicado por uma matriz e normalizado, convergindo para o autovetor dominante se existir uma lacuna espectral.

A análise é dividida em dois cenários principais:

Pesos Compartilhados (Invariante no Tempo): Analisado usando modelos ALBERT onde os pesos são idênticos em todas as camadas ( $F_t = F$ ). Os autores fornecem caracterizações analíticas rigorosas para casos onde o autovalor principal é real e estritamente dominante, complexo ou não dominante.
Pesos Variáveis por Camada (Variante no Tempo): Analisado usando BERT, GPT2 e GPTNeo. Aqui, $F_t$ muda em cada camada. Os autores investigam se os tokens ainda exibem uma tendência de alinhar-se com o autovetor principal $v_{1,t}$ da camada atual, apesar da meta em mudança.

Para validar a teoria, os autores realizam experimentos numéricos em modelos pré-treinados, medindo a correlação entre vetores de tokens e os autovetores principais das matrizes de camada. Eles também propõem um método para "direcionar" a saída modificando a camada final.

Principais Contribuições

Analogia ao Método da Potência: O artigo estabelece que a operação de uma camada de transformer (desconsiderando a FFN) atua analogamente a um único passo do Método da Potência. Os tokens são projetados e normalizados, tendendo a inclinar-se em direção ao autovetor principal da matriz de camada $F_t$ .
Caracterização Analítica da Convergência:
- Para transformers de pesos compartilhados (ex.: ALBERT), os autores provam que, se a matriz de camada $F$ tiver um autovalor real estritamente dominante, o sistema converge para um estado de consenso onde todos os tokens se alinham com o autovetor principal $v_1$ .
- Eles identificam condições para estabilidade, notando que, se o autovalor principal for complexo, os tokens convergem para um ciclo limite no subespaço 2D abrangido pelas partes real e imaginária dos autovetores.
- Eles mostram que o "consenso bipartido" (tokens dividindo-se em dois grupos alinhados com $\pm v_k$ ) é teoricamente possível, mas empiricamente raro e instável em configurações de múltiplas cabeças.
Validação Empírica em Modelos Reais:
- Experimentos em ALBERT confirmam que os tokens convergem para o autovetor principal da matriz de camada compartilhada. No entanto, a velocidade de convergência é frequentemente limitada por pequenas lacunas espectrais (onde $\lambda_1 \approx \lambda_2$ ) ou autovalores complexos.
- Experimentos em modelos de pesos variáveis por camada (BERT, GPT2, GPTNeo) mostram que, embora os tokens não acumulem alinhamento em direção a um único autovetor global (devido à mudança de $F_t$ ), eles ainda exibem um aumento estatisticamente significativo na correlação com o autovetor principal $v_{1,t}$ da camada atual em cada passo. Isso confirma que o comportamento do "Método da Potência" persiste localmente mesmo em sistemas variantes no tempo.
Direcionamento de Tokens via Perturbação Rank-1: O artigo propõe um método construtivo para direcionar tokens em direção a uma direção desejada arbitrária. Ao adicionar uma perturbação rank-1 suficientemente grande à matriz de saída da camada final, os autores podem criar uma grande lacuna espectral. Isso força a matriz da camada final a ter um novo autovetor principal definido pelo usuário, fazendo com que todos os tokens se alinhem com essa direção específica.

Resultados

ALBERT: Em modelos com pesos compartilhados, os tokens convergem rapidamente para o consenso. Para ALBERT-base e large, o autovalor principal é real, mas próximo do segundo, levando a uma convergência dentro do span dos dois primeiros autovetores. Para xlarge e xxlarge, autovalores complexos fazem os tokens rotacionarem em um subespaço 2D.
Modelos de Pesos Variáveis por Camada: Em variantes BERT e GPT, o alinhamento com o autovetor principal da camada atual ( $\gamma_t$ ) é positivo, mas geralmente fraco. Essa fraqueza é atribuída às pequenas lacunas espectrais ( $\lambda_{1,t} - \lambda_{2,t}$ ) em transformers do mundo real. No entanto, a probabilidade de o alinhamento aumentar a cada passo ( $\rho_t > 0.5$ ) é consistentemente observada, validando a analogia.
Direcionamento: Quando a camada final é modificada com uma perturbação rank-1, a lacuna espectral torna-se grande e os tokens alcançam um alinhamento quase perfeito com o novo autovetor principal induzido, independentemente da arquitetura do modelo.

Significado e Alegações
O artigo alega que visualizar transformers através da lente do Método da Potência fornece uma explicação principial para a suavização excessiva e o consenso de tokens. Sugere que a "direção" do consenso não é arbitrária, mas é determinada pelas propriedades espectrais do produto das matrizes de pesos de valor e de saída.

Os autores enfatizam que, embora o alinhamento natural em transformers padrão seja fraco devido a pequenas lacunas espectrais, o mecanismo é robusto o suficiente para ser explorado. O método de direcionamento proposto oferece uma alternativa principial às técnicas existentes (como engenharia de prompts ou edição de ativações) para controlar a saída do modelo, pois manipula diretamente as propriedades de projeção geométrica da camada final. O artigo conclui que essa analogia se mantém mesmo quando se desconsidera a FFN, sugerindo que o mecanismo de atenção e a normalização de camada são os principais impulsionadores desse comportamento de alinhamento de autovetores.