🤖 machine learning

Feed-Forward Steering in Transformer Residual Dynamics

Este artigo estende as teorias dinâmicas de apenas atenção de Transformers ao modelar redes de alimentação direta como campos de direção locais, demonstrando que seus componentes tangenciais são essenciais para o movimento residual e para o desempenho do modelo, ao mesmo tempo em que identifica defeitos de comutador como uma métrica fundamental para determinar a viabilidade de paralelizar blocos de atenção e FFN.

Autores originais: Timur Mudarisov, Mikhail Burtsev, Radu State

Publicado 2026-08-04

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Timur Mudarisov, Mikhail Burtsev, Radu State

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está assistindo a uma enorme e invisível festa de dança dentro de um cérebro de computador. Esta não é uma festa com música e luzes piscantes, mas com palavras e números. No mundo da inteligência artificial, especificamente nos "Transformers" que alimentam chatbots e mecanismos de busca, há um fluxo constante de informação chamado "fluxo residual" (residual stream). Pense neste fluxo como um rio carregando pequenos barcos (tokens) que representam palavras. Por muito tempo, os cientistas acreditaram que a única coisa que dirigia esses barcos era um mecanismo chamado "Atenção". Você pode visualizar a Atenção como um imã gigante e invisível que puxa os barcos uns em direção aos outros se eles estiverem falando de coisas semelhantes. Se um barco diz "rei", o imã pode puxá-lo para mais perto de um barco que diz "rainha". Essa força de atração é chamada de "agregação", e é por isso que palavras que pertencem umas às outras começam a se agrupar na mesma direção.

No entanto, há outra parte da pista de dança: a Rede de Alimentação Direta, ou FFN. Se a Atenção é o imã que puxa os barcos para perto, a FFN é como um DJ local ou um treinador pessoal parado logo ao lado de cada barco, dando um empurrãozinho em uma direção específica baseada no que aquele barco específico está dizendo. Durante anos, os pesquisadores pensaram que a FFN era apenas uma coadjuvante, talvez apenas ajustando a velocidade dos barcos ou corrigindo seu volume. Mas um novo artigo faz uma grande pergunta: a FFN é apenas um botão de volume ou é, na verdade, o volante que decide para onde os barcos vão? Entender isso é importante porque, se soubermos exatamente como esses barcos se movem, podemos tornar a IA mais rápida, inteligente e mais fácil de consertar quando ela comete erros.

A Grande Descoberta do Artigo: O DJ é o Capitão

Este artigo, intitulado "Feed-Forward Steering in Transformer Residual Dynamics", sugere que a visão antiga estava perdendo uma peça crucial do quebra-cabeça. Os autores propõem uma nova maneira de olhar para a pista de dança: a Atenção é a "agregação" que puxa todos em direção a um grupo compartilhado, mas a FFN é um "campo de direção" (steering field) que empurra ativamente os barcos individuais em novas direções. Eles tratam o movimento desses barcos-palavras como um problema de física, onde os barcos são partículas se movendo em uma esfera (como a superfície de um globo).

Os pesquisadores descobriram que a FFN não apenas empurra os barcos para frente ou para trás (o que apenas mudaria sua velocidade ou tamanho). Em vez disso, a parte mais importante do trabalho da FFN é empurrá-los lateralmente, ou "tangencialmente". Imagine um barco em um globo; empurrá-lo em direção ao Polo Norte muda seu tamanho em relação ao centro, mas empurrá-lo lateralmente muda sua direção real no mapa. O artigo mostra que esse empurrão lateral é o que realmente muda o significado e o caminho da palavra.

O Que Eles Fizeram e O Que Descobriram

Para provar isso, a equipe realizou uma série de experimentos em vários modelos de IA famosos, incluindo GPT-2, Pythia, Mistral e Llama-3. Eles trataram a IA como um laboratório científico onde poderiam ligar e desligar partes ou mudar como elas funcionavam.

Primeiro, eles verificaram se a Atenção sozinha poderia explicar para onde os barcos iam. Eles encontraram um grande "déficit de alinhamento angular". Em termos simples, se eles deixassem apenas o imã da Atenção trabalhar, os barcos acabariam apontando na direção errada em comparação com para onde a IA real os enviaria. Esse déficit aumentou em modelos maiores e mais novos, passando de cerca de 0,41 no GPT-2 para 0,63 no Llama-3-8B. Isso sugere que, sem a direção da FFN, a IA estaria perdida.

Em seguida, eles realizaram uma "cirurgia" na FFN. Eles dividiram o empurrão da FFN em duas partes: a parte "radial" (empurrando para frente/trás) e a parte "tangencial" (empurrando para os lados).

Quando mantiveram apenas a parte radial, o desempenho da IA colapsou completamente, como se tivessem removido a FFN inteira.
Quando mantiveram apenas a parte tangencial, a IA continuou funcionando quase perfeitamente, com apenas uma pequena queda na qualidade.

Esta foi a prova cabal. Provou que o principal trabalho da FFN é direcionar a direção das palavras, não apenas ajustar seu tamanho.

Eles também observaram o que acontece quando o imã da Atenção puxa com muita força, tentando esmagar todos os barcos em um único pequeno grupo (um problema chamado "colapso de rank"). Eles descobriram que a FFN atua como uma contraforça. Enquanto a Atenção tenta espremer os barcos, a FFN os empurra para longe, mantendo o grupo diverso e evitando que todos se tornem a mesma palavra. É como um DJ que percebe que as pessoas estão se amontoando no centro e começa a tocar uma batida que faz as pessoas se espalharem novamente.

Um Truque Prático: Acelerando a Dança

A parte mais emocionante do artigo é um truque prático que eles descobriram. Em uma IA padrão, os barcos primeiro são puxados pelo imã da Atenção e, depois, o treinador da FFN dá um empurrãozinho neles. Isso acontece um após o outro (sequencialmente). Os pesquisadores perguntaram: "E se deixarmos o imã e o treinador trabalharem ao mesmo tempo (em paralelo)?"

Normalmente, você não pode fazer isso porque o treinador precisa ver para onde o imã puxou o barco primeiro. Mas a equipe mediu um "escore de defeito" para ver o quanto a ordem importava para cada camada da IA. Eles descobriram que, para algumas camadas, a ordem não importava muito. Ao identificar essas camadas de "baixo defeito", eles conseguiram rodar as partes de Atenção e FFN ao mesmo tempo.

No GPT-2-large, eles conseguiram acelerar o processo em cerca de 1,24 vezes com quase nenhuma perda de qualidade (apenas +0,02 de perda).
No Mistral, eles obtiveram uma aceleração de 1,10 vezes com uma perda mínima de +0,009.

No entanto, se tentassem fazer isso em camadas onde a ordem importava (camadas de alto defeito), o desempenho da IA desmoronaria. Isso sugere que, embora não possamos simplesmente fazer toda a IA rodar em paralelo instantaneamente, podemos acelerar partes específicas dela ao saber exatamente como a direção funciona.

O Que Isso Significa

O artigo não afirma ter resolvido tudo sobre a IA, mas muda a forma como vemos o motor. Sugere que a FFN não é apenas um ajudante; é um campo de direção que molda a geometria dos pensamentos da IA. Ela impede que a IA fique presa em uma única direção e permite que ela navegue por ideias complexas. Ao entender que a FFN é o "volante" e não apenas o "pedal do acelerador", os pesquisadores podem ser capazes de construir modelos de IA mais rápidos e eficientes que não perdem o caminho. As descobertas baseiam-se em medições cuidadosas e simulações em múltiplos modelos, sugerindo que esta visão de "agregação-direção" é uma forma robusta de entender como esses cérebros digitais se movem.

Resumo Técnico: Direcionamento por Redes Feed-Forward na Dinâmica Residual de Transformers

Enunciado do Problema
As teorias contínuas existentes sobre a dinâmica de Transformers modelam primariamente o fluxo residual como um sistema de partículas agregando-se em uma esfera, impulsionadas unicamente pelo mecanismo de atenção. Embora esse arcabouço de "apenas atenção" explique fenômenos como o colapso de rank e o agrupamento (clustering), ele falha em considerar o papel da Rede Feed-Forward (FFN). Concomitantemente, a pesquisa de interpretabilidade identifica as FFNs como locais de armazenamento de memórias chave-valor e alvos eficazes para edição, mas essas visões permanecem desconectadas da perspectiva de sistemas dinâmicos. O problema central abordado é como integrar a FFN em um modelo dinâmico unificado de evolução do fluxo residual para explicar seu impacto geométrico nas direções dos tokens e determinar a viabilidade de aproximar blocos sequenciais por paralelos.

Metodologia
Os autores estendem o arcabouço contínuo de dinâmica de atenção incorporando a FFN como um campo de direcionamento local atuando sobre os estados dos tokens. O modelo trata o fluxo residual $x_i = r_i u_i$ (onde $u_i$ é a direção na esfera unitária e $r_i$ é a magnitude) como evoluindo de acordo com:
$\dot{u}_i = \frac{1}{s_i(t)} P_{u_i} \left[ A_i(U) + \Phi_i(u_i) \right]$
Aqui, $A_i(U)$ representa o campo de agregação não local da atenção, e $\Phi_i(u_i)$ é o campo de direcionamento local fornecido pela FFN. $P_{u_i}$ é a projeção ortogonal sobre o espaço tangente, garantindo que apenas a componente tangencial do campo vetorial altere a direção, enquanto a componente radial afeta a magnitude (e, portanto, a velocidade angular).

O estudo emprega quatro protocolos experimentais primários em modelos GPT-2, Pythia, Mistral e Llama:

Diagnóstico de Déficit Angular: Medição do alinhamento entre a atualização de apenas atenção e a atualização de bloco realizada para quantificar a contribuição da FFN para o movimento angular.
Ablação Radial/Tangencial: Decomposição da saída da FFN em componentes radial ( $\langle u, \Phi(u) \rangle u$ ) e tangencial ( $P_u \Phi(u)$ ) para isolar qual delas impulsiona mudanças de direção.
Diversidade sob Agregação: Análise de estatísticas de diversidade esférica antes e depois das camadas de atenção e FFN para observar como a FFN neutraliza a concentração induzida pela atenção.
Defeito Sequencial-para-Paralelo: Estimativa de um escore de sensibilidade camada a camada ( $C_\ell$ ) para determinar se blocos sequenciais ( $x + A(x) + \Phi(x+A(x))$ ) podem ser aproximados por substitutos paralelos ( $x + A(x) + \Phi(x)$ ) sem perda significativa de desempenho.

Diagnósticos adicionais incluem calibração de portão (gate) de FFN por camada, análise de geometria de pontos críticos (identificando atratores, sela e repulsores) e testes de sensibilidade de prefixo.

Principais Contribuições

Arcabouço de Agregação-Direcionamento: O artigo formula a dinâmica residual do Transformer como um fluxo de agregação-direcionamento em uma esfera, onde a atenção fornece agregação não local e a FFN fornece direcionamento local.
Identificação do Direcionamento Tangencial: Os autores demonstram matemática e empiricamente que a componente tangencial do campo da FFN é necessária para o movimento no espaço de direção residual. A componente radial escala primariamente a magnitude, enquanto a componente tangencial dita a direção.
Geometria de Direção Crítica: O estudo identifica que as direções residuais críticas correspondem a equilíbrios projetivos não lineares. Contrário à intuição de que as FFNs criam atratores estáveis, a análise revela que o direcionamento da FFN reorganiza ativamente a geometria local em direção a modos de transporte rotacionais e de sela, preservando a diversidade.
Métrica de Defeito Sequencial-para-Paralelo: Uma métrica de defeito direta é derivada para caracterizar quando um bloco sequencial atenção-FFN pode ser aproximadamente aproximado por um mapa paralelo e aditivo. Este defeito é governado pelo termo da derivada direcional $D_\Phi A$ , distinto do próprio colchete de Lie.

Resultos

Desalinhamento Angular: O ramo de atenção sozinho exibe um déficit substancial de alinhamento angular em relação à atualização de bloco realizada. Esse déficit aumenta com a escala do modelo, variando de 0,41 em GPT-2 a 0,63 em Llama-3-8B, indicando que a FFN não é meramente uma correção secundária, mas um motor primário de atualizações angulares.
Achados de Ablação: Manter apenas a componente tangencial da FFN preserva a maior parte da qualidade do modelo (aumentos de perda de 0,07–1,72), enquanto manter apenas a componente radial causa o colapso do desempenho (aumentos de perda de 7,19–12,96), comparável à remoção total da FFN.
Preservação da Diversidade: A atenção tipicamente contrai as direções residuais (reduzindo a diversidade), enquanto a FFN frequentemente restaura ou remodela essa diversidade. A componente tangencial da FFN injeta modos de transporte rotacionais e de sela que evitam a concentração excessiva sob pressão de agregação.
Viabilidade de Paralelização: Camadas com pequenos defeitos sequencial-para-paralelo (baixos escores de sensibilidade) podem ser aproximadamente paralelizadas com modestos aumentos de perda. Por exemplo, paralelizar 18 camadas de baixo defeito no GPT-2-large produz um aumento de velocidade estimado de 1,24× com apenas +0,02 de perda, enquanto paralelizar camadas de alto defeito degrada o desempenho rapidamente.
Geometria Crítica: A ablação de componentes do campo de direção crítica mostra que os candidatos de apenas-FFN são predominantmente do tipo sela (espectros de sinal misto). A FFN não cria simplesmente atratores estáveis, mas reestrutura o retrato de fase para manter a geometria de representação de alta dimensão.

Significância e Alegações
O artigo afirma apoiar a interpretação das camadas FFN como campos de direcionamento de direção que moldam a geometria residual do Transformer. Argumenta-se que a FFN é essencial para governar a viabilidade de intervenções ao nível de bloco e para manter a diversidade de representação contra a pressão de colapso da atenção.

Os autores posicionam suas descobertas como uma ponte entre a teoria de sistemas dinâmicos e a interpretabilidade, sugerindo que a visão de "direcionamento" explica por que as FFNs são locais de edição eficazes e por que são necessárias para a estabilidade geométrica do modelo. A significância prática reside na identificação de camadas que podem ser com segurança paralelizadas para reduzir a latência de inferência sem degradação significativa de desempenho.

O artigo mantém-se modesto quanto ao seu escopo, observando que os resultados de campo médio teóricos descrevem a atenção completa, enquanto modelos decodificadores causais requerem dinâmicas indexadas por prefixo. As análises de pontos críticos são apresentadas como diagnósticos locais, em vez de descrições globais de todo o espaço residual. Além disso, os resultados práticos de paralelização são enquadrados como estimativas de aceleração de submódulos, e não como reivindicações de performance de kernel otimizada para produção. Os autores declaram explicitamente que suas descobertas são diagnósticas e não reivindicam garantias universais de anti-colapso ou paralelização perfeita em todas as arquiteturas.

Mais como este