🤖 machine learning

A Mechanistic Analysis of Transformers for Dynamical Systems

Este artigo analisa Transformers de camada única sob uma perspectiva de sistemas dinâmicos, revelando que, embora a atenção softmax restrinja a modelagem de sistemas lineares através do excesso de suavização (oversmoothing), ela funciona como um mecanismo eficaz de incorporação de atraso adaptativo (adaptive delay-embedding) para reconstruir estados em sistemas não lineares e parcialmente observáveis.

Autores originais: Gregory Duthé, Nikolaos Evangelou, Wei Liu, Ioannis G. Kevrekidis, Eleni Chatzi

Publicado 2026-08-06

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Gregory Duthé, Nikolaos Evangelou, Wei Liu, Ioannis G. Kevrekidis, Eleni Chatzi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando prever o futuro. Talvez esteja tentando adivinhar onde uma bola saltitante cairá em seguida, ou tentando prever o tempo. Por muito tempo, os cientistas tiveram um conjunto de ferramentas confiáveis para isso, como observar como um sistema se moveu nos últimos segundos para adivinhar para onde ele vai a seguir. Essas ferramentas são como uma receita rigorosa: se você conhece as regras da física, pode escrever uma equação matemática que diz exatamente o que acontece. Mas recentemente, um novo tipo de "supercérebro" chamado Transformer tornou-se famoso por prever coisas, desde escrever histórias até adivinhar preços de ações. Esses Transformers são como uma caixa preta mágica que olha para todo um histórico de eventos de uma só vez e faz um palpite. A grande questão é: este cérebro preto realmente entende a física de como as coisas se movem, ou é apenas um adivinhador muito bom que pode falhar quando as coisas ficam complicadas? Este artigo mergulha na sala de máquinas desses Transformers para ver se eles realmente sabem o que estão fazendo quando tentam prever o movimento de sistemas físicos.

Os pesquisadores, liderados por Gregory Duthé e sua equipe, decidiram parar de tratar o Transformer como uma caixa preta misteriosa e, em vez disso, desmontá-lo para ver como ele funciona em sistemas simples e em movimento. Eles se concentraram em um tipo específico de Transformer que é muito fino e simples — com apenas uma camada de profundidade — para torná-lo mais fácil de entender. Eles perguntaram: "Se alimentarmos esta máquina com dados sobre um pêndulo oscilante ou um rio fluindo, o que ela está realmente aprendendo?"

Aqui está o que eles descobriram, e é uma mistura de "funciona muito bem" e "atinge um muro difícil".

Primeiro, eles observaram movimentos simples e em linha reta (sistemas lineares), como uma mola saltitando para cima e para baixo. Eles descobriram que o Transformer tem um ponto cego estranho. A maneira como o Transformer presta atenção ao passado é como um chef que só pode adicionar ingredientes, nunca retirá-los. Ele pode misturar momentos passados, mas não pode subtraí-los. Se um sistema precisa subtrair um momento passado para criar uma oscilação (como uma mola que pula para frente e para trás), um Transformer de uma única cabeça fica confuso. Ele tenta suavizar tudo, fazendo a mola saltitante parecer uma massa lenta e preguiçosa. É como tentar desenhar uma linha em zigue-zague usando apenas um pincel que só pode se mover para frente; você acaba com uma linha reta. O artigo mostra que, se você der ao Transformer duas "cabeças" (duas formas diferentes de prestar atenção) em vez de uma, ele pode corrigir isso e finalmente desenhar o zigue-zague corretamente.

Em seguida, eles passaram para movimentos mais complicados e ondulados (sistemas não lineares), como um pêndulo caótico ou um fluido girando em torno de um cilindro. Aqui, o Transformer brilha, mas apenas sob condições específicas. Quando os pesquisadores deram ao Transformer o quadro completo do sistema (sabendo tanto a posição quanto a velocidade do objeto), ele não foi muito melhor do que uma calculadora simples. Foi como dar a um detetive um mapa completo quando ele precisava apenas de uma bússola.

No entanto, quando os pesquisadores esconderam parte da informação — dando ao Transformer apenas a posição, mas escondendo a velocidade — o Transformer tornou-se um super-herói. Ele começou a agir como um detetive viajante do tempo. Ao olhar para uma sequência de posições passadas, ele conseguia descobrir a velocidade oculta e reconstruir o estado completo do sistema. Ele estava essencialmente construindo uma "memória atrasada" para preencher as peças que faltavam, exatamente como você pode adivinhar a velocidade de um carro olhando para onde ele estava há alguns segundos atrás. O artigo sugere que é assim que o Transformer funciona melhor: unindo um histórico de observações para criar uma imagem completa do presente.

Mas há um porém. Os pesquisadores descobriram que o Transformer precisa de "espaço" em seu céreão para fazer isso. Se eles o forçassem a comprimir todo esse histórico complexo em um espaço minúsculo, a imagem ficaria bagunçada e se dobraria sobre si mesma, como tentar enfiar um mapa grande em um envelope pequeno. O artigo mostra que, se o sistema for complexo, o Transformer precisa de um espaço interno maior para manter as diferentes possibilidades separadas. Além disso, descobriram que, se o sistema mudar com base em uma configuração oculta (como a velocidade do vento), o Transformer pode ficar confuso, a menos que você diga explicitamente a ele qual é essa configuração. Sem essa pista extra, ele pode misturar dois cenários diferentes que parecem semelhantes no curto prazo, mas que se comportam de forma muito diferente mais tarde.

No fim, o artigo não diz que os Transformers estão quebrados, mas diz que eles não são mágicos. Eles são ferramentas poderosas que podem aprender a prever sistemas físicos, mas têm regras específicas que devem seguir. Eles lutam com a subtração simples em sua memória, precisam de espaço suficiente para desenrolar formas complexas e, às vezes, precisam de um pouco de ajuda nossa para entender as configurações ocultas do mundo que estão observando. Ao compreender essas regras, os cientistas podem parar de tratar esses modelos como caixas pretas misteriosas e começar a construí-los para serem mais confiáveis para prever o mundo real e em movimento ao nosso redor.

Resumo Técnico: Uma Análise Mecanística de Transformers para Sistemas Dinâmicos

Declaração do Problema

Embora as arquiteturas Transformer tenham alcançado um sucesso empírico significativo na previsão de séries temporais e sejam cada vez mais aplicadas a sistemas dinâmicos (da mecânica de fluidos à neurociência), seus mecanismos internos permanecem mal compreendidos sob uma perspectiva de sistemas dinâmicos. Ao contrário dos modelos autorregressivos (AR) e de espaço de estados clássicos, que possuem fundamentos teóricos bem estabelecidos em relação à estabilidade, observabilidade e identificabilidade, os Transformers são frequentemente tratados como caixas pretas.

Esta lacuna é crítica, pois modelos baseados em atenção são implantados para previsão de propósito geral ou zero-shot em diversos regimes dinâmicos. Especificamente, não está claro quais classes de comportamento dinâmico os Transformers podem representar fielmente, sob quais condições eles têm sucesso ou falham, e como seus cálculos internos se relacionam com conceitos estabelecidos na dinâmica não linear, como o embedding de coordenadas de atraso (delay-coordinate embedding) e a reconstrução de atratores. A literatura existente explorou conexções entre atenção e integração numérica ou aprendizado de operadores, mas um elo mecanístico direto entre operações de uma única camada de Transformer e formulações de sistemas dinâmicos clássicos (por exemplo, modelos AR, teorema de Takens) ainda não foi firmemente estabelecido.

Metodologia

Os autores adotam uma abordagem de interpretabilidade mecanística "de baixo para cima" (bottom-up), restringindo sua análise a Transformers de camada única, cabeça única e apenas decodificadores. Esta arquitetura mínima permite o isolamento de componentes específicos: o mecanismo de autoatenção causal e a rede de alimentação direta (feed-forward network ou MLP).

O estudo investiga dois regimes operacionais primários:

Sistemas Lineares: Os autores analisam a atenção como um operador autorregressivo linear e variante no tempo. Ao remover a conexão residual e o MLP (ablação de apenas atenção), eles derivam expressões em forma fechada para os coeficientes AR efetivos induzidos pelo mecanismo de atenção. Eles comparam esses resultados contra coeficientes AR derivados analiticamente de sistemas físicos (por exemplo, osciladores de 1-DOF e 2-DOF).
Sistemas Não Lineares: Os autores examinam cenários onde o estado completo não é observável (observabilidade parcial). Aqui, o Transformer é visto como um mecanismo para embedding de coordenadas de atraso adaptativo. A camada de atenção agrega observações históricas para reconstruir um estado implícito, que é então processado pelo MLP para aproximar o mapa de fluxo não linear.

O estudo utiliza três sistemas dinâmicos representativos:

Linear: Osciladores estruturais de 1-DOF e 2-DOF.
EDO Não Linear: O oscilador de Van der Pol.
EDPs Não Lineares: A equação de reação-difusão de Chafee-Infante e o fluxo de Navier-Stokes 2D ao redor de um cilindro.

A análise foca em como o modelo lida com a observabilidade parcial, o papel do contexto temporal (número de tokens de entrada $n$ ), o impacto da codificação posicional (PE) e a dimensionalidade do espaço latente ( $d_{lat}$ ) em relação à dimensão intrínseca do atrator ( $d_A$ ).

Principais Contribuições e Resultados

1. Sistemas Lineares: A Restrição de Convexidade

No cenário de cabeça única e apenas atenção, os autores demonstram que a normalização softmax impõe uma restrição de convexidade aos operadores autorregressivos aprendidos.

Mecanismo: Os pesos de atenção $\alpha_{t,\ell}$ são estritamente não negativos e somam unidade. Consequentemente, os operadores de atraso efetivos são múltiplos escalares não negativos de uma única matriz.
Modo de Falha: Para sistemas lineares que exigem coeficientes autorregressivos de sinais mistos (por exemplo, osciladores levemente amortecidos onde os coeficientes AR devem ter sinais opostos para representar inversão de fase), uma única cabeça de atenção não consegue representar fielmente a dinâmica. Isso leva ao "suavizamento excessivo" (oversmoothing) e à falha em recuperar picos de ressonância ou cristas de decaimento modal coerentes.
Modo de Sucesso: Quando a dinâmica alvo admite uma representação AR com coeficientes de mesmo sinal, o mecanismo de atenção captura com sucesso o comportamento oscilatório e as características de amortecimento.
Escalabilidade: Em sistemas de múltiplos graus de liberdade, a atenção pode recuperar múltiplos modos interagentes se o contexto temporal ( $n$ ) for suficientemente longo para compensar as observações espaciais ausentes, atuando efetivamente como um embedding de coordenadas de atraso. No entanto, a restrição fundamental de sinal permanece uma limitação para arquiteturas de cabeça única.

2. Sistemas Não Lineares: Delay-Embedding e Reconstrução de Estado

Para sistemas não lineares, os autores descobrem que a utilidade do Transformer é mais pronunciada sob observabilidade parcial.

Observabilidade Total: Quando o vetor de estado completo está disponível, um simples MLP (feed-forward) que aprende o mapa de tempo-um performa de forma comparável ao Transformer. A atenção não oferece vantagem significativa porque o sistema já é Markoviano.
Observabilidade Parcial: Quando apenas um subconjunto de variáveis é observado (por exemplo, posição, mas não velocidade), o Transformer supera significamente o MLP. O mecanismo de atenção atua como um embedding de atraso adaptativo, agregando observações passadas para desambiguar estados que compartilham o mesmo valor instantâneo, mas diferem na fase.
Dimensionalidade Latente e Desdobramento: A qualidade da reconstrução do estado depende criticamente da dimensão latente ( $d_{lat}$ $d_{l a t}$ ).
- No sistema Chafee-Infante (dimensão intrínseca $d_A=2$ ), definir $d_{lat}=2$ causou o colapso da representação latente em uma curva estreita, falhando em "desdobrar" o manifold devido à simetria do sistema e às restrições da arquitetura.
- Aumentar $d_{lat}$ para 3 permitiu que o mecanismo de atenção primeiro desdobrasse as coordenadas de atraso em uma representação intermediária mais rica, que o MLP poderia então projetar no manifold 2D intrínseco. Isso sugere que $d_{lat}$ deve exceder $d_A$ para evitar compressão e dobramento prematuros.
Condicionamento de Parâmetros: No experimento de fluxo de Navier-Stokes em torno de um cilindro, modelos treinados sem a entrada explícita do número de Reynolds ($Re$) aprenderam um espaço latente onde os ciclos limites para diferentes $Re$ se sobrepunham. Essa não-injetividade levou a uma reconstrução pobre do campo de fluxo total, particularmente na região de esteira. Fornecer $Re$ como uma entrada explícita desmembrou o espaço latente, separando os ciclos limites ao longo de um manifold contínuo dependente de parâmetros e permitindo a reconstrução precisa de todo o campo.

Significância e Alegações

O artigo afirma estabelecer uma ponte entre o desempenho empírico dos Transformers e a teoria clássica de sistemas dinâmicos, fornecendo uma explicação mecanística de por que e quando esses modelos têm sucesso ou falham.

Interpretabilidade: Os autores argumentam que os Transformers não devem ser vistos meramente como regressores genéricos de sequência-para-sequência, mas como modelos de espaço de estados adaptáveis aos dados. O mecanismo de atenção constrói um estado implícito a partir de observações passadas, enquanto o MLP aproxima o mapa de fluxo local.
Limites Teóricos: O estudo identifica limitações representacionais fundamentais, especificamente a incapacidade da atenção de cabeça única de modelar dependências de sinais mistos em sistemas lineares devido à convexidade do softmax. Isso sugere que arquiteturas de múltiplas cabeças ou esquemas de normalização alternativos podem ser necessários para certos regimes físicos.
Diretrizes de Design: Os resultados oferecem diretrizes práticas para o design de modelos baseados em atenção para sistemas dinâmicos:
- Garantir que o comprimento do contexto temporal ( $n$ ) satisfaça $n \ge 2d_A + 1$ (teorema de Takens) para observabilidade parcial.
- Garantir que a dimensão latente ( $d_{lat}$ ) seja suficientemente grande para desdobrar o atrator antes da projeção, particularmente para manifolds simétricos.
- Condicionar explicitamente nos parâmetros do sistema (ex: número de Reynolds) se o espaço latente falhar em separar unicamente diferentes regimes dinâmicos.

Os autores concluem que, embora os Transformers possam atuar como integradores temporais gerais, seus vieses indutivos (especificamente em relação ao filtragem espectral e topologia de manifold) devem ser cuidadosamente alinhados com os sistemas físicos que modelam. Eles alertam contra o tratamento deles como aproximadores de "caixa preta" universais sem a compreensão dessas restrições mecanísticas subjacentes.