🤖 machine learning

A Mechanistic Analysis of Transformers for Dynamical Systems

Dit artikel analyseert single-layer Transformers vanuit een dynamisch systeemperspectief, waarbij wordt onthuld dat hoewel softmax-attention lineaire systeemmodellering beperkt door middel van oversmoothing, het functioneert als een effectief adaptief delay-embedding mechanisme voor het reconstrueren van toestanden in nietlineaire, gedeeltelijk observeerbare systemen.

Oorspronkelijke auteurs: Gregory Duthé, Nikolaos Evangelou, Wei Liu, Ioannis G. Kevrekidis, Eleni Chatzi

Gepubliceerd 2026-08-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gregory Duthé, Nikolaos Evangelou, Wei Liu, Ioannis G. Kevrekidis, Eleni Chatzi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de toekomst probeert te voorspellen. Misschien raad je waar een stuiterende bal als volgende zal landen, of probeer je het weer te voorspellen. Lange tijd hadden wetenschappers een reeks betrouwbare instrumenten hiervoor, zoals kijken naar hoe een systeem zich in de afgelopen paar seconden heeft bewogen om te raden waar het naartoe gaat. Deze instrumenten zijn als een strikt recept: als je de natuurkundige regels kent, kun je een wiskundige vergelijking opschrijven die precies vertelt wat er gebeurt. Maar onlangs is er een nieuw soort "superbrein" genaamd de Transformer beroemd geworden voor het voorspellen van dingen, van het schrijven van verhalen tot het raden van aandelenkoersen. Deze Transformers zijn als een magische zwarte doos die naar een hele geschiedenis van gebeurtenissen tegelijk kijkt en een gokje doet. De grote vraag is: begrijpt deze zwarte doos ook echt de natuurkunde van hoe dingen bewegen, of is het gewoon een heel goede gokker die kan falen wanneer dingen ingewikkeld worden? Dit artikel duikt in de machinekamer van deze Transformers om te zien of ze echt weten wat ze doen wanneer ze proberen de beweging van fysieke systemen te voorspellen.

De onderzoekers, onder leiding van Gregory Duthé en zijn team, besloten de Transformer niet langer als een mysterieuze zwarte doos te behandelen en in plaats daarvan uit elkaar te halen om te zien hoe het werkt op eenvoudige, bewegende systemen. Ze richtten zich op een specif kind type Transformer dat erg dun en eenvoudig is—slechts één laag diep—om het makkelijker te begrijpen. Ze vroegen zich af: "Als we deze machine gegevens voeren over een zwaaiende slinger of een stromende rivier, wat leert hij dan eigenlijk?"

Dit is wat ze vonden, en het is een mix van "het werkt geweldig" en "het loopt tegen een harde muur aan".

Eerst keken ze naar eenvoudige, rechte bewegingen (lineaire systemen), zoals een veer die op en neer stuitert. Ze ontdekten dat de Transformer een vreemde blinde vlek heeft. De manier waarop de Transformer aandacht besteedt aan het verleden is als een chef die alleen ingrediënten kan toevoegen, maar ze nooit kan weghalen. Het kan het verleden mengen, maar het kan geen momenten van het verleden aftrekken. Als een systeem een moment uit het verleden moet aftrekken om een trilling te creëren (zoals een veer die heen en weer stuitert), raakt een Transformer met één "head" in de war. Het probeert alles glad te strijken, waardoor de stuiterende veer verandert in een traag, loom bewegende klodder. Het is alsof je een zigzaglijn probeert te tekenen met alleen een penseel dat alleen vooruit kan bewegen; je eindigt met een rechte lijn. Het artikel laat zien dat als je de Transformer twee "heads" geeft (twee verschillende manieren om aandacht te besteden) in plaats van één, het dit kan oplossen en eindelijk de zigzaglijn correct kan tekenen.

Vervolgens gingen ze over naar meer ingewikkelde, golvende bewegingen (niet-lineaire systemen), zoals een chaotische slinger of een vloeistof die rond een cilinder kolkt. Hier blinkt de Transformer in uit, maar alleen onder specifieke omstandigheden. Wanneer de onderzoekers de Transformer het volledige beeld van het systeem gaven (wetend zowel de positie als de snelheid van het object), deed het niet veel beter dan een eenvoudige rekenmachine. Het was alsof je een detective een volledige kaart geeft terwijl hij alleen een kompas nodig heeft.

Echter, toen de onderzoekers een deel van de informatie verborgen—door de Transformer alleen de positie te geven en de snelheid te verbergen—werd de Transformer een superheld. Hij begon te handelen als een detectief die door de tijd reist. Door naar een opeenvolging van eerdere posities te kijken, kon hij de verborgen snelheid achterhalen en de volledige staat van het systeem reconstrueren. Het bouwde in feite een "vertraagd geheugen" om de ontbrekende stukjes in te vullen, net zoals je de snelheid van een auto kunt raden door te kijken waar deze een paar seconden geleden was. Het artikel suggereert dat dit is hoe de Transformer het beste werkt: door een geschiedenis van waarnemingen aan elkaar te naaien om een compleet beeld van het heden te creëren.

Maar er is een addertje onder het gras. De onderzoekers ontdekten dat de Transformer genoeg "ruimte" in zijn brein nodig heeft om dit te kunnen doen. Als ze hem dwongenen al die complexe geschiedenis in een piepkleine ruimte te persen, werd het beeld rommelig en vouwde het in zichzelf, zoals het proberen te stoppen van een grote kaart in een kleine envelop. Het artikel laat zien dat als het systeem complex is, de Transformer een grotere interne ruimte nodig heeft om de verschillende mogelijkheden gescheiden te houden. Ook ontdekten ze dat als het systeem verandert op basis van een verborgen instelling (zoals de snelheid van de wind), de Transformer in de war kan raken, tenzij je hem expliciet vertelt wat die instelling is. Zonder die extra aanwijzing kan hij twee scenario's die op de korte termijn op elkaar lijken maar later heel anders gedragen, met elkaar verwarren.

Uiteindelijk zegt het artikel niet dat Transformers kapot zijn, maar wel dat ze niet magisch zijn. Het zijn krachtige instrumenten die kunnen leren om fysieke systemen te voorspellen, maar ze hebben specifieke regels waar ze zich aan moeten houden. Ze worstelen met eenvoudige aftrekking in hun geheugen, ze hebben genoeg ruimte nodig om complexe vormen te ontvouwen, en ze hebben soms een beetje hulp van ons nodig om de verborgen instellingen van de wereld die ze observeren te begrijpen. Door deze regels te begrijpen, kunnen wetenschappers stoppen met het behandelen van deze modellen als mysterieuze zwarte dozen en beginnen met het bouwen van modellen die betrouwbaarder zijn voor het voorspellen van de echte, bewegende wereld om ons heen.

Technische Samenvatting: Een Mechanistische Analyse van Transformers voor Dynamische Systemen

Probleemstelling

Hoewel Transformer-architecturen aanzienlijk empirisch succes hebben behaald in tijdreeksvoorspelling en steeds vaker worden toegepast op dynamische systemen (van vloeistofmechanica tot neurowetenschap), blijft hun interne mechanisme vanuit het perspectief van dynamische systemen slecht begrepen. In tegenstelling tot klassieke autoregressieve (AR) en state-space modellen, die beschikken over goed gevestigde theoretische fundamenten met betrekking tot stabiliteit, observeerbaarheid en identificeerbaarheid, worden Transformers vaak behandeld als zwarte dozen.

Deze kloof is kritiek omdat aandacht-gebaseerde modellen worden ingezet voor algemene of zero-shot voorspellingen over diverse dynamische regimes. Specifiek is het onduidelijk welke klassen van dynamisch gedrag Transformers getrouw kunnen representeren, onder welke omstandigheden ze slagen of falen, en hoe hun interne berekeningen zich verhouden tot gevestigde concepten in de nietlineaire dynamica, zoals delay-coordinate embeddings en attractor-reconstructie. Bestaande literatuur heeft verbindingen verkend tussen aandacht en numerieke integratie of operator learning, maar een directe mechanistische link tussen single-layer Transformer-operaties en klassieke formuleringen van dynamische systemen (bijv. AR-modellen, Takens' stelling) is nog niet stevig vastgesteld.

Methodologie

De auteurs hanteren een "bottom-up" mechanistische interpreteerbaarheid-benadering, waarbij zij hun analyse beperken tot single-layer, single-head, decoder-only Transformers. Deze minimale architectuur maakt het mogelijk om specifieke componenten te isoleren: het causale self-attention mechanisme en het feed-forward netwerk (MLP).

De studie onderzoekt twee primaire operationele regimes:

Lineaire Systemen: De auteurs analyseren aandacht als een lineaire, tijdsvariërende autoregressieve operator. Door de residual connection en de MLP te verwijderen (attention-only ablatie), leiden zij gesloten vorm-expressies af voor de effectieve AR-coëfficiënten die door het aandachtmechanisme worden geïnduceerd. Zij vergelijken deze met analytisch afgeleide AR-coëfficiënten van fysieke systemen (bijv. Single-DOF en 2-DOF oscillatoren).
Nietlineaire Systemen: De auteurs onderzoeken scenario's waar de volledige staat niet observeerbaar is (partiële observeerbaarheid). Hier wordt de Transformer beschouwd als een mechanisme voor adaptieve delay-coordinate embedding. De attention-laag aggregeert historische observaties om een impliciete staat te reconstrueren, die vervolgens door de MLP wordt verwerkt om de nietlineaire flow map te benaderen.

De studie maakt gebruik van drie representatieve dynamische systemen:

Lineair: Single-DOF en 2-DOF structurele oscillatoren.
Nietlineaire ODE: De Van der Pol-oscillator.
Nietlineaire PDE's: De Chafee-Infante reactie-diffusievergelijking en 2D Navier-Stokes stroming langs een cilinder.

De analyse richt zich op hoe het model omgaat met partiële observeerbaarheid, de rol van temporele context (aantal input tokens $n$ ), de impact van positional encoding (PE) en de dimensionaliteit van de latente ruimte ( $d_{lat}$ ) relatief aan de intrinsieke dimensie van de attractor ( $d_A$ ).

Belangrijkste Bijdragen en Resultaten

1. Lineaire Systemen: De Convexiteitsbeperking

In de single-head, attention-only setting demonstreren de auteurs dat de softmax-normalisatie een convexiteitsbeperking oplegt aan de geleerde autoregressieve operatoren.

Mechanisme: De aandachtsgewichten $\alpha_{t,\ell}$ zijn strikt niet-negatief en sommen op tot één. Bijgevolg zijn de effectieve lag-operatoren niet-negatieve scalaire veelvouden van een enkele matrix.
Foutmodus: Voor lineaire systemen die mixed-sign autoregressieve coëfficiënten vereisen (bijv. licht gedempte oscillatoren waarbij de AR-coëfficiënten tegengestelde tekens moeten hebben om fase-inversie te representeren), kan een enkele aandacht-head dit gedrag niet getrouw representeren. Dit leidt tot "oversmoothing" en een falen in het herstellen van resonantiepieken of coherente modale vervalranden.
Succesmodus: Wanneer de doel-dynamica een AR-representatie toelaat met same-sign coëfficiënten, slaagt het aandachtmechanisme erin het oscillerende gedrag en de dempingskarakteristieken te vangen.
Schaalbaarheid: In systemen met meerdere vrijheidsgraden kan aandacht meerdere interagerende modi herstellen als de temporele context ( $n$ ) voldoende lang is om ontbrekende ruimtelijke observaties te compenseren, waardoor het effectief fungeert als een delay-coordinate embedding. Echter, de fundamentele teken-beperking blijft een limiet voor single-head architecturen.

2. Nietlineaire Systemen: Delay-Embedding en Staat-reconstructie

Voor nietlineaire systemen vinden de auteurs dat de bruikbaarheid van de Transformer het meest uitgesproken is onder partiële observeerbaarheid.

Volledige Observeerbaarheid: Wanneer de volledige staatvector beschikbaar is, presteert een eenvoudige feed-forward MLP (die de time-one map leert) vergelijkbaar met de Transformer. Aandacht biedt geen significant voordeel omdat het systeem al Markoviaans is.
Partiële Observeerbaarheid: Wanneer slechts een subset van variabelen wordt geobserveerd (bijv. positie maar niet snelheid), presteert de Transformer aanzienlijk beter dan de MLP. Het aandachtmechanisme fungeert als een adaptieve delay-embedding, die het verleden van observaties aggregeert om staten te onderscheiden die dezelfde instantane waarde delen maar verschillen in fase.
Latente Dimensionaliteit en Ontvouwing: De kwaliteit van de staat-reconstructie hangt kritiek af van de latente dimensie ( $d_{lat}$ $d_{l a t}$ ).
- In het Chafee-Infante systeem (intrinsieke dimensie $d_A=2$ ) zorgde het instellen van $d_{lat}=2$ ervoor dat de latente representatie inklapte tot een smalle curve, waardoor het niet slaagde om de manifold te "ontvouwen" vanwege de symmetrie van het systeem en de beperkingen van de architectuur.
- Het verhogen van $d_{lat}$ naar 3 stelde het aandachtmechanisme in staat om eerst de delay-coördinaten te ontvouwen in een rijkere intermediaire representatie, die de MLP vervolgens kon projecteren op de intrinsieke 2D-manifold. Dit suggereert dat $d_{lat}$ groter moet zijn dan $d_A$ om voortijdige compressie en vouwing te voorkomen.
Parameter Conditionering: In het Navier-Stokes cilinderstromingsexperiment leerden modellen die getraind waren zonder expliciete Reynoldsgetal ($Re$) input een latente ruimte waar limit cycles voor verschillende $Re$ overlapten. Deze niet-injectiviteit leidde tot een slechte reconstructie van het volledige stromingsveld, met name in het zoggebied. Het verstrekken van $Re$ als expliciete input ontkoppelde de latente ruimte, waardoor de limit cycles langs een continue parameter-afhankelijke manifold werden gescheiden, wat een nauwkeurige reconstructie van het volledige veld mogelijk maakte.

Betekenis en Claims

Het artikel claimt de kloof tussen de empirische Transformer-prestaties en de klassieke dynamische systeemtheorie te overbruggen door een mechanistische verklaring te bieden voor waarom en wanneer deze modellen slagen of falen.

Interpreteerbaarheid: De auteurs stellen dat Transformers niet louter als generieke sequentie-naar-sequentie regressoren moeten worden gezien, maar als data-adaptieve state-space modellen. Het aandachtmechanisme construeert een impliciete staat uit het verleden, terwijl de MLP de lokale flow map benadert.
Theoretische Limieten: De studie identificeert fundamentele representatieve beperkingen, specifiek het onvermogen van single-head aandacht om mixed-sign afhankelijkheden in lineaire systemen te modelleren vanwege de softmax-convexiteit. Dit suggereert dat multi-head architecturen of alternatieve normalisatieschema's noodzakelijk kunnen zijn voor bepaalde fysieke regimes.
Ontwerprichtlijnen: De resultaten bieden praktische richtlijnen voor het ontwerpen van aandacht-gebaseerde modellen voor dynamische systemen:
- Zorg ervoor dat de temporele contextlengte ( $n$ ) voldoet aan $n \ge 2d_A + 1$ (Takens' stelling) voor partiële observeerbaarheid.
- Zorg ervoor dat de latente dimensie ( $d_{lat}$ ) voldoende groot is om de attractor te ontvouwen voordat projectie plaatsvindt, met name voor symmetrische manifolds.
- Conditioneer expliciet op systeemparameters (bijv. Reynoldsgetal) indien de latente ruimte er niet in slaagt verschillende dynamische regimes uniek te scheiden.

De auteurs concluderen dat hoewel Transformers als algemene temporele integratoren kunnen fungeren, hun inductieve biases (specifiek met betrekking tot spectrale filtering en manifold-topologie) zorgvuldig moeten worden afgestemd op de fysieke systemen die zij modelleren. Zij waarschuwen tegen het behandelen van hen als universele "black-box" benaderaars zonder begrip van deze onderliggende mechanistische beperkingen.