🤖 machine learning

Spatially-Enhanced Temporal Fusion Transformer: Interpretable Multi-Output Prediction for Parametric Dynamical Systems with Time-Varying Inputs

Dit artikel introduceert de Spatially-Enhanced Temporal Fusion Transformer (SE-TFT), een interpreteerbaar multi-output diep leermodel dat accuraat de complexe, niet-lineaire dynamiek van parametrische systemen met tijdvariërende inputs voorspelt door simultaan temporele correlaties en ruimtelijke interacties tussen meerdere output-responsen te vangen.

Oorspronkelijke auteurs: Shuwen Sun, Lihong Feng, Peter Benner

Gepubliceerd 2026-07-27

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shuwen Sun, Lihong Feng, Peter Benner

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de toekomst probeert te voorspellen van een complexe machine, zoals een weersysteem of een enorm elektriciteitsnet. In de wereld van de wetenschap worden deze machines vaak beschreven door gigantische, ingewikkelde wiskundige vergelijkingen die differentiële vergelijkingen worden genoemd. Denk aan deze vergelijkingen als het "recept" voor hoe de machine zich gedraagt. Het probleem is dat deze recepten zo groot en gedetailleerd zijn dat het oplossen ervan een supercomputer heel veel tijd kost, vooral als je wilt zien wat er gebeurt wanneer je een paar ingrediënten aanpast (zoals temperatuur of druk) of de externe krachten verandert (zoals een plotselinge windvlaag). Wetenschappers proberen al decennia lang "surrogaatmodellen" te bouwen — simpelere, snellere versies van deze recepten.

Onlangs is een type kunstmatige intelligentie genaamd een "Transformer" beroemd geworden door zijn vermogen om lange verhalen te lezen en te begrijpen hoe woorden in relanden met elkaar staan over de tijd. Je kent ze misschien van chatbots of vertaaltools. Deze modellen zijn erg goed in het herkennen van patronen in tijdgebaseerde gegevens, zoals het voorspellen van het volgende woord in een zin of de volgende aandelenkoers. De meeste van deze modellen zijn echter ontworpen om slechts één ding tegelijk te voorspellen, zoals de temperatuur in één stad. Echte machines in de wereld hebben echter meestal veel bewegende delen die elkaar tegelijkertijd beïnvloeden. Als je de snelheid van een ventilator verandert, kan dat de temperatuur, de druk en het geluidsniveau tegelijkertijd veranderen. De grote vraag was: Kunnen we een Transformer leren om naar al deze verschillende onderdelen tegelijk te kijken, te begrijpen hoe zij met elkaar dansen, en de hele show in één keer te voorspellen zonder in de war te raken?

Dit artikel introduceert een nieuw AI-model genaamd de Spatially-Enhanced Temporal Fusion Transformer (SE-TFT). De auteurs, onderzoekers van het Max Planck Instituut, namen een bestaand model genaamd de Temporal Fusion Transformer (TFT) — die al goed was in het voorspellen van een enkele uitkomst op basis van het verleden en toekomstige inputs — en gaven het een flinke upgrade. Ze realiseerden zich dat om complexe systemen met meerdere outputs (zoals temperatuur, druk en snelheid tegelijkertijd) te voorspellen, de AI niet alleen moet begrijpen wanneer dingen gebeuren (tijd), maar ook waar ze zich in relatie tot elkaar bevinden (ruimte).

Denk aan het oorspronkelijke model als een student die uitblinkt in het onthouden van een enkele tijdlijn van gebeurtenissen, maar overweldigd raakt als er drie verschillende verhaallijnen tegelijkertijd worden gevraagd te volgen. De SE-TFT is als diezelfde student, maar nu met een speciaal notitieblok met een raster. In plaats van alleen een lijst te schrijven, kan hij zien hoe het "temperatuurverhaal" zich op elk moment verbindt met het "drukverhaal". De auteurs bereikten dit door een nieuwe "maskeringstechniek" te creëren. In de wereld van Transformers is een "masker" als een regel die de AI vertelt waar hij naar mag kijken. Meestal mag de AI alleen naar het verleden kijken om de toekomst te voorspellen. De SE-TFT voegt een nieuwe regel toe: de AI kan tegelijkertijd naar het verleden van álle verschillende outputs kijken. Dit stelt het model in staat om de "ruimtelijke" relaties te leren — hoe de verschillende onderdelen elkaar beïnvloeden — terwijl het de "temporele" relaties leert — hoe ze veranderen in de loop van de tijd.

De onderzoekers testten dit nieuwe model op drie zeer verschillende soorten complexe systemen om te zien of het de chaos kon beheersen. Eerst gebruikten ze het Lorenz-63 model, een beroemd wiskundig systeem dat chaotische weerspatronen beschrijft. Het is alsof je de exacte baan van de vlucht van een vlinder probeert te voorspellen; kleine veranderingen in het startpunt leiden tot volkomen andere resultaten. De SE-TFT voorspelde succesvol de toekomstige banen van alle drie de variabelen in het systeem, zelfs wanneer de begincondities willekeurig waren.

Daarna probeerden ze het FitzHugh-Nagumo model, dat simuleert hoe neuronen (zenuwcellen) vuren als reactie op elektrische signalen. Dit is een beetje als het kijken naar een rij domino's die omvallen, maar de domino's kunnen ook resetten en opnieuw vallen in complexe ritmes. Hier moest het model twee verschillende outputs voorspellen (de spanning en een herstelvariabele) terwijl het omging met veranderende externe signalen. De SE-TFT gokte niet alleen de getallen; het leverde ook een "betrouwbaarheidsinterval", wat in feite een groene zone rond de voorspelling tekent om aan te geven waar het echte antwoord waarschijnlijk ligt. De werkelijke resultaten bleven veilig binnen deze zones.

Ten slotte pakten ze een gekoppeld elektrochemisch kinetiek en diffusie model aan, dat beschrijft hoe chemicaliën bewegen en reageren in een batterij-achtige opstelling. Dit is een rommelig systeem waarbij de rotatiesnelheid en de frequentie van een elektrisch signaal bepalen hoe de chemicaliën zich gedragen. De SE-TFT voorspelde de stroom en de concentratie van twee verschillende chemicaliën met ongelooflijke nauwkeurigheid, vaak met fouten van minder dan 1%.

Een van de coolste functies van dit artikel is dat het model "interpreteerbaar" is. Meestal zijn deep learning-modellen "black boxes" — je stopt er data in, er komt een getal uit, maar je hebt geen idee hoe de computer tot die beslissing kwam. De SE-TFT houdt echter een verslag bij van zijn "aandacht" (attention). De auteurs lieten zien dat ze de interne "attention map" van het model konden bekijken en precies konden zien welke delen uit het verleden de voorspelling hadden beïnvloed. Bijvoorbeeld, in het chemische model onthulde de kaart dat de voorspelling voor de elektrische stroom sterk steunde op de eigen geschiedenis, terwijl de voorspelling voor de chemische concentratie steunde op een mix van alle verschillende variabelen. Dit is als het kunnen vragen aan de AI: "Waarom dacht je dat de temperatuur zou dalen?" en het vervolgens de specifieke gebeurtenissen uit het verleden zien aanwijzen die tot die conclusie leidden.

De auteurs ontdekten dat de SE-TFT deze complexe systemen met meerdere outputs in één stap kon voorspellen, zonder dat het telkens een seconde per seconde hoefde te voorspellen en die gok weer als input te gebruiken (een methode genaamd autoregressie, die vaak fouten accumuleert). Hoewel het model iets minder nauwkeurig werd bij het voorspellen van de verre toekomst, bleef het verrassend robuust. Het artikel concludeert dat door de AI te leren de "ruimtelijke" verbindingen tussen verschillende outputs te zien, we snellere, nauwkeurigere en begrijpelijkere instrumenten kunnen bouwen voor het simuleren van de complexe fysieke wereld, van weerspatronen tot chemische reactoren. De code en de gegevens die voor deze experimenten zijn gebruikt, zijn beschikbaar voor iedereen om te controleren, wat ervoor zorgt dat deze bevindingen openstaan voor anderen om te verifiëren en voort te bouwen op.

Technische Samenvatting: Spatially-Enhanced Temporal Fusion Transformer (SE-TFT)

Probleemstelling
Het artikel behandelt de computationele uitdaging van het simuleren van grootschalige parametrische dynamische systemen, die vaak worden geformuleerd als differentiaal-algebraïsche vergelijkingen (DAE's) of gewone differentiaalvergelijkingen (ODE's) met een hoge mate van vrijheidsgraden (DOF). Traditionele numerieke solvers zijn computationeel duur, vooral voor multi-query taken waarbij herhaalde simulaties plaatsvinden over variërende fysieke parameters en externe tijdvariërende inputsignalen. Hoewel Machine Learning (ML) en Model Order Reduction (MOR) alternatieven bieden, kampen bestaande ML-benaderingen met beperkingen:

Lange termijn voorspelling: Recurrente Neurale Netwerken (RNN's) zoals LSTM's hebben moeite met lange-termijn afhankelijkheden en trage inferentie.
Multi-output voorspelling: Bestaande Transformer-modellen, inclusief de Temporal Fusion Transformer (TFT), zijn doorgaans ontworpen voor single-output (scalair) voorspelling. Het aanpassen van deze modellen voor meerdere outputs vereist meestal het hertrainen van aparte modellen voor elke output of het gebruik van standaard multi-target implementaties die er niet in slagen de ruimtelijke correlaties tussen verschillende outputs te vangen.
Interpreteerbaarheid: Standaard aandachtmechanismen (attention mechanisms) in Transformers missen vaak het vermogen om expliciet de interacties tussen meerdere outputvariabelen (ruimtelijke correlaties) naast de temporele afhankelijkheden uit te leggen.

Methodologie
De auteurs stellen de Spatially-Enhanced Temporal Fusion Transformer (SE-TFT) voor, een uitbreiding van de oorspronkelijke TFT-architectuur, ontworpen om meerdere outputs van parametrische dynamische systemen in één enkele trainingssessie te voorspellen. De methodologie omvat drie kerninnovaties:

Data Reshaping voor Spatio-Temporele Sequenties:
In tegenstelling tot de originele TFT, die tijd en outputdimensies apart behandelt, herstructureert SE-TFT de dataset door meerdere outputkolommen in een enkele sequentie te stapelen. Dit transformeert de input van een puur temporele sequentie naar een spatio-temporele sequentie, waarbij de dimensie van de tijd wordt samengevoegd met de dimensie van de output (ruimtelijke dimensie). Dit stelt het model in staat om alle $n_o$ outputs simultaan te verwerken.
Block-Wise Masked Interpretable Multi-Head Attention:
Om de interpreteerbaarheid te behouden bij het verwerken van meerdere outputs, introduceren de auteurs een nieuw maskeringsschema voor het self-attention mechanisme.

In standaard masked attention worden toekomstige tijdstappen gemaskeerd om informatielekkage te voorkomen.
In SE-TFT is de attention weight matrix gestructureerd als een blokmatrix waarbij elk blok overeenkomt met een specifiek tijdstip.
Block-wise masking: Terwijl blokken die corresponderen met toekomstige tijdstappen worden gemaskeerd, zijn de entries binnen een enkel tijdstap-blok (die de interacties tussen verschillende outputs op hetzelfde tijdstip vertegenwoordigen) niet gemaskeerd.
Dit ontwerp stelt het model in staat om de ruimtelijke correlaties (interacties tussen verschillende outputs) op elk tijdstip te leren en te visualiseren, naast de temporele correlaties.

Dual Loss Functions:
Het framework ondersteunt twee verschillende voorspellingstaken met behulp van verschillende verliesfuncties:

Mean Absolute Error (MAE): Gebruikt voor het voorspellen van specifieke outputwaarden (point forecasts).
Quantile Loss: Gebruikt voor probabilistische voorspelling, waarbij specifieke percentielen (bijv. 10e, 50e, 90e) worden voorspeld om voorspellingsintervallen en onzekerheidskwantificering te bieden.

Belangrijkste Bijdragen

Multi-Output Extensie: Het artikel generaliseert de TFT succesvol van single-output naar multi-output voorspelling, waardoor het niet langer nodig is om modellen voor elke nieuwe quantity of interest (QoI) opnieuw te trainen.
Verbeterde Interpreteerbaarheid: Door de introductie van de block-wise masked attention biedt SE-TFT een mechanisme om niet alleen te interpreteren wanneer features invloed hebben op voorspellingen (temporeel), maar ook welke outputs elkaar beïnvloeden (ruimtelijk). De resulterende attention weight matrices onthullen expliciet de koppeling tussen verschillende systeemoutputs.
Black-Box Compatibiliteit: De methode is niet-intrusief en datagestuurd, wat betekent dat er geen kennis vereist is van de onderliggende systeemmatrices of niet-lineaire operatoren. Dit maakt het geschikt voor complexe systemen waar deze moeilijk te extraheren zijn (bijv. uit commerciële simulatietools).
Efficiënte Long-Horizon Voorspelling: Het model ondersteunt multi-horizon voorspelling in één enkele pass en kan autoregressieve rollouts uitvoeren voor uitgebreide tijdshorizons.

Experimentele Resultaten
De SE-TFT werd geëvalueerd op drie parametrische dynamische systemen met variërende complexiteiten:

Lorenz-63 Model: Een chaotisch systeem geparametriseerd door willekeurige begincondities. SE-TFT bereikte gemiddelde relatieve fouten van ongeveer 4-5% voor single-step voorspellingen en iets hogere fouten voor autoregressieve rollouts over 240 tijdstappen.
FitzHugh-Nagumo Model: Een gekoppeld PDE-ODE systeem dat de neuronrespons modelleert met twee fysieke parameters en een tijdvariërende input. Het model voorspelde succesvol de kwantielen (P10, P50, P90), met gemiddelde relatieve fouten van respectievelijk ~3,14% en ~1,88% voor de twee outputvariabelen. De voorspellingsintervallen bevatten consistent de referentie-oplossingen.
Gekoppeld Elektrochemisch Kinetiek en Diffusie Model: Een volledig gekoppeld systeem met twee parameters en een externe input die in de tijd en parameter varieert. SE-TFT bereikte een extreem hoge nauwkeurigheid, met gemiddelde relatieve fouten van 0,17% voor stroomdichtheid, 0,68% voor oxidantconcentratie en 0,24% voor reductantconcentratie.

Interpreteerbaarheidsanalyse
De studie demonstreerde de interpreteerbaarheid van het model via:

Variabele Belangrijkheid: De variable selection layers kwantificeerden de invloed van statische parameters, eerdere inputs en eerdere geobserveerde outputs op de voorspellingen, wat onthulde welke factoren specifieke outputs aansturen (bijv. in het elektrochemische model was frequentie significanter dan de rotatiesnelheid).
Attention Patronen: De block-wise attention matrices visualiseerden de spatio-temporele afhankelijkheden. Voor het Lorenz-model legde het complexe, onregelmatige cross-output interacties vast die typerend zijn voor chaos. Voor het elektrochemische model toonde het aan dat de voorspelling van de stroomdichtheid werd gedomineerd door de eigen historie, terwijl concentratievoorspellingen een sterke koppeling vertoonden met alle variabelen.

Betekenis en Claims
Het artikel claimt dat SE-TFT een significante vooruitgang biedt ten opzichte van bestaande Transformer-gebaseerde methoden voor dynamische systemen door:

Unificatie van Spatio-Temporeel Leren: Het integreert ruimtelijke (output-naar-output) en temporele leerprocessen in de self-attention laag zonder de interpreteerbaarheid van de oorspronkelijke TFT op te offeren.
Verklaarbaarheid: Het biedt een "redelijke en betekenisvolle basis" voor het verklaren van verborgen kenmerken van de onderliggende systemen door te visualiseren hoe verschillende outputs over de tijd met elkaar interageren.
Efficiëntie: Het maakt nauwkeurige, lange-termijn forecasting mogelijk voor ongeziene parametersamples met behulp van enkel de begincondities of korte historie, zonder dat er intrusieve systeemmatrices nodig zijn.

De auteurs concluderen dat SE-TFT bijzonder effectief is voor systemen met tijdvariërende inputs en meerdere outputs, en een robuuste, interpreteerbare en efficiënte surrogate modeling benadering biedt voor complexe engineering-toepassingen.

Technische Samenvatting: Spatially-Enhanced Temporal Fusion Transformer (SE-TFT)

Meer zoals dit