💻 computer science

INDEQS: Informed Neural controlled Differential EQuationS

INDEQS is een nieuw grafen-gebaseerd Neural Controlled Differential Equation-framework dat voorkennis van gerichte grafen integreert in onderscheidende architecturale componenten om de nauwkeurigheid van tijdreeksvoorspellingen en de efficiëntie van parameters te verbeteren over synthetische en real-world spatio-temporele taken.

Oorspronkelijke auteurs: Michael Detzel, Gabriel Nobis, Kristiyan Blagov, Juri Schubert, Jackie Ma, Wojciech Samek

Gepubliceerd 2026-06-19

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Michael Detzel, Gabriel Nobis, Kristiyan Blagov, Juri Schubert, Jackie Ma, Wojciech Samek

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert de toekomstige waterstroom in een riviersysteem of de beweging van auto's op een snelweg te voorspellen. Je hebt een kaart (een graaf) die laat zien hoe de rivieren met elkaar verbonden zijn of hoe de wegen met elkaar verbonden zijn.

Lange tijd waren computermodellen die deze stromen probeerden te voorspellen als studenten die weigeren naar de kaart te kijken. Hoewel de kaart bestaat en duidelijk laat zien dat "Rivier A in Rivier B stroomt", proberen deze modellen de verbindingen volledig te ontdekken door te gokken op basis van eerdere gegevens. Ze zijn slim, maar ze negeren een enorme aanwijzing.

Dit artikel introduceert een nieuwe methode genaamd INDEQS (Informed Neural controlled Differential EQuationS). Denk aan INDEQS als een student die eindelijk besluit de kaart te openen en deze te gebruiken om betere voorspellingen te doen.

Hier is hoe het werkt, onderverdeeld in eenvoudige concepten:

1. Het Probleem: "Gokken" versus "Weten"

Standaard AI-modellen voor tijdreeksgegevens (zoals rivierstanden of verkeer) behandelen tijd meestal als een reeks momentopnames. Ze proberen te leren hoe één punt een ander punt beïnvloedt door alleen naar de cijfers te kijken.

De Oude Manier: Als je een riviernetwerk hebt, moet het model "leren" dat water van de bergtop naar de voet van de berg stroomt door duizenden dagen aan gegevens te analyseren. Het kan het goed krijgen, maar het is inefficiënt.
De INDEQS-manier: Dit model is "geïnformeerd". Er wordt vooraf een kaart (de grafstructuur) aan overhandigd. Het weet precies welke rivier in welke andere stroomt, of welke weg met welke andere verbonden is, nog voordat het begint met leren.

2. De Twee Manieren om de Kaart te Gebruiken

Het artikel stelt twee verschillende manieren voor om deze kaartinformatie in de AI te voeden, die ze Inner en Outer informedness noemen.

Outer Informedness (De Verkeersregelaar):
Stel je een verkeersregelaar voor bij een druk kruispunt. Deze kent de lay-out van de wegen (de kaart). Wanneer een auto (data) arriveert, gebruikt de regelaar de kaart om te beslissen hoe die auto naar de volgende straten wordt verdeeld.
- Hoe het werkt: Het model gebruikt de bekende kaart om te sturen hoe informatie zich van de ene knoop naar de andere verspreidt nadat het de gegevens heeft verwerkt. Het stelt het model in staat om te zeggen: "Oké, ik zie deze data, en omdat ik de kaart ken, zal ik deze informatie naar deze specifieke buren sturen."
- Het Resultaat: Dit is de meest flexibele en nauwkeurige versie. Het gebruikt de kaart als een sterke gids, maar laat het model nog steeds toe om nieuwe patronen te leren als de data iets onverwachts suggereert.
Inner Informedness (De Strikte Regelvolger):
Stel je een strikte bibliothecaris voor die alleen toestaat dat boeken tussen planken worden verplaatst als er een directe, vooraf goedgekeurde route is.
- Hoe het werkt: Het model wordt gedwongen om alleen te kijken naar buren die direct verbonden zijn op de kaart. Het kan geen "hallucinaties" creëren van een verbinding tussen twee punten die niet op de kaart aan elkaar gekoppeld zijn.
- Het Resultaat: Dit is een lichter, sneller en efficiënter model. Het is uitstekend wanneer je 100% zeker bent dat de kaart correct is en je niet wilt dat de AI nepverbindingen verzint. Het is echter iets minder flexibel als de echte wereld chaotisch is.

3. De "Advection" Simulatie (De Trainingsgrond)

Om hun idee te bewijzen, bouwden de auteurs een virtuele wereld. Ze simuleerden water dat langs de randen van een graaf stroomt (advectie).

Ze creëerden "pulsen" van water die langs randen reisden, splitsten bij knooppunten en samenkwamen bij anderen.
Ze testten hun modellen op grafen van verschillende groottes (van 4 tot 128 knopen).
De Bevinding: Het "Outer" geïnformeerde model (de Verkeersregelaar) was consequent beter dan de modellen die de kaart niet gebruikten, vooral naarmate de kaarten groter en complexer werden. De "Strikte Regelvolger" (Inner) was ook goed, maar had meer moeite wanneer de paden erg lang en complex werden.

4. Tests in de Praktijk

De auteurs stopten niet bij alleen simulaties. Ze testten INDEQS op twee echte problemen:

Rivierafvoer (De Weser-rivier in Duitsland):
Ze probeerden te voorspellen hoeveel water er stroomafwaarts zou stromen.
- Resultaat: Omdat rivieren van nature een strikt pad volgen (water stroomt bergafwaarts en volgt de oevers), werkten de "geïnformeerde" modellen prachtig. Het model dat de kaart gebruikte (Outer) voorspelde de stroom beter dan het model dat de verbindingen probeerde te raden.
- Bonus: Ze ontdekten dat het gebruik van een "continue" decoder (een manier om de output van het model te lezen die tijd behandelt als een vloeiende stroom in plaats van een reeks stappen) de voorspellingen nog nauwkeuriger maakte.
Verkeersstroom (PeMS08 Dataset in Californië):
Ze probeerden verkeersopstoppingen op snelwegen te voorspellen.
- Resultaat: Verkeer is rommeliger dan rivieren. Mensen maken willekeurige beslissingen en er gebeuren ongelukken. De kaart (wegindeling) is nuttig, maar vertelt niet het hele verhaal.
- Bevinding: Zelfs hier deed het "geïnformeerde" model het iets beter dan het "ongeïnformeerde" model. Het toonde aan dat zelfs in chaotische systemen weten wat de fysieke lay-out is, helpt om betere voorspellingen te doen.

5. De Belangrijkste Conclusie

De conclusie van het artikel is dat weten wat de structuur is, helpt.

Als je een betrouwbare kaart hebt van hoe dingen met elkaar verbonden zijn (zoals een riviernetwerk of een elektriciteitsnet), moet je de AI daar ook over informeren.
De "Outer" benadering is de beste allrounder: het gebruikt de kaart om de AI te sturen, maar houdt het flexibel genoeg om van de data te leren.
De "Inner" benadering is goed als je een kleiner, sneller model wilt en je zeker weet dat de kaart perfect is.
Het gebruik van continue-tijdmodellen (die tijd behandelen als een vloeiende rivier in plaats van een tikkende klok) leidt over het algemeen tot betere nauwkeurigheid, vooral voor taken in de echte wereld.

Kortom, INDEQS is een slimmere manier om de toekomst van bewegende zaken te voorspellen door ervoor te zorgen dat de AI de fysieke regels van de weg (of rivier) respecteert waar hij op reist.

Technische Samenvatting: Informed Neural Controlled Differential EQuationS (INDEQS)

Probleemstelling

Neural Controlled Differential Equations (NCDEs) bieden een krachtig continu-tijdsframework voor tijdreeksvoorspelling. Echter, standaard graafgebaseerde uitbreidingen, zoals Spatio-Temporal Graph NCDEs (STG-NCDEs), leren ruimtelijke structuren doorgaans puur van data. Deze aanpak is suboptimaal in fysieke systemen (bijv. riviernetwerken, wegennetwerken) waarbij een gerichte graafstructuur vooraf bekend is en causale relaties tussen ruimtelijke posities codeert. Bestaande methoden falen vaak in het effectief benutten van deze voorkennis, waarbij ze de graafstructuur behandelen als een leerbare parameter in plaats van een vaste beperking of informatieve prior, wat kan leiden tot inefficiënt leren of fysiek onwaarschijnlijke voorspellingen.

Methodologie

De auteurs stellen INDEQS (Informed Neural Controlled Differential EQuationS) voor, een graafgebaseerde NCDE-voorspellingsmethode die voorkennis van een gerichte graaf injecteert in het vectorveld op twee afzonderlijke architecturale posities: inner (intern) en outer (extern).

Architecturale Varianten

De methode onderscheidt twee manieren waarop graafinformatie in de dynamiek terechtkomt:

Outer Informedness ( $INDEQS_{outer}$ ): De vooraf bekende graafstructuur (via een getransponeerde vertex-transitiematrix $A_{outer}$ ) wordt toegepast op de "outer" positie, waardoor de distributie van informatie vanuit het controlepad (data) over de knopen wordt beperkt voordat deze door de functie voor de update van de verborgen toestand wordt verwerkt. Deze variant maakt data-adaptief leren van aanvullende verbindingen mogelijk via adaptieve graafconvoluties, terwijl de basistopologie wordt gerespecteerd.
Inner Informedness ( $INDEQS_{inner}$ ): De graafstructuur wordt toegepast op de "inner" positie binnen de updatefunctie van de verborgen toestand. Hier is de adjacency-matrix ( $A_{inner}$ ) hardgecodeerd, wat de informatiestroom strikt beperkt tot alleen de knopen die verbonden zijn in de bekende graaf. Deze variant is meer parameterefficiënt omdat de leerbare knoop-embeddings die in standaard adaptieve convoluties worden gebruikt, worden verwijderd.

Beide varianten maken gebruik van een gekoppeld systeem waarbij een verborgen toestand $H(t)$ evolueert via een NCDE gedreven door geïnterpoleerde data, en een tweede toestand $Z(t)$ evolueert via een NODE gedreven door $H(t)$ om ruimtelijke afhankelijkheden te vangen. De auteurs verkennen ook hogere-orde adjacenties ( $A_V^{(k)}$ ) om informatie van voorgangers van voorgangers te incorporeren.

Simulatiekader

Om systematisch te evalueren wanneer graaf-geïnformeerdheid voordelig is, hebben de auteurs een continue advectie-simulatie op gerichte grafen ontwikkeld. In tegenstelling tot discrete vertex-updates, modelleert deze simulatie hoeveelheden die continu langs graafranden bewegen, waarbij ze splitsen en samenvoegen bij knopen volgens vooraf gedefinieerde ratio's. Dit genereert synthetische spatio-temporele datasets met bekende grondwaarheid-stroomstructuren, wat gecontroleerde experimenten op graafgrootte, ruimtelijke resolutie en de noodzaak van voorkennis mogelijk maakt.

Decoders

De paper vergelijkt discrete convolutionele decoders met continu-tijd decoders (gebaseerd op NODEs) voor het genereren van toekomstige voorspellingen, wat flexibele voorspelling op willekeurige tijdstippen mogelijk maakt.

Belangrijkste Bijdragen

INDEQS Architectuur: Introductie van een graaf-geïnformeerde NCDE die voorkennis van een gerichte graaf incorporeert op twee specifieke architecturale posities (inner en outer), wat zowel een parameterefficiënte strikte beperkingsvariant als een meer expressieve data-adaptieve variant biedt.
Advectie Simulatie: Voorstel van een continu-tijd advectie-simulatie op gerichte graafranden, wat synthetische datasets oplevert met bekende grondwaarheid-stroomstructuren om de voordelen van graaf-geïnformeerdheid in een gecontroleerde setting te bestuderen.
Empirische Validatie: Uitgebreide evaluatie over synthetische advectie-data, rivierdebietgegevens (Weser Rivier) en verkeersstroomvoorspelling (PeMS08).

Resultaten

De evaluatie werd uitgevoerd op synthetische advectie-data, rivierdebietgegevens (Weser Rivier) en verkeersstroomgegevens (PeMS08).

Synthetische Advectie: $INDEQS_{outer}$ behaalde consistent een lagere Mean Absolute Error (MAE) dan de ongeïnformeerde STG-NCDE baseline over verschillende graafgroottes en ruimtelijke resoluties. Het prestatieverschil werd groter bij grotere grafen. $INDEQS_{inner}$ vertoonde een hogere MAE op kleine grafen, maar presteerde beter dan de baseline op grotere grafen, wat suggereert dat naarmate de graafcomplexiteit toeneemt, het vermogen om structuur uit beperkte data te leren afneemt, waardoor voorkennis cruciaal wordt.
Rivierdebiet: $INDEQS_{outer}$ met een continue NODE-decoder behaalde de beste prestaties (MAE 5.01), waarmee zowel de ongeïnformeerde STG-NCDE als andere geïnformeerde baselines (DCRNN, GCDE-GRU) werd overtroffen. Het verhogen van de macht van de adjacency-matrix (het opnemen van stroomopwaartse informatie) verbeterde de prestaties verder. $INDEQS_{inner}$ bood een parameterefficiënt alternatief met een iets hogere fout maar snellere trainingstijden.
Verkeersstroom (PeMS08): $INDEQS_{outer}$ presteerde iets beter dan de ongeïnformeerde STG-NCDE (MAE 16.50 vs. 16.55), wat aantoont dat graaftopologie nuttig blijft, zelfs in domeinen met aanzienlijke stochasticiteit en menselijke gedragsruis.
Decoders: Continu-tijd decoders leverden consequent betere nauwkeurigheid en temporele flexibiliteit op real-world taken vergeleken met discrete convolutionele decoders, hoewel ze hogere computationele kosten met zich meebrachten.

Betekenis en Claims

De paper claimt dat graaf-geïnformeerde NCDE's bijzonder voordelig zijn wanneer:

Een betrouwbare graaf die de stroom of interactiestructuur beschrijft beschikbaar is.
De voorspellingshorizon of ruimtelijke resolutie vereist dat informatie over meerdere hops moet propageren.
De continu-tijd evolutie van latente trajecten voordelig is.

De auteurs stellen dat $INDEQS_{outer}$ dient als een sterke, flexibele standaard wanneer prestaties en adaptiviteit prioriteit hebben, omdat het de voorkennis van de topologie combineert met data-gedreven aanpassingen. Daarentegen wordt $INDEQS_{inner}$ gepresenteerd als een overtuigend alternatief wanneer strikte naleving van een bekende fysieke topologie vereist is en parameterefficiëntie een prioriteit is. Het werk benadrukt het potentieel van het combineren van neurale differentiaalvergelijkingen met expliciete ruimtelijke structuur, en suggereert dat het benutten van bekende causale grafen de voorspellingsnauwkeurigheid aanzienlijk kan verbeteren ten opzichte van puur data-gedreven ruimtelijke leren, vooral in grotere, complexe systemen.