GCGNet: Graph-Consistent Generative Network for Time Series Forecasting with Exogenous Variables

In dit paper wordt GCGNet voorgesteld, een graf-consistente generatieve netwerkarchitectuur die door middel van variatiegeneratie, grafstructuur-afstemming en grafverfijning robuuste en nauwkeurige tijdreeksvoorspellingen met exogene variabelen mogelijk maakt door zowel temporale als kanaalcorrelaties gezamenlijk te modelleren.

De kern

GCGNet: De slimme voorspeller die luistert naar de omgeving

Stel je voor dat je een weerman bent die probeert de temperatuur van morgen te voorspellen. Je kijkt naar de temperatuur van de afgelopen dagen (dat is je eigen data). Maar een slimme weerman kijkt ook naar andere dingen: de windrichting, de luchtvochtigheid en de zonneschijn (dat zijn de 'externe variabelen').

De meeste oude methoden doen dit op een slordige manier. Ze kijken eerst alleen naar de geschiedenis van de temperatuur, en daarna pas naar de wind. Of andersom. Het probleem hierbij is dat ze de twee dingen niet goed met elkaar verbinden. Alsof je eerst een puzzel oplost en daarna pas kijkt of de stukjes wel bij elkaar passen.

GCGNet is een nieuwe, slimme manier om dit te doen. Het is als een super-voorspeller die alles tegelijk in één oogopslag ziet. Hier is hoe het werkt, vertaald naar alledaagse beelden:

1. De Ruwe Schets (De Variational Generator)

Stel je voor dat GCGNet eerst een ruwe schets maakt van hoe het weer morgen eruit zou kunnen zien. Het is nog niet perfect, maar het is een goed begin. Dit is als een schilder die eerst snel de contouren van een landschap schetst met potlood.

2. De "Staat van Verbinding" (De Graph Structure Aligner)

Dit is het magische deel. In plaats van alleen te kijken of de schets lijkt op het echte weer, kijkt GCGNet naar de relaties tussen de verschillende dingen.

• De Analogie: Stel je voor dat de temperatuur, de wind en de zon een groep vrienden zijn die met elkaar praten. Als de wind hard waait, zeggen ze tegen elkaar: "Hé, dan wordt het koud!"
• Veel andere modellen luisteren naar deze vrienden apart. GCGNet luistert naar het hele gesprek. Het maakt een "vriendenlijst" (een grafiek) van wie met wie praat.
• Het Geniale: Soms is het gesprek verstoord door ruis (zoals een slechte telefoonverbinding of een verkeerde meting). GCGNet is zo slim dat het de echte, sterke vriendschappen herkent, zelfs als er ruis in de lijn zit. Het vergelijkt de "vriendenlijst" van zijn ruwe schets met de echte vriendenlijst van de natuur. Als ze niet overeenkomen, past hij zijn schets aan.

3. De Finishing Touch (De Graph Refiner)

Soms kan het "luisteren naar het gesprek" even te veel worden en raakt de voorspeller in de war (het zou kunnen dat hij zegt: "Het regent en het is droog" tegelijk).

• De Graph Refiner is als een strenge maar slimme redacteur. Hij pakt de ruwe schets en de "vriendenlijst" en zegt: "Oké, deze connectie is echt belangrijk, die houden we. Die andere connectie is onzin, die gooien we weg."
• Hij zorgt ervoor dat de uiteindelijke voorspelling niet alleen logisch is, maar ook precies klopt.

Waarom is dit zo goed?

In de echte wereld is data vaak rommelig. Sensoren vallen uit, mensen maken fouten bij het opschrijven, of er is gewoon ruis.

• Andere modellen worden hierdoor gek en proberen de ruis ook te voorspellen (ze "leren" de fouten).
• GCGNet is als een ervaren detective. Het ziet door de ruis heen en focust op de echte patronen. Het weet dat als de wind uit het westen komt, de temperatuur vaak daalt, zelfs als de thermometer even een rare uitslag geeft.

Het Resultaat

De onderzoekers hebben GCGNet getest op 12 verschillende echte situaties, zoals het voorspellen van elektriciteitsprijzen (waar wind en zon belangrijk zijn) of waterstanden in rivieren.
Het bleek dat GCGNet veel beter presteert dan de beste bestaande methoden. Het maakt minder fouten, is robuuster tegen storingen en levert nauwkeurigere voorspellingen op.

Kortom: GCGNet is niet alleen een rekenmachine die naar cijfers kijkt; het is een slimme observator die begrijpt hoe verschillende dingen in de wereld met elkaar verbonden zijn, zelfs als de data niet perfect is. Het combineert het verleden, de toekomst en de omgeving tot één samenhangend verhaal.

Technische samenvatting

Probleemstelling

Tijdreeksvoorspelling met exogene variabelen (buitenstaande factoren zoals temperatuur of windkracht die de te voorspellen variabele beïnvloeden) is cruciaal in domeinen zoals energievoorspelling, verkeer en gezondheidszorg. Bestaande methoden lijden echter aan twee fundamentele beperkingen:

1. Tweestaps-strategie: De meeste huidige modellen modelleren temporale correlaties (tijd) en kanaalcorrelaties (relaties tussen variabelen) in gescheiden stappen (bijv. eerst tijd, dan kanalen, of vice versa). Deze scheiding leidt tot interferentie tussen de geleerde patronen, waardoor het model faalt in het vangen van de gezamenlijke, complexe afhankelijkheden tussen tijd en variabelen.
2. Gevoeligheid voor ruis: Real-world data bevat vaak ruis door sensorfouten, transmissieproblemen of ontbrekende waarden. Conventionele modellen die direct correlaties uit de waargenomen data afleiden, neigen tot overfitting op deze ruis, wat resulteert in onbetrouwbare voorspellingen.

Het doel is een robuust model te ontwikkelen dat zowel historische als toekomstige exogene variabelen kan verwerken en deze op een gezamenlijke manier modelleert, ongeacht de aanwezigheid van ruis.

Methodologie: GCGNet

GCGNet (Graph-Consistent Generative Network) is een architectuur die generatieve modellen combineert met graafgebaseerde structuuranalyse om de bovengenoemde problemen op te lossen. De architectuur bestaat uit drie kernmodules:

1. Variational Generator (Voorlopige Voorspelling):

   • Dit module gebruikt een Variational Autoencoder (VAE) om een ruwe (coarse) voorspelling van de toekomstige reeks te genereren op basis van historische endogene en exogene variabelen.
   • Het model is ontworpen om flexibel te zijn: als toekomstige exogene variabelen beschikbaar zijn, worden deze direct gebruikt; anders genereert de VAE een schatting ervan.
   • Dit creëert een initiële schatting die dient als input voor de volgende modules.

2. Graph Structure Aligner (Structuur-uitlijning):

   • In plaats van alleen punt-voor-punt reconstructie, wordt de kwaliteit van de generatie beoordeeld op basis van de consistentie van graafstructuren.
   • De tijdreeksen worden opgesplitst in "patches" (tijdssegmenten). Een Graph VAE module transformeert deze patches in een probabilistische graaf (adjacentiematrix) die de relaties tussen patches (zowel over tijd als tussen kanalen) weergeeft.
   • De Graph VAE fungeert als een denoiser: door een probabilistische latente ruimte te gebruiken, wordt ruis uit de data gefilterd en worden robuuste, onderliggende correlaties geëxtraheerd.
   • Een uitlijningsverlies ($L_{align}$) zorgt ervoor dat de graafstructuur van de gegenereerde data overeenkomt met de graafstructuur van de grondwaarheid (ground truth). Dit dwingt de generator om de gezamenlijke temporale en kanaalcorrelaties correct te modelleren.

3. Graph Refiner (Verfijning):

   • Om te voorkomen dat de Graph VAE degeneratie ondergaat (waarbij het model identieke uitkomsten produceert ongeacht de input), wordt een Graph Refiner ingezet.
   • Deze module gebruikt de gegenereerde adjacentiematrix (na een sparsificatiestap om irrelevante verbindingen te verwijderen) om informatie te verspreiden via een Graph Convolutional Network (GCN).
   • Hierdoor worden de initiële voorspellingen verfijnd door gebruik te maken van de geleerde dependencies, wat de uiteindelijke nauwkeurigheid verbetert.

Verliesfunctie: Het totale verlies is een som van de voorspellingsfout, de uitlijningsfout tussen graafstructuren, en regulatietermen (KL-divergentie) voor zowel de generator als de graaf-VAE.

Belangrijkste Bijdragen

• Gezamenlijke Modellering: GCGNet introduceert een framework dat temporale en kanaalcorrelaties gelijktijdig modelleert via graafstructuren, in plaats van ze in gescheiden stappen te behandelen. Dit elimineert de interferentie die kenmerkend is voor bestaande tweestaps-methoden.
• Robuustheid door Generatie: Door gebruik te maken van een generatieve aanpak met VAE's, leert het model de onderliggende data-distributie in plaats van direct te vertrouwen op ruisachtige observaties. Dit maakt het model uitzonderlijk robuust tegen sensorfouten en ontbrekende data.
• Graph Structure Aligner: Een nieuw module dat de kwaliteit van voorspellingen garandeert door de consistentie van de graafstructuur (relaties tussen variabelen en tijd) te optimaliseren, wat leidt tot meer betrouwbare correlatiemodellering.
• Flexibiliteit: Het model kan zowel werken met toekomstige exogene variabelen (wanneer beschikbaar) als zonder, door deze te genereren indien nodig.

Resultaten

De auteurs hebben GCGNet getest op 12 real-world datasets (waaronder elektriciteitsprijzen, windenergie en waterpeil) met verschillende exogene variabelen.

• Prestaties: GCGNet overtreft state-of-the-art baselines (zoals TimeXer, TFT, TiDE, CrossLinear en DUET) consequent op zowel korte als lange termijn voorspellingen. Het behaalde de beste resultaten in 18 van de 24 MAE/MSE-metingen.
• Ablatie-studies: Experimenten tonen aan dat elk onderdeel essentieel is. Het verwijderen van de Graph Structure Aligner of het vervangen van de VAE door een MLP resulteert in een significante prestatiedaling, wat de noodzaak van de generatieve en graafgebaseerde uitlijning bevestigt.
• Robuustheid: Bij simulaties van ontbrekende waarden (tot 50% van de data gemaskeerd) en ruis, behield GCGNet zijn superioriteit, terwijl andere modellen sterk degradeerden.
• Visualisatie: Grafische analyses tonen aan dat GCGNet beter in staat is om complexe patronen te volgen die door exogene variabelen worden beïnvloed, terwijl andere modellen vaak vastlopen in het herhalen van historische patronen of interferentie vertonen tussen tijd- en kanaalmodellen.

Significantie

GCGNet vertegenwoordigt een belangrijke doorbraak in de tijdreeksvoorspelling met exogene variabelen. Het paper bewijst dat het integreren van generatieve modellen met graafgebaseerde structuuruitlijning een effectieve strategie is om de complexiteit van real-world data (ruis, ontbrekende waarden, en sterke wederzijdse afhankelijkheden) te hanteren.

De methode biedt een algemeen kader dat niet alleen de nauwkeurigheid verbetert, maar ook de betrouwbaarheid van voorspellingen in kritieke toepassingen (zoals energienetwerken en klimaatmodellen) verhoogt. De openbaarmaking van de code en datasets draagt bij aan de reproduceerbaarheid en verdere ontwikkeling in het veld van "Decision Intelligence".