ProtoTS: Learning Hierarchical Prototypes for Explainable Time Series Forecasting

ProtoTS is een nieuw interpreteerbaar kader voor tijdreeksvoorspelling dat hoge nauwkeurigheid combineert met transparante besluitvorming door hiërarchische prototypes te gebruiken om complexe temporele patronen en interacties tussen variabelen op verschillende niveaus te verklaren.

De kern

Stel je voor dat je een weerman bent die de toekomstige elektriciteitsbehoefte van een heel land moet voorspellen. Dit is geen simpel spelletje; als je het fout doet, kunnen er stroomuitval komen of enorme geldverliezen ontstaan.

Vroeger gebruikten we simpele formules. Vervolgens kwamen er superkrachtige "zwarte dozen" (diepe neurale netwerken) die de voorspellingen veel beter maakten, maar niemand wist waarom ze die voorspelling deden. Het was alsof een goochelaar je vertelt wat er gaat gebeuren, maar je niet mag zien hoe hij de truc doet. In situaties waar veel geld en veiligheid op het spel staan, willen mensen juist wel weten hoe het werkt.

Hier komt ProtoTS om de hoek kijken. Het is een nieuw systeem dat twee dingen doet: het voorspelt extreem nauwkeurig, én het legt uit hoe het aan zijn conclusies komt.

Hier is hoe het werkt, uitgelegd met een paar simpele vergelijkingen:

1. Het Probleem: De "Zwarte Doos" en de Verwarrende Input

Stel je voor dat je een voorspelling moet doen over het elektriciteitsverbruik. Je hebt veel informatie:

• Interne gegevens: Hoeveel stroom werd er gisteren gebruikt?
• Externe factoren: Is het vandaag een feestdag? Hoe warm is het? Is het winter of zomer?

Bestaande modellen kijken vaak alleen naar één ding (bijvoorbeeld alleen de temperatuur) of ze geven een uitleg die te specifiek is ("om 14:00 uur was de temperatuur 2 graden hoger"). Ze missen het grote plaatje: Waarom zien we een piek in de avond? Is dat door de temperatuur, of omdat het een zondag is?

2. De Oplossing: Een Bibliotheek met "Voorbeelden" (Prototypes)

ProtoTS werkt niet door een ingewikkelde formule te gebruiken, maar door te leren van voorbeeldpatronen.

Stel je een grote bibliotheek voor met duizenden boeken. In plaats van elke dag een nieuw boek te schrijven, pakt ProtoTS een paar bekende "standaardverhalen" (prototypes) en past deze aan op de huidige situatie.

• Het "Zomerboek": Dit verhaal zegt: "Als het heet is, gebruiken mensen veel airco's, dus er is 's middags en 's avonds veel stroom nodig."
• Het "Feestdagboek": Dit verhaal zegt: "Op feestdagen gaan fabrieken dicht, maar mensen zijn thuis. De piek is dan anders dan op een werkdag."
• Het "Winterboek": "In de winter is het 's ochtends en 's avonds koud, dus de verwarming springt aan."

ProtoTS leert deze boeken (prototypes) automatisch uit de data.

3. De Hiërarchie: Van Hoofdlijnen tot Details

Wat ProtoTS zo slim maakt, is dat deze boeken in lagen zijn ingedeeld, net als een familieboom of een mapstructuur op je computer.

• De Hoofdlagen (De Boomstam): Hier staan de grote, algemene patronen. Bijvoorbeeld: "Werkdag" versus "Weekend". Dit geeft een snel overzicht.
• De Detaillagen (De Takken): Als je dieper graaft, zie je de subtielere verschillen. Het "Feestdag"-boek is niet één boek, maar heeft twee versies:
  1. Een versie voor een gewone feestdag.
  2. Een versie specifiek voor Sinterklaas of Chinees Nieuwjaar, waar de pieken in het verbruik anders liggen (bijvoorbeeld een enorme piek 's avonds omdat iedereen thuis eet).

Dit betekent dat experts (zoals energieleveranciers) het systeem kunnen "sturen". Als ze merken dat het model het Chinees Nieuwjaar niet goed begrijpt, kunnen ze zeggen: "Maak van dat ene 'Feestdag'-boek twee aparte boeken." Het systeem past zich dan direct aan.

4. Hoe het de "Verwarrende Input" aanpakt

Het systeem is ook slim in het verwerken van verschillende soorten informatie.
Stel je voor dat je een smoothie maakt. Je gooit fruit (temperatuur), groente (feestdagen) en melk (tijd van de dag) in de blender.

• Oude modellen deden dit vaak in één grote blender, waardoor de smaken door elkaar liepen.
• ProtoTS heeft speciale kanalen. Het verwerkt de temperatuur in de ene blender en de feestdagen in de andere, en mixt ze pas op het allerlaatste moment op de juiste manier. Zo blijft de "smaak" van elk ingrediënt behouden, en weet het systeem precies welke factor de piek veroorzaakte.

5. Waarom is dit belangrijk?

In het echt betekent dit:

• Betrouwbaarheid: Als een model zegt "we verwachten een piek", kun je zien: "Ah, dat komt omdat het morgen 30 graden is én een feestdag." Je kunt het vertrouwen.
• Aanpasbaarheid: Mensen kunnen ingrijpen. Als een expert ziet dat het model een patroon mist, kan hij het systeem "leren" door een nieuw voorbeeldpatroon toe te voegen of te splitsen.
• Beter resultaat: Door deze duidelijke structuur te gebruiken, maakt ProtoTS minder fouten dan de huidige geavanceerde modellen, zelfs als er minder data beschikbaar is.

Kortom: ProtoTS is als een slimme assistent die niet alleen de toekomst voorspelt, maar ook een duidelijk verhaal vertelt met voorbeelden die iedereen begrijpt, en die bereid is om zijn eigen verhaal aan te passen als jij zegt: "Hé, dit stukje klopt niet helemaal."

Technische samenvatting

Probleemstelling

Diepe leermodellen hebben indrukwekkende prestaties geleverd in het voorspellen van tijdreeksen, maar hun "black-box" aard vormt een groot probleem voor toepassingen met hoge risico's (zoals energievoorspelling, beheer van energiebronnen en weersvoorspelling). Bestaande interpreteerbare modellen hebben twee fundamentele beperkingen:

1. Output-zijde (C1): Bestaande methoden bieden voornamelijk lokale uitleg voor individuele tijdstippen. Ze missen het vermogen om de gebruiker te helpen de redenen achter de totale trend van de voorspelde curve te begrijpen (bijv. waarom er drie pieken zijn op een specifieke dag en waarom deze dalen).
2. Input-zijde (C2): Bestaande uitleg is vaak beperkt tot bepaalde variabeletypen (meestal endogene variabelen) en faalt in het modelleren van de complexe interacties tussen heterogene inputvariabelen (zoals temperatuur, vakantie, en historische belasting) die samen de tijdspatronen vormen.

Er is een behoefte aan een model dat niet alleen nauwkeurig is, maar ook transparante, globale en lokale uitleg biedt die experts kunnen gebruiken om het model te sturen.

Methodologie: ProtoTS

De auteurs stellen ProtoTS voor, een nieuw voorspellingsframework dat gebruikmaakt van een hiërarchisch prototype-leringsstrategie. Het model combineert hoge nauwkeurigheid met transparante besluitvorming door te leren van "prototypische tijdspatronen".

Het framework bestaat uit twee hoofdmodules:

1. Multi-channel Prototype Similariteit Berekening

Deze module zorgt voor een effectieve modellering van interacties tussen verschillende soorten invoervariabelen.

• Multi-channel Embedding: Endogene variabelen (bijv. elektrische belasting) en exogene variabelen (bijv. temperatuur, vakantie) worden in aparte kanalen verwerkt. Discrete variabelen (zoals "is het een feestdag?") worden via embedding-tabellen verwerkt, terwijl continue variabelen (zoals temperatuur) via niet-lineaire projecties worden verwerkt.
• Bottleneck Channel Fusion: De embeddings van alle variabelen worden samengevoegd via een "bottleneck"-laag. Dit filtert irrelevante ruis uit de heterogene input en behoudt alleen de meest voorspellende componenten, wat overfitting voorkomt.
• Prototype Similariteit: Het model berekent de gelijkenis tussen de ingevoerde data (de query) en een leerbaar set van prototypes. Elke prototype bestaat uit een embedding ($\mu$) en een bijbehorend tijdspatroon ($p$). De voorspelling is een gewogen som van deze patronen, waarbij de gewichten worden bepaald door de gelijkenis (via softmax op de afstand).

2. Hiërarchisch Prototype Leren

Om het compromis tussen nauwkeurigheid en interpreteerbaarheid op te lossen, worden prototypes hiërarchisch georganiseerd in een boomstructuur:

• Root-niveau (Coarse): Een klein aantal "root-prototypes" captureert globale, grove tijdspatronen (bijv. seizoensgebonden trends, algemene werkdagen vs. weekenden). Dit zorgt voor een globaal overzicht dat voor experts snel te begrijpen is.
• Split-strategie (Fine-grained): Elke root-prototype kan worden opgesplitst in meerdere "child-prototypes" om fijnere, lokale variaties te modelleren (bijv. het verschil tussen een lange vakantie en een korte vakantie, of specifieke effecten van extreme hitte).
• Expert Sturing: Experts kunnen ingrijpen door specifieke prototypes verder op te splitsen of hun patronen handmatig aan te passen op basis van domeinkennis, waardoor het model "stuurbaar" wordt.

Kernbijdragen

1. Hiërarchische Prototypes: Het is het eerste model dat prototypes decodeert naar een sequentie van outputvariabelen (een volledige voorspellingscurve) in plaats van slechts één waarde, waardoor een holistische interpretatie van tijdsdynamiek mogelijk is.
2. Multi-channel Embedding & Bottleneck: Een innovatieve architectuur die heterogene data (discrete en continue variabelen) effectief integreert en ruis filtert, wat essentieel is voor nauwkeurige voorspellingen in complexe scenario's.
3. Stuurbaarheid (Steerability): Het model biedt een interface voor experts om het model te verbeteren door prototypes te bewerken. Dit sluit de kloof tussen pure data-gedreven voorspelling en domeinkennis.
4. Uitgebreide Evaluatie: Het paper introduceert en gebruikt een nieuw dataset (LOF - Load Forecasting) en toont aan dat ProtoTS niet alleen beter presteert dan state-of-the-art modellen, maar ook superieure uitleg biedt.

Resultaten

ProtoTS is getest op meerdere benchmarks, waaronder de nieuwe LOF-dataset (elektriciteitsbelasting met 22 covariaten) en de EPF-dataset (elektriciteitsprijzen).

• Nauwkeurigheid: ProtoTS bereikt state-of-the-art prestaties. Op de LOF-dataset verlaagt het de MSE (Mean Squared Error) met 48,3% en de MAE (Mean Absolute Error) met 20,9% ten opzichte van de beste bestaande baselines (zoals TimeXer, iTransformer, TiDE).
• Data-efficiëntie: ProtoTS presteert veel stabieler dan andere modellen wanneer de hoeveelheid trainingsdata wordt verminderd, wat aantoont dat het model efficiënter leert.
• Interpreteerbaarheid: In een kwantitatieve evaluatie met gebruikers scoorde ProtoTS significant hoger op User Precision (77% vs ~64%) en System Usability Scale (73,36 vs ~30-39) vergeleken met modellen zoals TFT en N-BEATSx. Gebruikers konden beter de inputvariabelen afleiden uit de uitleg.
• Case Study: In een praktijkvoorbeeld over de Chinese Nieuwjaarsperiode (Spring Festival) slaagden experts erin om een prototype handmatig op te splitsen in een "basispatroon" en een "speciaal patroon". Dit leidde tot een verdere vermindering van de MSE met 0,009 voor die specifieke periode, wat de waarde van menselijke sturing bevestigt.

Betekenis en Impact

ProtoTS vertegenwoordigt een belangrijke stap in de richting van betrouwbare AI in kritieke infrastructuren. Door niet alleen nauwkeurige voorspellingen te leveren, maar ook een hiërarchisch, menselijk begrijpelijk raamwerk te bieden, maakt het complexe tijdreeksmodellen toegankelijk voor domeinexperts. Dit stelt organisaties in staat om:

1. Sneller vertrouwen te krijgen in modelvoorspellingen.
2. Fouten in het model te diagnosticeren door patronen te analyseren.
3. Het model actief te sturen en te verbeteren door domeinkennis direct in de architectuur te integreren.

De openbaarmaking van de code en de focus op zowel nauwkeurigheid als stuurbaarheid maken ProtoTS een waardevolle referentie voor toekomstig onderzoek in interpreteerbare tijdreeksvoorspelling.