Hierarchical Industrial Demand Forecasting with Temporal and Uncertainty Explanations

Dit paper introduceert een nieuwe interpretatiemethode voor hiërarchische industriële vraagprognoses die onzekerheid en tijdsafhankelijkheid in kaart brengt, waardoor stakeholders beter inzicht krijgen in de drijvende krachten achter voorspellingen en meer vertrouwen krijgen in deze modellen.

De kern

Stel je voor dat een groot bedrijf, zoals een chemieconcern, een enorme, ingewikkelde familieboom heeft. Maar in plaats van mensen, zitten er duizenden verschillende producten in deze boom. Er zijn producten voor de hele wereld, voor specifieke landen, voor bepaalde steden, en zelfs voor individuele winkels.

Elke dag moet dit bedrijf voorspellen hoeveel van elk product er morgen, volgende week of volgend jaar verkocht zal worden. Dit noemen ze hiërarchische vraagvoorspelling.

Het probleem? De computers die dit doen (kunstmatige intelligentie) zijn als een zwarte doos. Ze geven een antwoord: "Volgend jaar verkopen we 10.000 eenheden," maar ze zeggen niet waarom. Voor de mensen die het bedrijf runnen is dat eng. Ze willen weten: "Is dat omdat de economie groeit? Omdat we een nieuwe klant hebben? Of omdat het weer warmer wordt?"

Deze paper introduceert een nieuwe manier om die zwarte doos open te maken, zelfs als de computer ook nog eens zegt: "Ik denk dat het 10.000 is, maar het kan ook 8.000 of 12.000 zijn" (dat noemen ze onzekerheid of probabilistic forecasting).

Hier is de uitleg in simpele termen, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Grote Verwarring"

Stel je voor dat je probeert uit te leggen waarom een kind (een klein product) ziek is. Je kijkt naar de hele familie (de hiërarchie).

• De oude manier: Je vraagt aan elke persoon in de familie: "Heb jij het kind ziek gemaakt?" en je doet dit voor elke combinatie. Dat is een enorme chaos. Het kost te veel tijd en de antwoorden worden rommelig.
• De nieuwe uitdaging: De computer geeft niet één antwoord, maar een wolk van mogelijke antwoorden (een kansverdeling). De oude uitleg-methodes kunnen daar niets mee; ze willen één vast getal.

2. De Oplossing: Twee Slimme Trucs

De auteurs van dit paper hebben twee slimme manieren bedacht om dit op te lossen.

Truc 1: De "Subboom" Methode (De Familieverbinding)

In plaats van te kijken naar elke mogelijke combinatie van mensen in de familie, kijken we alleen naar de directe verbindingen.

• De Analogie: Stel je wilt weten waarom de kleinzoon ziek is. In plaats van te vragen aan zijn oom, zijn tante, zijn grootvader en zijn buurman allemaal tegelijk, kijken we alleen naar de directe lijn: Grootvader -> Vader -> Kleinzoon.
• Hoe het werkt: De computer berekent de invloed stap voor stap. "Hoeveel heeft de vader invloed op de zoon?" en "Hoeveel heeft de grootvader op de vader?" Dan telt hij die invloeden bij elkaar op.
• Het resultaat: Dit is veel sneller, minder rommelig en geeft een veel duidelijker verhaal. Het is alsof je een lange, verwarrende treinreis maakt door alleen naar de directe overstappen te kijken in plaats van naar elke mogelijke route in het hele land.

Truc 2: De "Kans-Vertaler" (Van Wolk naar Punt)

De computer zegt: "De verkoop ligt ergens tussen 8.000 en 12.000." De uitleg-methode wil echter weten: "Wat heeft bijgedragen aan die specifieke voorspelling?"

• De Analogie: Stel je hebt een weersvoorspelling die zegt: "Het kan regenen, maar misschien ook niet." Je wilt weten of de wind of de zon de voorspelling beïnvloedde. De nieuwe methode pakt een specifiek punt uit die wolk, bijvoorbeeld: "Laten we kijken naar de situatie als het 90% zeker is dat het regent."
• Hoe het werkt: De computer pakt een specifiek punt uit die "wolk van onzekerheid" (een kwantiel, zoals de 90e percentiel) en behandelt dat alsof het een vast getal is. Dan kan de oude uitleg-methode daar prima mee werken.
• Het resultaat: We kunnen nu uitleggen waarom de computer onzeker is. Misschien zegt hij: "Ik ben onzeker omdat ik twee verschillende patronen zie: één met pieken en één zonder."

3. De Test: De "Valse" Familie

Omdat het heel moeilijk is om te weten of een computer echt goed uitlegt wat er gebeurt (want in het echte leven weten we vaak niet wat de "waarheid" is), hebben de onderzoekers een kunstmatige familie bedacht.

• Ze hebben duizenden producten gemaakt met bekende regels: "Als de prijs van olie stijgt, daalt de verkoop van plastic."
• Ze hebben deze regels in de echte data van Dow Chemical (een groot chemiebedrijf) gestopt.
• De uitkomst: Hun nieuwe methode kon deze regels veel beter vinden dan de oude methodes. Het was alsof ze een spion hadden die de geheime codes van de computer kon kraken, terwijl de oude methodes maar gissen.

4. Wat levert dit op voor de echte wereld?

De onderzoekers hebben laten zien dat hun methode in de praktijk werkt:

• Trendherkenning: Ze konden zien dat de computer tijdens de coronapandemie opeens meer belang hechtte aan bepaalde historische data, omdat mensen meer thuisbleven en meer huisraad kochten.
• Economische impact: Ze zagen dat een daling in de inflatie (CPI) direct leidde tot een lagere voorspelling voor verpakkingsmaterialen. De computer legde dit zelf uit: "Mensen kopen minder, dus we verkopen minder verpakkingen."
• Onzekerheid: Toen een grote klant wegviel, zag de computer dat de voorspelling onzeker werd. De uitleg gaf aan: "Ik weet niet wat ik moet doen, want ik zie twee verschillende patronen door elkaar."

Conclusie

Kortom, deze paper is als het geven van een vertaler aan een slimme, maar stilzwijgende computer.
Vroeger zeiden computers alleen: "Het antwoord is X."
Nu, met deze nieuwe methode, zeggen ze: "Het antwoord is X, en dat komt omdat Y en Z, en ik ben een beetje onzeker omdat A en B tegenstrijdig zijn."

Dit helpt managers om betere beslissingen te nemen, omdat ze eindelijk begrijpen waarom de computer dat zegt. Het maakt de "zwarte doos" transparant en betrouwbaar.

Technische samenvatting

Probleemstelling

Hiërarchische tijdsreeksvoorspelling (Hierarchical Time-Series Forecasting, HTSF) is essentieel voor industriële vraagvoorspellingen, zoals in de chemische sector, waar voorspellingen op verschillende niveaus (bijv. per product, regio, land) moeten worden samengevoegd. Hoewel state-of-the-art modellen (vaak diepe neurale netwerken) hoge nauwkeurigheid en schaalbaarheid bieden, zijn ze "black boxes". Dit gebrek aan interpreteerbaarheid vormt een groot probleem voor stakeholders die moeten begrijpen:

1. Welke variabelen (intern of extern) het meest bijdragen aan de voorspelling?
2. Welke tijdstippen in de historische data het meest invloedrijk zijn?
3. Waarom verandert de voorspelling bij wijzigingen in de invoerdata of trainingsset?

Bestaande interpretatiemethoden zijn niet direct toepasbaar op HTSF vanwege drie uitdagingen:

• Hiërarchische complexiteit: Industriële data bevat duizenden tijdreeksen met complexe hiërarchische relaties. Het toepassen van standaard methoden op de volledige hiërarchie leidt tot hoge rekenkosten en ruis.
• Probabilistische aard: Moderne HTSF-modellen voorspellen waarschijnlijkheidsverdelingen (niet alleen een enkel punt), terwijl bestaande methoden vaak zijn ontworpen voor deterministische uitkomsten.
• Gebrek aan benchmarks: Er zijn geen publieke datasets met "ground truth" verklaringen om de kwaliteit van interpretaties te evalueren.

Methodologie

De auteurs stellen HiereInterpret voor, een raamwerk dat bestaande interpretatiemethoden aanpast voor hiërarchische en probabilistische taken via twee kerninnovaties:

1. Subtree Approximation (Hiërarchische aanpassing)
In plaats van de complexiteit van het berekenen van importancescores tussen elk paar variabelen in de volledige hiërarchie (wat $O(N^2)$ is), decomposeert deze methode de cross-hiërarchie belangrijkheid in keten-vormige scores tussen aangrenzende hiërarchieniveaus.

• Principe: De belangrijkheid van een variabele $x_i$ voor een voorspelling $x_j$ wordt benaderd als het product van de belangrijkheidsscores langs het pad in de hiërarchische boom (bijv. $I(x_i, x_{v1}) \times I(x_{v1}, x_{v2}) \dots$).
• Voordeel: Dit reduceert de rekencomplexiteit aanzienlijk, vermindert ruis door het vermijden van directe perturbaties over meerdere niveaus, en houdt rekening met de hiërarchische coherentie.

2. Non-Parametrized Transition (Probabilistische aanpassing)
Om interpretatiemethoden toe te passen op modellen die probabilistische uitkomsten genereren (distributies), wordt een deterministische vertaling toegepast.

• Principe: In plaats van de parameters van de distributie te gebruiken (wat niet werkt voor onbekende distributies), worden percentielen (kwantielen) van de voorspeldingsdistributie (bijv. 70e, 90e, 95e percentiel) getrokken.
• Toepassing: Deze kwantielen fungeren als deterministische uitkomsten voor bestaande interpretatiemethoden (zoals LIME, Integrated Gradients, Feature Occlusion). Hierdoor kan men de belangrijkheid van invoervariabelen voor specifieke aspecten van de onzekerheid (bijv. het risico op extreme waarden) analyseren.

Benchmarks en Evaluatie
Omdat er geen echte datasets met ground-truth verklaringen zijn, hebben de auteurs een semi-synthetische benchmark ontwikkeld:

• Ze genereren synthetische tijdreeksen met bekende anomaliepatronen (bijv. frequentie, variatie, trend).
• Deze worden toegevoegd aan echte industriële datasets (o.a. Dow Chemical, M5, Tourism-L, Wiki).
• De evaluatie meet hoe goed de methoden deze bekende anomalieën en hun impact op de voorspelling kunnen identificeren.

Belangrijkste Resultaten

De experimenten zijn uitgevoerd op diverse datasets en modellen (zoals HAILS, HierE2E, DeepAR) met verschillende interpretatiemethoden als baseline (LIME, IG, FO, SG).

• Deterministische Voorspellingen:

  • De subtree-approximatie leidde tot een gemiddelde verbetering van 62,0% in de Importance Accuracy Score (IAS) voor cross-variabele afhankelijkheden.
  • Voor alleen doelvariabelen was de verbetering 12,3%.
  • De methode presteerde consistent beter dan baselines, waarbij Integrated Gradients de beste prestaties leverde.

• Probabilistische Voorspellingen:

  • De aanpassing voor kwantielen toonde verbeteringen van 10-25% in de meeste gevallen.
  • De 90e percentiel-voorspellingen profiteerden het meest van de subtree-approximatie, wat aangeeft dat de methode goed werkt voor het begrijpen van onzekerheid en risico's.

• Schaalbaarheid en Efficiëntie:

  • De methode is aanzienlijk sneller. Op de Dow-dataset (met 8 hiërarchieniveaus) daalde de rekentijd van 6114 seconden (zonder subtree) naar 123,5 seconden (met subtree).
  • De prestatieverslechtering bij toenemende hiërarchie-grootte was veel minder sterk dan bij bestaande methoden.

• Case Studies (Real-world):

  • De meth slaagde erin om trends te identificeren die door COVID-19 werden veroorzaakt (toename vraag voor woninginrichting).
  • Het kon de impact van economische indicatoren (zoals de Consumentenprijsindex) op veranderingen in de voorspellingstrend verklaren.
  • Het verklaarde correct waarom de onzekerheid in voorspellingen toenam na het verlies van een grote klant (het model werd onzeker door de overgang van een periodiek naar een niet-periodiek patroon).

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. Eerste Generalisatie: Het is de eerste studie die een algemene oplossing biedt om interpretatiemethoden aan te passen voor zowel hiërarchische als probabilistische voorspellingstaken.
2. Nieuwe Benchmark: De creatie van een semi-synthetische benchmark met ground-truth verklaringen voor industriële vraagvoorspelling, wat een cruciale stap is voor de evaluatie van toekomstige methoden.
3. Praktische Toepasbaarheid: De methode lost het probleem van schaalbaarheid op in grote industriële omgevingen (tienduizenden producten) en maakt "black-box" modellen transparant voor stakeholders.
4. Vertrouwen en Besluitvorming: Door inzicht te geven in waarom een voorspelling wordt gedaan en hoe onzekerheid ontstaat, helpt de methode planners en managers om beter geïnformeerde beslissingen te nemen en het vertrouwen in geavanceerde AI-modellen te vergroten.

Samenvattend biedt deze paper een robuust raamwerk om de "black box" van complexe industriële voorspellingssystemen open te breken, waardoor deze niet alleen nauwkeuriger, maar ook betrouwbaarder en begrijpelijker worden voor praktijktoepassingen.