Distribution-Aware Conformal Prediction: A Framework for generating efficient prediction intervals for time series

Deze paper introduceert Distribution-Aware Conformal Prediction (DCP), een modulair raamwerk dat diverse probabilistische voorspellers integreert met score-agnostische kalibratie om geldige en efficiënte voorspellingsintervallen voor tijdreeksen te genereren, die effectief inspelen op variërende onzekerheidsregimes door middel van een nieuwe numerieke inversieaanpak en een aangepaste Winkler-score.

De kern

Het Grote Probleem: Gissen Zonder Veiligheidsnet

Stel je voor dat je een weerman bent. Een standaard computermodel zou je kunnen vertellen: "Morgen wordt het 24°C." Dat is een puntvoorspelling. Het is één enkel getal. Maar wat als het eigenlijk 15°C of 32°C wordt? In hoog-risicovolle gebieden zoals energienetwerken, verkeersleiding of financiën is het gissen naar het exacte getal niet genoeg; je moet het bereik van mogelijkheden kennen om rampen te voorkomen.

Als je zegt: "Het wordt tussen de 21°C en 27°C", maar je hebt 30% van de tijd ongelijk, dan is je veiligheidsnet nutteloos. Je hebt een voorspelling nodig die zowel nauwkeurig is (het echte antwoord dekt) als strak (geen nutteloos, enorm bereik zoals 0°C tot 40°C).

De Oplossing: Een "Plug-and-Play" Veiligheidsriem

De auteurs introduceren een nieuw kader genaamd Distribution-Aware Conformal Prediction (DCP). Denk aan DCP als een universele veiligheidsriem die je op bijna elke voorspellingmachine kunt klikken.

Hier is hoe het werkt, opgesplitst in eenvoudige stappen:

1. De "Kristallen Bol" (De Predictor)

Eerst heb je een voorspellingsmodel (zoals een neurale net). Sommige modellen zijn "dom" en raden gewoon één getal. Andere zijn "slim" en kunnen een hele verdeling raden (een wolk van mogelijkheden).

• Analogie: Stel je een darter voor. Een "domme" werper zegt gewoon: "Ik raak de bullseye." Een "slimme" werper zegt: "Ik zal waarschijnlijk het midden raken, maar ik kan links of rechts missen, afhankelijk van hoe onstabiel mijn hand is."
• Het artikel gebruikt slimme werpers zoals Monte Carlo Dropout (de hand willekeurig veel keer laten trillen om de spreiding te zien) en Quantile Regression (de randen van het doelgebied direct leren).

2. De "Kalibratiemaatstaf" (Conformal Prediction)

Zelfs slimme werpers kunnen te zelfverzekerd zijn. Ze denken misschien dat hun bereik 21–27°C is, maar het echte weer is 18°C.

• De Oplossing: Het artikel gebruikt een techniek genaamd Conformal Prediction. Stel je een rol tape voor. Je kijkt naar de eerdere fouten van het model (op een "kalibratie"-set van data) en meet precies hoeveel extra tape je aan de zijkanten moet toevoegen om het echte antwoord 90% van de tijd te vangen.
• De Innovatie: Oude methoden gebruikten een tape van vaste grootte. Als het model onstabiel was, was de tape even groot als wanneer het model stabiel was. Dit resulteerde in intervallen die ofwel te breed waren (verspillend) ofwel te smal (risicovol).
• De DCP-truc: DCP gebruikt een rekbaar, slim tape. Het kijkt naar de "onstabiliteit" van het model voor dat specifieke moment. Als het model zeer onzeker is, rekt het tape zich breed uit. Als het model zeker is, krimpt het tape strak samen.

3. De "Universele Adapter" (Score-Agnostic Design)

Dit is de grootste technische doorbraak van het artikel.

• Het Probleem: Meestal moet je, als je je voorspellingsmodel verandert, de wiskunde herschrijven voor hoe je zijn fouten meet. Het is alsof je voor elk ander merk lader een nieuwe adapter moet kopen.
• De DCP-oplossing: De auteurs bouwden een universele adapter. Ze creëerden een "black box"-systeem dat elk type slim model en elke manier van foutmeting kan opnemen, en automatisch het juiste interval berekent.
• Hoe? In plaats van complexe wiskunde te doen voor elk nieuw model, gebruiken ze een numerieke zoektocht (zoals een blinde man die naar een deuropening tast). Ze beginnen bij de voorspelde waarde en stappen links en rechts tot ze de exacte plek vinden waar de "foutscore" de limiet bereikt. Dit werkt voor zowel simpele modellen als complexe, vreemd gevormde modellen.

4. Het "Rapport" (De Gewijzigde Winkler Score)

Hoe weet je of je veiligheidsriem goed is?

• Oude manier: Je controleert of het echte antwoord binnen het vakje zat (Validiteit) en hoe breed het vakje was (Scherpte).
• De Nieuwe Meting van het Artikel: Ze creëerden een nieuwe score genaamd de Modified Mean Winkler (MMW).
• Analogie: Stel je een student voor die een toets maakt.
  • Als ze het antwoord goed hebben, prima.
  • Als ze het fout hebben, hangt de straf af van hoe fout ze zijn.
  • De Twist: Het artikel zegt: "Als je het doel mist, is het een enorme straf." Maar, "Als je net iets te breed bent (veilig), is het een kleine straf."
  • Echter, als het model het doel te vaak mist (onderdekking), explodeert de straf. Dit dwingt het systeem om niet missen te prioriteren boven perfect strak zijn.

Wat Vonden Ze?

De auteurs testten dit op tijdreeksdata (zoals energieverbruik, aandelenkoersen en voetgangersaantallen).

1. Het Gereedschap Afstemmen op de Taak:

   • Als de onzekerheid voortkomt uit willekeurige ruis (zoals statische op een radio), werkten modellen die specifieke "randen" leren (Quantile Regression) het beste.
   • Als de onzekerheid voortkomt uit het model dat iets niet weet (zoals een plotselinge verandering in verkeerspatronen), werkten modellen die hun hand "trillen" om de spreiding te zien (Monte Carlo Dropout/Ensembles) het beste.
   • Belangrijkste Conclusie: Er is geen enkel "beste" model. Je moet het type onzekerheid koppelen aan het juiste voorspellingsgereedschap.

2. De "Plug-and-Play" Werkt:
   Het systeem slaagde erin verschillende modellen te combineren met verschillende scoringsmethoden. Het bleek dat het gebruik van de "slimme tape" (adaptieve intervallen) bijna altijd beter was dan het gebruik van een "vaste tape".

3. De Grenzen:
   Als de wereld drastisch verandert (een "distributieverandering", zoals een pandemie die het gedrag van voetgangers verandert), kan zelfs de beste veiligheidsriem een gebroken kompas niet repareren. Als de onderliggende voorspelling van het model fout is, maakt de veiligheidsriem alleen een groot, veilig, maar nutteloos vakje. Het systeem kan je vertellen wanneer dit gebeurt (door hoge foutscores te markeren), maar het kan de onwetendheid van het model niet magisch oplossen.

Samenvatting

Distribution-Aware Conformal Prediction (DCP) is een universeel kader dat elk probabilistisch voorspellingsmodel inpakt in een slim, rekbaar veiligheidsnet. Het past automatisch de grootte van het net aan op basis van hoe onzeker het model op dat specifieke moment is. Het gebruikt een nieuw scoresysteem om ervoor te zorgen dat het net strak genoeg is om nuttig te zijn, maar breed genoeg om veilig te zijn, waardoor het een krachtig hulpmiddel wordt voor risicovolle beslissingen waarbij fout zijn geen optie is.

Technische samenvatting

Technische Samenvatting: Distributie-bewuste Conformele Voorspelling (DCP)

Probleemstelling

Standaard neurale netwerken leveren puntvoorspellingen zonder intrinsieke maatstaven voor voorspellende onzekerheid, een kritieke beperking in hoog-risicodomeinen zoals energie, verkeer en financiën. Slecht gekalibreerde voorspellingsintervallen (PI's) kunnen net zo misleidend zijn als het ontbreken van onzekerheidsinformatie. Hoewel probabilistische voorspellers (bijv. Monte Carlo dropout, diepe ensembles, kwantielregressie) voorspellende distributies genereren, ontbreken hun ruwe intervallen vaak formele dekkinggaranties. Omgekeerd biedt standaard Conformele Voorspelling (CP) rigoureuze marginale dekkinggaranties, maar levert vaak conservatieve, niet-adaptieve intervallen op wanneer toegepast op deterministische puntvoorspellers. Bestaande hybride benaderingen die CP combineren met probabilistische voorspellers zijn doorgaans ad hoc, waarbij specifieke voorspeller-scorekoppelingen worden vastgelegd zonder een unified raamwerk om ze te vergelijken of selectie te sturen op basis van het onderliggende onzekerheidsregime (aleatorisch versus epistemisch).

Methodologie: Distributie-bewuste Conformele Voorspelling (DCP)

De auteurs stellen Distribution-Aware Conformal Prediction (DCP) voor, een unified raamwerk dat distributie-genererende voorspellers (DGPs) integreert met score-agnostische conformele kalibratie. Het raamwerk werkt in vier conceptuele stappen:

1. Train een Distributie-genererende Voorspeller (DGP): Het raamwerk behandelt elk model dat een voorspellende distributie output (bijv. Kwantielregressie, Monte Carlo Dropout, Bootstrap Ensembles, Deep Ensembles) als een black box. Het genereert een vast aantal steekproeven (trekkingen) uit de voorspellende distributie voor elke invoer.
2. Selecteer een Distributie-bewuste Score: Een reëelwaardige nonconformiteitscore $s(y, \hat{y}(x))$ wordt geselecteerd om te meten hoe atypisch een kandidaat-uitkomst is ten opzichte van de voorspellende distributie. Het artikel evalueert drie families:
   • Op fout gebaseerd: Absolute residuen (symmetrisch, niet-adaptieve baseline).
   • Interval-overtreding: Meet de afstand tot vooraf berekende grenzen (bijv. conditionele kwantielen of Highest-Density Intervallen).
   • Op dichtheid gebaseerd: Gebruikt K-Nearest Neighbor (KNN)-afstanden in de voorspellende outputruimte om het volledige distributievorm (scheefheid, multimodaliteit) te benutten.
3. Kalibreer een Globale Drempel: Met behulp van een hold-out kalibratieset wordt de empirische $(1-\alpha)$-kwantiel ($\hat{q}$) van de nonconformiteitsscores berekend. Dit garandeert marginale dekking voor eindige steekproeven onder uitwisselbaarheid.
4. Locate Intervallen via Numerieke Inversie: In plaats van te vertrouwen op analytische inversie (die specifieke algebraïsche vormen vereist), maakt DCP gebruik van een bracketing en bisection wortelvindalgoritme. Voor een testinvoer lost het $f_i(y) = s(y, \hat{y}_i) - \hat{q} = 0$ op om de intervalgrenzen te vinden. Deze aanpak is score-agnostisch, behandelt willekeurige, asymmetrische of niet-monotone scores, en reproduceert gesloten-vorm gevallen tot numerieke tolerantie.

Om de niet-uitwisselbaarheid van tijdreeksdata aan te pakken, maken de auteurs gebruik van een online variant met schuivend venster van gesplitste conformele voorspelling. Dit update de kalibratieset met recente testdoelen, waardoor de drempel $\hat{q}$ kan adapteren aan distributie-drift.

Belangrijkste Bijdragen

1. Unified Raamwerk (DCP): Een algemene architectuur die willekeurige DGPs koppelt aan willekeurige nonconformiteitsscores onder één conformele kalibratiepijplijn, waardoor systematische vergelijking van voorspeller-scorekoppelingen mogelijk wordt.
2. Score-Agnostische Numerieke Inversie: Een wortelvind-backend die intervalgrenzen construeert zonder score-specifieke algebraïsche afleidingen te vereisen, wat plug-and-play experimenten faciliteert.
3. Gewijzigde Mean Winkler (MMW) Metriek: Een nieuwe efficiëntiemetriek die intervallengte en miss-afstand combineert. Cruciaal introduceert het een onder-dekkingstraf die de kosten van het missen van het doel versterkt wanneer de empirische dekking onder een minimaal aanvaardbare drempel valt, waardoor validiteit en scherpte in evenwicht worden gebracht.
4. Uitgebreide Benchmarking: Evaluatie op synthetische data (isolatie van aleatorische versus epistemische onzekerheid) en zes real-world tijdreeksdatasets (energie, financiën, mobiliteit) over drie neurale netwerkarchitecturen (TCN, LSTM, TFT).

Resultaten

• Onzekerheidsregime Uitlijning: De efficiëntie van DCP hangt sterk af van de uitlijning tussen het onzekerheidssignaal van de DGP en het data-regime.
  • In aleatorische (heteroscedastische) regimes leverde Kwantielregressie (QR) gekoppeld aan op interval- of dichtheid gebaseerde scores de scherpste intervallen op, omdat QR direct conditionele spreiding leert.
  • In epistemische (distributieverschuiving) regimes presteerden Monte Carlo Dropout (MCD) en ensembles beter dan QR. De invoer-afhankelijke dispersie van MCD liet adaptieve scores toe om intervallen op de juiste manier te verbreden tijdens out-of-distribution (OOD) verschuivingen, terwijl QR faalde om epistemische onzekerheid te vangen, wat leidde tot onder-dekking.
• Adaptiviteit versus Baseline: Distributie-bewuste scores (KNN, QIS) verbeterden over het algemeen de efficiëntie ten opzichte van niet-adaptieve residu-baselines wanneer de DGP een informatief lokaal dispersiesignaal leverde. Echter, als het onzekerheidssignaal van de DGP niet overeenkwam met de fout op het testmoment (bijv. MCD in heteroscedastische ruis), kon adaptiviteit leiden tot oververzekerde, onder-dekkende intervallen.
• Faalmodi: In gevallen van ernstige distributieverschuiving (bijv. het Pedestrian-dataset tijdens de COVID-19 periode), kon geen enkele DGP-scorekoppeling volledig validiteit of efficiëntie herstellen als de basis-puntvoorspeller het nieuwe regime niet kon volgen. Hoge MMW-scores gekoppeld aan volatiele dekking dienden als indicatoren voor dergelijke regimeveranderingen.
• Praktische Richtlijnen: De auteurs suggereren een selectieregel: behoud methoden die een aanvaardbare dekking bereiken, en selecteer vervolgens de koppeling met de laagste MMW. Voor scheve of beperkte data is QR met adaptieve scores de voorkeur; voor ruisige, goed gespecificeerde series zijn op interval gebaseerde scores robuuste defaults.

Betekenis en Claims

Het artikel claimt dat DCP een flexibel en theoretisch onderbouwd startpunt biedt voor distributie-bewuste onzekerheidskwantificatie in tijdreeksen. Door probabilistisch deep learning te verbinden met rigoureuze conformele kalibratie, maakt DCP onzekerheidsschattingen mogelijk die niet alleen statistisch geldig zijn, maar ook efficiënt en contextbewust.

De auteurs positioneren DCP als een tool die technische degelijkheid afstemt op opkomende regelgevingseisen (zoals de EU AI Act), die de openbaarmaking van nauwkeurigheids- en prestatiebeperkingen voorschrijven. Het raamwerk generaliseert bestaande methoden zoals Conformalized Quantile Regression (CQR) en Conformalized Monte Carlo (CMC) als speciale gevallen, terwijl het ze uitbreidt om eerder ad hoc combinaties toe te staan (bijv. op dichtheid gebaseerde scores op ensemble-voorspellers). De auteurs merken bescheiden op dat DCP benaderende marginale dekking in tijdreeksen target vanwege temporele afhankelijkheid, en dat de effectiviteit ervan afhankelijk is van de kwaliteit van de onderliggende DGP; conformele kalibratie kan een fundamenteel niet-informatief onzekerheidssignaal niet compenseren. Toekomstige richtingen omvatten het uitbreiden van het raamwerk naar multivariate voorspelling, multi-stap horizonnen, en het expliciet uitzenden van disjuncte intervalcomponenten voor multimodale distributies.