Bias-Corrected Adaptive Conformal Inference for Multi-Horizon Time Series Forecasting

1. Het Probleem

Adaptive Conformal Inference (ACI) is een methode om voorspellingsintervallen te genereren voor tijdreeksen onder distributieveranderingen (distribution shift), zonder aannames over de onderliggende verdeling. ACI garandeert asymptotische dekking (coverage) door de misdekkingssnelheid ($\alpha_t$) online aan te passen.

Echter, ACI heeft een fundamentele structurele beperking:

• Symmetrische Intervallen: ACI past alleen de drempelwaarde (quantile) aan, maar bouwt de intervallen altijd symmetrisch rondom het puntvoorspelling ($\hat{y}_t$).
• Persistent Bias: In praktische scenario's, waar modellen eenmaal getraind worden en niet opnieuw worden getraind (bijv. ridge regressie), kunnen distributieveranderingen leiden tot een persistent voorspellingsbias (systematische afwijking).
• Ondoeëlijke Verbreding: Om de dekking te behouden bij een verschoven residu-verdeling, moet ACI de intervallen symmetrisch verbreden. Dit leidt tot een onnodige breedte-overhead die evenredig is met $2|b|$ (waarbij $b$ de grootte van de bias is). Een "orakel" dat de bias kent, zou het interval kunnen verschuiven in plaats van verbreden, wat veel smaller en efficiënter is.

2. Methodologie: BC-ACI

De auteurs stellen BC-ACI (Bias-Corrected ACI) voor, een lichtgewicht extensie die online bias-correctie toepast voordat de conformale scores worden berekend.

Kerncomponenten:

1. Per-Horizon Online Bias Schatting:

   • Voor elke voorspellingshorizon $h$ wordt een Exponentially Weighted Moving Average (EWM) bijgehouden van de getekende residuen ($e_t = y_t - \hat{y}_t$).
   • De schatting $\hat{b}_t$ wordt geüpdatet: $\hat{b}_{t+1} = (1-\lambda)\hat{b}_t + \lambda e_t$.
   • Dit gebeurt onafhankelijk per horizon, omdat bias per horizon kan variëren.

2. Bias-Correctie van Scores:

   • Voordat de niet-conformiteitscores worden berekend, worden de residuen gecorrigeerd: $\tilde{e}_i = e_i - \hat{b}_t$.
   • Het intervalcentrum wordt verschoven: $\tilde{y}_t = \hat{y}_t + \hat{b}_t$.
   • Het interval wordt berekend als $[\tilde{y}_t - \tilde{q}, \tilde{y}_t + \tilde{q}]$, waarbij $\tilde{q}$ de quantiel is van de gecorrigeerde absolute residuen.

3. Adaptieve "Dead-Zone" Drempel:

   • Om te voorkomen dat ruis in de bias-schatting (op data zonder echte bias) de intervallen onnodig verstoort, wordt een dead-zone gebruikt.
   • Correctie wordt alleen toegepast als $|\hat{b}_t| > k \cdot \text{MAD}(B)$, waarbij MAD de median absolute deviation is van de huidige kalibratiebuffer en $k$ een parameter is (standaard 0.5).
   • Dit zorgt ervoor dat BC-ACI zich gedraagt als standaard ACI op stabiele data, maar reageert op echte verschuivingen.

3. Belangrijkste Bijdragen

1. Identificatie van een Structurele Beperking: De auteurs bewijzen dat threshold-only adaptieve methoden (zoals ACI) een breedte-overhead van $\Theta(|b|)$ hebben bij persistent bias.
2. Ontwerp van BC-ACI: Een nieuwe methode die online bias schat en corrigeert voordat de quantielberekening plaatsvindt, beschermd door een adaptieve dead-zone.
3. Theoretische Garanties:
   • Dekking: BC-ACI behoudt de asymptotische dekkingsgarantie van ACI (Theorema 3).
   • Breedte: Bij persistent bias wordt de intervalbreedte aanzienlijk gereduceerd (Theorema 4).
   • Herstel: Bij afwezigheid van bias keert de methode naadloos terug naar standaard ACI met een overhead van < 0,2% (Theorema 5).
4. Omvangrijke Validatie: Experimenten op 4 synthetische scenario's, 2 model-families (Ridge vs. ARIMA), 4 horizons en 3 real-world datasets (totaal 688 runs).

4. Resultaten

De experimenten tonen aan dat BC-ACI de prestaties verbetert wanneer bias aanwezig is, en geen schade toebrengt wanneer deze afwezig is.

• Synthetische Data (Met Shift):
  • Bij een combinatie van mean- en volatiliteits-shift (Compound shift) reduceerde BC-ACI de Winkler-score (een maat voor breedte en dekking) met 32% ten opzichte van ACI.
  • Bij een mean shift was de verbetering 13-16%.
  • De dekking bleef overal consistent rond de 90% (of de doelwaarde).
• Stabiele Data (Geen Shift):
  • Op stabiele data en data met alleen volatiliteits-shift was de prestatie van BC-ACI bijna identiek aan ACI (Winkler ratio ~1.002). De dead-zone voorkomt dat ruis leidt tot onnodige correcties.
• Model-afhankelijkheid:
  • Ridge Regression: Ontwikkelt persistent bias na een shift. BC-ACI helpt hier sterk.
  • ARIMA: Is een "self-correcting" model (verschilvorming elimineert bias direct). Voor ARIMA is BC-ACI neutraal (geen verbetering, maar ook geen schade), omdat de bias-schatting bij ARIMA snel naar nul gaat en binnen de dead-zone blijft.
• Real-world Data:
  • Op bestaande datasets (Electricity, Weather, ETTh1) zonder expliciete injectie van shifts, was er een kleine toename in Winkler-score (5-15%), maar dit was statistisch niet significant. Dit wordt toegeschreven aan ruis in de EWM-schatting op stationaire data.

5. Betekenis en Conclusie

Het paper biedt een cruciale inzichtelijke bijdrage aan het veld van conformale voorspelling voor tijdreeksen:

• Conditionele Verbetering: BC-ACI is geen universele vervanging, maar een conditionele optimalisatie. Het lost specifiek het probleem op van persistent bias in modellen die niet opnieuw worden getraind (een veelvoorkomend MLOps-scenario).
• Efficiëntie: Door het intervalcentrum te verschuiven in plaats van het interval te verbreden, worden voorspellingsintervallen aanzienlijk smaller en informatiever bij distributieveranderingen.
• Veiligheid: De adaptieve dead-zone zorgt ervoor dat de methode "eerst geen kwaad doet" (do no harm) op data zonder bias, wat essentieel is voor betrouwbare productie-implementaties.

De auteurs concluderen dat BC-ACI de juiste aanpak is voor systemen waar voorspellingsmodellen langdurig worden ingezet zonder hertraining in dynamische omgevingen, en dat toekomstig werk zich moet richten op validatie met real-world datasets met bekende, grote distributieveranderingen.