Technische Samenvatting: Online Conformale Voorspelling via Online Optimalisatie

Probleemstelling

Conformale voorspelling biedt een principieel kader voor kwantificering van onzekerheid met garanties voor dekking in eindige steekproeven. Hoewel recente vooruitgang deze methoden heeft uitgebreid naar online en sequentiële settings, werken bestaande aanpakken doorgaans op één enkel dekkingniveau ($1-\alpha$). Wanneer gelijktijdig meerdere dekkingniveaus vereist zijn—aan een veelvoorkomend scenario in toepassingen zoals weersvoorspelling, macro-economische voorspelling en risicomanagement, waar gebruikers heterogene risicotoleranties hebben—moeten standaard online methoden onafhankelijk voor elk $\alpha$ worden uitgevoerd.

Deze onafhankelijke uitvoering leidt tot een kritieke beperking: de resulterende voorspellingssets zijn niet gegarandeerd genest. In praktische termen zou een voorspellingsset voor een hoger betrouwbaarheidsniveau (bijvoorbeeld 99%) een superverzameling moeten zijn van de set voor een lager betrouwbaarheidsniveau (bijvoorbeeld 90%). Zonder deze geneste eigenschap kunnen de onzekerheidsschattingen incoherent en moeilijk te interpreteren zijn. Bovendien faalt onafhankelijke schatting om gebruik te maken van de statistische efficiëntiewinsten die bekend zijn uit gezamenlijke quantielregressie, waarbij het afdwingen van niet-kruisende constraints informatie-uitwisseling over quantielen mogelijk maakt.

Het artikel adresseert de uitdaging om methoden voor online conformale voorspelling te ontwikkelen die gelijktijdig geneste voorspellingssets produceren over een reeks dekkingniveaus, terwijl ze langetermijndekkingsgaranties behouden, zelfs onder niet-stationaire of adversariële datasequenties.

Methodologie

De auteurs stellen twee nieuwe algoritmen voor die gebaseerd zijn op een online optimalisatieperspectief. Zij formuleren het probleem van het updaten van conformale drempels als een online leertaak waarbij het doel is om een gezamenlijke verliesfunctie te minimaliseren terwijl monotonieconstraints op de drempels worden afgedwongen.

1. Probleemformulering

Laat $s_t$ een begrende niet-conformiteitscore zijn op tijdstip $t$. Voor een reeks misdekkingsniveaus $0 = \alpha_0 < \alpha_1 < \dots < \alpha_K < \alpha_{K+1} = 1$, is het doel om drempels $q_{t,i}$ te schatten zodat de voorspellingssets $C^i_t = \{y : s_t(x,y) \le q_{t,i}\}$ genest zijn ($C^{i+1}_t \subseteq C^i_t$). Dit vereist dat de drempels monotoon dalend zijn: $q_{t,1} \ge q_{t,2} \ge \dots \ge q_{t,K}$.

Standaard online updates (bijvoorbeeld Adaptieve Conformale Inference) behandelen elke quantiel onafhankelijk:
$$q_{t+1,i} = q_{t,i} - \eta_t (\alpha_i - \text{err}_{t,i})$$
waarbij $\text{err}_{t,i}$ de indicator van misdekking is. Deze aanpak mist koppeling tussen niveaus en garandeert geen monotonie.

2. Voorgestelde Algoritmen

Het artikel introduceert twee methoden die de update-regel modificeren om monotonie af te dwingen via technieken voor online optimalisatie:

A. Exponentiële Gradient (EG) Afdaling

Deze methode maakt gebruik van het Exponentiële Gradient-algoritme toegepast op een getransformeerde parameterruimte.

• Parametrisatie: In plaats van drempels direct bij te werken, werkt het algoritme de genormaliseerde gaten tussen opeenvolgende quantielen ($w_{t,i}$) bij op een afgeknot simplex. Deze verandering van variabelen ($q_{t,i} = B \sum_{j=i}^K w_{t,j}$) zorgt er inherent voor dat, als de gewichten niet-negatief zijn, de quantielen geordend zijn.
• Update-regel: Het algoritme minimaliseert een gezamenlijke verliesfunctie $g_t(\bar{w})$ met EG-updates. De gradient voor elke coördinaat aggregeert misdekkingsafwijkingen over alle relevante quantielniveaus, wat een globale koppeling induceert.
• Mechanisme: Wanneer de methode te conservatief is of onderdekking vertoont, past het cumulatieve foutenitem de gaten over de gehele quantielkromme gelijktijdig aan. Dit stelt de methode in staat om "kracht te lenen" over niveaus, coördinatie van aanpassingen om genesteheid natuurlijk te behouden.

B. Geprojecteerde Gradient (PG) Afdaling

Deze methode maakt gebruik van Geprojecteerde Gradient-afdaling met een specifieke constraintsverzameling.

• Update-regel: Het algoritme voert eerst onafhankelijke gradient-updates uit op de quantielvector $\bar{q}_t$ op basis van de gezamenlijke verliesfunctie.
• Projectie: De resulterende vector wordt vervolgens geprojecteerd op de convexe verzameling van dalende sequenties ($Q = \{\bar{q} : B \ge q_1 \ge \dots \ge q_K \ge 0\}$).
• Mechanisme: Deze projectie wordt geïmplementeerd met het Pool Adjacent Violators Algorithm (PAVA). In tegenstelling tot EG, werkt PG via lokale correctie: het werkt quantielen onafhankelijk bij en past ze vervolgens minimaal aan om de ordeningsconstraint te herstellen. Het deelt informatie niet inherent over niveaus tijdens de gradientstap.

3. Theoretische Garanties

De auteurs stellen theoretische grenzen vast voor beide methoden:

• Dekking: Beide methoden bieden langetermijndekkingsgaranties, ervoor zorgend dat de empirische misdekkingsrate convergeert naar het doel $\alpha_i$ voor alle niveaus.
• Regret en Fout: Het artikel leidt grenzen af voor dynamisch regret en de afwijking van geschatte quantielen van de ware quantielen ($\|\bar{q}_t - \bar{q}^*_t\|_2$). Deze grenzen hangen af van de dynamische variatie van de ware quantielen ($V_T$) en de stapgrootte $\eta$. De grens van de EG-methode suggereert verbeterde efficiëntie door de gestructureerde koppeling, terwijl PG haalbaarheid (genesteheid) op elk tijdstip garandeert.

Belangrijkste Bijdragen

1. Nieuwe Formulering: Introductie van een kader voor online conformale voorspelling dat geneste voorspellingssets produceert over meerdere dekkingniveaus, waardoor gekalibreerde onzekerheidskwantificering over het volledige risicospectrum mogelijk wordt.
2. Algoritmische Innovatie: Voorstellen van twee online algoritmen (EG en PG) gebaseerd op convexe optimalisatie die gezamenlijk conformale drempels schatten terwijl monotonie strikt wordt afgedwongen.
3. Theoretische Garanties: Vaststellen van langetermijndekkingsgaranties voor alle niveaus, samen met bewijzen die geneste voorspellingssets op elk tijdstip garanderen.
4. Empirische Validatie: Aantonen dat deze methoden stabiele dekking bereiken, strikt geneste sets produceren en verbeterde statistische efficiëntie vertonen in vergelijking met onafhankelijke baselines op enkel niveau.

Experimentele Resultaten

De methoden werden geëvalueerd op zowel synthetische als real-world datasets.

Synthetische Data

• Opzet: Een niet-stationaire omgeving waarin scoreverdelingen evolueren via een latente gereflecteerde random walk.
• Vondsten: De Exponentiële Gradient (EG)-methode bereikte een lagere $\ell_1$-volgfout in vergelijking met de onafhankelijke quantieltracker en de Geprojecteerde Gradient-methode. Dit ondersteunt de hypothese dat het delen van informatie over quantielen de statistische efficiëntie verbetert bij het volgen van tijdvariërende verdelingen. De PG-methode presteerde vergelijkbaar met de onafhankelijke tracker, wat wijst op beperkte winst van gezamenlijke optimalisatie in deze specifieke setting in vergelijking met EG.

Real-World Data (VS Inflatie)

• Opzet: Voorspelling van de Amerikaanse Consumentenprijsindex (CPI) inflatie met behulp van een AR(3)-model met rollende vensters.
• Vondsten:
  • Kalibratie: Alle methoden convergenteren uiteindelijk naar een lage kalibratiefout. De onbeperkte quantieltracker vertoonde echter oscillerend gedrag (overcorrectie), terwijl de voorgestelde beperkte methoden stabielere trajecten toonden.
  • Genesteheid & Gladheid: Basismethoden (onafhankelijke tracker en post-hoc projectie) produceerden voorspellingsbanden met occasionele vervormingen en niet-geneste gebieden. Daarentegen produceerden de voorgestelde methoden (met name EG) gladdere, coherenter voorspellingssets die de geneste structuur strikt behielden.
  • Interpreteerbaarheid: De EG-update leverde gladdere voorspellingsbanden op door aangrenzende quantielen te coördineren via cumulatieve afwijkingen, waardoor abrupte veranderingen over niveaus werden verminderd.

Betekenis en Claims

Het artikel claimt dat de primaire betekenis ligt in het adresseren van de incoherentie van onzekerheidsschattingen in multi-level online settings. Door structurele constraints (monotonie) af te dwingen via online optimalisatie, bieden de voorgestelde methoden een coherent risicospectrum.

Belangrijke claims zijn:

• Statistische Efficiëntie: Gezamenlijke schatting verbetert de efficiëntie door informatie te delen over quantielen, een voordeel dat expliciet wordt aangetoond door de superieure volgprestaties van de EG-methode.
• Interpreteerbaarheid: De resulterende geneste voorspellingssets zijn essentieel voor besluitvormingscontexten waar belanghebbende consistentie vereisen in onzekerheidsschattingen over verschillende risicotoleranties (bijvoorbeeld noodplanners versus beleidsmakers).
• Stabiliteit: Het gezamenlijk afdwingen van monotonie met updates stabiliseert de leerdynamiek en voorkomt de grillige oscillaties die worden gezien bij onbeperkte trackers.
• Brede Context: Het werk overbrugt de kloof tussen adversariële robuustheid (garanties in worst-case settings) en statistische efficiëntie (het volgen van tijdvariërende verdelingen), en positioneert online conformale voorspelling als een probleem van het volgen van tijdvariërende quantielen met dynamische regret-analyse.

De auteurs merken op dat toekomstig werk adaptieve leersnelheden zou kunnen verkennen om de prestaties in niet-stationaire omgevingen verder te verbeteren, maar dat de huidige bijdrage zich richt op de structurele voordelen van gezamenlijke schatting onder regimes met vaste stapgroottes.