Technische Samenvatting: Lokaal Adaptieve Conforme Inferentie voor Operator-modellen

Probleemstelling

Operator-modellen zijn regressiealgoritmen die mappen tussen Banach-ruimten van functies ($\Gamma: \mathcal{F} \to \mathcal{G}$), breed toegepast in spatiotemporele voorspellingen, fysieke emulatie en PDE-benadering. Een cruciale uitdaging in deze toepassingen is de Onzekerheidskwantificering (UQ). In tegenstelling tot scalaire regressie vereisen operator-modellen functie-waardige voorspellingssets in plaats van scalaire intervallen.

Standaard Conforme Predictie (CP) steunt op de aanname van globale uitwisselbaarheid van data. Echter, in real-world functionele data (bijv. klimaat, energievraag, weer) wordt deze aanname vaak geschonden door niet-stationariteit, seizoensgebonden drift en variërende inputstructuren. Hoewel bestaande adaptieve CP-methoden niet-stationariteit aanpakken door kalibratiescores te wegen of kwantielen aan te passen, gaan zij doorgaans uit van een globale score-geometrie (bijv. residunormen). Deze aanpak faalt voor functionele residuen waarbij de onzekerheid anisotroop en gestructureerd is; norm-gebaseerde scores produceren sferische voorspellingsregio's die niet overeenkomen met de werkelijke vorm van de residu-variabiliteit.

Methodologie: Local Sliced Conformal Inference (LSCI)

De auteurs stellen Local Sliced Conformal Inference (LSCI) voor, een distributievrije framework dat lokaal adaptieve, functie-waardige voorspellingssets genereert. In tegenstelling tot eerdere methoden die het kwantiel lokaliseren, lokaliseert LSCI de conformity score distributie zelf.

Kerncomponenten

1. Lokaal Uitwisselbaar Framework:
   De methode gaat ervan uit dat het residu-proces lokaal uitwisselbaar is (Campbell et al., 2019). Dit impliceert dat hoewel globale distributies kunnen driften, residuen die geassocieerd zijn met vergelijkbare inputs (in een pre-metrische ruimte) ongeveer uitwisselbare distributies delen.

2. $\Phi$-Diepte Scores:
   In plaats van scalaire normen gebruikt LSCI functionele data-diepte om de centraliteit van een residu te meten. Specifiek worden $\Phi$-dieptes (Mosler & Polyakova, 2012) gebruikt, wat projectie-gebaseerde dieptes zijn.

   • Een residu $r$ wordt geprojecteerd op een familie van lineaire functionalen $\Phi$ (bijv. willekeurige Gaussische sneden).
   • De diepte wordt gedefinieerd als het infimum van univariate dieptes (bijv. Tukey half-space depth) over deze projecties:
     $$D_\Phi(r | P) = \inf_{\phi \in \Phi} D(\phi(r) | \phi(P))$$
   • Dit stelt de score in staat om te adapteren aan de anisotrope vorm van de lokale residu-wolk, in plaats van een isotrope (sferische) geometrie af te dwingen.

3. Lokale Score Constructie:
   Voor een test-input $f_{n+1}$ construeert LSCI een test-specifieke empirische residu-distributie met behulp van gelijsheid-gewichten.

   • Knockoff Lokalisatie: Om eind-steekproef garanties te behouden, worden gewichten berekend op basis van de afstand tussen kalibratie-inputs en een statistische knockoff van de test-input ($\tilde{f}_{n+1} = f_{n+1} + \epsilon$), in plaats van de test-input zelf.
   • Feature Maps: Lokalisatie kan plaatsvinden in de ruwe inputruimte of een geleerde/getransformeerde feature-ruimte (bijv. FPCA, Fourier-modi) om semantische gelijheid te vangen.
   • Slice Variantie Normalisatie: Om heteroscedasticiteit aan te pakken, worden geprojecteerde sneden geschaald met test-specifieke gewichten vóór de diepteberekening.

4. Voorspellingsset Formatie:

   • De methode berekent lokale conformiteitsscores voor kalibratie-residuen.
   • Een drempelwaarde wordt bepaald door de $k$-de orde statistiek van deze lokale scores (waarbij $k = \lfloor \alpha(n+1) \rfloor$).
   • De voorspellingsset wordt gedefinieerd als de verzameling functies waarvan de residuen binnen de corresponderende centrale regio van de lokale diepte-distributie liggen:
     $$C_\alpha(f_{n+1}) = \{ \hat{\Gamma}(f_{n+1}) + r : D_\Phi(r | \hat{P}_{n+1}) \geq q_\alpha(f_{n+1}) \}$$

5. Sampling:
   Omdat de voorspellingsset een impliciet deelverzameling is van de functieruimte, gebruiken de auteurs een sampling-algoritme (Algoritme 1) met behulp van een lokaal aangepaste Functionele Principale Component Analyse (FPCA) basis. Samples worden getrokken via inverse transform sampling op gewogen geprojecteerde coördinaten en worden verworpen als ze buiten de diepte-drempel vallen.

Theoretische Garanties

Het artikel stelt eind-steekproef validiteit vast onder lokale uitwisselbaarheid.

• Coverage Bound: De auteurs leiden een data-afhankelijke bovengrens af voor de coverage gap. De gap wordt gecontroleerd door de totale variatie afstand tussen de gezamenlijke distributie van residuen en hun permutaties, die begrensd wordt door de pre-metrische afstand tussen inputs (Propositie 3.1).
• Validiteit: Onder volledige uitwisselbaarheid bereikt de methode exacte marginale dekking. Onder lokale uitwisselbaarheid blijft de dekking dicht bij het nominale niveau $1-\alpha$, mits het residu-proces glad varieert met betrekking tot de input pre-metriek.

Experimentele Resultaten

De auteurs evalueerden LSCI op synthetische Gaussian Process taken en drie real-world toepassingen: Luchtkwaliteit monitoring (PM2.5), Energievraag voorspelling en Weervoorspelling (ERA5 temperatuur).

• Synthetische Taken: LSCI bereikte bijna-nominale dekking over diverse lokalisatie-kernels, feature maps en bandbreedtes. Het toonde robuustheid aan tegen de keuze van hyperparameters.
• Vergelijking met Baselines: Vergeleken met standaard conforme baselines (Conf), conformalized integrated bands (Supr), en diepe operator-modellen (PONet, QONet, UQNO), produceerde LSCI consequent treffendere voorspellingssets (lagere Interval Scores en Band Widths) terwijl de geldige dekking behouden bleef.
  • In heteroscedastische settings adapteerde LSCI aan lokale variantie-structuren, terwijl globale methoden ofwel over-coverden (conservatief) of onder-coverden.
• Real-World Applicaties:
  • Weather-ERA5: LSCI ving seizoensgebonden en regionale foutstructuren op die globale drempels middelden, wat resulteerde in aanzienlijk lagere interval scores vergeleken met niet-adaptieve methoden.
  • Robuustheid: LSCI toonde veerkracht tegen vertekende voorspellingen en specifieke out-of-distribution ruisregimes waar baseline-methoden faalden of excessieve interval-expansie vereisten.
• Ruimtelijke Adaptiviteit: Visualisaties bevestigden dat LSCI-banden vervormen om overeen te komen met lokale residu-anisotropie en seasonaliteit, waardoor functie-waardige onzekerheid wordt geboden die aansluit bij de fysieke realiteit.

Betekenis en Claims

Het artikel claimt dat LSCI een significante vooruitgang vormt voor operator-leren door:

1. De Kloof te Overbruggen: Het past conform inferentie succesvol toe op functionele data waar standaard norm-gebaseerde scores falen door anisotropie.
2. Te Lokaliseren op Score-niveau: Door de score-distributie te lokaliseren in plaats van alleen het kwantiel, modelleert LSCI de geometrie van onzekerheid nauwkeuriger dan bestaande adaptieve CP-methoden.
3. Distributievrije Garanties: Het behoudt de rigoureuze, distributievrije eind-steekproef garanties van conforme inferentie, zelfs in niet-stationaire omgevingen, mits lokale uitwisselbaarheid standhoudt.
4. Praktisch Nut: De methode biedt in de praktijk functie-waardige voorspellingssets die de beoordeling van globale betrouwbaarheid en de identificatie van regio's met geconcentreerde onzekerheid mogelijk maken, wat cruciaal is voor hoog-risico wetenschappelijke en technische toepassingen.

Beperkingen

De auteurs erkennen verschillende beperkingen:

• Computationele Overhead: Test-tijd lokalisatie en sampling (vooral voor hoge-resolutie velden) introduceren computationele kosten, hoewel batching en GPU-evaluatie dit kunnen mitigeren.
• Impliciete Sets: De voorspellingsset is impliciet gedefinieerd via diepte; praktische toepassing is afhankelijk van Monte Carlo sampling. Hoewel stabiel in experimenten, kunnen complexe of hoge-resolutie velden verbeterde sampling-mechanismen vereisen om artefacten te voorkomen (bijv. te geconcentreerde samples).
• Smoothness Aanname: De methode gaat uit van gladde veranderingen in de conditionele distributie. Abrupte veranderingen of changepoints kunnen door lokale kernels worden overgesmooth, wat leidt tot slechte adaptiviteit in die specifieke regio's.