Technische Samenvatting: Perturbatie-gebaseerde Conformal Prediction voor Operator Learning in Data-arme Regimes

1. Probleemformulering

Het artikel behandelt de uitdaging van Onzekerheidskwantificering (UQ) voor neurale operatoren die de 2D incompressibele Navier-Stokes-vergelkingen leren. Hoewel neurale operatoren (bijv. Fourier Neural Operators, FNO) efficiënte surrogaten bieden voor dure PDE-solvers, missen hun puntvoorspellingen gekalibreerde onzekerheidsschattingen voor spatiotemporele velden. Dit is cruciaal in veiligheidskritische of besluitvormingscontexten waar fouten variëren over ruimte en tijd.

De specifieke probleemstelling wordt geformuleerd als het leren van een oplossingsoperator $G: \mathbf{a} \to \mathbf{u}$, die een inputgeschiedenis van wervelkrachtvelden $\mathbf{a}$ mapt naar een toekomstig traject $\mathbf{u}$. Het doel is om een voorspellingsset $C(\mathbf{a})$ te construeren die gelijktijdige dekking (simultaneous coverage) biedt over het gehele spatiotemporele rooster met een waarschijnlijkheid van ten minste $1-\alpha$:
$$P(\mathbf{u}_{new} \in C(\mathbf{a}_{new})) \geq 1 - \alpha$$
De auteurs richten zich op het data-arme regime, waarbij het totale labelbudget vaststaat. In deze setting moeten methoden die afhankelijk zijn van aparte onzekerheidsnetwerken (zoals UQNO) de beperkte data verdelen tussen een predictief model en een aanvullend onzekerheidsmodel, wat potentieel de prestaties van beide kan verminderen.

2. Methodologie: Perturbatie-gebaseerde Nonconformity Score

Het voorgestelde framework omhult een getrainde neurale operator met Split Conformal Prediction (CP). De kerninnovatie ligt in de constructie van een perturbatie-gebaseerde nonconformity score die een adaptieve, ruimtelijk variërende onzekerheidsschaal genereert zonder dat een apart onzekerheidsnetwerk of gedisjointe datasplits vereist is.

2.1 Kernmechanisme

De methode berust op het principe dat de gevoeligheid van een geleerde operator voor kleine perturbaties in trainingslabels correleert met de voorspellende onzekerheid.

1. Dubbele Training: Twee neurale operatoren met identieke architecturen worden getraind op dezelfde correcte trainingsset:
   • $\hat{G}$: Getraind op originele labels $\mathbf{u}_i$.
   • $\hat{G}_\epsilon$: Getraind op geperturbeerde labels $\tilde{\mathbf{u}}_i = \mathbf{u}_i + \boldsymbol{\epsilon}_i$, waarbij $\boldsymbol{\epsilon}_i \sim \mathcal{N}(0, \sigma_\epsilon^2)$.
2. Ruwe Discrepantie: Voor een nieuwe input $\mathbf{a}$ is de ruwe onzekerheidsmaat op coördinaat $k$ het puntgewijze absolute verschil:
   $$d(\mathbf{a})_k = | \hat{G}(\mathbf{a})_k - \hat{G}_\epsilon(\mathbf{a})_k |$$
3. Stabilisatie: Om numerieke instabiliteit (divisie door waarden nabij nul) te voorkomen en robuustheid te garanderen, ondergaat de ruwe discrepantie twee stappen:
   • Ruimtelijke Smoothing: De discrepantieruimte wordt gladgestreken met een $K \times K$ ruimtelijk venster (bijv. $15 \times 15$) om lokale ruis te middelen.
   • Floor Stabilization: Een datarijke vloer $\tau_0$ wordt opgelegd, gedefinieerd als een fractie van de mediaan van de discrepantie op de trainingsset. De uiteindelijke schaal is $\sigma(\mathbf{a})_k = \max(\bar{d}(\mathbf{a})_k, \tau_0)$.
4. Nonconformity Score: De conformal score voor een kalibratiesample wordt gedefinieerd als de maximale genormaliseerde residu over alle outputcoördinaten:
   $$S(\mathbf{a}, \mathbf{u}) = \max_k \frac{| u_k - \hat{G}(\mathbf{a})_k |}{\sigma(\mathbf{a})_k}$$
   Dit max-type score richt zich op gelijktijdige dekking over het gehele rooster.

2.2 Kalibratie en Voorspelling

Gebruikmakend van het split conformal protocol, wordt de score $S$ berekend op een kalibratieset. Het kwantiel $\hat{Q}_{1-\alpha}$ van deze scores bepaalt de breedte van de voorspellingsbanden. Voor een nieuwe input is de voorspellingsband op coördinaat $k$:
$$C(\mathbf{a})_k = \left[ \hat{G}(\mathbf{a})_k - \hat{Q}_{1-\alpha}\sigma(\mathbf{a})_k, \quad \hat{G}(\mathbf{a})_k + \hat{Q}_{1-\alpha}\sigma(\mathbf{a})_k \right]$$
Theoretische garanties verzekeren dat, onder aanname van uitwisselbaarheid (exchangeability), het gehele traject gelijktijdig wordt gedekt met een waarschijnlijkheid $\geq 1-\alpha$.

3. Belangrijkste Bijdragen

• Perturbatie-gebaseerde Schaal: Introductie van een methode om adaptieve onzekheidsschalen direct af te leiden uit de discrepantie tussen een basismodel en een model getraind op geperturbeerde labels. Dit voorkomt de noodzaak voor aanvullende onzekerheidsnetwerken.
• Data-efficiëntie: De aanpak is specifiek ontworpen voor het data-arme regime. In tegenstelling tot methoden zoals UQNO, die de trainingsdata splitsen, gebruikt de perturbatie-methode de volledige correcte trainingsset voor zowel het basismodel als de geperturbeerde modellen, waardoor de beschikbare informatie voor het leren van de operator wordt gemaximaliseerd.
• Gelijktijdige Dekking: Het gebruik van een max-type nonconformity score zorgt ervoor dat de voorspellingsbanden gelijktijdige dekking bieden over het gehele hoogdimensionele spatiotemporele output, in plaats van slechts marginale dekking op individuele punten.
• Stabilisatietechnieken: De inclusie van ruimtelijke smoothing en floor stabilization blijkt cruciaal voor de efficiëntie van de conformal bands, omdat dit de inflatie van onzekerheidsschattingen door geïsoleerde discrepanties nabij nul voorkomt.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op een 2D Navier-Stokes werveling benchmark ($64 \times 64$ rooster, 10 tijdstappen) met een vast totaal labelbudget van 1200 trajecten. De voorgestelde methode werd vergeleken met:

• MC Dropout: Gebruik van dropout tijdens inferentie voor variantie-inschatting.
• Laplace Approximation: Diagonale laatste-laag benadering.
• UQNO: Een aanvullend kwantiteitsnetwerk getraind op een gedisjointe subset van de data.
• Unscaled: Een baseline met constante breedte banden ($\sigma \equiv 1$).

Bevindingen:

• Efficiëntie: De perturbatie-gebaseerde methode produceerde substantieel nauwere conformal bands dan alle baselines, terwijl de beoogde gelijktijdige dekking behouden bleef.
  • Bij $\alpha=0.04$ bereikte de perturbatie-methode een gemiddelde radius van 3.786, vergeleken met 4.192 (Unscaled), 4.403 (Laplace), 8.530 (MC Dropout) en 16.784 (UQNO).
  • De verbetering ten opzichte van UQNO was bijzonder significant (77,4% reductie in radius), toegeschreven aan de data-splitting penalty die inherent is aan het trainen van een apart onzekerheidsnetwerk.
• Ablatie-studies:
  • Spatial Smoothing: Cruciaal voor prestaties. Het verwijderen van smoothing verhoogde de gemiddelde radius van ~3.8 naar ~83.6.
  • Floor Stabilization: Minder kritisch voor efficiëntie dan smoothing, maar noodzakelijk voor stabiliteit; het alleen verwijderen ervan had een verwaarloosbaar effect op de radius.
• Sensitiviteit: De methode is robuust tegen de magnitude van de perturbatie-ruis ($c \in [0.02, 0.10]$), waarbij de dekking dicht bij de nominale doelstelling blijft binnen dit bereik.
• Kwalitatieve Analyse: De resulterende onzekerheidsbanden worden correct breder in fysiek complexe regio's (wervelkernen, afschuivingslagen) en krimpen in vlakkere laminaire gebieden, wat overeenkomt met de verwachte moeilijkheidsgraad van de voorspellingsopgave.

5. Betekenis en Claims

Het artikel claimt dat perturbatie-gevoeligheid dient als een praktische en voorbeeld-efficiënte proxy voor onzekerheid in conformalized neurale operatoren. De primaire betekenis ligt in het ontkoppelen van onzekerheidskalibratie van aanvullende modellering. Door gebruik te maken van de discrepantie tussen twee modellen getraind op bijna identieke data, bereikt de methode adaptieve, gelijktijdige dekking zonder trainingsdata op te offeren aan een secundair netwerk.

De auteurs positioneren dit als een algemeen mechanisme toepasbaar op regressieproblemen buiten de PDE's, mits men twee modellen op bijna identieke data kan trainen. De aanpak biedt een data-efficiënt alternatief voor conformalized regressie, wat bijzonder waardevol is wanneer data beperkt is en de kosten van het trainen van aanvullende modellen prohibitief zijn. De resultaten suggereren dat voor operator learning in het data-arme regime, de perturbatie-gebaseerde schaling andere bestaande adaptieve methoden (MC Dropout, Laplace, UQNO) overtreft in termen van band-strakheid, terwijl rigoureuze statistische garanties behouden blijven.