Sintesi Tecnica: Predizione Conforme Basata su Perturbazione per l'Apprendimento di Operatori in Regimi di Scarsità di Dati

1. Formulazione del Problema

Il documento affronta la sfida della Quantificazione dell'Incertezza (UQ) per gli operatori neurali che apprendono le equazioni di Navier-Stokes incomprimibili 2D. Sebbene gli operatori neurali (ad esempio, i Fourier Neural Operators, FNO) forniscano surrogati efficienti per i risolutori di PDE costosi, le loro predizioni puntuali mancano di stime di incertezza calibrate per i campi spazio-temporali. Ciò è critico in contesti decisionali o di sicurezza dove gli errori variano nello spazio e nel tempo.

Il problema specifico è formulato come l'apprendimento di un operatore di soluzione $G: \mathbf{a} \to \mathbf{u}$, che mappa una storia di input dei campi di vorticità $\mathbf{a}$ verso una traiettoria futura $\mathbf{u}$. L'obiettivo è costruire un insieme di predizione $C(\mathbf{a})$ che soddisfi la copertura simultanea sull'intero reticolo spazio-temporale con una probabilità di almeno $1-\alpha$:
$$P(\mathbf{u}_{new} \in C(\mathbf{a}_{new})) \geq 1 - \alpha$$
Gli autori si concentrano sul regime di scarsità di dati, in cui il budget totale di etichette è fisso. In questo scenario, i metodi che richiedono reti di incertezza separate (come UQNO) devono partizionare i dati limitati tra un modello predittivo e un modello di incertezza ausiliario, riducendo potenzialmente le prestazioni di entrambi.

2. Metodologia: Punteggio di Non-Conformità Basato su Perturbazione

Il framework proposto avvolge un operatore neurale addestrato con la Split Conformal Prediction (CP). L'innovazione principale risiede nella costruzione di un punteggio di non-conformità basato su perturbazione che genera una scala di incertezza adattiva e spazialmente variabile senza richiedere una rete di incertezza separata o partizioni di dati disgiunte.

2.1 Meccanismo Centrale

Il metodo si basa sul principio secondo cui la sensibilità di un operatore appreso rispetto a piccole perturbazioni nelle etichette di addestramento correla con l'incertezza predittiva.

1. Addestramento Duale: Due operatori neurali con architetture identiche vengono addestrati sullo stesso set di addestramento appropriato:
   • $\hat{G}$: Addestrato sulle etichette originali $\mathbf{u}_i$.
   • $\hat{G}_\epsilon$: Addestrato sulle etichette perturbate $\tilde{\mathbf{u}}_i = \mathbf{u}_i + \boldsymbol{\epsilon}_i$, dove $\boldsymbol{\epsilon}_i \sim \mathcal{N}(0, \sigma_\epsilon^2)$.
2. Disaccordo Grezzo: Per un nuovo input $\mathbf{a}$, la misura di incertezza grezza alla coordinata $k$ è la differenza assoluta puntuale:
   $$d(\mathbf{a})_k = | \hat{G}(\mathbf{a})_k - \hat{G}_\epsilon(\mathbf{a})_k |$$
3. Stabilizzazione: Per prevenire l'instabilità numerica (divisione per valori vicini allo zero) e garantire la robustezza, il disaccordo grezzo subisce due passaggi:
   • Smoothing Spaziale: La mappa di disaccordo viene smussata utilizzando una finestra spaziale $K \times K$ (ad esempio, $15 \times 15$) per mediare il rumore locale.
   • Stabilizzazione del Floor: Viene imposto un valore minimo (floor) $\tau_0$ dipendente dai dati, definito come una frazione del disaccordo mediano sul set di addestramento. La scala finale è $\sigma(\mathbf{a})_k = \max(\bar{d}(\mathbf{a})_k, \tau_0)$.
4. Punteggio di Non-Conformità: Il punteggio conforme per un campione di calibrazione è definito come il massimo residuo normalizzato su tutte le coordinate di output:
   $$S(\mathbf{a}, \mathbf{u}) = \max_k \frac{| u_k - \hat{G}(\mathbf{a})_k |}{\sigma(\mathbf{a})_k}$$
   Questo punteggio di tipo "max" mira alla copertura simultanea su tutto il reticolo.

2.2 Calibrazione e Predizione

Utilizzando il protocollo split conformal, il punteggio $S$ viene calcolato su un set di calibrazione. Il quantile $\hat{Q}_{1-\alpha}$ di questi punteggi determina la larghezza delle bande di predizione. Per un nuovo input, la banda di predizione alla coordinata $k$ è:
$$C(\mathbf{a})_k = \left[ \hat{G}(\mathbf{a})_k - \hat{Q}_{1-\alpha}\sigma(\mathbf{a})_k, \quad \hat{G}(\mathbf{a})_k + \hat{Q}_{1-\alpha}\sigma(\mathbf{a})_k \right]$$
Le garanzie teoriche assicurano che, sotto l'ipotesi di scambiabilità, l'intera traiettoria sia coperta simultaneamente con probabilità $\geq 1-\alpha$.

3. Contributi Chiave

• Scala Basata su Perturbazione: Introduzione di un metodo per derivare scale di incertezza adattive direttamente dal disaccordo tra un modello base e un modello addestrato su etichette perturbate. Questo evita la necessità di reti di incertezza ausiliarie.
• Efficienza dei Dati: L'approccio è progettato specificamente per il regime di scarsità di dati. A differenza di metodi come UQNO che dividono i dati di addestramento, il metodo di perturbazione utilizza l'intero set di addestramento appropriato sia per il modello base che per quello perturbato, massimizzando l'informazione disponibile per l'apprendimento dell'operatore.
• Copertura Simultanea: L'uso di un punteggio di non-conformità di tipo max assicura che le bande di predizione forniscano una copertura simultanea valida su tutto il reticolo spazio-temporale ad alta dimensione, piuttosto che solo una copertura marginale ai singoli punti.
• Tecniche di Stabilizzazione: L'inclusione dello smoothing spaziale e della stabilizzazione del floor si è dimostrata critica per l'efficienza delle bande conformi, evitando l'inflazione delle stime di incertezza dovuta a disaccordi isolati prossimi allo zero.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un benchmark di vorticità 2D di Navier-Stokes (griglia $64 \times 64$, 10 step temporali) con un budget totale di etichette fissato a 1200 traiettorie. Il metodo proposto è stato confrontato con:

• MC Dropout: Utilizzo del dropout durante l'inferenza per la stima della varianza.
• Approssimazione di Laplace: Approssimazione diagonale dell'ultimo strato.
• UQNO: Una rete quantile ausiliaria addestrata su un sottoinsieme disgiunto di dati.
• Unscaled: Un baseline con bande a larghezza costante ($\sigma \equiv 1$).

Risultati:

• Efficienza: Il metodo basato su perturbazione ha prodotto bande conformi sostanzialmente più strette rispetto a tutti i baseline, mantenendo la target di copertura simultanea.
  • Per $\alpha=0.04$, il metodo di perturbazione ha ottenuto un raggio medio di 3.786, rispetto a 4.192 (Unscaled), 4.403 (Laplace), 8.530 (MC Dropout) e 16.784 (UQNO).
  • Il miglioramento rispetto a UQNO è stato particolarmente significativo (riduzione del raggio del 77.4%), attribuito alla penalità di divisione dei dati inerente all'addestramento di una rete di incertezza separata.
• Studi di Ablazione:
  • Smoothing Spaziale: Critico per le prestazioni. Rimuovere lo smoothing ha aumentato il raggio medio da ~3.8 a ~83.6.
  • Stabilizzazione del Floor: Meno critica per l'efficienza rispetto allo smoothing, ma necessaria per la stabilità; rimuoverla da sola ha avuto un effetto trascurabile sul raggio.
• Sensibilità: Il metodo è robusto rispetto all'entità del rumore di perturbazione ($c \in [0.02, 0.10]$), con la copertura che rimane vicina al target nominale in questo intervallo.
• Analisi Qualitativa: Le bande di incertezza risultanti si allargano correttamente nelle regioni fisicamente complesse (nuclei dei vortici, strati di taglio) e si restringono nelle aree laminari più fluide, allineandosi con la difficoltà attesa della predizione.

5. Significato e Rivendicazioni

Il documento afferma che la sensibilità alla perturbazione funge da proxy pratico ed efficiente in termini di campionamento per l'incertezza nei neural operator conformizzati. Il significato primario risiede nel disaccoppiare la calibrazione dell'incertezza dalla modellazione ausiliaria. Sfruttando il disaccordo tra due modelli addestrati su dati quasi identici, il metodo ottiene una copertura simultanea adattiva senza sacrificare i dati di addestramento a una seconda rete.

Gli autori pongono questo approccio come un meccanismo generale applicabile a problemi di regressione oltre le PDE, a patto di poter addestrare due modelli su dati quasi identici. L'approccio offre un'alternativa efficiente in termini di dati per la regressione conformizzata, particolarmente preziosa quando i dati sono limitati e il costo di addestramento di modelli ausiliari è proibitivo. I risultati suggeriscono che, per l'apprendimento di operatori in regimi di scarsità di dati, la scala basata su perturbazione supera i metodi adattivi esistenti (MC Dropout, Laplace, UQNO) in termini di compattezza delle bande, preservando al contempo rigorose garanzie statistiche.