Riepilogo Tecnico: Quantificazione dell'Incertezza Post-Hoc Sensibile alla Geometria nell'Apprendimento di Operatori

Definizione del Problema

Gli operatori neurali sono emersi come potenti sostituti (surrogates) per la risoluzione di equazioni alle derivate parziali (PDE) in domini quali la fluidodinamica e la meccanica dei solidi. Tuttavia, la loro natura deterministica standard ne limita l'utilità nelle applicazioni scientifiche che richiedono una rigorosa quantificazione dell'incertezza (UQ), particolarmente quando si tratta di variabilità geometrica. Gli approcci di UQ esistenti rientrano generalmente in due categorie:

1. Metodi in fase di addestramento (Train-time): Tecniche come i Deep Ensembles o approssimazioni Bayesiane (ad es. MC Dropout) che modellano l'incertezza nei parametri della rete. Questi sono spesso computazionalmente proibitivi per l'apprendimento di operatori su larga scala su mesh non strutturate.
2. Metodi post-hoc: Approcci come l'approssimazione di Laplace che aggiungono componenti probabilistiche a un modello congelato. Sebbene più efficienti, molti si affidano ad approssimazioni dello spazio dei pesi locali o a mappe di caratteristiche generiche che non riescono a catturare le rappresentazioni specifiche, sensibili alla geometria, apprese dall'operatore.

Esiste un vuoto critico nello sfruttamento delle intrinseche rappresentazioni latenti, consapevoli della fisica, di un operatore neurale pre-addestrato per costruire incertezze sensibili alla geometria senza dover riaddestrare il modello o imporre prior mal specificati in spazi infinitamente dimensionali.

Metodologia: REEF-GP

Gli autori propongono REEF-GP (Residual on Embedded Features Gaussian Process), un framework di UQ post-hoc che modella la discrepanza tra un operatore neurale congelato e la soluzione reale direttamente nello spazio delle caratteristiche apprese dall'operatore.

Framework Core

Il metodo tratta il pre-addestrato operatore neurale $G_\theta$ come un modello computazionale deterministico. La soluzione vera $v(x)$ in una coordinata di query $x$ è modellata come:
$$v(x) = G_\theta(u, a)(x) + \delta(u, x, h(u, a, x)) + \epsilon$$
dove $\delta$ rappresenta l'inadeguatezza del modello (residuo) e $\epsilon$ è il rumore osservazionale. A differenza dei classici framework KOH (Kennedy–O'Hagan) che trattano il modello come una scatola nera, REEF-GP sfrutta la struttura interna di $G_\theta$.

Componenti Tecnici Chiave

1. Deep Kernel Sensibile alla Geometria:

   • Invece di apprendere una mappa di caratteristiche da zero, REEF-GP utilizza gli strati nascosti dell'operatore pre-addestato (specificamente Transolver) che codificano già rappresentazioni deformate e fisicamente consapevoli della geometria di input.
   • Seleziona un sottoinsieme di strati informativi (iniziali, intermedi e finali) basandosi sull'Allineamento del Kernel Centrato (CKA) per costruire uno stato aumentato $h(u, a, x)$.
   • Un deep kernel è definito sul prodotto di coordinate spaziali, funzioni di input e queste embedding latenti: $k_\phi(\bar{z}, \bar{z}') = k_{space} \cdot k_{fun} \cdot k_{latent}$. Il kernel latente utilizza un MLP con normalizzazione spettrale per deformare le embedding, creando un prior non stazionario che si adatta ai regimi fisici locali.

2. Modellazione della Discrepanza Probabilistica:

   • Il residuo $\delta$ è modellato come un processo Gaussiano (GP) a media nulla con un termine di rumore eteroscedastico.
   • La varianza del rumore dipende dall'input, parametrizzata da una rete densa con normalizzazione spettrale per prevenire il collasso delle caratteristiche e garantire la stabilità.

3. Addestramento e Inferenza Scalabili:

   • Ottimizzazione del Sottoinsieme Stocastico: Per gestire la complessità $O((MN)^3)$ dell'addestramento esatto di un GP (dove $M$ è il numero di campioni e $N$ è il numero di punti di discretizzazione), REEF-GP impiega una strategia di sottoinsieme stocastico ispirata ai Kernel Flows (KF). Ottimizza gli iperparametri utilizzando mini-batch di residui, scindendo i vincoli di memoria dalla risoluzione completa della mesh.
   • Generalized Product of Experts (gPoE): Per l'inferenza, il metodo condiziona $K$ esperti GP indipendenti su sottoinsiemi casuali di dati. La distribuzione predittiva finale si ottiene aggregando questi esperti nello spazio della precisione, limitando l'impronta di memoria in fase di test a $O(N_s^2)$ per esperto anziché alla dimensione dell'intero dataset.

Contributi Chiave

1. Deep Kernel Sensibile alla Geometria: Il design di un kernel che sfrutta le rappresentazioni interne, congelate e sensibili alla geometria, di un operatore neurale pre-addestrato, evitando la necessità di apprendere una separata mappa di caratteristiche o imporre un prior che potrebbe essere mal specificato per la regolarità dell'operatore.
   2.UQ Post-Hoc Scalabile: Lo sviluppo di procedure di addestramento e inferenza basate sull'ottimizzazione del sottoinsieme stocastico e sul gPoE, rendendo pratica l'UQ basata su GP per dataset di apprendimento di operatori contenenti milioni di punti.
2. Validazione Empirica: Dimostrazione di una calibrazione competitiva su cinque benchmark di PDE 2D e 3D (inclusi Airfoil, ShapeNet Car e Ahmed Body), mostrando robustezza sotto spostamenti della distribuzione geometrica.

Risultati

Il documento valuta REEF-GP rispetto a sei baseline: Deep Ensembles, MC Dropout, Probabilistic Neural Operator (PNO), Perturbazione dell'Input, Approssimazione di Laplace (LUNO-LA) e Deep Vecchia Ensemble (DVE-spatial).

• Accuratezza Predittiva: REEF-GP preserva l'accuratezza predittiva dell'operatore deterministico di base (Transolver) in tutti i dataset, con errori relativi $L_2$ identici alla baseline. Al contrario, i metodi di addestramento (MC Dropout, PNO) e la perturbazione dell'input comportano penalità significative sull'accuratezza.
• Calibrazione dell'Incertezza: Sui benchmark 3D (ShapeNet Car), REEF-GP raggiunge punteggi di Log-Likelihood Negativa (NLL) competitivi con i Deep Ensembles (ad es. 2.84 contro 4.16 per gli Ensemble) e supera significativamente altri metodi post-hoc come LUNO-LA (33.55).
• Coerenza Spaziale: Le mappe di incertezza generate da REEF-GP sono spazialmente significative, concentrandosi attorno a regioni fisicamente rilevanti di alto errore, come i fronti d'urto sulle ali (airfoil) e il paraurti anteriore delle geometrie delle auto.
• Robustezza Geometrica OOD: Sotto spostamenti della distribuzione geometrica (misurati tramite Maximum Mean Discrepancy), REEF-GP mantiene una calibrazione stabile. Mentre altri metodi come LUNO-LA e la Perturbazione mostrano una significativa degradazione dell'NLL man mano che le geometrie di test divergono dalla distribuzione di addestramento, l'NLL di REEF-GP rimane relativamente stabile.
• Costo Computazionale: REEF-GP comporta un overhead di addestramento di un ordine di grandezza inferiore rispetto ai Deep Ensembles. Sebbene la sua valutazione richieda una memoria superiore ad alcune baseline a causa delle matrici del kernel, rimane entro i limiti delle GPU commerciali.

Significato e Rivendicazioni

Gli autori affermano che REEF-GP dimostra che è possibile ottenere una UQ post-hoc accurata e scalabile per gli operatori neurali operando direttamente nello spazio delle caratteristiche apprese dall'operatore. Riutilizzando le embedding sensibili alla geometria di un operatore congelato, il metodo offre un'alternativa pratica agli approcci centrati sui parametri (come i Deep Ensembles) che sono troppo costosi per problemi su larga scala.

Il documento sottolinea che la geometria che un operatore neurale apprende mentre risolve una PDE codifica intrinsecamente gran parte delle informazioni necessarie per quantificare la propria incertezza. Questo approccio apre un asse complementare alla UQ basata sui parametri, fornendo un punto di partenza naturale per la quantificazione dell'incertezza su operatori sempre più grandi e sensibili alla geometria, senza il costo proibitivo del riaddestramento o dei metodi di ensemble. Gli autori segnalano i limiti riguardanti le architetture (backbone) che non preservano la corrispondenza spaziale punto a punto (ad es. gli standard FNO) e l'attuale focalizzazione su problemi stazionari a output singolo, identificandoli come naturali direzioni per il lavoro futuro.