A numerical study into neural network surrogate model performance for uncertainty propagation

Sintesi Tecnica: Uno Studio Numerico sulle Prestazioni dei Modelli Surrogati di Reti Neurali per la Propagazione dell'Incertezza

Enunciato del Problema
I modelli surrogati basati su reti neurali (NN) si sono affermati come uno strumento promettente per la risoluzione di problemi al contorno stocastici (SBVP), offrendo la possibilità di evitare le valutazioni ripetute e costose dei solver numerici tradizionali richieste per la propagazione dell'incertezza. Tuttavia, la letteratura esistente si concentra prevalentemente sulla capacità di questi modelli di rappresentare campioni deterministici o soluzioni di campo medio, trascurando spesso le prestazioni nelle code della distribuzione di probabilità. Questo rappresenta una lacuna critica, poiché l'analisi di affidabilità e la valutazione del rischio dipendono fortemente da previsioni accurate di eventi rari ed estremi. La sfida specifica affrontata in questo studio è il problema della "coda lunga": le reti neurali eccellono tipicamente nell'interpolazione ma faticano nell'estrapolazione. Negli SBVP, la scarsità di campioni di addestramento nelle regioni a bassa probabilità (le code) porta a una diminuzione dell'accuratezza per i campi di soluzione estremi, dove gli errori possono essere di un ordine di grandezza superiori agli errori del campo medio.

Metodologia
Lo studio valuta le prestazioni di tre architetture distinte di reti neurali nella previsione del campo di soluzione di un'equazione di conduzione termica in regime stazionario con un termine sorgente altamente stocastico. La fisica governante è incorporata tramite una perdita basata sul residuo in forma debole. Il problema è definito su un dominio bidimensionale dove il termine sorgente è generato mediante una decomposizione di Karhunen–Loève di un campo casuale, seguita da una trasformazione non lineare per indurre distribuzioni di temperatura a code pesanti. Vengono generati due dataset (Sorgente 1 e Sorgente 2), con la Sorgente 2 che esibisce un intervallo di temperature significativamente più ampio e picchi più concentrati.

I tre modelli valutati sono:

1. Rete Guidata dai Dati (DDN): Una rete neurale feed-forward completamente connessa addestrata esclusivamente su dati agli elementi finiti etichettati.
2. Rete Neurale Informata dalla Fisica (PINN): Una rete completamente connessa addestrata utilizzando una funzione di perdita derivata dal residuo in forma debole dell'equazione differenziale alle derivate parziali (PDE) governante, senza dati etichettati.
3. Deep Operator Network (PCA-DeepONet): Un modello informato dalla fisica che utilizza un'architettura DeepONet, la quale separa l'apprendimento della funzione di input (rete ramificata) dalle coordinate spaziali (rete tronco).

Lo studio adotta un protocollo di addestramento standardizzato utilizzando iperparametri identici, punti di collocazione e divisioni addestramento/test per garantire un confronto equo. Le prestazioni sono valutate utilizzando metriche standard (norma relativa $\ell_2$) e, crucialmente, norme di ordine superiore inclusi l'errore massimo per campione (MPSE) e l'errore massimo (ME) per catturare il comportamento delle code. Lo studio investiga anche strategie di pesatura adattiva basate sull'istanza per orientare l'addestramento verso campioni anomali e analizza la correlazione tra errori di previsione e specifici tipi di outlier (estrapolazione dei parametri di input rispetto all'estrapolazione delle quantità di soluzione).

Risultati Chiave

• Disparità nelle Prestazioni delle Code: Gli errori di previsione nel caso peggiore per tutti i modelli sono risultati essere circa dieci volte superiori all'errore del campo medio. Ciò conferma che le metriche di addestramento standard (come l'errore medio $\ell_2$) possono mascherare fallimenti significativi nella previsione di eventi estremi.
• Confronto tra Modelli: Tra le architetture testate, la PINN (completamente connessa con perdita informata dalla fisica) ha costantemente superato sia la DDN che la PCA-DeepONet sui dati di test, in particolare per quanto riguarda la riduzione del ME e la distribuzione dei valori MPSE. Sebbene la PCA-DeepONet abbia performato bene sui dati di addestramento, ha esibito errori significativamente più alti sui dati di test, suggerendo una scarsa generalizzazione per questa specifica mappatura stocastica.
• Limiti dell'Estrapolazione: Gli errori più grandi sono stati fortemente correlati con campioni che richiedevano un'estrapolazione oltre i limiti dei dati di addestramento. Nello specifico, gli errori sono stati più elevati quando la temperatura massima prevista di un campione di test superava la temperatura massima osservata nell'insieme di addestramento. Interessantemente, campioni con parametri di input al di fuori del guscio convesso dell'insieme di addestramento non hanno necessariamente prodotto errori elevati; piuttosto, l'estrapolazione della quantità di risposta di interesse (il campo di soluzione) è stata il principale motore dell'errore.
• Strategie di Pesatura: Una strategia di pesatura adattiva, progettata per assegnare pesi più elevati ai campioni con perdite maggiori (campioni delle code), ha ridotto con successo l'errore di addestramento. Tuttavia, questo approccio ha portato a un overfitting, risultando in un aumento dell'errore di test. Ciò suggerisce che semplicemente ripesare i dati esistenti è insufficiente per risolvere il problema dell'estrapolazione e può degradare la generalizzazione.
• Sensibilità alla Dimensione dei Dati: Aumentare il numero di campioni di addestramento ha migliorato l'errore di generalizzazione fino a un certo punto, ma le prestazioni si sono stabilizzate quando l'insieme di addestramento non conteneva più campioni con temperature massime superiori a quelle presenti nell'insieme di test.

Significato e Affermazioni
Gli autori affermano che il contributo principale di questo lavoro è un'indagine numerica rigorosa che valuta architetture di reti neurali ubiquitarie e funzioni di perdita specificamente per la propagazione dell'incertezza sotto campi di soluzione altamente variabili. Lo studio evidenzia che:

1. L'Identificazione degli Outlier è Critica: La fonte più significativa di errore è l'incapacità del modello di estrapolare verso campi di soluzione estremi. Il documento propone un metodo per identificare questi campioni "outlier" segnalando i casi di test in cui le quantità di risposta previste superano quelle osservate durante l'addestramento.
2. Limiti dei Metodi Attuali: Gli approcci standard informati dalla fisica e guidati dai dati, sebbene efficaci per i campi medi, faticano con le code della distribuzione. Lo studio dimostra che la sola pesatura adattiva non è una panacea e può portare a overfitting.
3. Direzione Futura: Gli autori suggeriscono che gli sforzi futuri dovrebbero concentrarsi sull'utilizzo dell'identificazione degli outlier per guidare l'aumento adattivo dei dati — specificamente, simulando modelli di ordine completo per le regioni di outlier identificate per costruire dataset di addestramento mirati — piuttosto che affidarsi a campionamento casuale ingenuo o a una semplice ripesatura.

Il documento conclude che, sebbene i surrogati di reti neurali mostrino promesse, la loro applicazione ai problemi di affidabilità richiede un'attenzione attenta alle capacità di estrapolazione e alla definizione di limiti di errore per le regioni a bassa probabilità.