Self-explainable Operator Learning for Discovering Spatial Patterns in Functional Data

Sintesi Tecnica: Apprendimento di Operatori Auto-esplicabile per la Scoperta di Pattern Spaziali in Dati Funzionali

Enunciato del Problema
L'apprendimento di operatori è emerso come uno strumento potente per modellare sistemi fisici complessi governati da equazioni alle derivate parziali (PDE) all'interno di spazi funzionali. Tuttavia, le architetture di apprendimento di operatori neurali allo stato dell'arte, come i Fourier Neural Operators (FNO) e i Deep Operator Networks (DeepONet), funzionano come approssimatori universali "black-box" opachi. I loro processi di addestramento complessi e non convessi e l'enorme numero di parametri oscurano il ragionamento dietro le loro previsioni, ostacolando la fiducia scientifica e la scoperta delle leggi fisiche sottostanti. Sebbene esistano metodi di spiegabilità post-hoc (ad esempio, SHAP, LIME, Grad-CAM), essi soffrono di limitazioni: sono spesso strumenti esterni agnostici rispetto al modello che possono produrre spiegazioni contrastanti, mancano di intervalli di confidenza intrinseci e non riescono a fornire un'interpretabilità simultanea sia a livello di input che di output. Esiste una critica necessità di un framework "by-design" che sia intrinsecamente interpretabile, matematicamente trasparente e capace di collegare specifici pattern spaziali nelle funzioni di input ai corrispondenti pattern nelle funzioni di output senza fare affidamento su strumenti di attribuzione esterni.

Metodologia
Gli autori propongono un framework di apprendimento di operatori auto-esplicabile basato sui Modelli Lineari Funzionali Generalizzati (gFLM). La metodologia diverge dagli operatori neurali standard riformulando il problema di apprendimento come una combinazione lineare di equazioni integrali con kernel apprendibili, piuttosto che come una rete neurale profonda.

1. Formulazione del Modello:

   • La mappatura tra funzioni di input $f(\xi)$ e funzioni di output (o scalari) $u(x)$ è espressa come una somma di equazioni integrali:
     $$u(x) = \sum_{n,m} w_{n,m} \iint \psi_n(x-\zeta, y-\eta) T_m f(\zeta, \eta) \, d\zeta d\eta$$
   • Qui, $\psi_n$ rappresenta una libreria di funzioni kernel analitiche predefinite, $T_m$ denota trasformazioni di lifting (ad esempio, polinomiali, esponenziali) per catturare le non-linearità in uno spazio di caratteristiche lineari, e $w_{n,m}$ sono coefficienti appresi tramite regressione lineare regolarizzata.
   • A differenza del lavoro precedente che utilizzava la regolarizzazione L1 per la sparsità, questo framework impiega la regolarizzazione L2 per garantire la stabilità dell'addestramento e mantenere tutti i termini candidati, il che è essenziale per la successiva analisi di decomposizione.

2. Strategia di Decomposizione Auto-esplicabile:

   • L'innovazione principale è una strategia di decomposizione post-addestramento che sfrutta la natura additiva dell'operatore integrale.
   • Il dominio di input è partizionato in $k$ sottodomini (specificamente $k=4$ zone uguali).
   • Il modello calcola integrali localizzati per ciascun sottodominio indipendentemente. Grazie alla linearità dell'operatore, l'output totale è esattamente la somma di questi contributi localizzati.
   • Per isolare l'influenza di regioni specifiche, viene applicata una procedura di centratura della media: il valore atteso della previsione per ogni zona (attraverso il dataset) viene sottratto dalla previsione locale. Ciò produce "contributi zonali" ($\Phi_i$) che rivelano come le deviazioni in specifiche regioni di input guidino le deviazioni nell'output.

3. Validazione e Baseline:

   • Il framework è testato su due dataset basati sulla fisica: il flusso sanguigno pulsatile in un aneurisma cerebrale (predizione dello Stress di Taglio a Parete - WSS) e l'aerodinamica instabile di un profilo alare in beccheggio (predizione dei coefficienti di resistenza e portanza).
   • Le prestazioni sono confrontate con un Fourier Neural Operator (FNO) per l'accuratezza e con tre metodi post-hoc (Kernel SHAP, Occlusion Sensitivity, Grad-CAM) applicati a una U-Net per la coerenza della spiegabilità.

Contributi Chiave

• Spiegabilità Intrinseca: Il framework fornisce un surrogato analitico a forma chiusa dove la spiegabilità è incorporata direttamente nella struttura del modello. Non richiede strumenti esterni o elaborazioni post-hoc per interpretare la logica del modello.
• Interpretabilità a Doppio Livello: A differenza della maggior parte dei metodi XAI che evidenziano solo le regioni di input importanti, questo approccio rivela i pattern spaziali nell'output generati da specifiche regioni di input. Esso collega esplicitamente i sottodomini di input alla formazione di feature di output.
• Trasparenza Matematica: Utilizzando una sovrapposizione lineare di operatori integrali con una soluzione di ottimizzazione convessa, il modello assicura che la previsione totale possa essere decomposta esattamente in contributi additivi localizzabili fisicamente.
• Metriche Quantitative: Gli autori introducono un metodo per quantificare la significatività delle regioni spaziali utilizzando i coefficienti di correlazione di Pearson tra i contributi zonali e la previsione totale, facilitando lo sviluppo di metriche XAI standardizzate.

Risultati

• Trade-off Accuratezza vs. Interpretabilità: Come previsto, la baseline FNO raggiunge un'accuratezza predittiva significativamente più alta (errore medio assoluto inferiore) rispetto al modello gFLM, particolarmente in scenari complessi ad alta frequenza. Il modello gFLM esibisce errori circa un ordine di grandezza superiori rispetto a FNO in alcuni casi.
• Fedeltà Qualitativa: Nonostante la minore accuratezza numerica, il modello gFLM cattura con successo i dominanti pattern spaziali qualitativi e l'evoluzione temporale dei fenomeni fisici.
• Approfondimenti Fisici:
  • Nel caso del flusso sanguigno, il modello ha identificato che la Zona 3 (una regione con forti gradienti di velocità) è il driver primario per la predizione del massimo Stress di Taglio a Parete (WSS), mentre la Zona 1 e la Zona 2 dominano la predizione della WSS spazialmente mediata e della divergenza, rispettivamente. Ciò è in linea con i principi noti della fluidodinamica, dove i gradienti di velocità guidano lo stress di taglio.
  • Nel caso del profilo alare, il modello ha identificato con successo distinte regioni spaziali che influenzano i coefficienti di resistenza e portanza a diverse frequenze di beccheggio.
• Coerenza con i Metodi Post-hoc: Quando confrontato con Kernel SHAP e Occlusion Sensitivity applicati a una U-Net, il framework gFLM ha mostrato una coerenza qualitativa nell'identificare le regioni più influenti (ad esempio, entrambi i metodi hanno identificato la Zona 3 come il driver dominante per la WSS). Sebbene la classificazione delle zone secondarie differisse leggermente a causa dei diversi meccanismi dei metodi (perturbazione vs. decomposizione additiva), la convergenza sul driver primario valida l'affidabilità dell'approccio proposto.

Significatività e Rivendicazioni
L'articolo sostiene che questo framework affronta una lacuna critica nel machine learning scientifico fornendo un approccio all'apprendimento di operatori matematicamente trasparente e fisicamente interpretabile. La sua significatività risiede nel:

1. Promuovere la Fiducia: Rendendo il processo decisionale del modello simulabile e decomponibile, permette agli scienziati di verificare la coerenza con i principi fisici, trasformando il ML da un semplice surrogato predittivo a un potenziale nuovo modello scientifico.
2. Eliminare le Dipendenze Esterne: Rimuove la necessità di strumenti post-hoc inaffidabili e computazionalmente costosi, offrendo un meccanismo di spiegazione autocontenuto.
3. Riveler Relazioni Nascoste: Permette la scoperta di quali specifici pattern spaziali nei dati funzionali guidano le predizioni, offrendo intuizioni sulla fisica sottostante (ad esempio, la relazione tra gradienti di velocità e stress di taglio) senza vincoli fisici preventivi.

Gli autori mantengono una posizione modesta, riconoscendo che, sebbene il modello sacrifichi parte dell'accuratezza predittiva rispetto agli operatori neurali black-box, questo trade-off è necessario e benefico per le applicazioni scientifiche dove comprendere il "perché" dietro una predizione è critico quanto la predizione stessa.