From Spectral Methods to Sample Complexity Bounds for Fourier Neural Operators

Problematica
I Fourier Neural Operators (FNO) hanno dimostrato un successo empirico nell'apprendimento di operatori di soluzione per equazioni alle derivate parziali (PDE), specificamente nel mappare stati iniziali verso stati futuri in equazioni di evoluzione dissipative. Tuttavia, una rigorosa comprensione teorica delle condizioni strutturali sotto le quali gli FNO possono approssimare ed apprendere efficientemente tali operatori rimane incompleta. Mentre l'apprendimento di operatori generici affronta barriere legate alla "maledizione della dimensionalità" — dove l'apprendimento di operatori $k$-volte differenziabili in senso di Fréchet o Lipschitz richiede un numero esponenziale di campioni nel caso peggiore — questo articolo mira a identificare specifiche proprietà strutturali delle PDE dissipative che permettano agli FNO di raggiungere una complessità campionaria polinomiale.

Metodologia
Gli autori stabiliscono una connessione tra la classica teoria dell'approssimazione spettrale e il moderno apprendimento di operatori. Il loro approccio procede in quattro passaggi logici:

1. Discretizzazione Spettrale: Introducono classi di schemi spettrali semi-impliciti di Fourier che discretizzano le equazioni di evoluzione dissipative nello spazio e nel tempo. Questi schemi trattano i termini di dissipazione lineare in modo implicito e i termini di reazione/trasporto non lineari in modo esplicito, spesso con stabilizzazione.
2. Definizione della Classe di Operatori: Definiscono classi specifiche di operatori di soluzione ($S_{poly}$ per non linearità polinomiali e $S_{smooth}$ per non linearità lisce generiche) caratterizzate dalla loro capacità di essere approssimate iterando passi spettrali stabili e accurati. Queste classi sono definite da parametri che governano la forza della dissipazione, la regolarità della non linearità e la regolarità dello spazio di input.
3. Costruzione di FNO: Costruiscono FNO che emulano singoli passi di questi metodi spettrali. Componendo questi FNO a singolo passo, creano architetture capaci di approssimare la mappa di soluzione completa al tempo-$T$. La costruzione sfrutta il fatto che gli FNO possono rappresentare efficientemente operatori lineari diagonalizzabili nella base di Fourier e approssimare le non linearità tramite reti neurali puntuali.
4. Garanzie di Apprendimento: Combinano i limiti di approssimazione costruttiva con stime dell'entropia metrica per derivare garanzie di apprendimento per la minimizzazione del rischio empirico (ERM) sulle classi FNO definite.

Contributi Chiave

• Classi di Operatori Basate su Metodi Spettrali: L'articolo introduce una vasta classe di operatori di soluzione nel tempo-$T$ definiti attraverso approssimazioni spettrali di Fourier semi-implicite stabili. Questa classe cattura la struttura numerica condivisa da molte equazioni dissipative pur rimanendo abbastanza generale da includere le PDE non lineari standard.
• Limiti di Approssimazione Uniforme: Per equazioni con non linearità polinomiali, gli autori dimostrano che ogni operatore della classe definita può essere approssimato uniformemente da un FNO. La dimensione della rete richiesta (profondità, larghezza e magnitudo dei pesi) è quantificata in termini dell'accuratezza desiderata e dei parametri che definiscono la classe dell'operatore (Teorema 3.4).
• Complessità Campionaria Polinomiale: Combinando i limiti di approssimazione con stime dell'entropia metrica, l'articolo stabilisce che gli FNO addestrati tramite ERM possono apprendere operatori in queste classi con complessità campionaria polinomiale. Per le non linearità polinomiali, i tassi di apprendimento dipendono principalmente dalla regolarità di Sobolev dello spazio di input e dalla dimensione del dominio fisico (Teorema 3.6).
• Estensione a Non Linearità Lisce Generiche: Il framework viene esteso a equazioni con non linearità lisce non polinomiali (Teorema 4.3, 4.4). In questo contesto, la complessità campionaria polinomiale è preservata, sebbene i tassi dipendano aggiuntivamente dalla regolarità della non linearità e dalla forza della dissipazione.
• Applicazioni Concrete: La teoria viene applicata per verificare che le mappe di soluzione nel tempo-$T$ delle equazioni di Navier–Stokes, Allen–Cahn e Cahn–Hilliard rientrino nel framework astratto, fornendo garanzie di apprendimento concrete per queste specifiche PDE. Inoltre, la teoria è applicata all'equazione di Cahn–Hilliard con potenziale logaritmico, un caso che coinvolge singolarità che richiedono una gestione attenta.

Risultati

• Approssimazione: L'articolo fornisce limiti quantitativi che mostrano come gli FNO possano approssimare gli operatori di soluzione delle PDE dissipative con qualsiasi accuratezza $\epsilon$ con dimensioni di rete che scalano polinomialmente in $\epsilon^{-1}$ (per non linearità polinomiali) o con dipendenze leggermente più complesse per non linearità lisce generiche.
• Tassi di Apprendimento: Per le non linearità polinomiali, l'errore di generalizzazione decade a un tasso di $O(M^{-1/(6 + 2d/a)})$, dove $M$ è il numero di campioni, $d$ è la dimensione fisica e $a$ è la regolarità di Sobolev dello spazio di input. Ciò contrasta con i risultati negativi per operatori generici, che richiedono una complessità campionaria esponenziale.
• PDE Specifiche:
  • Navier–Stokes: I tassi di apprendimento dipendono da $a=2$ e $d=2$, producendo un tasso di $M^{-1/8}$.
  • Allen–Cahn: Con $a=4$ e $d=2$, il tasso è $M^{-1/7}$.
  • Cahn–Hilliard: Similmente produce $M^{-1/7}$ per $a=4, d=2$.
  • Cahn–Hilliard Logaritmica: Il tasso dipende dalla regolarità della non linearità $\alpha$, producendo $M^{-1/(7 + 24/(5\alpha))}$.

Significatività
L'articolo sostiene che la "approssimabilità spettrale stabile" sia una condizione strutturale ampia che permette agli FNO di apprendere efficientemente gli operatori di evoluzione non lineari. Formalizzando la premessa secondo cui gli FNO possono apprendere efficientemente gli operatori laddove tali operatori ammettono discretizzazioni spettrali stabili e accurate, il lavoro colma il divario tra l'analisi numerica classica e la moderna teoria del deep learning. I risultati spiegano quando e perché gli FNO hanno successo nell'apprendimento degli operatori di soluzione delle PDE, andando oltre i successi empirici specifici per fornire garanzie uniformi su famiglie di equazioni piuttosto che su una singola PDE fissa. Gli autori osservano che queste garanzie sono particolarmente rilevanti per i modelli di previsione surrogate basati sui dati utilizzati nell'assimilazione dati, suggerendo che il lavoro futuro potrebbe estendere questi limiti a norme di Sobolev di ordine superiore per accoppiarsi meglio con le garanzie di accuratezza dell'assimilazione dati.