A Neural Operator-Based Approach to Symbolic Discovery of PDEs

Sintesi Tecnica: Un approccio basato su Neural Operator per la scoperta simbolica di PDE

Problematica
I metodi esistenti per la scoperta di modelli simbolici, come l'Equation Learner (EQL) e gli approcci di regressione sparsa (ad esempio, PDE-FIND), sono fondamentalmente limitati dalla loro dipendenza da librerie di funzioni analitiche locali. Questi metodi costruiscono equazioni candidate utilizzando quantità puntuali, inclusi valori di campo, derivate locali e combinazioni algebriche. Sebbene efficaci per le equazioni differenziali alle derivate parziali (PDE) classiche, essi non riescono a scoprire leggi governanti che coinvolgono interazioni non locali, operatori integrali, equazioni di campi ausiliari o effetti di memoria temporale. Molti sistemi fisici—come quelli governati dalla diffusione frazionaria, sistemi di campi accoppiati o viscoelasticità ereditaria—dipendono da operatori che agiscono su interi spazi funzionali piuttosto che su punti locali, rendendoli inaccessibili agli attuali framework di scoperta simbolica.

Metodologia: NOMTO
Gli autori propongono NOMTO (Neural Operator-based symbolic Model approximaTion and discOvery), un framework che estende l'architettura EQL per incorporare operatori neurali pre-addestrati come primitivi simbolici.

• Architettura: NOMTO rappresenta le equazioni candidate come grafi computazionali sparsi e differenziabili. A differenza del normale EQL, dove i nodi applicano solo predefiniti operatori algebrici o differenziali locali, NOMTO consente che alcuni nodi siano implementati come surrogati di operatori neurali pre-addestrati. Questi surrogati agiscono su funzioni discretizzate e restituiscono output di operatori discretizzati sullo stesso reticolo (grid).
• Separazione tra Apprendimento e Scoperta: Un principio di progettazione fondamentale è il disaccoppiamento dell'apprendimento dell'operatore dalla scoperta dell'equazione.
  1. Pre-addestramento: Gli operatori neurali (specificamente Fourier Neural Operators [FNO], Convolutional Neural Operators [CNO] e reti neurali completamente connesse [FNN]) vengono addestrati indipendentemente per approssimare specifici operatori fisici (ad esempio, Laplaciano frazionario, mappa gradiente-Poisson, integrali di memoria ereditaria). Questi surrogati vengono quindi congelati.
  2. Ottimizzazione Simbolica: Durante la fase di scoperta, i nodi surrogati rimangono fissi. Il processo di ottimizzazione regola solo i pesi scalari addestrabili che collegano i nodi nel grafo computazionale.
• Strategia di Ottimizzazione: Il framework impiega un paradigma da grossolano a sparso (coarse-to-sparse) che prevede tre fasi:
  1. Addestramento Denso: Il grafo completo viene addestrato per adattarsi alla dinamica target senza vincoli di sparsità.
  2. Sparsificazione: Viene aggiata una penalità $\ell_1$ alla funzione di perdita e i pesi al di sotto di una certa magnitudo vengono potati per identificare la struttura sparsa.
  3. Rifinitura (Refitting): Il grafo potato viene ri-addestrato senza la penalità di sparsità per raffinare i coefficienti dei percorsi attivi.
• Estrazione dell'Espressione: Dopo l'addestramento, i pesi trascurabili vengono rimossi e l'espressione rimanente viene tradotta in un'equazione simbolica esplicita. L'espressione risultante combina termini algebrici standard con la notazione per i surrogati degli operatori neurali pre-addestrati (ad esempio, $\hat{G}^a_m$).

Risultati Chiave
NOMTO è stato valutato su tre distinti sistemi fisici che richiedono operatori non locali o dipendenti dalla storia:

1. Diffusione Frazionaria: Il sistema coinvolge un operatore Laplaciano frazionario, un operatore spaziale non locale. NOMTO ha recuperato con successo l'equazione governante $u_t \approx -\hat{\kappa} \hat{G}^a_{L_s}[u]$. Il surrogato basato su FNO ha raggiunto la massima accuratezza (MSE relativa $9.47 \times 10^{-6}$) e ha identificato correttamente il coefficiente $\hat{\kappa} = 1.00$.
2. Sistema Euler-Poisson: Questo sistema accoppia equazioni di trasporto locali con un termine di forza non locale derivato da un'equazione di Poisson ausiliaria. NOMTO ha recuperato sia i termini convettivi locali che l'accoppiamento gradiente-Poisson non locale. Il surrogato CNO ha ottenuto l'errore minimo nell'equazione del momento (MSE relativa $3.245 \times 10^{-4}$), mentre tutte le architetture hanno identificato correttamente la struttura simbolica e i coefficienti.
3. Viscoelasticità Ereditaria: Questo caso coinvolge una legge costitutiva con un integrale di memoria temporale. NOMTO ha scoperto con successo la struttura $\sigma(t) = E\varepsilon(t) + A\hat{G}^a_H[\varepsilon](t)$, recuperando il modulo elastico istantaneo e l'ampiezza della memoria con alta precisione in tutti i tipi di surrogato.

In tutti i casi, NOMTO ha superato o eguagliato i normali surrogati a rete neurale (FNN) in termini di correttezza strutturale e recupero dei coefficienti, dimostrando che gli operatori pre-addestrati possono fungere da fedeli proxy simbolici per meccanismi fisici complessi.

Significatività e Rivendicazioni
Il paper sostiene che NOMTO rappresenti un passaggio dalla "scoperta simbolica di funzioni" alla "scoperta simbolica di leggi fisiche basate su operatori". Incorporando operatori appresi come nodi fissi e differenziabili all'interno di un grafo simbolico sparso, il framework:

• Espande la Classe Scopribile: Estende la scoperta simbolica oltre le librerie differenziali locali per includere leggi governanti con operatori spaziali non locali, mappature di campi ausiliari ed effetti di memoria temporale.
• Preserva l'Interpretabilità: Nonostante l'uso di reti neurali, l'output finale rimane un'equazione simbolica interpretabile dove il ruolo dei meccanismi non locali è esplicito.
• Abilita la Modularità: La separazione tra apprendimento dell'operatore e scoperta dell'equazione permette di riutilizzare le librerie di operatori in diversi compiti di scoperta e facilita l'incorporazione di conoscenze fisiche pregresse attraverso la selezione di operatori candidati.

Gli autori riconoscono i limiti, osservando che la fedeltà del modello recuperato dipende dall'accuratezza dei surrogati degli operatori e che la costruzione della libreria degli operatori richiede ancora un certo grado di conoscenza pregressa riguardo ai plausibili meccanismi fisici. Tuttavia, il lavoro stabilisce un percorso per integrare i progressi dell'apprendimento degli operatori con l'apprendimento automatico scientifico interpretabile.