Sintesi Tecnica: Scoperta di Operatori Neurali da Traiettorie Eterogenee

Definizione del Problema

Nelle scienze fisiche, i dati sulle traiettorie vengono frequentemente raccolti da sistemi che condividono una legge governante comune ma differiscono per fattori specifici del sistema non osservati (ad esempio, parametri fisici, geometrie, condizioni al contorno). In molti dataset sperimentali e di simulazioni legacy, questi fattori distintivi sono non registrati o non misurabili. Di conseguenza, i dati consistono in traiettorie eterogenee generate da molteplici configurazioni sottostanti senza etichette esplicite per le variabili che ne guidano la variazione.

La sfida centrale è apprendere modelli predittivi che catturino sia la dinamica condivisa di una famiglia di sistemi, sia le differenze tra specifiche istanze del sistema direttamente da queste traiettorie non etichettate. Gli approcci esistenti affrontano diverse limitazioni:

• Regressione Simbolica: Vincolata da librerie di primitive e computazionalmente costosa per la dinamica spazio-temporale ad alta dimensionalità.
• Operatori Neurali Parametrici (PNO): Richiedono input di fattori espliciti, che non sono disponibili in questo contesto.
• Operatori Neurali Autoregressivi (ANO): Si condizionano su finestre di stati passati, portando a rappresentazioni ad alta dimensionalità e non strutturate che accumulano errori di rollout e falliscono nell'identificare la variazione specifica del sistema.
• Modelli Condizionati Latenti: Spesso scambiano espressività, scalabilità o interpretabilità, oppure si affidano ad adattamenti di meta-learning costosi.

Metodologia: Scoperta di Operatori Neurali (NOD)

Gli autori formulano la Scoperta di Operatori Neurali (NOD) come il problema di apprendere un operatore di soluzione condiviso e la variazione specifica del sistema direttamente da traiettorie eterogenee senza supervisione dei parametri. Il framework proposto, NODnet, impiega una realizzazione fattorizzata composta da due componenti:

1. Encoder di Traiettoria ($f_\phi$): Mappa una finestra di stato passato (traiettoria di condizionamento) da un'istanza di sistema in una rappresentazione latente a bassa dimensione $c$.
2. Operatore di Evoluzione dello Stato ($g_\theta$): Un operatore neurale condizionato che predice gli stati futuri basandosi su uno stato iniziale e sulla rappresentazione latente $c$.

Per garantire che la rappresentazione latente catturi i fattori governanti piuttosto che le caratteristiche transitorie della traiettoria, NODnet integra tre meccanismi chiave:

1. Predizione Fattorizzata

Inveve di predire direttamente gli stati futuri da una finestra di stato passato (come in ANO), il modello fattorizza il processo:
$$c = f_\phi(x'_{0:s}), \quad \hat{x}_{t+1} = g_\theta(x_t; c)$$
L'encoder inferisce un $c$ latente da una traiettoria di condizionamento, mentre il decoder predice l'evoluzione di una separata traiettoria appartenente alla stessa istanza di sistema.

2. Campionamento Decoppiato dalla Traiettoria (TDS)

Per evitare che la rappresentazione latente codifichi informazioni specifiche delle condizioni iniziali, l'encoder e il decoder sono addestrati utilizzando traiettorie generate da diverse condizioni iniziali della stessa istanza di sistema.

• L'encoder inferisce $c$ da una traiettoria di condizionamento $x'_{0:s}$.
• Il decoder predice l'evoluzione di una distinta traiettoria $x_{t:t+1}$ dello stesso sistema.
  Questo vincolo incoraggia l'encoder a trattenere solo gli invarianti trans-traiettoria (i fattori governanti) e a sopprimere le caratteristiche transitorie.

3. Selezione della Dimensione

La dimensione latente $d$ è selezionata come il valore minimo sufficiente a spiegare le differenze tra le istanze di sistema. Ciò viene ottenuto tramite una procedura in due fasi:

• Fase 1: Identificare dimensioni candidate in cui l'aumento di $d$ non produce più miglioramenti significativi nella perdita di addestramento oltre la variabilità del seed casuale.
• Fase 2: Selezionare la dimensione finale $d^*$ come la più piccola dimensione candidata in cui il modello $(d+1)$ non produce ulteriori strutture allineate ai fattori (valutata tramite Analisi delle Componenti Principali delle medie latenti per istanza).

Contributi Chiave

• Formulazione di NOD: Una nuova formulazione del problema per l'apprendimento di operatori condivisi e variazioni specifiche del sistema senza etichette dei fattori governanti.
• Condizionamento Latente Fattorizzato: Un'architettura innovativa che decoppia l'encoding della traiettoria dall'evoluzione dello stato, consentendo la scoperta di spazi latenti a bassa dimensione e interpretabili.
• Campionamento Decoppiato dalla Traiettoria: Una strategia di addestramento che impone l'estrazione di invarianti a livello di sistema accoppiando traiettorie di condizionamento e di predizione con diverse condizioni iniziali.
• Valutazione della Dimensione basata sui Dati: Una procedura sistematica per determinare automaticamente la dimensionalità intrinseca della variazione del sistema, corrispondente al numero di fattori governanti indipendenti senza conoscenza pregressa.

Risultati

Il metodo è stato validato su tre famiglie di equazioni differenziali alle derivate parziali (PDE) e quattro casi studio aggiuntivi nelle informazioni supplementari:

1. Equazione di Burgers (Viscosità Variabile):

   • Risultato: Il modello ha correttamente identificato una dimensione latente $d^*=1$, corrispondente al singolo fattore variabile (viscosità $\nu$).
   • Performance: Ha raggiunto predizioni accurate su lunghi orizzonti temporali e ha estrapolato con successo al limite inviscido ($\nu=0$), un regime singolare dove i metodi numerici classici spesso faticano. Lo spazio latente appreso ha esibito una corrispondenza fluida e monotona con la viscosità.
   • Confronto: Ha superato i baseline autoregressivi (ANO) e i baseline a sistema singolo (SNO), particolarmente nei rollout a lungo orizzonte dove l'ANO accumulava un significativo drift.

2. Scia di Flusso di Cilindro (Mesh Non Strutturata):

   • Risultato: Ha identificato $d^*=1$ nonostante il sistema sia parametrizzato sia dalla viscosità che dalla velocità in ingresso, poiché la dinamica nel regime di numero di Reynolds testato è governata da un singolo gruppo adimensionale ($Re$).
   • Performance: Ha dimostrato robustezza sotto supervisione sparsa (addestrato su sole 16 traiettorie) e generalizzazione a viscosità e velocità in ingresso non viste.
   • Consistenza Fisica: Ha recuperato correttamente i coefficienti di drag e i numeri di Strouhal, mentre i baseline autoregressivi esibivano drift di frequenza e comportamenti di drag non fisici.

3. Sistema di Reazione-Diffusione di FitzHugh–Nagumo:

   • Risultato: Ha identificato correttamente $d^*=2$, corrispondente ai due fattori governanti indipendenti ($k, \beta$).
   • Generalizzazione: Ha dimostrato sia l'inferenza one-shot (inferire $c$ da una singola traiettoria) che l'inferenza zero-shot (campionare $c$ direttamente dallo spazio latente appreso). Lo spazio latente ha organizzato le istanze di sistema in una struttura fluida e approssimativamente invertibile allineata con lo spazio dei parametri reali, consentendo l'estrapolazione oltre l'inviluppo di addestramento.
   • Geometria della Supervisione: Ha mostrato che i decoder gerarchici (che supervisionano molteplici orizzonti temporali) hanno prodotto rappresentazioni latenti più strutturate e rollout più stabili rispetto ai decoder autoregressivi a singolo step.

Significato e Rivendicazioni

Il documento stabilisce un paradigma interpretabbile per l'apprendimento di operatori in assenza di esplicita supervisione dei fattori. Gli autori affermano che:

• Identificabilità: Gli spazi latenti appresi si allineano costantemente con i fattori governanti sottostanti, esibendo strutture fluide e approssimativamente invertibili (diffeomorfismi) con lo spazio dei fattori reali, nonostante siano appresi senza etichette dei parametri.
• Generalizzazione: Il metodo supporta la generalizzazione verso istanze di sistema precedentemente non viste, inclusa l'estrapolazione zero-shot attraverso regimi (ad esempio, limiti inviscidi) e la predizione stabile a lungo orizzonte.
• Efficienza: Limitando la dimensione latente alla dimensione minima necessaria, il modello evita la "scioltezza strutturale" (structural slack) che porta all'accumulo di errori negli spazi latenti ad alta dimensionalità.
• Complementarità: NOD offre un'alternativa scalabile alla regressione simbolica per sistemi complessi ad alta dimensionalità dove le equazioni in forma chiusa sono difficili da recuperare, e un'alternativa più strutturata ai modelli fondazionali autoregressivi per sistemi con parametri non osservati.

Gli autori notano dei limiti, tra cui l'attuale focus su fattori che variano continuamente in spazi euclidei a bassa dimensione, l'uso di dati generati da simulazioni e la necessità di ulteriori indagini su classi di sistemi discreti, dinamiche biforcanti e robustezza al rumore sperimentale.