Sintesi Tecnica: OrthoReg per Sistemi Dinamici Ibridi Simbolico-Neurali

1. Definizione del Problema

La modellazione di sistemi dinamici affronta un compromesso fondamentale tra interpretabilità ed espressività. I modelli meccanicistici (simbolici) prescritti manualmente sono interpretabili ma spesso mal specificati o eccessivamente semplicistici per fenomeni naturali complessi. Al contrario, i metodi neurali basati sui dati, pur essendo estremamente flessibili, eccellono nell'adattamento ai dati ma mancano di intuizione fisica. La modellazione ibrida tenta di colmare questo divario combinando una componente fisica prescritta o simbolica ($f_{phy}$) con un residuo neurale flessibile ($f_{aug}$).

Una sfida critica sorge quando la componente simbolica non è fissata a priori, ma viene scoperta dai dati tramite metodi basati su librerie sparse (ad esempio, approcci stile SINDy). In questo regime, gli approcci ibridi standard spesso falliscono nel mantenere una netta divisione dei compiti. Nello specifico, l'aumento neurale può "re-apprendere" o sovrapporsi alla struttura simbolica, portando a modelli ridondanti e non interpretabili.

Il documento identifica che i metodi esistenti che si affidano alla standard regolarizzazione $L_2$ (come il framework APHYNITY) si basano su un argomento di proiezione che assume uno spazio simbolico fisso. Quando la componente simbolica viene appresa congiuntamente tramite vincoli di sparsità (ad esempio, regolarizzazione $L_1$), la contrazione dei coefficienti lascia una struttura residua all'interno dello span della libreria simbolica. Di conseguenza, l'aumento neurale può sovrapporsi alla parte simbolica anche se la norma totale è piccola, rompendo la garanzia di ortogonalità fornita dalla regolarizzazione $L_2$ nei contesti a classe fissa.

2. Metodologia: OrthoReg

Gli autori propongono OrthoReg (Orthogonal Regularization), un metodo progettato per imporre una decomposizione complementare tra le componenti simbolica e neurale durante l'addestramento congiunto.

Obiettivo Centrale

OrthoReg modifica l'obiettivo di addestramento per penalizzare esplicitamente la sovrapposizione empirica tra l'aumento neurale e la libreria simbolica. Dato un dataset $D = \{x_i\}_{i=1}^N$, una libreria simbolica fissa $\{\phi_j\}_{j=1}^M$ e un aumento neurale $\hat{f}_{aug}(\cdot; \vartheta)$, l'obiettivo è:

$$\min_{w, \vartheta} \mathcal{L}_{fit}(w, \vartheta) + \mu \|w\|_1 + \lambda \sum_{j=1}^M \langle \hat{f}_{aug}(\cdot; \vartheta), \phi_j \rangle_D^2$$

Dove:

• $\mathcal{L}_{fit}$ è la perdita di adattamento ai dati (regressione del campo vettoriale o predizione a un passo).
• $\mu \|w\|_1$ impone la sparsità sui coefficienti simbolici $w$.
• Il terzo termine è la Penalità di Ortogonalità, dove $\langle \cdot, \cdot \rangle_D$ denota il prodotto interno empirico sugli stati osservati.
• $\lambda$ controlla l'intensità del vincolo di ortogonalità.

Meccanismo Teorico

A differenza della regolarizzazione $L_2$, che penalizza la norma totale dell'aumento ($\|\hat{f}_{aug}\|_D^2$), OrthoReg penalizza i prodotti interni al quadrato dell'aumento con ogni funzione della libreria.

• Garanzia Teorica: Gli autori dimostrano che per $\lambda \to \infty$, le violazioni dell'ortogonalità empirica convergono a zero.
• Decomposizione dell'Errore: Sotto il prodotto interno empirico, l'imposizione dell'ortogonalità produce una pulita decomposizione dell'errore:
  $$\|f - (\hat{f}_{phy} + \hat{f}_{aug})\|_D^2 = \|P_D^{F_{phy}}(f) - \hat{f}_{phy}\|_D^2 + \|f - P_D^{F_{phy}}(f) - \hat{f}_{aug}\|_D^2$$
  Ciò garantisce che la parte simbolica catturi ciò che la libreria può esprimere (la proiezione in-library), mentre la parte neurale catturi il complemento ortogonale (il residuo).

3. Contributi Chiave

1. Analisi Teorica della Sovrapposizione: Il documento dimostra che la regolarizzazione $L_2$ non riesce a prevenire la sovrapposizione simbolico-neurale quando la componente simbolica è appresa tramite scoperta sparsa (Teorema A.2). Un controesempio mostra come la sparsità costringa il residuo a rimanere all'interno dello span simbolico, permettendo alla rete neurale di re-apprendere le direzioni simboliche.
2. Algoritmo OrthoReg: Gli autori introducono una soluzione algoritmica che integra una penalità di ortogonalità direttamente nell'obiettivo di scoperta sparsa congiunta, assicurando che il residuo neurale rimanga ortogonale alla libreria simbolica sotto il prodotto interno empirico.
3. Validazione Empirica: Estesi esperimenti su sistemi dinamici benchmark (Pendolo Smorzato, Lotka-Volterra, SIR, oscillatore di Duffing) mostrano che OrthoReg migliora il recupero simbolico (F1 score più elevati, meno termini) e la generalizzazione fuori distribuzione (OOD) rispetto ai baseline puramente simbolici, puramente neurali e ibridi con regolarizzazione $L_2$.

4. Risultati Sperimentali

La valutazione si concentra su sistemi con mismatch parziale della libreria, dove la dinamica reale contiene termini al di fuori del dizionario simbolico.

• Recupero Simbolico: OrthoReg raggiunge costantemente i punteggi F1 più elevati per il recupero del supporto simbolico corretto e il minor numero di termini, indicando un modello più pulito e interpretabile. Ad esempio, sul Pendolo Smorzato, OrthoReg ha ottenuto un F1 di $0.93 \pm 0.15$ rispetto allo $0.61$ del baseline $L_2$.
• Generalizzazione Out-of-Distribution (OOD): OrthoReg riduce significativamente gli errori di derivata OOD, particolarmente in regimi di moderato mismatch della libreria. Sul Pendolo Smorzato, l'errore di derivata OOD è sceso di oltre due ordini di grandezza rispetto al baseline $L_2$.
• Trade-off: Il metodo accetta un leggero aumento dell'MSE degli stati in distribuzione (ID) in cambio di un migliore comportamento OOD e della separazione simbolica. Ciò è coerente con la visione teorica secondo cui l'imposizione di una rigorosa divisione ortogonale sacrifica parte dell'accuratezza del fit puro per preservare l'integrità strutturale.
• Robustezza: I benefici persistono sotto campionamento irregolare, ma diminuiscono in presenza di forte rumore di osservazione o quando le dinamiche mancanti sono fortemente intrecciate con le caratteristiche della libreria.

5. Significato e Rivendicazioni

Il documento sostiene che OrthoReg affronti una specifica fragilità nella modellazione ibrida: la perdita di interpretabilità quando la componente simbolica viene appresa anziché fissata. Rendendo la complementarità tra le componenti simbolica e neurale esplicita attraverso la regolarizzazione dell'ortogonalità, il metodo assicura che:

• La componente simbolica catturi tutte le dinamiche esprimibili dalla libreria.
• La componente neurale catturi solo i residui strutturati che la libreria non può esprimere.

Gli autori posizionano OrthoReg non come un potenziatore universale di accuratezza, ma come un regolarizzatore di decomposizione. Il suo valore primario risiede nel preservare una spiegazione simbolica significativa assegnando al contempo gli effetti non simbolici al residuo, consentendo così modelli scientifici ibridi dove vocabolari meccanicistici approssimativi e residui flessibili coesistono senza cancellare la spiegazione simbolica.

Limitazioni Riconosciute:

• Le garanzie teoriche sono attualmente limitate al prodotto interno empirico e a modelli additivi con librerie differenziabili fisse.
• Le garanzie a livello di popolazione richiedono argomenti di convergenza uniforme sulla classe di ipotesi di aumento, che sono lasciati al lavoro futuro.
• Il metodo non recupera leggi governanti assenti dalla libreria; esso separa solo le dinamiche esprimibili dalla libreria dal resto.
• Le prestazioni degradano sotto alti livelli di rumore dove la stima delle derivate diventa inaffidabile.