Robust Sparse Identification of Nonlinear Dynamics via Least Trimmed Squares

Sintesi Tecnica: Identificazione Robusta di Dinamiche Non Lineari tramite Least Trimmed Squares

Definizione del Problema
Il framework SINDy (Sparse Identification of Nonlinear Dynamics) è un metodo prominente basato sui dati per la scoperta di equazioni differenziali governanti a partire da dati osservativi. Tuttavia, le implementazioni standard di SINDy sono altamente sensibili al rumore di misura e, criticamente, agli outlier. Poiché SINDy si basa su approssimazioni a differenze finite delle derivate temporali, i dati corrotti possono distorcere gravemente le stime delle derivate, portando a problemi di regressione distorti e all'identificazione di termini del modello spuri. Sebbene siano state proposte varianti robuste esistenti—come il Trimmed SINDy, il Weak Sindy (WSINDy) e l'Ensemble SINDy (E-SINDy)—esse presentano dei limiti. Gli approcci "Trimmed" spesso accoppiano il rilevamento degli outlier con la regressione sparsa in un'unica ottimizzazione non convessa, rischiando potenzialmente di non escludere completamente i campioni corrotti. WSINDy riduce la sensibilità al rumore ma introduce complessità nella selezione delle funzioni di test e dei domini di integrazione. E-Sindy migliora la stabilità attraverso il resampling, ma può essere computazionalmente costoso e può comunque ereditare bias dai sottocampioni corrotti.

Metodologia: La Pipeline ILTS-SINDy
Gli autori propongono ILTS-SINDy, una pipeline di identificazione robusta che decoppia il filtraggio degli outlier dalla regressione sparsa in due fasi sequenziali. Questa strategia "filtra-poi-sparsifica" contrasta con i metodi che eseguono questi compiti congiuntamente.

1. Fase 1: Filtraggio Iterativo mediante Iterative Least Trimmed Squares (ILTS)
   La prima fase affronta la contaminazione dei dati identificando e rimuovendo gli outlier prima del fitting del modello. Il metodo impiega l'algoritmo Iterative Least Trimmed Squares (ILTS).

   • Meccanismo: ILTS minimizza iterativamente la somma dei minimi quadrati dei residui. Alterna la stima dei coefficienti di regressione su un sottoinsieme di dati con l'aggiornamento di questo sottoinsieme per trattenere solo le $p$ osservazioni con i residui più piccoli.
   • Risultato: Questo processo si concentra progressivamente sui punti dati più coerenti, mitigando efficacemente l'influenza degli outlier senza richiedere la conoscenza preventiva della loro posizione. L'output è un dataset "pulito" (una matrice ridotta $\hat{A}$ e un vettore $\hat{b}$) contenente solo gli inlier stimati.
   • Selezione dei Parametri: Il numero di inlier $p$ è impostato in base alla frazione di outlier nota $q$. Gli autori osservano che, a causa dell'uso di differenze centrali finite, un singolo outlier può contaminare fino a tre stime di derivata (il punto stesso e i suoi vicini). Di conseguenza, impostano $p = (m+1) - \lfloor 3q(m+1) \rfloor$.

2. Fase 2: Sequentially Thresholded Least Squares (STLS)
   La seconda fase esegue l'identificazione del modello sparso sul dataset pulito.

   • Meccanismo: Viene applicato lo standard STLS ai dati filtrati. Esso risolve un problema di minimi quadrati utilizzando l'intera libreria di candidati e impone iterativamente la sparsità tramite l'azzeramento (thresholding) dei coefficienti piccoli. La regressione viene risolta nuovamente utilizzando solo i termini attivi rimanenti fino alla convergenza.
   • Risultato: Ciò produce una rappresentazione parsimoniosa delle equazioni governanti ($\dot{x}_i(t) = \sum \alpha_{i,j} \theta_j(x(t))$) che è robusta alla corruzione iniziale dei dati.

Contributi Chiave

• Framework Decoppiato: Il contributo primario è la separazione strutturale tra il rilevamento degli outlier (tramite ILTS) e la regressione sparsa (tramite STLS). Questo evita i compromessi inerenti agli approcci di ottimizzazione congiunta, dove i campioni corrotti potrebbero essere classificati erroneamente come inlier durante la fase di stima sparsa.
• Robustezza a Corruzioni Severe: Il metodo è progettato per gestire dataset con una significativa contaminazione da outlier (fino al 20% negli esperimenti) mantenendo la capacità di recuperare le vere equazioni governanti.
• Integrazione Algoritmica: Il documento formalizza l'integrazione di ILTS (Algoritmo 2) e STLS (Algoritmo 1) in una pipeline unificata (Algoritmo 3) specificamente per le applicazioni SINDy.

Risultati Numerici
Gli autori hanno valutato ILTS-SINDy rispetto allo standard SINDy (con STLS) ed E-SINDy utilizzando dataset sintetici da tre sistemi dinamici benchmark: il modello SIR, il sistema di Lorenz e il sistema di Lotka–Volterra. Gli esperimenti hanno coinvolto livelli variabili di rumore Gaussiano additivo e percentuali di outlier ($q$) compresi tra il 2,5% e il 20%.

• Accuratezza del Recupero del Supporto: ILTS-SINDy ha costantemente ottenuto la più alta accuratezza media nel recupero del supporto in tutti i sistemi e le condizioni. Mentre le prestazioni dello standard SINDy degradavano significativamente con l'aumento della corruzione, e E-SINDy mostrava una robustezza moderata, ILTS-SINDy manteneva valori di accuratezza vicini a 1.0 anche sotto contaminazione severa.
• Tasso di Recupero Esatto: Un parametro critico è stato il recupero esatto del vero pattern di sparsità (l'insieme corretto di termini attivi). Lo standard SINDy non è riuscito a ottenere il recupero esatto nella maggior parte degli scenari corrotti. E-SINDy ha mostrato un'alta accuratezza del supporto ma bassi tassi di recupero esatto, suggerendo che spesso ricostruiva correttamente le traiettorie ma identificava la struttura del modello errata. Al contrario, ILTS-SINDy ha dimostrato tassi di recupero esatto superiori, mantenendo un recupero quasi perfetto per il sistema SIR e una forte performance per Lorenz e Lotka–Volterra anche ad alti livelli di outlier.

Significatività e Rivendicazioni
Il documento afferma che ILTS-SINDy offre un miglioramento significativo rispetto alle esistenti varianti robuste di SINDy, particolarmente nei regimi di forte contaminazione dei dati. Filtrando gli outlier prima della regressione sparsa, il metodo produce un problema di regressione più pulito, portando a un'identificazione più affidabile delle equazioni governanti sottostanti. Gli autori asseriscono che questo approccio non solo migliora l'accuratezza predittiva ma, cosa più importante, garantisce la corretta scoperta strutturale del sistema dinamico.

Il lavoro è modesto riguardo al suo ambito attuale, notando che assume la conoscenza esatta della percentuale di outlier $q$ per determinare il numero di inlier $p$. Il lavoro futuro è identificato nell'incorporare una procedura adattiva per stimare $q$ in modo data-driven, estendere il framework al SINDy con controllo (input esterni) e validare l'approccio su dataset del mondo reale. Il documento non rivendica l'applicabilità universale a tutti i sistemi dinamici senza ulteriore validazione, ma evidenzia la sua efficacia sui benchmark sintetici testati.