Data-Driven Regularized Time-Limited h2 Model Reduction from Noisy Impulse Responses

1. Enunciato del Problema

Il documento affronta la sfida della Riduzione dell'Ordine del Modello (MOR) per sistemi lineari tempo-invarianti (LTI) a tempo discreto quando le matrici del sistema ($A, B, C$) sono sconosciute e sono disponibili solo dati di risposta impulsiva rumorosi.

• Contesto: In molte applicazioni ingegneristiche, le prestazioni del sistema sono governate dal comportamento su un orizzonte temporale finito ($L$). Le tecniche MOR standard spesso presuppongono l'accesso alle matrici del sistema o a dati su un orizzonte temporale infinito.
• Il Divario: I metodi esistenti basati sui dati (come il framework Loewner o l'algoritmo di realizzazione del sistema degli autovettori - ERA) spesso non riescono a garantire l'ottimalità nella norma $h_2$ a tempo limitato o soffrono di sovradattamento quando i dati di risposta impulsiva disponibili sono corrotti dal rumore.
• Obiettivo: Sviluppare un metodo che costruisca direttamente un Modello a Ordine Ridotto (ROM) minimizzando l'errore $h_2$ a tempo limitato utilizzando solo dati di risposta impulsiva rumorosi, senza eseguire una fase preliminare di identificazione del sistema che potrebbe introdurre distorsioni o errori.

2. Metodologia

L'approccio proposto formula un problema di ottimizzazione regolarizzato che può essere risolto interamente dai dati.

A. Formulazione del Problema

L'obiettivo è trovare un ROM con matrici $(\hat{A}, \hat{B}, \hat{C})$ che minimizzi l'errore $h_2$ a tempo limitato tra il sistema reale e il ROM.

• Funzione Obiettivo: La funzione obiettivo standard $h_2$ a tempo limitato è riformulata utilizzando i dati di risposta impulsiva.
• Obiettivo basato sui dati: Poiché la vera risposta impulsiva $h[k]$ è sconosciuta, il metodo utilizza dati rumorosi $\tilde{h}[k] = h[k] + \eta[k]$. Il termine di adattamento ai dati è costruito direttamente da $\tilde{h}[k]$.
• Regolarizzazione: Per prevenire il sovradattamento al rumore, viene aggiunto un termine di regolarizzazione $R(\hat{\theta})$. Questo termine è ispirato all'identificazione di sistemi basata su kernel. Penalizza i ROM le cui risposte impulsive sono incoerenti con le conoscenze a priori (ad esempio, la regolarità e la stabilità).
  • La regolarizzazione utilizza un kernel TC (Tuned Correlation), che codifica l'a priori secondo cui la risposta impulsiva decade in modo regolare.
  • La funzione obiettivo totale è:
    $$J_{L,\lambda}(\hat{\theta}) = \tilde{f}_{L,data}(\hat{\theta}) + \lambda R(\hat{\theta})$$
    dove $\lambda$ è il parametro di regolarizzazione.

B. Derivazione del Gradiente (Contributo Tecnico Chiave)

Un ostacolo maggiore nell'ottimizzazione basata sui dati è il calcolo dei gradienti senza le matrici del sistema. Gli autori dimostrano che il gradiente della funzione obiettivo regolarizzata può essere espresso esclusivamente in termini dei dati di risposta impulsiva rumorosi e dei parametri attuali del ROM.

• Derivano formule esplicite per $\nabla_{\hat{A}} J$, $\nabla_{\hat{B}} J$ e $\nabla_{\hat{C}} J$.
• Crucialmente, queste formule non dipendono dalla dimensione $n$ del sistema originale di alto ordine, rendendo il metodo scalabile per sistemi su larga scala.
• Ciò evita la necessità di risolvere equazioni di Lyapunov o Sylvester che coinvolgono le matrici originali sconosciute, il che sarebbe computazionalmente costoso ($O(n^3)$) e impossibile senza identificazione.

C. Algoritmo di Ottimizzazione

Il documento propone l'Algoritmo 1, un metodo basato sul gradiente (nello specifico una ricerca lineare con backtracking e condizione di Armijo) per risolvere il problema di ottimizzazione non convesso.

• Inizializzazione: L'algoritmo può essere inizializzato con un ROM ottenuto da metodi standard come ERA o con inizializzazione casuale.
• Convergenza: L'analisi teorica garantisce che la sequenza delle iterazioni converga a un punto stazionario della funzione obiettivo.

3. Contributi Chiave

1. Formulazione della MOR $h_2$ a tempo limitato regolarizzata: Il documento stabilisce un quadro per la minimizzazione dell'errore $h_2$ a tempo limitato direttamente dai dati rumorosi, incorporando un termine di regolarizzazione basato su kernel per gestire il rumore in modo robusto.
2. Rappresentazione del gradiente basata solo sui dati: Fornisce una derivazione matematica innovativa che dimostra come sia la funzione obiettivo che il suo gradiente possano essere calcolati utilizzando solo la sequenza di risposta impulsiva rumorosa, eliminando la necessità di identificazione del sistema o di accesso alle matrici del sistema originale.
3. Scalabilità: Il calcolo del gradiente è indipendente dalla dimensione del sistema originale $n$, rendendolo adatto per sistemi su larga scala dove gli approcci basati su modelli tradizionali sono non fattibili.
4. Robustezza al rumore: L'introduzione del termine di regolarizzazione affronta specificamente i problemi di sovradattamento comuni nella MOR basata su dati non regolarizzati in condizioni rumorose.

4. Risultati Sperimentali

Il metodo è stato validato utilizzando il benchmark del lettore CD dalla collezione SLICOT (discretizzato a $n=120$).

• Scenario a basso rumore ($\sigma = 10^{-3}$):
  • Il metodo proposto (con o senza regolarizzazione) ha ridotto con successo l'errore $h_2$ a tempo limitato relativo rispetto al modello ERA iniziale.
  • L'uso di ERA come punto di inizializzazione ha prodotto risultati finali migliori rispetto all'inizializzazione casuale.
• Scenario ad alto rumore ($\sigma = 0.5$):
  • Metodo non regolarizzato ($\lambda=0$): L'algoritmo ha sovradattato il rumore, risultando in un ROM finale con un errore maggiore rispetto al modello ERA iniziale.
  • Metodo regolarizzato ($\lambda > 0$): Il metodo proposto ha soppresso con successo il sovradattamento. Regolando $\lambda$, l'algoritmo è converso a un ROM con un errore significativamente inferiore rispetto al punto iniziale e alla versione non regolarizzata.
• Confronto con SysID+ERA:
  • Gli autori hanno confrontato il loro approccio di ottimizzazione diretta con una pipeline a due passaggi: Identificazione di Sistema basata su kernel seguita da ERA (SysID+ERA).
  • Risultato: Il metodo regolarizzato diretto proposto ha superato SysID+ERA a vari livelli di rumore. Ciò suggerisce che evitare il passaggio intermedio di stimare una risposta impulsiva completa (che introduce errori di stima) e ottimizzare direttamente il ROM è più efficace.
• Rumore Estremo: A livelli di rumore molto elevati ($\sigma=50$), le prestazioni sono peggiorate per tutti i metodi, indicando un limite al rapporto segnale-rumore che il metodo può gestire, sebbene l'approccio regolarizzato abbia comunque ottenuto i migliori risultati tra le alternative testate.

5. Significato

Questo documento è significativo perché colma il divario tra la teoria della riduzione ottimale del modello e i vincoli pratici basati sui dati.

• Ottimizzazione Diretta: Supera i paradigmi "identifica poi riduci", offrendo un approccio "riduci direttamente dai dati" che è matematicamente rigoroso riguardo alla norma $h_2$.
• Robustezza al Rumore: Integrando la regolarizzazione direttamente nell'obiettivo MOR, fornisce una soluzione robusta per scenari reali in cui i dati dei sensori sono intrinsecamente rumorosi.
• Efficienza Computazionale: La capacità di calcolare i gradienti senza conoscere la dimensione del sistema $n$ rende questo metodo applicabile a sistemi su scala molto grande dove le tecniche MOR tradizionali falliscono a causa di vincoli di memoria o computazionali.

In sintesi, gli autori presentano un algoritmo robusto, scalabile e teoricamente fondato per costruire modelli a ordine ridotto ottimali da dati rumorosi, dimostrando prestazioni superiori rispetto alle pipeline esistenti basate sull'identificazione in ambienti rumorosi.