State-Space Neural Network with Ordered Variance for Model Order Determination

Sintesi Tecnica: Rete Neurale a Spazio di Stato con Varianza Ordinata per la Determinazione dell'Ordine del Modello

Definizione del Problema
Il documento affronta la sfida di identificare modelli non lineari a spazio di stato da set di dati di addestramento input-output, determinando simultaneamente un ordine del modello adeguato (dimensione dello stato). Sebbene le Reti Neurali a Spazio di Stato (SSNN) abbiano guadagnato popolarità nell'apprendimento di dinamiche non lineari, esse soffrono di problemi comuni ai Metodi di Errore di Predizione (PEM), tra cui la convergenza verso minimi locali e, criticamente, l'ordine dello stato ignoto. La selezione dell'ordine del modello richiede tipicamente tentativi ed errori, il che è computazionalmente costoso. I metodi esistenti per la determinazione dell'ordine del modello in autoencoder o modelli basati su kernel non sono stati estesi efficacemente alle SSNN.

Metodologia: Framework SSNNO
Gli autori propongono un nuovo framework denominato State-Space Neural Network with Ordered Variance (SSNNO). L'innovazione principale è l'integrazione di un termine di regolarizzazione della varianza nella funzione di perdita (loss function) della SSNN per imporre un ordinamento delle varianze degli stati.

1. Architettura e Addestramento:

   • La SSNNO mantiene la struttura standard di una SSNN, apprendendo le funzioni di stato ($x_{k+1} = f_{NN}(x_k, u_k)$) e di output ($y_k = g_{NN}(x_k)$) tramite reti neurali.
   • La funzione di perdita ($J$) combina l'Errore di Predizione Quadratico (SPE), un termine di regolarizzazione dei parametri per la sottorete di output e un nuovo termine di regolarizzazione della varianza ($J_v$).
   • Questo termine di pesatura penalizza le varianze campionarie degli stati predetti, pesate da una matrice diagonale $W = \text{diag}(w_1, \dots, w_d)$ dove i pesi sono strettamente crescenti ($0 \le w_1 < w_2 < \dots < w_d$).
   • Questo schema di pesatura incoraggia il processo di ottimizzazione a minimizzare le varianze degli stati terminali (quelli con pesi più elevati) verso livelli prossimi allo zero, preservando al contempo le varianze degli stati iniziali.

2. Determinazione e Riduzione dell'Ordine del Modello:

   • Stati Significativi vs. Residui: Dopo l'addestramento, gli stati sono ordinati per varianza ($V_{x_1} \ge V_{x_2} \ge \dots \ge V_{x_d}$). Viene applicata una soglia di tolleranza $\delta$ per classificare gli stati come "significativi" ($V_{x_i} > \delta$) o "residui" ($V_{x_i} \le \delta$).
   • SSNNO a Ordine Ridotto (R-SSNNO): L'ordine del modello viene ridotto mantenendo solo gli stati significativi. Gli stati residui sono approssimati dai loro valori medi e assorbiti nei parametri del modello del primo e dell'ultimo strato della sottorete di stato. Ciò produce un modello a ordine ridotto senza richiedere un nuovo addestramento.

3. Implementazione Pratica:

   • Riconoscendo che gli algoritmi di ottimizzazione locale potrebbero non convergere al minimo globale richiesto per un rigoroso ordinamento della varianza, gli autori propongono un algoritmo iterativo pratico (Algoritmo 1). Questo metodo permuta le variabili di stato di una soluzione ottimizzata localmente per soddisfare la condizione di ordinamento della varianza, ri-ottimizzando se necessario, finché non si ottiene una soluzione con varianza ordinata.

Contributi Teorici
Il documento fornisce garanzie teoriche formali riguardanti il framework proposto:

• Esistenza della Varianza Ordinata: Utilizzando la disuguaglianza di riarrangiamento, gli autori dimostrano che il minimizzatore globale della funzione di perdita proposta soddisfa intrinsecamente la condizione di ordinamento della varianza ($V_{x_1} \ge \dots \ge V_{x_d}$).
• Limite di Errore: Gli autori stabiliscono un limite superiore sull'errore di predizione dell'output della SSNNO rispetto a una SSNN standard. Dimostrano che il degrado nell'accuratezza della predizione dovuto alla regolarizzazione della varianza può essere limitato da una tolleranza specificata dall'utente, controllata dagli iperparametri $\alpha$ e $\beta$.

Risultati della Simulazione
L'efficacia della SSNNO è stata validata su un processo non lineare di Reattore CSTR (Continuous Stirred-Tank Reactor), che presenta una severa non linearità di guadagno.

• Identificazione dell'Ordine del Modello: Nelle simulazioni con un ordine reale del sistema pari a 2, la SSNNO (addestrata con una dimensione iniziale di 3) ha identificato con successo il terzo stato come avente una varianza trascurabile. Ciò ha permesso la derivazione di un modello R-SSNNO a ordine ridotto (2° ordine).
• Performance: I modelli R-SSNNO (ridotti al 2° e 1° ordine) hanno mantenuto un'accuratezza di predizione comparabile alla SSNNO a 3° ordine completo e alla SSNN standard, come evidenziato dalle metriche MSE sui dati di addestramento e di test.
• Robustezza: Simulazioni Monte Carlo attraverso vari livelli di rumore hanno confermato che l'ordinamento della varianza è costantemente raggiunto senza compromettere l'Errore di Predizione Quadratico (SPE).
• Applicazione al Controllo: Il modello R-SSNNO identificato è stato integrato con successo in uno schema di Controllo Predittivo basato su Filtro di Kalman Esteso (EKF/MPC). Il controllore ha tracciato efficacemente le traiettorie di temperatura di riferimento, correggendo il mismatch tra impianto e modello.

Significatività e Rivendicazioni
Il documento afferma che la SSNNO è il primo lavoro a incorporare l'ordinamento della varianza delle variabili di stato direttamente all'interno di un framework SSNN per risolvere il problema della determinazione dell'ordine del modello. La sua principale significatività risiede in:

1. Identificazione Simultanea: Permette l'identificazione simultanea del modello a spazio di stato non lineare e la determinazione di un ordine del modello adeguato partendo dai soli dati.
2. Riduzione Sistematica: Fornisce una procedura sistematica e non euristica per derivare modelli a ordine ridotto che mantengono le dinamiche essenziali minimizzando la complessità.
3. Rigore Teorico: Offre prove formali per l'esistenza di tali modelli ordinati e limiti sull'errore di predizione, affrontando la mancanza di garanzie teoriche in molti metodi di identificazione basati sui dati.

Gli autori concludono che, sebbene il metodo sia efficace per l'identificazione e il controllo, è necessario un lavoro futuro per estendere il framework al fine di fornire garanzie teoriche su controllabilità e stabilità.