Simultaneous Online System Identification and Control using Composite Adaptive Lyapunov-Based Deep Neural Networks

Riassunto Tecnico: Identificazione di Sistema Online Simultanea e Controllo mediante Reti Neurali Profonde Composite Adattive Basate su Lyapunov

Formulazione del Problema
I controllori basati su reti neurali profonde (DNN) sono ampiamente utilizzati per sistemi dinamici non lineari incerti, tuttavia gli approcci tradizionali si basano tipicamente su un pre-addestramento offline. In questi scenari, i pesi della DNN sono fissi durante l'esecuzione, limitando l'adattabilità e sollevando preoccupazioni riguardo all'affidabilità del modello quando si opera al di fuori del dataset di addestramento. Sebbene i recenti metodi di controllo adattivo basati su Lyapunov (Lb) consentano aggiornamenti online dei pesi per garantire l'inseguimento della traiettoria, essi si affidano esclusivamente al feedback dell'errore di inseguimento. Di conseguenza, questi metodi garantiscono la convergenza dell'errore di inseguimento ma non forniscono garanzie sull'identificazione del sistema (stima dei parametri). Senza un'identificazione accurata, la DNN non può generalizzare a traiettorie inesplorate e il controllore non può compensare efficacemente le incertezze durante la perdita intermittente del feedback di stato. Inoltre, estendere le leggi di adattamento composite—which combinano errori di inseguimento e di previsione-alle DNN è tecnicamente impegnativo a causa della struttura di non linearità nei parametri (NIP) delle DNN, dove i pesi degli strati interni sono incorporati all'interno di funzioni di attivazione non lineari annidate.

Metodologia
Il documento propone un controllore Lb-DNN adattivo composite che esegue simultaneamente l'identificazione online del sistema e l'inseguimento della traiettoria per sistemi non lineari del secondo ordine. La metodologia centrale coinvolge i seguenti componenti:

1. Osservatore Dinamico della Derivata di Stato: Per affrontare la difficoltà di ottenere l'errore di previsione (la discrepanza tra la dinamica reale e la stima della DNN) senza accesso diretto alla derivata dello stato sconosciuta, è stato progettato un osservatore dinamico della derivata di stato. Questo osservatore stima la funzione di deriva $f(x, \dot{x})$ utilizzando le misurazioni di stato disponibili e l'ingresso di controllo, eliminando efficacemente la necessità della derivata dello stato sconosciuta nella legge di adattamento.
2. Legge di Adattamento Composite: Viene costruita una nuova formulazione dell'errore di previsione utilizzando la stima della deriva dell'osservatore. Questo errore di previsione viene combinato con l'errore di inseguimento per formare una legge di adattamento composite basata sui minimi quadrati.
3. Gestione della Struttura NIP: Per superare le sfide poste dalla struttura NIP annidata delle DNN, la legge di adattamento utilizza lo Jacobiano della DNN rispetto ai suoi pesi. Viene applicata un'espansione in serie di Taylor del primo ordine all'output della DNN per esprimere l'errore di previsione in termini di errore di stima dei parametri, consentendo la formulazione della legge di adattamento nonostante la non linearità.
4. Analisi di Stabilità: Viene eseguita un'analisi di stabilità combinata basata su Lyapunov. L'analisi incorpora l'errore di inseguimento, l'errore di stima della derivata di stato e gli errori di stima dei pesi della DNN. Utilizza un operatore di proiezione per garantire che le stime dei parametri rimangano all'interno di un insieme limitato e impiega una matrice di guadagno dei minimi quadrati a tempo variabile con un fattore di oblio.

Contributi Chiave
Il documento rivendica i seguenti contributi principali:

• Primo Risultato su Identificazione e Controllo Simultanei: Questo lavoro presenta il primo risultato che ottiene l'identificazione online simultanea del sistema e l'inseguimento della traiettoria per sistemi non lineari utilizzando aggiornamenti online per tutti gli strati di una DNN.
• Nuova Formulazione dell'Errore di Previsione: Lo sviluppo di un errore di previsione basato su un osservatore dinamico della derivata di stato, che viene integrato con l'errore di inseguimento per costruire una legge di adattamento composite adatta alle incertezze NIP.
• Garanzie di Stabilità: L'analisi dimostra che l'errore di inseguimento, l'errore di stima della derivata di stato e gli errori di stima dei pesi della DNN sono limitati uniformemente in modo asintotico (UUB).
• Convergenza Esponenziale sotto PE: Sotto la condizione di persistenza di eccitazione (PE), si dimostra che gli errori di inseguimento e di stima dei pesi convergono esponenzialmente verso un intorno dell'origine. La dimensione di questo intorno e il tasso di convergenza dipendono dai guadagni di controllo e dal fattore PE.
• Generalizzazione per Feedback Intermittente: Raggiungendo un'identificazione accurata del sistema, il modello DNN identificato può essere propagato in avanti nel tempo per prevedere e compensare le dinamiche incerte durante la perdita intermittente del feedback di stato, a condizione che siano soddisfatte sufficienti condizioni di tempo di permanenza.

Risultati
Sono state condotte simulazioni comparative su due sistemi: un manipolatore robotico a due bracci e un veicolo subacqueo autonomo (UUV).

• Manipolatore Robotico: Il controllore Lb-DNN adattivo composite sviluppato ha dimostrato significativi miglioramenti delle prestazioni rispetto a un Lb-DNN adattivo basato sull'errore di inseguimento, a un controllore di rifiuto delle perturbazioni basato su osservatore, a un controllore PD non lineare e al controllo predittivo del modello non lineare (MPC). Nello specifico, il metodo composite ha ridotto l'errore quadratico medio (RMS) di inseguimento di circa il 50% rispetto alla linea di base basata sull'errore di inseguimento e ha ottenuto un miglioramento del 72% nell'errore medio di approssimazione della funzione su un dataset di test, indicando una generalizzazione superiore. Lo sforzo di controllo è stato comparabile o inferiore rispetto alle linee di base.
• Veicolo Subacqueo Autonomo (UUV): Nelle simulazioni che coinvolgono la perdita intermittente del feedback di stato, il Lb-DNN adattivo composite ha mantenuto prestazioni di inseguimento superiori rispetto a tutte le linee di base. Mentre le previsioni del metodo basato sull'errore di inseguimento divergevano rapidamente durante la perdita di feedback a causa della mancanza di garanzie di stima dei parametri, il metodo composite ha previsto e compensato con successo le dinamiche di deriva. L'approccio basato su osservatore ha prestazioni comparabili quando il feedback è disponibile, ma si degrada significativamente durante la perdita di feedback e richiede uno sforzo di controllo più elevato.

Significato
Il documento afferma che questo lavoro fornisce un passo fondamentale verso il controllo adattivo robusto in cui il controllore non solo traccia una traiettoria, ma impara anche le dinamiche sottostanti del sistema. Garantendo la stima dei parametri, il modello identificato acquisisce la capacità di generalizzare oltre la traiettoria esplorata. Questa capacità è critica per applicazioni safety-critical che coinvolgono guasti intermittenti dei sensori, dove il sistema deve fare affidamento su un modello interno per mantenere la stabilità. I risultati dimostrano che l'integrazione diretta dell'identificazione del sistema nel ciclo di controllo tramite adattamento composite produce benefici tangibili delle prestazioni sia in termini di accuratezza di inseguimento che di compensazione dinamica rispetto ai metodi che si concentrano esclusivamente sulla minimizzazione dell'errore di inseguimento.