Learning Input-Constrained Funnel Controllers from State Trajectory Data

Sintesi Tecnica: Apprendimento di Controllori a Imbuto con Vincoli di Input da Traiettorie di Stato

Formulazione del Problema
Il documento affronta la sfida di progettare controllori di feedback per sistemi non lineari control-affine che soddisfino specifiche di prestazione predefinite (comportamento transitorio e a regime) rispettando rigorosamente vincoli di input rigidi. I metodi tradizionali di Controllo a Prestazione Prescritta (PPC) e di Controllo a Imbuto (FC) spesso faticano sotto i limiti degli attuatori: specifiche di prestazione aggressive possono eccedere l'autorità di controllo disponibile, mentre progettazioni conservative sacrificano le prestazioni. Inoltre, gli approcci basati sull'apprendimento esistenti richiedono tipicamente coppie stato-input per ricostruire le policy degli esperti o apprendere certificati di sicurezza, mentre molti scenari pratici (ad es. teleoperazione, motion capture) forniscono solo dati sulle traiettorie di stato senza i corrispondenti input di controllo. Il problema centrale è la sintesi congiunta di un imbuto di prestazione variabile nel tempo e di un controllore di feedback utilizzando esclusivamente dati di stato, garantendo che il comportamento appreso sia fattibile sotto vincoli di attuazione rigidi senza dover ricostruire la policy dell'esperto.

Metodologia
Gli autori propongono un framework basato sull'ottimizzazione che apprende congiuntamente un imbuto di prestazione e un guadagno di feedback dipendente dallo stato.

1. Modello di Sistema e Assunzioni: Il sistema è modellato come $\dot{x} = f(x) + G(x)u$ con vincoli di input componenti rigidi $|u_i| \leq \bar{u}_i$. L'approccio assume l'accesso a un modello nominale $(\hat{f}, \hat{G})$ con incertezza limitata e un insieme compatto $X_c$ contenente le traiettorie dimostrate.
2. Parametrizzazione dell'Imbuto: I confini dell'imbuto di prestazione $\rho(t)$ sono parametrizzati utilizzando B-spline cubiche. Vengono imposte restrizioni per garantire:
   • Positività: L'imbuto rimane strettamente positivo.
   • Limiti basati sui Dati: I confini dell'imbuto giacciono entro inviluppi di quantile empirici ($\alpha$ e $\beta$) derivati dalle traiettorie di stato, assicurando che l'imbuto catturi il comportamento dominante delle dimostrazioni pur essendo robusto agli outlier.
   • Dinamica: Vincoli sulle prime e seconde derivate dell'imbuto garantiscono la fluidità e limitano il tasso di contrazione.
3. Parametrizzazione del Controllore: Il controllore combina la compensazione del modello nominale con un guadagno di feedback dipendente dallo stato appreso. La legge di controllo è $u = \text{sat}_{\bar{u}}(u_d)$, dove l'input desiderato $u_d$ compensa il drift nominale e la dinamica dell'imbuto, e una matrice di guadagno diagonale $K(\xi; w)$ (parametrizzata da Funzioni di Base Radiale) fornisce feedback sull'errore trasformato $\xi$.
4. Procedura di Sintesi: Il problema di sintesi congiunta è non convesso a causa dell'operatore di saturazione. Gli autori sviluppano una procedura di sintesi a set attivo guidata dalla fattibilità:
   • Ciclo Esterno: Risolve un programma lineare per trovare i parametri dell'imbuto ($\theta$) per un dato fattore di scala del tasso di contrazione $v$.
   • Ciclo Interno: Per parametri dell'imbuto fissati, risolve una sequenza di programmi quadratici convessi per trovare i pesi del guadagno ($w$). Questo ciclo aggiorna iterativamente il "pattern di saturazione" (quali input sono saturi rispetto a quelli non saturi) per gestire la non convessità della funzione di saturazione.
   • Verifica: Una coppia candidata viene accettata solo se la condizione di diminuzione di Lyapunov è soddisfatta in tutti i punti campionati delle dimostrazioni all'interno dell'imbuto, tenendo conto degli input effettivamente saturati.

Contributi Chiave

• Sintesi Congiunta basata sui Dati: Un framework che apprende sia un imbuto di prestazione variabile nel tempo sia un controllore PPC con vincoli di input da traiettorie di solo stato, senza richiedere dati di input dell'esperto o ricostruzione della policy.
• Procedura a Set Attivo Guidata dalla Fattibilità: Un approccio algoritmico innovativo per risolvere il problema di sintesi non convesso risultante, fissando iterativamente i pattern di saturazione, permettendo così di gestire esplicitamente la saturazione dell'input durante il processo di apprendimento.
• Garanzie Teoriche Complementari:
  • Un certificato conservativo semi-globale basato sull'autorità dell'attuatore, che garantisce la prestazione prescritta e la soddisfazione dell'input se l'autorità di controllo è sufficientemente grande rispetto alla dinamica del sistema e all'incertezza del modello.
  • Un certificato locale basato sui dati che garantisce tali proprietà vicino a traiettorie dimostrate sufficientemente dense, basandosi sulla regolarità Lipschitz e sulla copertura dei dati piuttosto che su vincoli di attuazione uniformi.

Risultati
Il metodo è stato validato su un sistema a serbatoi accoppiati non lineari con incertezza del modello e vincoli di input rigidi.

• Generazione dei Dati: Sono state generate 30 traiettorie esperte eterogenee utilizzando vari controllori PPC con diversi guadagni e imbuti.
• Esito dell'Apprendimento: Il framework ha appreso con successo un singolo controllore in forma chiusa e un imbuto unificato che cattura il comportamento transitorio e a regime delle diverse dimostrazioni.
• Prestazioni: Il controllore appreso ha mantenuto le traiettorie in loop chiuso strettamente all'interno dell'imbuto appreso per 20 condizioni iniziali non viste. Fondamentalmente, gli input di controllo hanno rispettato i limiti rigidi degli attuatori in tutte le simulazioni.
• Confronto: A differenza del PPC model-free che otteneva solo una regolazione pratica a causa del drift non modellato, l'approccio model-based proposto ha compensato il drift e ha ottenuto una convergenza esponenziale verso l'origine rispettando i limiti di input.

Significatività e Rivendicazioni
Il documento sostiene di affrontare un problema precedentemente non trattato: la sintesi congiunta di specifiche di prestazione e controllori da dati di solo stato sotto vincoli di input rigidi. Gli autori sottolineano che il loro approccio differisce dall'imitation learning poiché non ricostruisce una policy dell'esperto, e dal PPC standard poiché tiene esplicitamente conto della saturazione dell'attuatore durante la fase di sintesi. La significatività risiede nel fornire un modo sistematico per estrarre attributi di prestazione fattibili dalle dimostrazioni e implementarli con un controllore che è garantito nel rispettare i limiti fisici degli attuatori, supportato sia da vincoli teorici conservativi che da garanzie locali basate sui dati. Il lavoro è modesto nel suo ambito, concentrandosi su sistemi non lineari con modelli nominali noti e incertezza limitata, e riconosce che il certificato semi-globale può essere conservativo.