Online Learning for Supervisory Switching Control

1. Il Problema

Il lavoro affronta il problema del controllo a commutazione supervisore per sistemi dinamici lineari discreti parzialmente osservati con parametri incogniti.

• Contesto: Si dispone di una collezione di $N$ controllori candidati. Il sistema vero e proprio appartiene a un insieme di modelli noti, ma non si sa quale sia quello corretto (l'indice $i^*$ è sconosciuto).
• Sfida principale: Alcuni dei controllori candidati potrebbero essere instabili se applicati al sistema vero. L'obiettivo è identificare e attivare il miglior controllore (quello che stabilizza il sistema e ne ottimizza le prestazioni) in tempo finito, senza causare la divergenza del sistema durante la fase di esplorazione.
• Limiti degli approcci esistenti:
  • I metodi classici basati su stimatori garantiscono stabilità asintotica ma mancano di limiti quantitativi su tempi di convergenza (non-asintotici).
  • I metodi moderni di identificazione del sistema e apprendimento online (es. banditi multi-braccio) richiedono spesso l'assunzione di stabilità del sistema o osservabilità completa degli stati, condizioni che non sono soddisfatte in questo scenario (dove si devono testare controllori potenzialmente instabili su sistemi parzialmente osservati).

2. Metodologia

Gli autori propongono un algoritmo di apprendimento online che adatta le tecniche dei banditi multi-braccio (Multi-Armed Bandit - MAB) al contesto del controllo, superando le dipendenze dallo stato tipiche dei problemi di Reinforcement Learning.

Architettura dell'Algoritmo (Algorithm 1)

L'algoritmo opera in "episodi" di lunghezza fissa $\tau$. In ogni episodio, viene applicato un singolo controllore candidato. Alla fine dell'episodio, viene calcolato un punteggio basato su due criteri di valutazione.

Criteri di Valutazione Innovativi

La novità fondamentale risiede nella capacità di isolare l'effetto degli stati iniziali (che dipendono dalla storia precedente) sfruttando l'osservabilità del sistema. Questo permette di valutare le prestazioni intrinseche del controllore senza dover resettare il sistema.

1. Criterio 1: Rilevamento dell'Instabilità ($S^{(1)}$)

   • Obiettivo: Distinguere i controllori che destabilizzano il sistema da quelli stabili.
   • Meccanismo: Utilizza la matrice di osservabilità per ricostruire una stima dello stato iniziale $\hat{x}_1$ dai dati di uscita osservati durante l'episodio. Viene poi simulata una traiettoria prevista basata su questo stato stimato.
   • Logica: Se il controllore è instabile, l'errore di previsione (residuo) crescerà esponenzialmente a causa della modalità esplosiva del sistema, superando una soglia statistica. Se il controllore è corretto, il residuo rimane limitato dal rumore.

2. Criterio 2: Identificazione del Sistema ($S^{(2)}$)

   • Obiettivo: Distinguere il controllore corretto tra quelli che sono stabili ma non ottimali (non corrispondenti al modello vero).
   • Meccanismo: Utilizza l'identificazione del sistema tramite Minimi Quadrati Ordinari (OLS) sui parametri di Markov.
   • Logica: Sfruttando direzioni critiche pre-calcolate (basate sulla differenza tra i parametri di Markov dei modelli candidati), l'algoritmo stima la discrepanza tra il modello associato al controllore e il sistema vero. Se la discrepanza è significativa, il punteggio viene penalizzato.

Strategia di Selezione

L'algoritmo combina i due criteri in un punteggio totale $S$. Utilizza una strategia ispirata all'Upper Confidence Bound (UCB): seleziona il controllore che massimizza la somma del punteggio medio storico più un termine di esplorazione. Questo bilancia l'esplorazione (testare controllori poco usati) e lo sfruttamento (usare i controllori promettenti).

3. Risultati Principali

Il lavoro fornisce garanzie non-asintotiche (finite-time) con complessità indipendente dalla dimensione del sistema (dimension-free).

• Complessità Campionaria: L'algoritmo identifica il controllore corretto con alta probabilità in $O(N \log N)$ episodi. Questo rappresenta un miglioramento esponenziale rispetto al lavoro precedente degli stessi autori [29], che richiedeva $O(\exp(N))$ passi.
• Stabilità del Sistema (Guadagno L2): L'algoritmo garantisce che la traiettoria del sistema chiuso abbia un guadagno L2 finito rispetto ai disturbi di processo e di misura.
  • Viene fornita una bound quantitativa sulla crescita dello stato durante la fase di esplorazione: $\sum \|x_t\|^2 \leq C_0 (\sum \|u_t\|^2 + \|w_t\|^2) + C_1 (\dots)$.
  • Il termine $C_0$ dipende esponenzialmente dal numero di episodi esplorativi, riflettendo il costo inevitabile del test di controllori instabili, ma è comunque finito.
• Indipendenza dallo Stato Iniziale: A differenza degli approcci RL standard, il metodo proposto non richiede il reset del sistema tra gli episodi, gestendo le dipendenze temporali attraverso la stima dello stato iniziale basata sull'osservabilità.

4. Contributi Chiave

1. Analisi Non-Asintotica: Prima analisi che fornisce limiti quantitativi di tempo finito per il controllo a commutazione supervisore in setting parzialmente osservati.
2. Superamento delle Assunzioni di Stabilità: Il metodo non assume che il sistema sia stabile durante l'esplorazione, permettendo di testare controllori potenzialmente instabili in sicurezza (con probabilità controllata).
3. Isolamento degli Effetti dello Stato: L'uso dell'osservabilità per "pulire" i dati dall'influenza degli stati storici permette di applicare logiche di apprendimento simili ai banditi multi-braccio in un contesto dinamico complesso.
4. Efficienza: Riduzione drastica della complessità campionaria da esponenziale a quasi lineare ($O(N \log N)$).

5. Significato e Impatto

Questo lavoro colma un divario significativo tra la teoria del controllo classico (stabilità asintotica) e l'apprendimento automatico moderno (garanzie finite-time).

• Applicabilità: È rilevante per sistemi critici come reti elettriche, veicoli autonomi e gestione sanitaria, dove un singolo controllore non può gestire tutte le condizioni operative e l'identificazione errata può portare a instabilità.
• Sicurezza: Fornisce un framework matematico rigoroso per esplorare attivamente lo spazio dei controllori senza compromettere la sicurezza del sistema a lungo termine, garantendo che l'energia accumulata durante l'esplorazione rimanga limitata.
• Futuro: Apre la strada a metodi di identificazione e controllo adattivo che non richiedono la conoscenza completa dello stato o la stabilità a priori, rendendo l'apprendimento online più robusto per sistemi reali complessi.