Safe and Optimal Variable Impedance Control via Certified Reinforcement Learning

1. Il Problema

Il campo della robotica sta passando da compiti industriali ripetitivi a ambienti dinamici e non strutturati che richiedono interazioni fisiche sicure. Per gestire ciò, i robot devono adattarsi a nuovi contesti e regolare dinamicamente la loro rigidità e smorzamento tramite il Controllo di Impedenza Variabile (VIC).
L'approccio attuale per apprendere tali comportamenti utilizza spesso l'Apprendimento per Rinforzo (RL), in particolare combinando Dynamic Movement Primitives (DMP) per la traiettoria e il VIC per l'interazione. Tuttavia, l'approccio RL "model-free" (senza modello) presenta rischi critici:

• Instabilità: L'esplorazione casuale dei guadagni di impedenza (rigidità e smorzamento) può violare le condizioni di stabilità di Lyapunov, portando a comportamenti instabili.
• Sicurezza: Le esplorazioni non vincolate possono causare collisioni con l'ambiente o con gli umani.
• Limiti degli attuatori: Le politiche apprese potrebbero richiedere coppie (torque) superiori ai limiti fisici del robot.
• Metodi esistenti: I metodi basati su modelli (come iLQR o MPC) sono computazionalmente costosi e dipendono dalla precisione del modello. I metodi RL esistenti usano spesso penalità di ricompensa o filtri di sicurezza a posteriori, che non garantiscono la stabilità durante l'apprendimento stesso.

2. Metodologia: C-GMS (Certified Gaussian-Manifold Sampling)

Gli autori introducono C-GMS, un nuovo framework di RL incentrato sulla traiettoria che garantisce stabilità e fattibilità degli attuatori "per costruzione" (by construction).

A. Parametrizzazione della Traiettoria e dei Guadagni

• Traiettorie (DMP): Le traiettorie sono parametrize utilizzando DMP, che permettono di generalizzare i movimenti verso nuovi punti finali.
• Guadagni di Impedenza (VIC): Invece di campionare direttamente i guadagni di rigidità $K(t)$ e smorzamento $D(t)$ da una distribuzione gaussiana (rischiando instabilità), C-GMS campiona da una varietà certificata.
• Variabili di Rilassamento (Slack): Per garantire che i guadagni soddisfino le condizioni di stabilità di Kronander & Billard [11], il metodo introduce variabili di rilassamento matriciali $S_D(t)$ e $S_K(t)$. I guadagni sono costruiti analiticamente in modo tale che le disuguaglianze di Lyapunov siano soddisfatte identicamente:
  • $\alpha H - D(t) = -S_D(t)S_D(t)^\top \preceq 0$
  • $\dot{K}(t) + \alpha \dot{D}(t) - 2\alpha K(t) = -S_K(t)S_K(t)^\top \preceq 0$
  • La rigidità $K(t)$ è mantenuta definita positiva tramite la sua fattorizzazione di Cholesky $Q(t)$.

B. Campionamento Certificato

Ogni perturbazione gaussiana nel processo di esplorazione (PI2 - Path Integral) viene campionata direttamente nello spazio delle variabili di rilassamento. Poiché la mappatura dalle variabili di rilassamento ai guadagni è progettata per soddisfare le condizioni di stabilità, ogni singola rollout (esecuzione) è garantita come stabile, eliminando la necessità di penalità di ricompensa per l'instabilità o filtri di sicurezza post-hoc.

C. Governatore dei Limiti degli Attuatori

Per gestire i limiti fisici dei motori (saturazione della coppia), il framework introduce un "governatore" che scala le variabili di rilassamento con un fattore $\beta \in [0, 1]$. Questo fattore viene calcolato in modo da massimizzare l'azione del controllo rimanendo all'interno dei limiti di coppia $\tau_{min} \leq \tau(\beta) \leq \tau_{max}$, preservando al contempo la certificazione di stabilità di Lyapunov.

D. Garanzie Teoriche

Il paper dimostra un teorema che garantisce che, anche in presenza di errori di modello e incertezze durante il deployment (rumore dei sensori, mismatch pianta-modello), l'errore di inseguimento rimane uniformemente limitatamente vincolato (Uniformly Ultimately Bounded - UUB).

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su un robot collaborativo Franka Research 3 (FR3) in un compito di consegna di un oggetto a un umano, con la presenza di un ostacolo da evitare.

• Confronto C-GMS vs. RL Non Vincolato:
  • Con C-GMS: Il robot impara una traiettoria stabile che passa attraverso un punto intermedio (via-point) per evitare l'ostacolo. I guadagni di impedenza si adattano localmente (aumentano vicino al punto critico) mantenendo la stabilità.
  • Senza C-GMS: Sebbene la funzione di costo (task cost) possa convergere, i guadagni di impedenza diventano instabili (autovalori positivi nelle condizioni di Lyapunov), portando a traiettorie oscillatorie e collisioni con l'ambiente o l'umano.
• Robustezza: Il sistema è stato testato su 5 scenari diversi con punti di partenza e arrivo variabili. In tutti i casi, C-GMS ha prodotto traiettorie stabili e senza collisioni.
• Gestione della Saturazione: L'uso del governatore ha permesso di eseguire compiti su hardware con limiti di coppia ridotti (simulando hardware meno potente) senza violare i limiti fisici, mantenendo la certificazione di stabilità.
• Metriche: I risultati mostrano bassi errori RMSE (Root Mean Square Error) nella posizione dell'end-effector e assenza di saturazione degli attuatori quando il governatore è attivo.

4. Contributi Chiave

1. Framework C-GMS: Un metodo di RL che unisce la ricerca di politiche senza modello con garanzie di stabilità rigorose, campionando da una varietà matematica definita.
2. Stabilità "By Construction": Eliminazione della necessità di penalità di ricompensa o filtri di sicurezza esterni; ogni politica esplorata è intrinsecamente stabile.
3. Gestione Integrata dei Limiti: Un meccanismo che adatta i guadagni per rispettare i limiti degli attuatori senza compromettere la certificazione di Lyapunov.
4. Garanzia di Robustezza: Dimostrazione teorica della limitatezza dell'errore di inseguimento in presenza di errori di modello.
5. Validazione Reale: Implementazione e verifica su un robot fisico reale in un compito di interazione uomo-robot collaborativo.

5. Significato e Implicazioni

Questo lavoro rappresenta un passo fondamentale verso l'uso sicuro dell'RL nella robotica fisica. Dimostra che è possibile apprendere comportamenti complessi e adattivi (come l'impedenza variabile) senza sacrificare la sicurezza.

• Sicurezza: Risolve il problema fondamentale dell'esplorazione "pericolosa" nel RL, rendendo l'apprendimento adatto a scenari reali con esseri umani.
• Affidabilità: Fornisce garanzie matematiche che sono spesso assenti nei metodi puramente data-driven.
• Futuro: Sebbene l'attuale metodo sia limitato a dinamiche in spazio libero (non gestisce ancora contatti complessi o vincoli di contatto diretto), apre la strada a futuri sviluppi per l'interazione fisica ricca di contatti e per compiti che richiedono un controllo dell'orientamento più sofisticato.

In sintesi, C-GMS trasforma il RL da un approccio "prova ed errore" potenzialmente pericoloso in un metodo di ottimizzazione sicuro, certificato e fisicamente realizzabile per il controllo robotico avanzato.