C-STEP: Continuous Space-Time Empowerment for Physics-informed Safe Reinforcement Learning of Mobile Agents

1. Il Problema

La navigazione sicura in ambienti complessi rimane una sfida centrale per l'apprendimento per rinforzo (RL) nella robotica mobile. Sebbene i metodi RL abbiano dimostrato grande adattabilità, garantire la sicurezza in spazi continui e dinamiche temporali continue, specialmente in condizioni ambientali sconosciute, è difficile.
I metodi esistenti si basano spesso su:

• Funzioni di barriera di controllo (CBF) che impongono vincoli di sicurezza rigidi.
• Penalità additive nelle funzioni di ricompensa per comportamenti rischiosi.
• Approcci basati su modelli stocastici discreti.

Tuttavia, questi approcci possono essere limitati: le penalità additive sono spesso difficili da sintonizzare e le CBF richiedono una definizione esplicita e rigorosa degli stati sicuri. Inoltre, molte definizioni classiche di "empowerment" (capacità di controllo intrinseco) falliscono nei sistemi deterministici continui, portando a valori infiniti o non informativi a causa dell'assenza di rumore nel canale di trasmissione stato-azione.

2. Metodologia: C-STEP

Gli autori introducono C-STEP (Continuous Space-Time Empowerment), un nuovo framework per l'apprendimento per rinforzo sicuro, basato su una riformulazione dell'empowerment per sistemi dinamici deterministici continui.

A. Riformulazione dell'Empowerment

L'empowerment classico misura la capacità di un agente di influenzare i suoi futuri stati sensoriali. Nei sistemi deterministici continui, l'entropia condizionata diventa $-\infty$, rendendo l'empowerment infinito e inutile.
Gli autori propongono una nuova definizione (Definizione 2) che tratta l'empowerment come la massima entropia differenziale dello stato futuro, ottenuta massimizzando la distribuzione delle azioni.

• Concetto Chiave: Per un sistema deterministico, l'empowerment è equivalente al logaritmo del volume dello spazio raggiungibile (reachable set) da uno stato iniziale, mantenendo il sistema all'interno dello spazio di configurazione libero da collisioni ($X_{free}$).
• Formula: $E_T(x) = \log(\lambda(R_{T,free}(x)))$, dove $\lambda$ è la misura del volume e $R_{T,free}$ è l'insieme degli stati finali raggiungibili in un orizzonte temporale $T$ senza collisioni.

B. Funzione di Ricompensa Intrinseca Fisica-Informata

C-STEP non sostituisce la ricompensa di navigazione tradizionale, ma la potenzia. Viene definita una funzione di ricompensa "empowered" (Definizione 4):
$$r(x) := r_d(x) \cdot \log(c \cdot \lambda(R_{T,free(x)}))$$
Dove:

• $r_d(x)$ è la ricompensa di navigazione standard (es. distanza dal target).
• $c$ è un coefficiente di sicurezza che scala l'importanza della sicurezza.
• Il termine logaritmico agisce come un moltiplicatore intrinseco: se lo spazio raggiungibile sicuro è piccolo (rischio di collisione), la ricompensa totale diminuisce drasticamente, incentivando l'agente a scegliere stati con maggiore "manovrabilità futura".

C. Approssimazione Basata sul Campionamento

Poiché calcolare il volume esatto dello spazio raggiungibile è intrattabile, gli autori propongono un algoritmo di approssimazione (Algoritmo 1):

1. Campionare $N$ traiettorie di controllo ammissibili dall'attuale stato.
2. Simulare le traiettorie risultanti usando la dinamica in avanti (forward dynamics).
3. Classificare le traiettorie in "libere da collisioni" o "terminanti" (collisioni).
4. Stimare i volumi degli insiemi finali utilizzando l'involucro convesso (convex hull) dei punti terminali.
5. Calcolare l'empowerment approssimato come differenza logaritmica dei volumi.

Questo approccio è agnostico rispetto al metodo di campionamento e non richiede una mappa globale o informazioni a priori sugli ostacoli; necessita solo di un simulatore o di una funzione di rilevamento per distinguere tra traiettorie terminate e non.

3. Contributi Chiave

1. Nuova Definizione di Empowerment: Adattamento dell'empowerment per sistemi dinamici deterministici continui, risolvendo il problema dell'infinito nelle definizioni classiche.
2. Design di Ricompensa Fisica-Informata: Introduzione di un termine di ricompensa intrinseco che incorpora gli stati interni del sistema (es. velocità) e la dinamica in avanti per valutare la sicurezza, senza sostituire le ricompense di compito esistenti.
3. Indipendenza dall'Ambiente: Il metodo non richiede una mappa globale degli ostacoli, ma si basa sulla capacità di rilevare se una traiettoria futura porta a una collisione (terminazione).
4. Interpretabilità: L'agente impara a massimizzare il volume dello spazio raggiungibile, il che corrisponde intuitivamente a mantenere un margine di sicurezza e opzioni future.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti in ambienti 2D (labirinto a punti) e 3D (drone in PyBullet) utilizzando l'algoritmo PPO (Proximal Policy Optimization).

• Ambiente Labirinto (2D):

  • Gli agenti "non potenziati" (unempowered) tendono a scegliere il percorso più breve ma rischioso (stretto), subendo molte collisioni.
  • Gli agenti "potenziati" (empowered) imparano a preferire percorsi più lunghi ma più ampi e sicuri, dimostrando un cambiamento comportamentale verso la priorità della sicurezza.

• Ambiente Drone (3D):

  • Test su 100 configurazioni di mappe diverse con ostacoli randomizzati.
  • Tasso di Successo: L'agente empowered con coefficiente di sicurezza $c=0.5$ ha raggiunto un 99% di successo, contro l'82% dell'agente baseline.
  • Tempo di Transito: L'aumento del tempo necessario per completare il compito è marginale (es. da 6.56s a 7.63s per $c=0.5$).
  • Sicurezza Prossimità: Gli agenti empowered hanno passato significativamente meno tempo vicino agli ostacoli. Ad esempio, l'agente con $c=1$ ha passato il 72,61% di tempo in meno entro 0.1m dagli ostacoli rispetto al baseline, con un aumento di velocità solo del 18,4%.

5. Significato e Conclusioni

Il paper dimostra che C-STEP offre un approccio interpretabile e fisico alla sicurezza nell'RL. A differenza dei metodi che impongono vincoli rigidi o penalità additive, C-STEP modella l'ambiente di ricompensa per creare una motivazione intrinseca alla sicurezza: l'agente evita gli ostacoli non perché "punito", ma perché mantenere un ampio spazio di manovra futuro massimizza la sua ricompensa totale.

Punti di forza:

• Funziona bene in combinazione con metodi RL standard (può essere sovrapposto ad altri approcci sicuri).
• Non richiede modelli differenziabili o mappe globali, rendendolo adatto a sistemi reali con incertezze.
• Bilancia efficacemente completamento del compito e sicurezza, con costi minimi in termini di efficienza temporale.

Limitazioni e Lavori Futuri:

• Attualmente basato su sistemi deterministici (sebbene estendibile a stocastici).
• Manca un confronto quantitativo diretto con altre metodologie di Safe RL (come le CBF) per valutare i compromessi specifici tra i paradigmi.
• La scelta dell'orizzonte temporale $T$ e del numero di campioni richiede tuning.

In sintesi, C-STEP rappresenta un passo avanti verso sistemi robotici mobili più robusti e sicuri, utilizzando principi di teoria dell'informazione e dinamica fisica per guidare l'apprendimento autonomo.