C-STEP: Continuous Space-Time Empowerment for Physics-informed Safe Reinforcement Learning of Mobile Agents

1. Problématique

La navigation sûre dans des environnements complexes reste un défi majeur pour l'apprentissage par renforcement (RL) en robotique mobile. Les méthodes existantes, telles que les fonctions de barrière de contrôle (CBF) ou les pénalités de récompense additives, présentent des limites :

• Elles peinent souvent à gérer les dynamiques continues espace-temps et les conditions environnementales inconnues.
• Les pénalités additives peuvent être difficiles à régler et ne capturent pas toujours la complexité des états internes du système (comme la vitesse initiale) qui précèdent une instabilité.
• Il existe un besoin d'une approche intrinsèque qui encourage la sécurité sans imposer de contraintes explicites et rigides, tout en restant interprétable.

2. Méthodologie : C-STEP

Les auteurs proposent C-STEP (Continuous Space-Time Empowerment for Physics-informed), un nouveau cadre de RL sûr basé sur une reformulation du concept d'empowerment (autonomisation) pour les systèmes déterministes en temps continu.

A. Reformulation de l'Empowerment

L'empowerment classique, défini comme la capacité d'un agent à contrôler ses futurs états de capteurs, devient infini dans les systèmes déterministes continus (car l'entropie conditionnelle tend vers $-\infty$).
Pour résoudre cela, les auteurs définissent l'empowerment pour un agent déterministe comme la maximisation de l'entropie différentielle de la distribution des états futurs.

• Mathématiquement, cela équivaut au logarithme du volume de l'ensemble des états atteignables ($\lambda(R_{T,free}(x))$) à partir d'un état initial $x$ sur un horizon de temps $T$, tout en restant dans l'espace de configuration sans collision ($X_{free}$).
• Un grand volume atteignable signifie que l'agent a beaucoup d'options futures, ce qui est un indicateur intrinsèque de sécurité.

B. Approximation par Échantillonnage

Le calcul exact du volume est souvent intraitable. C-STEP utilise une approximation par échantillonnage (Algorithme 1) :

1. Génération de $N$ trajectoires de contrôle admissibles sur l'horizon $T$.
2. Simulation de la dynamique vers l'avant (forward dynamics) pour chaque trajectoire.
3. Classification des trajectoires en "sans collision" (ensemble atteignable $R$) et "avec collision" (ensemble terminal $T$).
4. Estimation du volume atteignable sûr via l'enveloppe convexe des points finaux.

• Avantage clé : Cette méthode ne nécessite pas de carte globale ni de connaissance a priori des obstacles, seulement un simulateur capable de détecter les collisions.

C. Fonction de Récompense Intrinsèque

L'apport principal est la conception d'une fonction de récompense "empowerée" qui combine la tâche de navigation et la sécurité :
$$r(x) := r_d(x) \cdot \log(c \cdot \lambda(R_{T,free}(x)))$$
Où :

• $r_d(x)$ est la récompense de tâche (ex: distance vers l'objectif).
• $c$ est un coefficient de sécurité ajustable.
• Le terme logarithmique agit comme un multiplicateur intrinsèque : plus l'agent se trouve dans un état offrant un grand volume d'options futures sûres, plus la récompense est élevée.

3. Contributions Clés

1. Nouvelle définition de l'empowerment : Adaptation du concept pour les systèmes dynamiques déterministes continus, reliant la sécurité au volume des ensembles atteignables.
2. Récompense Physique-Informée : Une fonction de récompense qui intègre les états internes (vitesse, dynamique) et la dynamique vers l'avant pour évaluer la sécurité, plutôt que de se fier uniquement à des pénalités externes.
3. Approche Modulaire : C-STEP ne remplace pas les fonctions de récompense existantes mais les complète. Il peut être superposé à n'importe quelle fonction de récompense positive et combiné avec d'autres méthodes de RL sûr (comme les CBF).
4. Indépendance de l'environnement : La méthode ne nécessite pas de modèle global de l'environnement, seulement la capacité de simuler des trajectoires et de détecter les terminaisons (collisions).

4. Résultats Expérimentaux

Les auteurs ont évalué C-STEP sur deux environnements de navigation (2D et 3D) en utilisant l'algorithme PPO (Proximal Policy Optimization) :

• Labyrinthe de points (2D) : L'agent "non empowered" choisit le chemin le plus court mais risqué (passage étroit), entraînant plus de collisions. L'agent "empowered" apprend spontanément à prendre un chemin plus long mais plus large et plus sûr.
• Drone PyBullet (3D) : Comparaison sur 100 configurations de cartes aléatoires.
  • Taux de réussite : L'agent empowered avec un coefficient de sécurité $c=0.5$ atteint un taux de réussite de 99 %, contre 82 % pour l'agent de base.
  • Temps de parcours : L'augmentation du temps de parcours est marginale (ex: de 6,56s à 7,63s pour $c=0.5$).
  • Proximité aux obstacles : Les agents empowered passent significativement moins de temps à proximité des obstacles. Par exemple, l'agent avec $c=1$ passe 72,6 % de temps en moins à moins de 0,1 m d'un obstacle par rapport à la base.

5. Signification et Conclusion

C-STEP offre une approche interprétable et physique pour façonner les récompenses en RL.

• Philosophie : Au lieu d'interdire explicitement certains états (contraintes dures), C-STEP motive l'agent à maximiser sa "manœuvrabilité future". Un agent qui maintient un grand volume d'options sûres est intrinsèquement plus robuste.
• Positionnement : La méthode se situe entre le RL sans modèle (model-free) et le RL basé sur modèle. Elle nécessite un simulateur pour l'estimation de la récompense mais n'exige pas de fonctions de transition différentiables ni de modèles de sécurité explicites.
• Impact : Cette méthode permet d'obtenir des politiques de navigation plus sûres avec un compromis minimal sur l'efficacité de la tâche, en exploitant la dynamique du système pour guider l'apprentissage.

En résumé, C-STEP transforme la sécurité d'une contrainte externe en une motivation interne basée sur la capacité de contrôle de l'agent sur son futur, offrant une solution prometteuse pour la navigation autonome de robots mobiles.