Résumé Technique : Apprentissage par Renforcement Transférable via des Encodages Latents Probabilistes et Adaptation Dynamique des Politiques pour le Déploiement Sim-to-Real

1. Énoncé du Problème

Les agents d'apprentissage par renforcement (RL) profonds pour les systèmes cyber-physiques (par exemple, véhicules autonomes, robotique) sont généralement entraînés dans des simulateurs en raison du coût élevé et des risques de sécurité liés à l'exploration du monde réel. Cependant, le déploiement de ces agents dans des environnements réels entraîne souvent une dégradation des performances et des violations de sécurité causées par l'écart Sim-to-Real (Sim2Real) — le décalage inévitable entre les dynamiques simulées et réelles.

Les approches existantes font face à des compromis significatifs :

• Randomisation de Domaine : Améliore la robustesse mais manque de garanties de sécurité explicites et peut entraîner un entraînement instable.
• RL Distributionnellement Robuste / Sensible au Risque : Formule le transfert comme une optimisation au pire cas, améliorant la fiabilité sous des décalages de distribution sévères, mais aboutissant souvent à des politiques excessivement conservatrices et à une dégradation des performances de la tâche.
• Meta-RL / Adaptation de Domaine : Tente d'inférer des contextes latents mais suppose souvent des préférences de risque fixes, manquant de mécanismes pour réguler dynamiquement le compromis sécurité-performance lors du déploiement.

Le défi central abordé consiste à développer un agent RL transférable entraîné entièrement en simulation, tout en restant adaptatif et sûr lors du déploiement dans le monde réel, en gérant spécifiquement des dynamiques système non modélisées sans sacrifier l'efficacité.

2. Méthodologie

Les auteurs proposent un cadre unifié qui intègre des Encodages Latents de Contexte Probabilistes avec un Apprentissage par Renforcement Distributionnel (Distributional RL) dans une formulation de Processus de Décision Markovien Contraint (CMDP).

2.1. Adaptation de la Variable de Contexte Latente

Le cadre modélise l'environnement comme une famille de CMDP indexés par un paramètre d'environnement $\xi$. Pour combler l'écart, une variable de contexte latente $z$ est introduite pour encoder des informations spécifiques à l'environnement saillantes.

• Encodeur : Un réseau d'inférence $q_\phi(z|D_\xi)$ est entraîné pour estimer $z$ à partir d'un ensemble de contexte $D_\xi$ (échantillons de transition). L'encodeur est optimisé en utilisant une borne inférieure variationnelle qui inclut des critiques de récompense et de coût, ainsi qu'un goulot d'étranglement informationnel (divergence KL) pour éviter le surapprentissage.
• Inférence : Lors du déploiement, l'agent collecte un nombre limité d'interactions réelles ($N_{real}$) pour affiner l'estimation du contexte latent $\hat{z}_{\xi^*}$, permettant à la politique de conditionner ses actions sur l'état de l'environnement inféré.

2.2. Formulation du RL Distributionnel

Le cadre emploie des Réseaux de Quantiles Implicites (IQN) pour modéliser la distribution complète des retours (récompenses et coûts) plutôt que simplement leurs espérances.

• Critique : Le critique apprend des fonctions de quantiles $Z(s, a, z; \tau)$ pour la récompense et le coût.
• Acteur : Un acteur déterministe $\pi_\phi(s, z)$ est entraîné avec un objectif neutre au risque basé sur l'espérance des critiques IQN.

2.3. Adaptation Dynamique de la Politique Sensible au Risque

Une innovation clé est la capacité d'ajuster dynamiquement le niveau de risque de la politique déployée en fonction de la précision de l'estimation du contexte latent.

• Neutre au Risque vs Sensible au Risque : Alors que la politique d'entraînement est neutre au risque, la politique de déploiement peut être ajustée pour être sensible au risque en évaluant le critique de coût en utilisant des quantiles de queue supérieure $U([\eta, 1])$ au lieu de la plage complète $U([0, 1])$.
• $\eta$ Dynamique : Le paramètre de quantile $\eta$ est ajusté dynamiquement pendant le déploiement.
  • Phase Précoce : Lorsque $N_{real}$ est faible et que l'erreur d'estimation $\epsilon(N_{real})$ est élevée, un $\eta$ plus élevé (plus conservateur) est utilisé pour garantir des marges de sécurité.
  • Phase Ultérieure : À mesure que plus de contexte est collecté et que $\hat{z}$ devient précis, $\eta$ est progressivement diminué, permettant à la politique de devenir moins conservatrice et plus efficace, s'approchant éventuellement de la politique neutre au risque.
• Raffinement de l'Action : Un raffinement par gradient projeté en ligne et léger est appliqué à l'action nominale pour satisfaire la contrainte de coût consciente du risque sans mettre à jour les paramètres du réseau.

2.4. Garanties Théoriques

L'article fournit des preuves théoriques pour :

• Convergence : Les opérateurs de Bellman distributionnels conditionnés au contexte latent préservent la propriété de contraction, assurant la stabilité de l'entraînement.
• Majorant de Sécurité : Un théorème établit que le coût de la politique déployée est borné par $d + L_c \epsilon(N_{real})$, où $d$ est le seuil de sécurité et $\epsilon$ l'erreur d'estimation.
• Sécurité Conditionnelle : Il est prouvé que si la réduction de coût obtenue par la politique sensible au risque ($\Delta c$) dépasse l'augmentation de coût induite par l'erreur ($L_c \epsilon$), la contrainte de sécurité est satisfaite.
• Existence d'un Quantile Sûr : Les auteurs prouvent qu'il existe un quantile réalisable $\eta$ qui garantit la sécurité dès qu'un nombre suffisant d'échantillons de contexte ($N_{real} > N_{min}$) est collecté.

3. Contributions Clés

1. Cadre Unifié Sûr et Adaptatif : Un cadre basé sur les CMDP intégrant l'adaptation de contexte latent probabiliste avec le RL distributionnel, permettant un transfert de politique sûr et adaptatif sous un décalage Sim2Real.
2. Régulation du Risque au Moment de l'Inférence : Un mécanisme pour ajuster dynamiquement le niveau de risque de la politique déployée au moment de l'inférence en fonction de la précision de l'estimation du contexte latent, équilibrant sécurité et performance.
3. Garanties Théoriques de Sécurité : Des preuves concernant la convergence de l'entraînement, les avantages de l'adaptation de contexte latent, et une sécurité assurée sous l'écart Sim2Real via un majorant de sécurité dérivé.

4. Résultats Expérimentaux

La méthode a été évaluée sur deux tâches : POINTGOAL2 (OpenAI Safety Gym) et une tâche de Conduite Autonome (réduction des oscillations de peloton de véhicules).

• Comparaison des Performances :
  • Lignes de Base : Comparaison contre Nominal (sans randomisation), Randomisation de Domaine (D.R.), SPiDR (sécurité pessimiste prouvable) et RL Robuste.
  • Résultats : Lors du déploiement, Nominal, D.R. et RL Robuste ont obtenu des récompenses élevées mais ont subi de graves violations de coûts (violations de sécurité). SPiDR et la méthode proposée ont maintenu la sécurité, mais SPiDR était excessivement conservateur, conduisant à des récompenses plus faibles.
  • Méthode Proposée : A obtenu un compromis récompense-coût supérieur, maintenant les coûts en dessous du seuil de sécurité tout en obtenant des récompenses plus élevées que SPiDR. Dans la tâche de conduite autonome, elle a également réduit significativement les oscillations du trafic (O.R.), le à-coup (jerk) et la consommation de carburant par rapport aux contrôleurs de base.
• Adaptation Dynamique : Les expériences ont montré que le module d'adaptation dynamique sensible au risque a maintenu avec succès les coûts en dessous du seuil tout au long du déploiement. Le paramètre de risque $\eta$ est passé de conservateur à moins conservateur à mesure que plus de contexte réel était collecté.
• Sensibilité OOD : La méthode a maintenu la sécurité de manière cohérente à travers des niveaux Mild, Medium et High de distribution hors domaine (OOD), tandis que d'autres méthodes ont échoué sous des décalages OOD plus élevés.
• Étude d'Ablation : La suppression du module d'adaptation du risque a entraîné des violations de coûts, confirmant la nécessité de la régulation dynamique du risque. L'encodeur latent seul a amélioré les performances par rapport à la ligne de base nominale mais n'a pas garanti la sécurité sans l'adaptation du risque.

5. Importance et Revendications

L'article revendique que ce cadre adresse la limitation critique des méthodes Sim2Real existantes qui sacrifient soit l'efficacité pour la robustesse, soit ne garantissent pas la sécurité lors de la rencontre de dynamiques non modélisées. En modélisant explicitement l'incertitude du contexte de l'environnement et en régulant dynamiquement le risque, l'approche permet un démarrage sûr lors de la phase précoce de déploiement (lorsque le contexte est rare) et une opération efficace une fois que l'agent s'est adapté.

Les auteurs positionnent ce travail comme une étape vers le déploiement du RL dans des systèmes cyber-physiques critiques pour la sécurité où un entraînement direct est irréalisable. Ils notent que, bien que le travail actuel se concentre sur des environnements fixes mais inconnus, les orientations futures pourraient inclure la gestion d'environnements en changement continu (par exemple, changements soudains de la météo) via des mécanismes de détection de changement. Le cadre est également noté comme potentiellement adaptable aux contextes de RL hors ligne, bien que les limitations de données dans les contextes hors ligne réels posent des défis pour une estimation précise du contexte et de la distribution.