🤖 machine learning

Stochastic Decision Horizons for Constrained Reinforcement Learning

Ce papier présente les Horizons de Décision Stochastiques (SDH), un cadre théoriquement fondé qui garantit la satisfaction des contraintes à chaque étape en apprentissage par renforcement contraint en modélisant les violations comme des raccourcissements effectifs de l'horizon, conduisant à de nouveaux algorithmes hors politique tels que VT-MPO qui obtiennent des compromis récompense-violation et une stabilité d'entraînement supérieurs par rapport aux méthodes de l'état de l'art.

Auteurs originaux : Nikola Milosevic, Leonard Franz, Daniel Haeufle, Georg Martius, Nico Scherf, Pavel Kolev

Publié 2026-05-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nikola Milosevic, Leonard Franz, Daniel Haeufle, Georg Martius, Nico Scherf, Pavel Kolev

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à marcher. Dans l'ancienne méthode (appelée Processus de Décision Markoviens Contraints ou CMDPs), vous donnez au robot un « budget » d'erreurs qu'il peut commettre. Pensez-y comme à une carte de crédit : « Vous pouvez marcher sur l'herbe 10 fois avant d'avoir des ennuis. » Le robot pourrait marcher prudemment un moment, puis prendre un risque énorme, marcher sur l'herbe 9 fois de suite, et rester encore « en sécurité » car il n'a pas encore atteint la limite. Cela fonctionne pour des choses comme la consommation de carburant, mais c'est dangereux pour des choses comme un robot qui tombe ou le rythme cardiaque d'un patient qui s'emballe, où une seule mauvaise étape provoque une catastrophe immédiate.

Ce papier propose une nouvelle façon d'enseigner aux robots, appelée Horizons de Décision Stochastiques (SDH). Au lieu d'un budget de carte de crédit, le SDH traite chaque étape comme un « contrôle de survie ».

L'idée centrale : l'analogie du « verre fragile »

Imaginez que le robot marche sur un sol fait de verre fragile.

L'ancienne méthode (Budget) : Le sol possède un compteur. Si le robot marche trop fort, le compteur augmente. Tant que le compteur est en dessous de 10, le robot va bien. Il pourrait apprendre à sauter frénétiquement, espérant ne pas atteindre la limite.
La nouvelle méthode (SDH) : Chaque fois que le robot fait un pas, il y a une chance que le verre se fissure. Si l'étape est sûre, le verre reste solide. Si l'étape est dangereuse (une « violation »), le verre devient légèrement plus fragile. Si le robot fait une très mauvaise étape, le verre pourrait se briser complètement, et la « vie » du robot dans cette session d'entraînement spécifique se termine immédiatement.

Dans le SDH, une violation n'ajoute pas simplement un point à un score ; elle raccourcit l'avenir du robot. Si le robot sait qu'une mauvaise étape pourrait mettre fin à sa « vie » dès maintenant, il apprend à être prudent à chaque fois, et pas seulement lorsqu'il est proche de sa limite budgétaire.

Deux façons de gérer un « verre fissuré »

Le papier explore deux philosophies différentes sur ce qui se passe après que le verre se fissure (une violation se produit) :

L'« État absorbant » (AS-SAC) : Imaginez que le verre se brise et que le robot tombe dans un trou noir. Il cesse de prendre des décisions entièrement. C'est partie terminée pour cette tentative spécifique. Le robot apprend que s'il fait une erreur, il perd toutes les récompenses futures. C'est comme un « arrêt brutal ».
La « Terminaison virtuelle » (VT-MPO) : Imaginez que le verre se fissure, et que le robot est toujours debout, mais qu'il est maintenant « fantomatique ». Il peut toujours bouger ses jambes et prendre des décisions, mais il ne peut plus gagner de points (récompenses) pour ses actions. C'est comme jouer à une vidéo où vous êtes toujours en vie, mais votre score est figé à zéro. Le robot continue de bouger, mais il apprend que les mauvais mouvements rendent son avenir sans valeur.

Le papier constate que la deuxième méthode (VT-MPO) est souvent plus stable et plus facile à entraîner, en particulier pour des tâches complexes.

La grande percée : la marche réaliste

Les auteurs ont testé cela sur un robot humanoïde très complexe et réaliste avec 90 muscles (appelé H2190). Enseigner à ce robot à marcher naturellement sans tomber ni se blesser est un défi énorme.

Le problème : Les méthodes précédentes tentaient d'équilibrer « marcher vite » et « utiliser moins d'énergie » en changeant constamment les règles (comme un enseignant qui crie : « Marchez plus vite ! » puis « Ralentissez ! »). Cela rendait l'entraînement du robot instable et prenait beaucoup de temps.
Le résultat : En utilisant le SDH (spécifiquement la méthode VT-MPO), le robot a appris à marcher aussi réaliste que les meilleures méthodes précédentes, mais il l'a fait 4 fois plus vite et avec un entraînement beaucoup plus stable. Il n'avait pas besoin de changements de règles constants ; il a simplement appris que les mauvaises étapes raccourcissent son avenir, il a donc naturellement trouvé un moyen sûr et efficace de marcher.

Quand cela fonctionne-t-il ? (La règle de l'« échelle unique »)

Le papier explique également quand cette méthode fonctionne le mieux.

Cela fonctionne très bien lorsque les dangers sont cohérents. Par exemple, si chaque fois que le robot marche trop fort, c'est un risque « moyen » qui raccourcit un peu sa vie. C'est comme marcher sur un sol où chaque carrelage desserré est également dangereux.
Cela peine lorsque les dangers sont mélangés. Imaginez un sol où 99 % du temps, marcher sur un carrelage ne fait rien, mais 1 % du temps, marcher sur un carrelage fait exploser tout le bâtiment. La méthode de « survie » pourrait ne pas détecter cette explosion massive et rare car elle est habituée à de petites fissures fréquentes. Dans ces cas, l'ancienne méthode de « budget » pourrait encore être nécessaire.

Résumé

Ce papier introduit une façon plus intelligente d'enseigner la sécurité aux robots. Au lieu de leur donner un « budget » pour les erreurs, il leur enseigne que chaque erreur réduit leur avenir. Cela les force à être sûrs à chaque étape, conduisant à un apprentissage plus rapide et plus stable pour des tâches complexes comme la marche humanoïde réaliste.

Résumé technique : Horizons de décision stochastiques pour l'apprentissage par renforcement contraint

Énoncé du problème

L'apprentissage par renforcement (RL) pour les systèmes de contrôle du monde réel (par exemple, la robotique, la biomécanique, les processus médicaux) nécessite souvent de satisfaire des contraintes instantanées à chaque pas de temps. Une seule violation profonde peut causer des dommages matériels, des blessures aux patients ou une instabilité du contrôleur. Le cadre standard pour le RL contraint, le Processus de Décision Markovien Contraint (CMDP), optimise un budget de coût cumulatif. Bien qu'efficace pour les budgets globaux (par exemple, la consommation totale de carburant), les CMDP éprouvent des difficultés avec la faisabilité instantanée. Encoder une limite par pas dans un budget cumulatif force ce budget à être extrêmement faible, un régime où les algorithmes CMDP existants échouent souvent à converger ou à apprendre efficacement.

L'article propose les Horizons de Décision Stochastiques (SDH) comme une alternative théoriquement fondée. Au lieu de dépenser un budget lors d'une violation, le SDH traite une violation de contrainte comme un signal d'in(faisabilité) instantanée qui réduit probabilistiquement l'horizon de planification effectif.

Méthodologie

1. Horizons de Décision Stochastiques (SDH)

Le SDH reformule le problème contraint comme un problème de chance de survie.

Mécanisme : Une probabilité de continuation état-action $\alpha(s, a) \in [0, 1]$ est introduite. Si une contrainte est violée, $\alpha$ chute, réduisant la probabilité que la trajectoire se poursuive.
Objectif : L'agent maximise la récompense espérée à un temps de terminaison géométrique aléatoire $T_\gamma$ , conditionné à ce que la trajectoire survive jusqu'à ce point.
Formulation de Bellman : Cela conduit à une équation de Bellman modifiée avec des récompenses façonnées et des facteurs d'actualisation dépendants de l'état et de l'action :
- $\tilde{r}(s, a) = \alpha(s, a) r(s, a)$
- $\tilde{\gamma}(s, a) = \gamma \alpha(s, a)$
Variable duale : La variable duale de Lagrange $\eta$ agit comme une prime de survie ajoutée à la récompense ( $r + \eta$ ) plutôt que comme une pénalité de coût. Cela encourage des politiques qui maintiennent une probabilité de survie élevée.

2. Contrôle par Inférence (CaI) et Régularisation

Pour dériver des algorithmes régulés hors politique, les auteurs utilisent le Contrôle par Inférence. Ils identifient deux interprétations sémantiques distinctes de ce qui se passe après une violation de contrainte, conduisant à deux régularisateurs différents :

Sémantique de l'État Absorbant (AS) : Le processus de décision se termine immédiatement lors de la violation. Seules les décisions survivantes contribuent au coût d'information (divergence KL/entropie).
- Algorithme : AS-SAC (Absorbing-State Soft Actor-Critic).
- Régularisateur : Entropie maximale, mais pondérée uniquement par la masse de décision survivante. Cela produit une récursion de Bellman douce à facteur d'actualisation variable.
Sémantique de la Terminaison Virtuelle (VT) : Le processus de décision continue, mais le crédit de récompense s'arrête. L'agent continue d'agir sur le MDP sous-jacent, mais les récompenses futures sont conditionnées par la survie.
- Algorithme : VT-MPO (Virtual-Termination Maximum a Posteriori Policy Optimization).
- Régularisateur : Amélioration de politique régularisée par KL sur l'horizon d'actualisation ordinaire, couplée à un critique façonné par la survie.

3. Lien théorique avec les CMDP

L'article introduit des profils de profondeur de violation pour caractériser la relation entre le SDH et les CMDP à budget additif.

Régime à Échelle Unique : Si les violations se produisent à une seule échelle caractéristique (par exemple, des violations peu profondes fréquentes ou des violations profondes rares suivant une distribution spécifique), le SDH résout efficacement le CMDP à budget additif correspondant.
Régime Multi-échelle : Si le profil de violation mélange les échelles (par exemple, des violations peu profondes fréquentes accompagnées de violations profondes rares), les objectifs SDH et CMDP divergent. Le SDH ne peut pas reproduire des règles de faisabilité exactes conscientes du budget sans augmenter l'espace d'état avec l'historique.

Contributions clés

Formalisation du SDH : Les auteurs formalisent les modèles de continuation généraux $\alpha(s, a)$ comme des occupances de survie cohérentes avec Bellman. Ils prouvent que le SDH est la forme lagrangienne à dual fixe d'un problème stochastique de chance de survie.
Algorithmes régulés hors politique : Ils dérivent les premiers algorithmes régulés hors politique pour les contraintes instantanées : AS-SAC (entropie maximale) et VT-MPO (régularisé par KL). Tous deux sont compatibles avec la mémoire de répétition d'expériences.
Analyse de la portée théorique : Grâce aux profils de profondeur de violation, ils délimitent précisément quand le SDH résout un CMDP à budget additif (violations à échelle unique) et quand il ne le fait pas (violations à multi-échelle).
Contrôle biomécanique de l'état de l'art : Ils appliquent le VT-MPO à des modèles musculo-squelettiques haute fidélité, résolvant le compromis effort-vitesse de la marche, un problème de longue date, comme un problème de contrainte instantanée fixe.

Résultats expérimentaux

1. Hyfydy (Contrôle musculo-squelettique)

Configuration : Entraînement sur trois modèles humanoïdes (H0918, H1622, H2190) avec jusqu'à 90 muscles.
Comparaison : Comparé à l'Adaptation du Poids de l'Effort (EWA), la méthode spécifique au domaine de l'état de l'art qui utilise une repondération adaptative des récompenses.
Résultats :
- Stabilité : Le VT-MPO converge vers une marche stable avec significativement moins d'oscillations que l'EWA, qui souffre de signaux de récompense non stationnaires.
- Efficacité de l'échantillonnage : Le VT-MPO atteint un réalisme de marche de l'état de l'art avec 4 fois moins d'étapes d'environnement (par exemple, atteindre les performances maximales sur H2190 en 21 millions d'étapes contre 90 millions pour l'EWA).
- Réalisme : Les deux méthodes atteignent des pourcentages de correspondance de marche similaires (environ 63-76 %), mais le VT-MPO atteint ces pics beaucoup plus rapidement et avec une satisfaction de contrainte plus stricte (vitesse, forces de réaction au sol, couples articulaires).

2. Safety Gymnasium (Test de portée)

Configuration : Évalué sur des tâches de locomotion et de navigation avec des signaux de coût standardisés.
Constats :
- Tâches à Échelle Unique (par exemple, AntVelocity) : Le SDH (VT-MPO et AS-SAC) atteint de forts compromis récompense-coût, surpassant les bases non contraintes et égalant les bases contraintes avec une efficacité d'échantillonnage supérieure.
- Tâches Multi-échelle (par exemple, PointGoal, CarButton) : La théorie prédit correctement les modes de défaillance. Dans les tâches où l'agent doit sacrifier une certaine satisfaction de contrainte pour atteindre un objectif (profils de violation multi-échelle), le SDH échoue soit à satisfaire les contraintes, soit subit une dégradation catastrophique de la récompense. Cela confirme la limitation théorique selon laquelle le SDH n'est pas un solveur général pour les CMDP à budget additif arbitraires.

Importance et affirmations

L'article affirme que les Horizons de Décision Stochastiques offrent un axe de conception complémentaire pour le RL contraint : façonner l'horizon plutôt que régler un budget.

Impact pratique : Le SDH fournit une manière fondée de gérer les contraintes instantanées où une seule violation est catastrophique, évitant l'instabilité de la repondération adaptative des récompenses (comme l'EWA) et la difficulté de définir des budgets minuscules dans les CMDP.
Insight théorique : Ce travail clarifie que les contraintes instantanées et les budgets cumulatifs sont des objectifs distincts qui ne coïncident que sous des conditions géométriques spécifiques (profils de violation à échelle unique).
Avancement algorithmique : Il fournit les premiers algorithmes régulés hors politique (AS-SAC, VT-MPO) spécifiquement conçus pour les contraintes instantanées, permettant un entraînement stable sur des systèmes complexes de haute dimension comme les humanoïdes à 90 muscles.

Les auteurs soulignent que, bien que le SDH ne soit pas un remplacement universel pour les CMDP, il constitue la solution exacte pour les problèmes de chance de survie et offre une stabilité et une efficacité d'échantillonnage supérieures dans les régimes où la faisabilité par pas est la préoccupation principale.