Constraint-Enhanced Reinforcement Learning Based on Dynamic Decoupled Spherical Radial Squashing

Ce papier présente le Radial Squashing Sphérique Dynamique Découplé (DD-SRad), une méthode d'apprentissage par renforcement améliorée par des contraintes qui résout le décalage géométrique entre les limites de vitesse d'actionneurs hétérogènes et les contraintes isotropes en calculant des rayons adaptatifs à la position et par articulation, permettant ainsi d'obtenir zéro violation de contrainte, une rétropropagation exacte du gradient et des performances de tâche supérieures tant en simulation que dans des déploiements sur des robots humanoïdes haute fidélité.

L'essentiel

Imaginez que vous enseignez à un robot à marcher, danser ou courir en utilisant une manette de jeu vidéo. Dans le monde réel, les articulations du robot (comme les genoux, les hanches et les chevilles) ont des limites physiques quant à la vitesse à laquelle elles peuvent se déplacer. Si vous ordonnez à un genou de robot de passer d'une position à une autre trop rapidement, le moteur risque de brûler, ou le robot pourrait trébucher et tomber.

Le problème est que chaque articulation possède une limite de vitesse différente. Les hanches de votre robot peuvent être puissantes et rapides, capables de se déplacer vite, tandis que ses chevilles sont délicates et lentes. C'est comme une voiture dont le moteur peut monter haut dans les tours, mais dont les roues sont coincées dans la boue et ne peuvent tourner que lentement.

Le Problème : L'Erreur du « Taille Unique »

Les méthodes précédentes pour enseigner aux robots tentaient de gérer ces limites de vitesse en imposant une « limite de vitesse globale » à l'ensemble du robot. Imaginez un groupe de coureurs : un sprinter, un marathonien et un tout-petit. Si vous leur dites à tous : « Vous ne pouvez courir que aussi vite que le tout-petit », le sprinter est freiné inutilement. Si vous leur dites : « Courez aussi vite que possible », le tout-petit est laissé derrière (ou, dans le cas du robot, se brise).

En termes mathématiques, l'article indique que les anciennes méthodes tentaient d'insérer un cercle parfait (une sphère) à l'intérieur d'une boîte rectangulaire de mouvements autorisés.

• La Boîte : Représente le monde réel où la hanche peut se déplacer beaucoup, mais où la cheville ne peut se déplacer que peu.
• Le Cercle : Représente l'ancienne méthode d'IA. Il tente de faire tenir un cercle dans cette boîte.
• Le Résultat : Le cercle laisse d'énormes coins vides dans la boîte. On dit au robot qu'il ne peut pas déplacer sa hanche aussi vite qu'il le pourrait physiquement, simplement pour maintenir le « cercle » en sécurité. Cela gaspille le potentiel du robot.

La Solution : DD-SRad (Écrasement Radial Sphérique Découplé Dynamique)

Les auteurs ont créé une nouvelle méthode appelée DD-SRad. Imaginez-y donner au robot un gant intelligent et ajustable pour chaque doigt (articulation) individuellement.

Au lieu d'une seule grande règle pour toute la main, DD-SRad calcule une « limite de vitesse » spécifique pour chaque doigt en fonction de :

1. La vitesse à laquelle ce doigt spécifique est autorisé à se déplacer.
2. L'endroit où ce doigt se trouve actuellement.

Si la hanche du robot est dans une position où elle peut se déplacer rapidement en toute sécurité, le « gant » lui permet de le faire. Si la cheville est proche de sa limite, le « gant » se resserre uniquement pour cette cheville.

L'Analogie :
Imaginez que vous conduisez une voiture avec une pédale d'accélérateur très sensible et un frein lourd.

• Ancienne Méthode : Vous placez un bloc de bois sous la pédale d'accélérateur pour que vous ne puissiez pas l'enfoncer de plus d'un pouce. Cela vous garde en sécurité, mais vous ne pouvez pas accélérer même lorsque la route est dégagée.
• DD-SRad : Vous avez une pédale intelligente qui sait exactement à quelle force vous pouvez appuyer en fonction de votre vitesse actuelle et des conditions de la route. Elle vous permet de l'enfoncer à fond lorsque c'est sûr, mais relâche doucement lorsque vous êtes proche d'un mur.

Pourquoi Cela Compte (Les Résultats)

L'article a testé cette méthode sur des robots numériques (dans un simulateur appelé MuJoCo) et des simulations haute fidélité de humanoïdes réels (Unitree H1 et G1).

1. Zéro Articulation Cassée : La méthode garantit que le robot ne demande jamais à une articulation de se déplacer plus vite que sa limite. C'est une garantie de sécurité à 100 %.
2. Performance Maximale : Parce qu'elle cesse de freiner les articulations rapides, les robots ont appris à se déplacer mieux et plus vite que les méthodes précédentes. Lors des tests, ils ont obtenu les scores les plus élevés possibles sans jamais enfreindre une règle.
3. Meilleure Couverture : L'article affirme que cette méthode couvre 30 % à 50 % de plus des mouvements possibles que les anciennes méthodes de « cercle ». Elle remplit les « coins » de la boîte qui étaient auparavant vides.
4. Pas de Ralentissements : Contrairement à d'autres méthodes qui nécessitent des calculs mathématiques complexes (résolution d'équations) à chaque étape pour vérifier la sécurité, DD-SRad le fait instantanément avec une formule simple. C'est assez rapide pour un contrôle en temps réel.

La Conclusion

L'article soutient que pour rendre les robots sûrs et agiles dans le monde réel, nous devons cesser de traiter toutes les articulations de la même manière. En donnant à chaque articulation sa propre « limite de vitesse » personnalisée qui change dynamiquement au fur et à mesure que le robot se déplace, nous pouvons débloquer le plein potentiel du robot sans risquer de l'endommager. Les auteurs ont démontré avec succès cela sur des humanoïdes simulés, montrant une voie claire depuis le manuel technique d'un robot (fiche technique) jusqu'à une machine déployée en toute sécurité et performante.

Résumé technique

Résumé Technique : Radial Sphérique Découplé Dynamique (DD-SRad)

1. Énoncé du Problème

Le déploiement de politiques d'apprentissage par renforcement (RL) sur des robots physiques nécessite de satisfaire des contraintes de vitesse des actionneurs : des limites strictes sur la vitesse à laquelle la commande de position de chaque articulation peut changer par pas de contrôle ($|a^i_t - a^i_{t-1}| \le \delta^i$). Ces limites sont structurellement hétérogènes ; en raison des différences d'inertie moteur et de rigidité de transmission, la limite de vitesse $\delta^i$ varie considérablement d'une articulation à l'autre (par exemple, les articulations de la hanche permettent souvent des vitesses beaucoup plus élevées que les articulations de la cheville).

Les méthodes existantes échouent à gérer cette hétérogénéité géométriquement :

• Les approches MPC/QP engendrent une surcharge de résolution à l'exécution et souffrent d'une incohérence entre l'entraînement et le déploiement, empêchant l'optimisation de bout en bout.
• Les méthodes MDP contraints (CMDP) (par exemple, CPO, FOCOPS) n'offrent que des garanties sous forme d'espérance, permettant des violations transitoires par pas qui peuvent endommager le matériel.
• Les méthodes de paramétrisation d'action imposent généralement des contraintes isotropes de boule $\ell_2$ (par exemple, Radial Sphérique, SRad). Sous des contraintes hétérogènes, une boule $\ell_2$ de rayon $R = \min_i \delta^i$ sous-couvre sévèrement l'ensemble réalisable réel (un hyperrectangle $\ell_\infty$). Le rapport de volume entre la boule $\ell_2$ et l'ensemble réalisable réel se dégrade exponentiellement avec la dimension et l'hétérogénéité, comprimant efficacement l'espace d'exploration pour les articulations à budget élevé.
• Les méthodes de clipping $\ell_\infty$ (par exemple, BoxPre+) couvrent la géométrie correcte mais tronquent les gradients à la frontière, perdant l'information directionnelle lors des mises à jour de la politique.

Le défi central est d'atteindre une satisfaction stricte des contraintes par pas, une couverture exacte $\ell_\infty$ de l'ensemble réalisable et une rétropropagation de gradient de bout en bout sans surcharge de résolution à l'exécution.

2. Méthodologie : DD-SRad

L'article propose le Radial Sphérique Découplé Dynamique (DD-SRad), une paramétrisation d'action analytique et lisse qui résout le décalage géométrique entre la sortie de la politique et les contraintes de vitesse hétérogènes.

Mécanisme Central

Contrairement à SRad, qui utilise un rayon global unique $R$, DD-SRad calcule un rayon effectif adaptatif à la position $R^i_{\text{eff}}$ indépendamment pour chaque dimension d'action $i$ :
$$R^i_{\text{eff}}(u^i, a^i_{\text{prev}}) = \begin{cases} \min(\delta^i, a^i_{\max} - a^i_{\text{prev}}) & \text{si } u^i > 0 \\ \min(\delta^i, a^i_{\text{prev}} - a^i_{\min}) & \text{si } u^i < 0 \\ \delta^i & \text{si } u^i = 0 \end{cases}$$

La transformation convertit une action latente $u \in \mathbb{R}^d$ en action physique $a$ via un écrasement sphérique indépendant par dimension :
$$a^i = a^i_{\text{prev}} + R^i_{\text{eff}}(u^i, a^i_{\text{prev}}) \cdot \frac{u^i}{\sqrt{1 + (u^i)^2}}$$

Propriétés Clés

1. Alignement Géométrique : L'ensemble accessible de DD-SRad est exactement l'hyperrectangle $\ell_\infty$ défini par les limites de vitesse et les bornes de position, récupérant le volume perdu par les bases isotropes $\ell_2$.
2. Satisfaction Stricte des Contraintes : La transformation garantit $|a^i - a^i_{\text{prev}}| \le \delta^i$ et $a^i \in [a^i_{\min}, a^i_{\max}]$ avec une probabilité de 1 pour toute action latente $u$.
3. Préservation du Gradient : La transformation est lisse et analytique (sauf en $u=0$, un événement de mesure nulle). La matrice jacobienne est une matrice définie positive diagonale, assurant que l'information complète du gradient directionnel du critique est propagée à la politique sans troncature.
4. Zéro Surcharge : En tant que couche plug-and-play, elle ne nécessite aucun solveur à l'exécution (QP/MPC) et s'intègre directement dans des architectures hors politique comme SAC et TD3.

3. Contributions Clés

• Alignement Géométrique : DD-SRad atteint une couverture exacte $\ell_\infty$ de l'ensemble réalisable via des rayons adaptatifs par dimension, récupérant systématiquement le volume perdu par les bases $\ell_2$ sous des contraintes hétérogènes.
• Garanties Théoriques : L'article prouve la satisfaction stricte des contraintes par pas avec une probabilité de 1 et établit des bornes sur le nombre de conditionnement de la matrice jacobienne, assurant des gradients bien conditionnés.
• Compatibilité de Bout en Bout : La forme analytique lisse prend en charge une rétropropagation exacte du gradient de politique avec zéro surcharge de solveur à l'exécution, compatible avec les algorithmes hors politique standards.
• Validation Empirique : Des expériences extensives démontrent que DD-SRad atteint le retour de tâche le plus élevé avec zéro violation de contrainte, surpassant les bases de référence tant sur les benchmarks MuJoCo que sur les simulations haute fidélité IsaacLab.

4. Résultats Expérimentaux

Les auteurs ont évalué DD-SRad sur MuJoCo (Ant, Humanoid, HalfCheetah, Hopper) et IsaacLab (robots humanoïdes Unitree H1 et G1).

Benchmarks MuJoCo

• Performance : Sous des contraintes hétérogènes serrées, DD-SRad a obtenu le retour le plus élevé sur les 8 configurations environnement-architecture (SAC et TD3), correspondant souvent ou dépassant la borne supérieure sans contrainte.
• Utilisation des Contraintes : DD-SRad a démontré une amélioration de 30 % à 50 % de la couverture de l'espace des contraintes par rapport aux bases sphériques. Contrairement à SRad-Strict, qui a subi un effondrement structurel (par exemple, 68,8 % de violation de contrainte sur Ant-SAC), DD-SRad a maintenu zéro violation.
• Comparaison : DD-SRad a surpassé le clipping $\ell_\infty$ (BoxPre+) de 5 % à 14 % en termes de retour, confirmant que la propagation lisse du gradient est supérieure à la troncature du gradient aux frontières.

Simulation Haute Fidélité (IsaacLab)

• Robustesse : En utilisant les spécifications officielles des articulations pour Unitree H1 (terrain accidenté) et G1 (terrain plat), DD-SRad a atteint une locomotion optimale.
  • H1 (Accidenté) : DD-SRad a obtenu un retour de 37,14 avec un taux de chute de 48,7 %, surpassant significativement BoxPre+ (retour 23,11, 70,2 % de chute) et SRad-Strict (retour 0,83, 100 % de chute).
  • G1 (Plat) : DD-SRad a obtenu un retour de 5473 avec un taux de chute de 0,3 % et l'erreur de suivi de vitesse la plus faible (0,138 m/s).
• Allocation Adaptative : Les diagrammes radar et les nuages de points ont confirmé que DD-SRad permet une allocation adaptative aux tâches des budgets de vitesse (par exemple, utiliser les articulations de la hanche pour la propulsion tout en minimisant le mouvement de la cheville sur terrain plat), une capacité bloquée par l'activation uniforme des méthodes de clipping ou la compression géométrique des méthodes sphériques.

5. Signification et Revendications

L'article revendique de fournir une voie systématique des fiches techniques matérielles au déploiement sécurisé. En paramétrisant l'espace d'action directement à partir des spécifications officielles de vitesse des articulations, DD-SRad permet aux agents RL d'apprendre des politiques optimales respectant les limites physiques sans ingénierie de récompense ni filtres de sécurité post-hoc.

Les auteurs soulignent que DD-SRad résout le décalage géométrique fondamental entre la nature $\ell_\infty$ des contraintes de vitesse et la nature $\ell_2$ des paramétrisations sphériques standards. Cela permet :

1. Déploiement Sécurisé : Des garanties strictes sur les limites des actionneurs empêchent le rejet silencieux des commandes ou les dommages matériels.
2. Apprentissage Efficace : En préservant la géométrie complète de l'ensemble réalisable, l'agent peut explorer toute la gamme des actions physiquement possibles, conduisant à une convergence plus rapide et à de meilleures performances.
3. Évolutivité : La méthode s'adapte aux robots humanoïdes de haute dimension (17+ articulations) sans la charge computationnelle des solveurs QP.

L'étude conclut que si les méthodes existantes sacrifient soit la sécurité, soit la couverture géométrique, soit l'efficacité de l'entraînement, DD-SRad atteint simultanément les trois, validant son utilité pour le contrôle robotique réel.