Résumé Technique : Feasible Action for Optimal Control (FAOC)

Énoncé du Problème

Le pilotage de systèmes dynamiques contraints nécessite des contrôleurs capables de résoudre des tâches complexes tout en respectant strictement la faisabilité récursive et les contraintes de sécurité. Bien que l'apprentissage par renforcement (RL) ait démontré sa capacité à résoudre des problèmes de contrôle complexes dans divers domaines, il souffre d'une faible efficacité d'échantillonnage et d'une incapacité intrinsèque à garantir strictement le respect des contraintes. À l'inverse, le contrôle optimal (OC), et particulièrement le contrôle prédictif de modèle (MPC), offre des garanties de sécurité rigoureuses grâce à l'application explicite de contraintes, mais se heurte à des problèmes de tractabilité computationnelle dans les problèmes non convexes à long horizon et nécessite souvent un réglage extensif des espaces d'actions.

Les approches hybrides existantes combinant le RL et l'OC font souvent face à un compromis critique :

1. Problèmes de faisabilité : Lorsque les agents de RL sélectionnent directement les paramètres d'un problème de contrôle optimal (OCP), leurs actions peuvent rendre l'OCP infaisable, nécessant l'usage de variables d'écart ou de pénalités heuristiques qui dégradent la performance.
2. Conception de l'espace d'action : Pour garantir la faisabilité, des travaux antérieurs utilisent souvent des espaces d'actions statiques et heuristiques (par exemple, des hypercubes bornés) qui ne tiennent pas compte de la nature dépendante de l'état de l'ensemble de paramètres réalisables de l'OCP sous-jacent. Cela conduit à l'inclusion d'actions infaisables ou redondantes, forçant la politique de RL à apprendre implicitement des frontières de faisabilité complexes, ce qui entrave l'efficacité de l'apprentissage et la performance finale.

Méthodologie : Feasible Action for Optimal Control (FAOC)

Les auteurs proposent le Feasible Action for Optimal Control (FAOC), un cadre hiérarchique qui relie le RL et l'OC via un algorithme de mapping basé sur l'optimisation et efficace en termes de calcul. L'innovation centrale est un mapping bijectif qui transforme la sortie d'un agent de RL, issue d'un ensemble d'actions abstraites statiques et géométriquement simples, en un ensemble de paramètres réalisables dépendant de l'état de l'OCP.

Architecture du Cadre

1. Politique de RL de haut niveau : L'agent de RL opère dans un espace d'actions abstraites $\bar{A}$ statique, compact, plein et convexe (par exemple, une boîte de type hypercube). Il produit une action brute, qui est ensuite transformée en une action abstraite $\bar{a} \in \bar{A}$.
2. Algorithme de Mapping ($M$) : Un nouvel algorithme transforme $\bar{a}$ en un paramètre $p$ appartenant à l'ensemble réalisable $P(x)$ dépendant de l'état de l'OCP. Ce mapping garantit que $p$ est toujours réalisable pour l'état actuel du système $x$, assurant ainsi que l'OCP reste soluble.
3. OCP de bas niveau : Le paramètre mappé $p$ (par exemple, une cible d'état terminal) est injecté dans un OCP paramétré. L'OCP calcule une trajectoire de contrôle optimale soumise aux contraintes physiques, garantissant la sécurité et la faisabilité récursive.

Composants Algorithmiques Clés

Le document développe une famille d'algorithmes de mapping pour gérer la transformation géométrique entre l'ensemble abstrait $\bar{A}$ et l'ensemble dépendant de l'état :

• Caractérisation Topologique : Les auteurs établissent des conditions géométriques légères (Lemme 1) garantissant que l'ensemble de paramètres réalisables $P(x)$ d'un OCP générique est compact, plein et convexe. Ceci est explicitement démontré pour le MPC linéaire avec contraintes terminales (Corollaire 1).
• Mapping Radial Inversible : Le cœur du mapping (Algorithme 1) est un algorithme de mise à l'échelle radiale qui transforme bijectivement les points de $\bar{A}$ vers $P(x)$. Il assure l'inversibilité, permettant à tout paramètre réalisable d'être projeté en retour vers l'espace d'action abstrait, évitant ainsi l'« aliasage d'action ».
• Atténuation de la Distorsion Géométrique :
  • Appariement de Surface en 2D : Pour les espaces en 2D, une transformation directionnelle est dérivée pour faire correspondre les distributions angulaires marginales des surfaces des ensembles, empêchant l'accumulation de points dans les régions étroites de l'ensemble cible (Propositions 2 & 3).
  • Transformation Linéaire (Dimensions Arbitraires) : Pour les dimensions supérieures, les auteurs proposent d'utiliser des substituts affines (spécifiquement des ellipsoïdes inscrits de volume maximal) pour approximer la distorsion géométrique. Cela permet une transformation linéaire évolutive qui préserve la densité de distribution sans nécessiter de représentations géométriques explicites de $P(x)$ (Proposition 4).
• Gestion d'Ensembles Implicites : Une contribution significative est la capacité d'effectuer ces mappings sans représentations géométriques explicites de $P(x)$. En exploitant la structure des contraintes de l'OCP, les auteurs dérivent des formulations robustes pour calculer les points intérieurs et les matrices de forme directement à partir des contraintes d'optimisation (Propositions 6–8), permettant une exécution en temps réel.

Principales Contributions

Le document présente cinq contributions majeures :

1. Caractérisation Topologique : Identification des conditions géométriques garantissant que l'ensemble de paramètres dépendant de l'état d'un OCP générique est compact, plein et convexe.
2. Mapping d'Action Réalisable Inversible : Un algorithme radial efficace qui mappe bijectivement les actions de RL abstraites en paramètres d'OC garantis comme réalisables.
3. Atténuation de la Distorsion Géométrique : Développement de techniques d'appariement de surface (2D) et de transformation linéaire (dimensions arbitraires) pour prévenir l'accumulation de points et accélérer l'apprentissage.
4. Tractabilité pour les Ensembles Implicites : Dérivation de formulations robustes pour calculer les composants de mapping nécessaires (points intérieurs, matrices de forme) directement à partir des contraintes de l'OCP, évitant les représentations géométriques explicites coûteuses en calcul.
5. Validation Expérimentale : Application à la planification de mouvement en temps réel pour un système de robot de tennis de table à 8 degrés de liberté (DoF), démontrant des performances de niveau professionnel.

Résultats Expérimentaux

Le cadre FAOC a été évalué sur un véritable bras robotique à 8 DoF jouant au tennis de table, une tâche exigeant une prise de décision rapide et un respect strict des contraintes cinématiques.

• Configuration : L'agent de RL (utilisant le Soft Actor-Critic) sélectionnait des points de passage (waypoints) en 2D (position et vitesse) pour chaque articulation. Le mappeur FAOC traduisait ces données en contraintes terminales réalisables pour un OCP paramétré.
• Lignes de Base (Baselines) : FAOC a été comparé à :
  • Variantes 1D : Des contrôleurs où l'agent de RL ne sélectionnait que la position, la vitesse ou l'accélération (controllabilité limitée).
  • 2Dsoft : Un contrôleur utilisant un espace d'action statique, indépendant de l'état, avec des coûts terminaux « mous » (soft) pour gérer les cibles infaisables.
• Performance :
  • Efficacité d'Échantillonnage : FAOC a atteint la plus haute efficacité d'échantillonnage et la meilleure performance finale parmi tous les tests, surpassant les lignes de base 1D et 2Dsoft.
  • Contrôlabilité : FAOC a démontré une contrôlabilité supérieure, particulièrement lorsque la fréquence de décision du RL était réduite (simulant une latence plus élevée). Alors que les autres contrôleurs se dégradaient significativement à des fréquences plus basses, FAOC maintenait ses performances grâce à son espace d'action dépendant de l'état garantissant des segments de trajectoire réalisables.
  • Succès en Conditions Réelles : Le cadre a permis au robot de rivaliser et de gagner contre des joueurs humains de niveau professionnel lors de matchs officiels de l'ITTF.

Signification et Revendications

Le papier affirme que FAOC résout les défis persistants de faisabilité et d'exploration lors de la combinaison du RL et de l'OC. En découplant l'agent de RL des contraintes physiques, le cadre permet à la politique de se concentrer uniquement sur la prise de décision stratégique tandis que l'OC gère les contraintes cinématiques locales.

Les auteurs soulignent qu'contrairement aux travaux précédents, FAOC ne nécessite pas d'espaces d'actions conçus par des experts et ne compromet pas la formulation de l'OCP avec des actions infaisables. Le cadre combine efficacement la sécurité prévisible de l'OC avec la flexibilité du RL. Le déploiement réussi sur un robot réel dans un environnement compétitif à haute vitesse sert de preuve de concept que cette approche peut traiter des problèmes stratégiques non convexes (gérés par le RL) tout en maintenant une faisabilité locale stricte (gérée par l'OC). L'algorithme de mapping et l'implémentation de l'OCP sont en code ouvert pour faciliter la recherche ultérieure.