Deep Reinforcement Learning-Enhanced Event-Triggered Data-Driven Predictive Control for a 3D Cable-Driven Soft Robotic Arm

Résumé technique : Contrôle prédictif basé sur les données à déclenchement par événement amélioré par l'apprentissage par renforcement profond pour un bras robotique souple actionné par câbles en 3D

Énoncé du problème
Les bras robotiques souples possèdent des avantages intrinsèques en matière de conformité et de sécurité, mais présentent des défis de contrôle importants en raison de leur dynamique non linéaire, variable dans le temps et hystérétique. Les approches traditionnelles basées sur des modèles, telles que les méthodes d'éléments finis (FEM) ou les formulations de tiges de Cosserat, sont souvent trop coûteuses en termes de calcul pour un déploiement en temps réel sur des plateformes aux ressources limitées. Le contrôle prédictif fondé sur les données (DeePC) offre une alternative sans modèle en exploitant les trajectoires entrée-sortie mesurées pour construire des contrôleurs prédictifs sans identification explicite du système. Cependant, le DeePC standard fonctionne de manière récurrente à horizon glissant, nécessitant la résolution d'un problème d'optimisation contraint (généralement un programme quadratique) à chaque instant d'échantillonnage. Pour les robots souples exigeant des taux d'échantillonnage élevés afin de capturer les comportements transitoires rapides, cette ré-optimisation répétée impose une charge de calcul substantielle, limitant l'applicabilité en temps réel. Bien que le contrôle déclenché par événement (ETC) ait été exploré dans d'autres cadres, les méthodes existantes de l'ETC fondées sur les données reposent généralement sur des règles de déclenchement statiques et heuristiques (par exemple, des seuils d'erreur fixes). Ces règles statiques peinent à équilibrer l'économie de calcul et la performance de contrôle dans des systèmes caractérisés par des dynamiques fortement non linéaires et variables dans le temps, ce qui se traduit souvent par soit des économies limitées, soit une précision de suivi dégradée.

Méthodologie
Les auteurs proposent un cadre de DeePC déclenché par événement et amélioré par l'apprentissage par renforcement (RL-ET-DeePC) conçu pour réduire la charge de calcul tout en maintenant la performance en boucle fermée. La méthodologie intègre trois composantes centrales :

1. Réduction de la dimensionnalité du DeePC : Pour traiter la haute dimensionnalité des matrices de Hankel requises pour les robots souples, le cadre utilise la décomposition en valeurs singulières (SVD). Des données hors ligne sont collectées pour construire des matrices de Hankel entrée-sortie, qui sont ensuite compressées en ne conservant que les valeurs singulières dominantes. Cela réduit la dimension de la variable de décision, rendant l'optimisation en ligne plus traitable. Le contrôleur résout un problème d'optimisation régularisé pour minimiser l'erreur de suivi et l'effort de commande tout en gérant le bruit de mesure via des variables d'écart (slack variables).
2. Déclenchement par événement basé sur le RL : Au lieu de ré-optimiser à chaque pas de temps, un agent d'apprentissage par renforcement profond (DRL) détermine s'il faut invoquer l'optimiseur DeePC. L'agent opère au sein d'un processus de décision de Markov (MDP) où :
   • État : Défini par l'erreur de suivi et sa variation temporelle.
   • Action : Une décision binaire (0 ou 1) consistant soit à ignorer l'optimisation (en réutilisant une entrée de commande mise en mémoire tampon), soit à déclencher une nouvelle optimisation.
   • Récompense : Une fonction équilibrant les pénalités d'erreur de suivi et le coût de calcul du déclenchement. Un paramètre réglable $\rho$ contrôle le compromis entre précision et efficacité.
   • Algorithmes : Le cadre est agnostique vis-à-vis de l'algorithme ; les auteurs évaluent les approches basées sur la valeur (DQN), le gradient de politique (PPO) et l'acteur-critique (A2C).
3. Surpassement supervisé : Pour garantir la robustesse et éviter une exécution en boucle ouverte excessive, une couche de supervision force la ré-optimisation si le tampon de commande est vide ou si le temps écoulé depuis la dernière mise à jour dépasse l'horizon de prédiction moins un. Cela garantit qu'une séquence de commande valide est toujours disponible.

Contributions clés

• Déclenchement adaptatif : L'article introduit un mécanisme de déclenchement appris et dépendant de l'état qui remplace une règle heuristique statique. Cela permet au contrôleur d'équilibrer de manière adaptative le coût de calcul et la performance de suivi en fonction de la dynamique actuelle du système.
• Intégration de la SVD et du RL : Le cadre combine la réduction de dimensionnalité par SVD avec le DRL pour créer un contrôleur prédictif sans modèle et efficace en termes de calcul, adapté aux plateformes robotiques souples à ressources limitées.
• Transfert Zero-Shot : L'étude démontre la capacité de la politique apprise à passer de la simulation au matériel sans réentraînement, atteignant des performances cohérentes sur un bras robotique souple actionné par câbles en 3D physique.

Résultats
Le cadre a été validé par des simulations approfondies et des expériences matérielles sur un bras robotique souple actionné par câbles en 3D conçu sur mesure.

• Résultats de simulation : Comparé au DeePC périodique, le cadre RL-ET-DeePC (spécifiquement l'algorithme PPO) a réduit la fréquence d'optimisation jusqu'à 66 % (le taux de déclenchement chutant de 100 % à environ 34 %) tout en maintenant une précision de suivi comparable (l'erreur quadratique moyenne ou RMSE restant dans des plages acceptables). Les résultats ont montré que la politique apprise concentre les efforts de ré-optimisation pendant les phases transitoires (changements d'état rapides) et supprime les mises à jour pendant le fonctionnement en régime permanent.
• Expériences matérielles : Sur le robot physique, le cadre a obtenu une réduction de 34 % de la fréquence d'optimisation par rapport au DeePC périodique. Bien que la réduction soit plus faible qu'en simulation (attribuée aux écarts de modélisation, au frottement et à l'hystérésis dans le système réel), la précision de suivi est restée comparable à celle de la base périodique.
• Comparaison avec les bases statiques : L'approche basée sur le RL a démontré une performance supérieure à celle d'une base de déclenchement par événement à seuil statique. La méthode statique présentait des modèles de déclenchement irréguliers et des écarts de suivi plus importants, particulièrement lors des transitions dynamiques, tandis que la politique RL produisait des mises à jour structurées et sensibles au contexte qui maintenaient la fidélité du suivi géométrique.

Signification et affirmations
Les auteurs affirment que la principale contribution de ce travail est la formulation du déclenchement par événement comme une décision apprise et dépendante de l'état plutôt que comme une règle fixe. Cette approche offre un compromis plus cohérent et adaptatif entre précision et coût de calcul. L'article souligne que le cadre est largement agnostique vis-à-vis de la plateforme, ne reposant que sur des données entrée-sortie et une récompense scalaire, ce qui le rend potentiellement extensible à d'autres morphologies de robots souples (par exemple, à actionnement pneumatique ou à plusieurs segments), sous réserve de disposer d'un ensemble de données d'excitation persistante.

Les auteurs reconnaissent modestement les limites, notant que l'écart "sim-to-real" (dû aux dynamiques non modélisées comme le délai d'actionnement et l'hystérésis des câbles) a nécessité un réajustement du paramètre de pénalité $\rho$ pour le déploiement matériel. Ils suggèrent que les travaux futurs pourraient aborder cela par la randomisation du domaine, la mise à jour des données en ligne et des simulations conscientes de la dynamique afin de mieux combler l'écart entre la simulation et la réalité.