Learning Safe Multi-Robot Coordination in Industrial Cyber- Physical Systems

Énoncé du problème

Les systèmes cyber-physiques (CPS) industriels reposent de plus en plus sur des flottes de robots autonomes pour effectuer des tâches de fabrication et de logistique distribuées au sein d'espaces de travail physiques partagés. Le défi central réside dans l'équilibre entre l'efficacité opérationnelle et la sécurité physique. Bien que l'apprentissage par renforcement multi-agents (MARL) offre une approche basée sur les données pour la coordination, les cadres standards de maximisation de la récompense échouent souvent à garantir l'évitement continu des collisions dans des environnements denses et dynamiques. De plus, la scalabilité reste un obstacle significatif ; à mesure que la taille de la flotte augmente, la complexité des interactions par paires croît, saturant souvent les canaux de communication à capacité fixe et entraînant des comportements d'agents non stationnaires. Les approches existantes, telles que l'ordonnancement basé sur des règles ou la planification de trajectoires déterministe, manquent de la flexibilité nécessaire pour gérer les intrusions imprévues ou les défaillances d'agents, tandis que les approches purement MARL manquent souvent de contraintes de sécurité rigoureuses requises pour un déploiement physique.

Méthodologie

Les auteurs ont mené une étude basée sur la simulation en utilisant le Multi-Agent Particle Environment (MAPE), un cadre physique modélisant un espace de travail industriel en 2D. Le scénario impliquait $N$ agents autonomes naviguant vers $N$ postes de travail fixes disposés selon une formation en cercle unité.

Configuration expérimentale :

• Environnement : Un espace de travail borné $[-1,2, 1,2] \times [-1,2, 1,2]$ mètres avec une dynamique Newtonienne, des forces de contact et un bruit d'actionneur gaussien.
• Agents : Robots de type masse ponctuelle avec un rayon de sécurité de 0,25 m, une vitesse maximale de 1,5 m/s et un canal de communication inter-agents à 4 dimensions.
• Politiques évaluées :
  1. Baseline Aléatoire : Les agents sélectionnent des actions uniformément au hasard sans conscience de la tâche ni communication.
  2. Politique Gloutonne (Greedy) : Une heuristique déterministe où les agents naviguent vers le poste de travail non réclamé le plus proche en utilisant un contrôle proportionnel. Elle déduit l'occupation des stations par observation mais manque d'évitement explicite des collisions.
  3. Politique Safe MARL : Une politique composite, conçue à la main, intégrant trois composantes :
     • Force de Navigation : Contrôle proportionnel vers un poste de travail statique, assigné par index (round-robin).
     • Répulsion de Sécurité : Un champ de potentiel artificiel (APF) générant une force de répulsion lorsque les agents entrent dans une zone de sécurité ($r_{safe} = 0,625$ m).
     • Évitement basé sur la Communication : Un vecteur de diffusion à 4 dimensions contenant la distance cible, les composantes de la force de répulsion ($x, y$) et un indicateur d'arrivée. Les agents appliquent une correction d'évitement légère basée sur les signaux reçus des voisins.

Métriques d'évaluation :
La performance a été mesurée sur 30 épisodes (pour $N=4$) et lors de tests de scalabilité ($N \in \{2, 3, 4, 5, 6\}$) en utilisant :

• Récompense cumulative (efficacité de couverture vs pénalité de sécurité).
• Taux de collision (contacts inter-robots par paire).
• Taux de couverture des stations (pourcentage de stations atteintes).
• Makespan (temps pour atteindre la couverture complète).
• Efficacité de la communication (magnitude et structure des vecteurs transmis).

Principales contributions

1. Construction du cadre : Les auteurs ont implémenté un scénario de couverture de tâches pour CPS industriel au sein de MAPE, incorporant une dynamique de collision physique, des rayons de sécurité configurables et un canal de communication à 4 dimensions aligné sur les contraintes industrielles.
2. Conception de politique composite : Ils ont conçu une politique « Safe MARL » qui unifie la navigation proportionnelle, les champs de répulsion de sécurité pondérés par la distance (inspirés de l'APF de Khatib) et l'évitement de conflit basé sur la communication dans une formulation d'action unique.
3. Analyse empirique de la scalabilité : L'étude fournit une évaluation systématique de la performance de coordination à travers différentes tailles de flotte, quantifiant la relation entre la densité des agents, la capacité de communication et la fréquence des collisions.
4. Identification des goulots d'étranglement : La recherche établit empiriquement que sous une assignation et une communication à canal fixe, la complexité de la coordination croît de manière super-linéaire, créant une barrière de scalabilité pour les flottes plus importantes.

Résultats

• Comparaison avec les baselines ($N=4$) :
  • La politique Gloutonne a atteint 100 % de couverture des stations avec le makespan le plus court (51,3 étapes) mais a souffert d'un taux de collision élevé (11,57 collisions/épisode), statistiquement indiscernable de la baseline Aléatoire.
  • La politique Safe MARL a atteint 85 % de couverture avec un makespan plus long (120,0 étapes). Bien que moins efficace en termes de vitesse, elle a démontré des trajectoires structurées et des motifs de communication émergents alignés sur les phases de la tâche (navigation vs arrivée).
  • Sécurité : Contraما l'attente que les couches de sécurité éliminent les collisions, la politique Safe MARL n'a pas totalement éliminé les collisions (16,57/épisode) par rapport à la politique Gloutonne, en raison de minima locaux dans le paysage de répulsion causant un mouvement oscillatoire dans les zones denses.
• Scalabilité ($N=2$ à $6$) :
  • Les taux de collision ont présenté une croissance super-linéaire, passant de 0,65 collision (à $N=2$) à 71,55 collisions (à $N=6$).
  • La couverture des stations est restée relativement stable (74–98 %), indiquant que le mécanisme d'assignation de tâche statique est resté robuste, mais que l'efficacité de la planification de trajectoire s'est considérablement dégradée à mesure que la contention spatiale augmentait.
  • Le canal de communication fixe à 4 dimensions a été identifié comme un point de saturation, incapable de gérer la croissance en $O(N^2)$ des messages d'interaction par paires.

Signification et affirmations

L'article affirme établir des limites empiriques sur la performance de la coordination sécurisée dans les CPS industriels. Sa principale signification réside dans la démonstration que l'efficacité et la sécurité sont des objectifs concurrents sous des stratégies d'assignation fixe. Alors que la politique Gloutonne maximise le débit, elle ne fournit aucune garantie de sécurité. Inversement, la politique Safe MARL offre un profil opérationnel équilibré sur plusieurs métriques, adapté aux contextes industriels où la sécurité est non négociable, même au prix d'une vitesse réduite.

Les auteurs concluent modestement que bien que leur approche actuelle intègre la sécurité via des champs de potentiel et une communication conçue à la main, elle ne peut pas passer à l'échelle indéfiniment. Ils identifient la bande passante de communication adaptative et l'assignation dynamique des tâches comme des variables de conception critiques pour de futurs déploiements scalables. Ce travail sert de étape fondamentale vers des politiques apprises de bout en bout (par exemple, via MADDPG) et des configurations d'espace de travail en 3D avec des certificats de sécurité basés sur Lyapunov, plutôt que de prétendre apporter une solution complète pour un déploiement industriel à grande échelle.