Stochastic Decision-Making Framework for Human-Robot Collaboration in Industrial Applications

Résumé technique : Cadre de décision stochastique pour la collaboration homme-robot dans les applications industrielles

Énoncé du problème
L'intégration des robots collaboratifs (cobots) dans les environnements industriels a déplacé les opérations de contextes solitaires et contraints par la sécurité vers des contextes coopératifs où les robots et les humains partagent des espaces de travail. Bien que la recherche actuelle utilise efficacement des capteurs (vision, proximité, EMG) pour détecter les intentions humaines, des défis importants subsistent dans la gestion de l'incertitude des facteurs humains, spécifiquement les états émotionnels (motivation et agressivité) et les indices comportementaux dynamiques. Les mécanismes de sécurité actuels reposent souvent sur des modèles musculosquelettiques statiques ou de simples seuils de distance, ce qui peut s'avérer insuffisant dans des environnements ouverts et non contraints où le comportement humain est stochastique. Le problème central abordé est le besoin d'un cadre de prise de décision capable d'anticiper les actions et les émotions humaines sous incertitude afin de garantir à la fois la sécurité et l'efficacité de la collaboration homme-robot (CHR).

Méthodologie
Le document propose un cadre de décision stochastique basé sur un processus de décision markovien partiellement observable (POMDP). L'approche dépasse l'hypothèse d'un modèle humain fixe ; elle apprend des modèles humains à partir de données observées pour gérer les états cachés tels que l'émotion et la motivation humaines.

1. Formulation de l'espace d'états : Le modèle définit un espace d'états complet ($S$) comprenant cinq types de variables :

   • Assignation de tâche ($\tau$) : Inclut la priorité, la durée, la nature (robot seul, humain seul, ou collaborative) et le statut d'engagement.
   • Distance ($d$) : Modélisée à l'aide d'une nouvelle approche de sécurité par « tri-cercle ». Les cercles représentent : (1) l'espace de travail de l'humain, (2) l'humain avec les bras totalement tendus (acte d'agression), et (3) un humain tombant au sol (accident). Le robot sélectionne dynamiquement le cercle de sécurité approprié en fonction du contexte.
   • Émotion humaine ($e$) : Comprend le niveau de motivation et le niveau d'agressivité, qui sont des états cachés inférés à partir des observations.
   • Activité humaine ($h$) et Activité du robot ($b$) : Représentant la priorité actuelle et la progression des tâches pour les deux agents.

2. Observation et Inférence : Puisque les états émotionnels ne sont pas directement observables, le système utilise un espace d'observation ($O$) composé de la position du corps humain, des angles articulaires et des vitesses angulaires (par exemple, provenant de capteurs visuels). Le cadre POMDP utilise ces observations pour mettre à jour un état de croyance (distribution de probabilité sur les états cachés comme la motivation et l'agressivité).

3. Variables de décision : L'ensemble d'actions du robot ($D$) comprend :

   • Mode de travail normal ($nw$).
   • Demander à l'humain de travailler seul ($rh1$) ou de manière collaborative ($rh2$).
   • Motiver l'humain ($mh$).
   • S'engager dans une tâche ($ct$).
   • Ajuster la distance ($dp$ pour augmenter, $dm$ pour diminuer).
   • Ne rien faire/mode d'attente ($dn$).

4. Fonction de coût : L'objectif est de équilibrer trois buts : éviter les collisions (maintenir une distance de sécurité basée sur les niveaux d'agressivité), accomplir les tâches efficacement et respecter les états émotionnels de l'humain. La fonction de coût pénalise les distances dangereuses, les tâches non assignées, la faible motivation et les assignations de tâches incorrectes.

5. Approche de résolution : Les auteurs emploient l'itération de valeur pour résoudre le MDP sous-jacent et dériver une politique optimale. Pour gérer la partialité de l'observation, une méthode de sélection d'action heuristique est utilisée où le robot agrège les poids de la distribution de l'état de croyance pour choisir l'action ayant la plus haute probabilité cumulative d'être optimale.

Contributions clés

• Modèle de sécurité Tri-Cercle : Une nouvelle approche de décision de sécurité qui ajuste dynamiquement la zone de sécurité du robot en fonction de trois scénarios humains distincts (travail, étirement, chute), plutôt que de se fier à un seul rayon de sécurité statique.
• CHR sensible aux émotions : L'intégration des états émotionnels humains (motivation et agressivité) dans la boucle de décision, permettant au robot d'adapter son comportement (par exemple, augmenter la distance si l'agressivité est élevée, motiver l'humain si l'engagement est faible).
• Prédiction d'intention bilatérale : Contra-irement aux travaux antérieurs se concentrant uniquement sur la détection de l'intention humaine, ce cadre utilise un POMDP pour raisonner sur l'interaction bilatérale, traitant les décisions humaines comme des événements exogènes tandis que le robot optimise sa propre politique pour faciliter une collaboration sûre et fluide.
• Cadre unifié : La combinaison de la gestion des tâches, des contraintes de sécurité et du raisonnement émotionnel au sein d'un cadre de contrôle stochastique unique.

Résultats
Le cadre proposé a été validé par une étude de cas numérique impliquant un scénario industriel simulé avec un humain et un robot. La simulation a introduit trois tâches séquentielles avec des priorités, des durées et des exigences de collaboration variables (collaboratives, humain seul et robot seul).

• Exécution des tâches : Le système a identifié avec succès les politiques optimales pour exécuter les tâches dans le temps le plus court tout en maintenant la sécurité.
• Adaptation dynamique : Les résultats ont démontré la capacité du robot à ajuster son comportement en fonction de la nature de la tâche. Pour les tâches collaboratives, le robot maintenait une distance proche (petit cercle de sécurité) et motivait l'humain. Pour les tâches réservées à l'humain, le robot augmentait la distance et motivait l'humain avant d'assigner la tâche.
• Gestion de la sécurité : La simulation a montré que le robot gérait efficacement les zones de sécurité « tri-cercle », augmentant la distance lorsque l'humain n'était pas engagé dans une tâche collaborative et la réduisant lorsqu'une collaboration était requise.
• Mises à jour de l'état de croyance : Le système a réussi à inférer les états émotionnels cachés (motivation et agressivité) basés sur les vitesses humaines observées, mettant à jour l'état de croyance pour guider la prise de décision.

Signification et affirmations
L'article affirme que sa principale signification réside dans le fait de combler la lacune de la recherche actuelle en CHR, qui se concentre souvent sur la détection de l'intention sans tenir compte de manière adéquate de la nature stochastique des émotions humaines et des exigences dynamiques de la sécurité. En utilisant un POMDP, le cadre offre une approche généralisée pour gérer les incertitudes découlant des actions humaines dissimulées et des données de capteurs imparfaites. Les auteurs soutiennent que cette approche améliore la sécurité et la transparence des robots collaboratifs, permettant d'anticiper les actions humaines et d'adapter le comportement en temps réel. L'étude conclut qu'intégrer à la fois les états du robot et les états émotionnels incertains de l'humain dans une structure hiérarchique unifiée fournit une solution complète pour les interactions homme-robot dynamiques, allant au-delà du simple évitement de collision pour une collaboration proactive et sensible aux émotions.