Robust Assembly State Reasoning from Action Recognition for Human-Robot Collaboration

Résumé technique : Raisonnement robuste de l'état d'assemblage à partir de la reconnaissance d'actions pour la collaboration homme-robot

Énoncé du problème
Dans le contexte de l'Industrie 5.0 et de la collaboration homme-robot (CHR), un défi critique demeure : permettre aux partenaires robots de percevoir avec précision l'étape actuelle d'une tâche d'assemblage collaborative à partir des entrées de reconnaissance d'actions humaines (HAR). Bien que les systèmes HAR puissent souvent identifier le type d'action effectuée (par exemple, « visser »), ils échouent fréquemment à mapper ces actions à l'état spécifique d'une séquence d'assemblage complexe. Cela est particulièrement difficile dans des scénarios réalistes où les tâches impliquent des actions répétées du même type primitif, des comportements d'utilisateurs non linéaires (saut d'étapes ou réordonnancement) et des données de capteurs imparfaites. Les approches actuelles reposent souvent sur une logique rigide et artisanale ou sur des indices spécifiques qui réduisent la fluidité de l'interaction, tandis que les méthodes avancées manquent de robustesse lors de comparaisons à travers des environnements de tâches diversifiés, bruités et variables.

Méthodologie
Les auteurs étudient et comparent systématiquement cinq méthodes distinctes pour le suivi des états d'assemblage à partir d'entrées de reconnaissance d'actions. L'étude utilise deux ensembles de données open-source diversifiés :

1. HA4M : Un assemblage de train d'engrenages épicycloïdaux comprenant 13 types d'actions et 19 états, présentant des actions répétées.
2. IKEA ASM : Trois tâches d'assemblage de meubles (table basse, table d'appoint, meuble TV) caractérisées par des variations naturelles de l'ordre des actions, des corrections d'erreurs et des actions cycliques répétées.

Les cinq approches évaluées sont :

• Logique de base (Baseline Logic) : Un algorithme déterministe qui itère à travers les états en faisant correspondre les actions observées et en décrémentant un compteur de temps (initialisé à la durée moyenne de l'action). Il fait progresser les états si l'action observée correspond à l'action suivante attendue ou si un seuil de temps est atteint.
• Base probabiliste améliorée (Probabilistic Enhanced Baseline) : Une extension de la base qui incorpore un modèle probabiliste. Au lieu d'un seuil de temps strict, elle utilise une fonction de répartition cumulative (CDF) normale basée sur la moyenne et l'écart type des durées d'action pour calculer la probabilité d'achèvement, déclenchant une transition d'état lorsque cette probabilité dépasse 0,9.
• Modèle de Markov caché (HMM) : Un CategoricalHMM implémenté avec des matrices de transition et d'émission prédéfinies. Le modèle suppose une structure séquentielle connue, avec des probabilités de transition favorisant l'état actuel (0,7) ou le passage à l'état suivant (0,225), et des probabilités d'émission favorisant l'observation correcte (0,7). Cette méthode ne nécessite aucune donnée d'entraînement.
• LSTM axé sur la tâche (Task-Focused LSTM) : Un réseau de neurones entraîné spécifiquement sur un seul type de tâche. Il prend une séquence d'entrées d'actions codées en one-hot et produit l'indice de l'état actuel. Il est entraîné sur des fenêtres de 5 secondes avec 20 % de bruit simulé.
• LSTM axé sur l'action (Action-Focused LSTM) : Une architecture de réseau générique conçue pour être instanciée pour chaque action d'une séquence. Elle prédit les probabilités de début et d'achèvement d'actions spécifiques en fonction du type d'action actuel, des statistiques de durée et de la sortie du modèle de l'action précédente. Cela vise à éviter de réentraîner le modèle pour chaque nouvelle tâche.

Les expériences ont été menées en deux étapes :

1. Entrées simulées : Les méthodes ont été testées contre des séquences d'actions de vérité terrain avec différents niveaux de bruit injecté (0 % à 50 %) pour évaluer la robustesse.
2. Entrées réalistes : Un modèle ST-GCN pré-entraîné a été utilisé pour générer des prédictions HAR à partir de données de squelettes, qui ont ensuite été injectées dans les méthodes de suivi d'état pour simuler les imperfections des capteurs du monde réel.

Résultats clés
L'étude révèle qu'aucune méthode unique n'est optimale dans tous les scénarios ; la performance dépend fortement de la variabilité de la tâche et des niveaux de bruit d'entrée.

• Robustesse au bruit : Dans l'ensemble de données HA4M (qui possède des actions répétées mais une séquence fixe), le Task-LSTM a obtenu les meilleurs résultats sous un bruit faible à modéré (score F1 d'environ 0,64 à 0,3 de bruit). Cependant, à mesure que le bruit augmentait, les méthodes basées sur la logique montraient une plus grande résilience.
• Tâches variables : Dans les ensembles de données IKEA (caractérisés par une grande variabilité et des actions cycliques répétées), les méthodes Baseline et Probabilistic Baseline ont nettement surpassé les approches par réseaux de neurones et HMM. Le HMM, en particulier, a eu du mal à distinguer les actions identiques séquentielles dans HA4M et avait tendance à « sauter vers l'avant » jusqu'à la fin de la tâche dans les scénarios IKEA.
• Entrées HAR réalistes : Lors de l'utilisation de sorties ST-GCN réelles (qui présentaient une précision moindre, par exemple F1 0,27 pour IKEA), la Probabilistic Baseline a obtenu le score F1 le plus élevé pour les tâches IKEA (0,46), tandis que le Task-LSTM est resté supérieur pour HA4M (0,57).
• Modes de défaillance : Les matrices de confusion ont indiqué que les réseaux de neurones et les HMM se retrouvent souvent « bloqués » dans des états ou sautent des étapes face à des actions répétées ou du bruit. Les méthodes basées sur la logique étaient plus susceptibles de rester bloquées mais moins susceptibles de sauter des états.

Signification et revendications
L'article soutient qu'un suivi d'état robuste en CHR nécessite une approche nuancée plutôt qu'une solution « universelle ». Les auteurs soulignent que :

1. Le contexte compte : Les méthodes optimales varient selon la tâche. Les approches basées sur la logique sont plus robustes dans les scénces présentant une grande variabilité et des actions répétées, tandis que les méthodes NN et HMM peuvent bien performer dans des tâches à faible variabilité.
2. La modélisation de la durée est critique : Les méthodes qui modélisent explicitement la durée d'action attendue (telles que la Probabilistic Baseline) sont essentielles pour gérer les actions répétées lorsqu'auc'un capteur supplémentaire n'est disponible pour les distinguer.
3. Généralisabilité vs Spécificité : Bien que l'apprentissage profond offre des performances élevées dans des environnements contrôlés, il peine face au bruit et à la variance inhérents à la CHR réelle. Les auteurs préconisent des architectures généralisables qui minimisent les règles artisanales, tout en reconnaissant que les approches logiques actuelles offrent une robustesse nécessaire pour le déploiement dans des environnements complexes et non idéaux.

L'étude conclut que la prédiction précise de l'état reste un défi non trivial, particulièrement lorsque les utilisateurs dévient des procédures idéales. Les travaux futurs devront se concentrer sur l'intégration de modalités de données supplémentaires (telles que le suivi de l'état des objets) pour améliorer davantage la robustesse sans sacrifier la capacité de déployer des systèmes avec un réentraînement minimal.