Improving Human-Robot Teamwork in Urban Search and Rescue Through Episodic Memory of Prior Collaboration

Résumé Technique : Améliorer le travail d'équipe humain-robot dans la recherche et le sauvetage en milieu urbain grâce à la mémoire épisodique de collaborations antérieures

Énoncé du problème
Un travail d'équipe humain-robot efficace dans des environnements dynamiques et dangereux comme la recherche et le sauvetage en milieu urbain (USAR - Urban Search and Rescue) exige que les robots s'adaptent aux partenaires et aux situations de tâche immédiatement, plutôt que de se contenter d'apprendre par essais et erreurs durant l'interaction. Bien que des travaux antérieurs dans l'environnement MATRX USAR aient démontré que les robots peuvent s'adapter au fil du temps et que les équipes humain-robot peuvent externaliser les modèles de collaboration (CP - Collaboration Patterns) via des interfaces de chat et de réflexion, un écart subsiste dans l'utilisation de ces modèles historiques pour initialiser les interactions futures. Le problème central abordé est la manière de transférer l'expérience de collaboration explicite et antérieure vers un nouvel épisode de collaboration afin d'améliorer les performances en phase initiale, plutôt que de laisser le robot repartir d'un état de mémoire vide.

Méthodologie
Les auteurs proposent un cadre où les modèles de collaboration historiques sont représentés sous forme de mémoires épisodiques de graphes de connaissances et sont utilisés pour initialiser un robot avant le début d'une nouvelle tâche.

1. Ontologie et Représentation :

   • Les modèles de collaboration (CP) sont modélisés comme des graphes de propriétés utilisant JanusGraph. L'ontologie comprend six types d'entités : robot, participant, cp, situation, robot_action, et human_action.
   • Les relations sont capturées via des familles d'arêtes (has_cp, has_situation, has_robot_action, has_human_action). Pour préserver l'ordre des actions, les arêtes d'action sont distinguées par des indices de séquence (ex: has_robot_action_0, has_robot_action_1), ce qui donne neuf labels de relation distincts.
   • Les propriétés des nœuds incluent des métriques numériques (ex: time_elapsed, success) et des attributs textuels (descriptions d'actions). Les attributs textuels sont encodés en vecteurs via Sentence-BERT, tandis que les caractéristiques numériques sont normalisées et projetées vers une dimensionnalité commune.

2. Apprentissage de Représentation de Graphe :

   • Un Réseau de Convolution de Graphe Relationnel (RGCN - Relational Graph Convolutional Network) est employé pour apprendre des représentations significatives des graphes de CP. Le modèle utilise un objectif de classification de nœuds avec un classificateur linéaire unique au sommet de la dernière couche du RGCN.
   • Les dix classes de nœuds correspondent aux types de schémas (un cp, une situation, trois étapes de human_action et cinq étapes de robot_action). Cette supervision permet à l'encodeur de distinguer les étapes précoces et tardives d'un modèle de collaboration.
   • Après l'entraînement, des plongements (embeddings) de niveau graphe sont générés par un regroupement moyen (mean-pooling) des derniers plongements de nœuds de chaque graphe de CP.

3. Sélection de la Mémoire et Initialisation :

   • Les plongements de graphes appris sont regroupés par K-means (avec $K=5$).
   • Les auteurs sélectionnent de manière heuristique le Cluster 1 comme source de mémoire réutilisable, car il présente le taux de succès le plus élevé (42 %) et une simplicité structurelle (dominée par des actions consécutives du robot avec une intervention humaine minimale).
   • Le CP le plus proche du centroïde du Cluster 1 est choisi comme mémoire représentative. Ce CP implique une situation (« Sommet d'un tas de rochers », « Gros rocher ») et une séquence d'actions robotiques en deux étapes (ramasser et déposer un gros rocher) sans nécessiter d'intervention humaine.
   • Dans le dispositif expérimental, le robot est initialisé avec ce CP unique, préchargé, avant le début de l'interaction humain-robot.

Principales Contributions
Le papier présente trois contributions principales :

• Représentation de la Mémoire Épisodique d'Équipe : Représenter les CP issus d'interactions antérieures sous forme de mémoires épisodiques de graphes de connaissances qui préservent le contexte situationnel, la structure des actions et les résultats des tâches dans un format réutilisable.
• Sélection de l'Expérience Antérieure Réutilisable : Utiliser l'apprentissage de représentation de graphe avec supervision par type de nœud pour organiser les CP historiques et identifier un modèle représentatif pour l'initialisation.
• Amélioration de la Performance Initiale de l'Équipe : Démontrer qu'initialiser un robot avec une mémoire préalable sélectionnée améliore significativement les mesures de performance, particulièrement au début de la collaboration.

Résultats Expérimentaux
L'étude a impliqué 20 participants et 160 observations par tour dans la simulation MATRX USAR. Le robot a été testé dans deux conditions : sans mémoire initialisée et avec le CP unique sélectionné préchargé.

• Taux de Succès : Le succès du sauvetage est passé de 25,7 % (sans mémoire) à 41,3 % (avec mémoire), soit une amélioration relative de 60,7 %.
• Temps de Tâche : Le temps moyen de la tâche a été réduit de 283 secondes.
• Dynamiques Temporelles : Les gains les plus importants ont été observés lors du Round 1, suggérant que la mémoire aide les équipes à s'orienter face à la tâche avant que l'adaptation humaine ne puisse intervenir.
• Compromis : Bien que le succès et le temps se soient améliorés, les dommages aux victimes étaient légèrement plus élevés en moyenne dans la condition avec mémoire initialisée, probablement en raison de chutes de rochers accidentelles lorsque le robot exécutait des stratégies de retrait de débris lourds. La performance a également décliné dans les tours les plus difficiles (7 et 8), où le CP réutilisé ne tenait pas compte des risques spécifiques liés au « rocher brun » introduit dans les scénarios ultérieurs.

Signification et Revendications
Les auteurs positionnent ce travail comme un mécanisme concret pour initialiser un robot avec une expérience d'équipe inspectable, plutôt que comme une nouvelle théorie générale du transfert de mémoire.

• Transparence : Contraigèrement aux mises à jour de politiques opaques, l'expérience réutilisée reste une structure situation-action explicite et lisible par l'humain, qui peut être inspectée, discutée et révisée par les opérateurs.
• Soutien à l'Interaction Précoce : Les résultats suggèrent que la mémoire épisodique réutilisable est plus efficace au début de la collaboration, fournissant un point de départ coordonné lorsque les routines partagées ne se sont pas encore formées.
• Limites : Le papier reconnaît modestement certaines limites, notamment le cadre de simulation, la petite taille de l'échantillon, la sélection heuristique d'un seul CP proche du centroïde, et l'absence de bases de comparaison impliquant des mémoires choisies de manière aléatoire ou par des experts. Les auteurs notent que l'approche n'élimine pas les risques de sécurité associés au retrait agressif de débris, mais offre un modèle de déploiement où les connaissances antérieures soutiennent la coordination sous supervision humaine.