OpenMarcie: Dataset for Multimodal Action Recognition in Industrial Environments

OpenMarcie est le plus grand jeu de données multimodales à ce jour, conçu pour la reconnaissance d'actions humaines en milieu industriel, intégrant des données de capteurs portables et de caméras provenant de 36 participants effectuant des tâches d'assemblage variées pour soutenir l'analyse de performance et de sécurité dans les usines intelligentes.

L'essentiel

Imaginez une usine du futur, un endroit où les humains et les robots travaillent main dans la main comme des partenaires de danse parfaitement synchronisés. Pour que cette danse fonctionne, le robot doit comprendre ce que l'humain est en train de faire, pas seulement en le regardant, mais en "ressentant" ses mouvements et en écoutant l'ambiance.

C'est exactement là qu'intervient OpenMarcie, le nouveau héros de l'histoire que vous venez de lire.

Voici une explication simple de ce projet, imagée pour tout le monde :

1. Le Problème : Les Usines sont des "Boîtes Noires"

Jusqu'à présent, essayer de comprendre le travail dans une usine avec des caméras et des robots, c'était un peu comme essayer de deviner les règles d'un jeu de société en regardant seulement les pions bouger sur la table, sans entendre les joueurs discuter ni voir leurs mains.

• Les anciennes bases de données (les "recueils de données") étaient trop rigides : elles montraient des gens faisant toujours la même chose, exactement de la même façon.
• Elles manquaient de "couleurs" : pas assez de capteurs sur le corps, pas assez de sons, pas assez de perspectives différentes.

2. La Solution : OpenMarcie, le "Super-Enregistreur"

Les chercheurs ont créé OpenMarcie, la plus grande bibliothèque de données jamais conçue pour observer le travail humain dans l'industrie.

Imaginez que vous avez 36 volontaires (des ingénieurs, des scientifiques, etc.) dans une pièce. On leur donne deux missions très différentes pour voir comment ils réagissent :

• Mission 1 : Le Monteur de Vélo (Le "Chaos Organisé")
  Imaginez qu'on donne à quelqu'un un vélo en pièces détachées et qu'on lui dit : "Monte-le, mais fais-le comme tu veux !". Il n'y a pas de mode d'emploi strict. Il va chercher les pièces, essayer des choses, peut-être se tromper, puis corriger. C'est comme cuisiner sans recette : chacun a sa propre méthode. C'est ce qu'on appelle un scénario "à la demande" (Ad-hoc).
• Mission 2 : L'Assembleur d'Imprimante 3D (Le "Suivi de Recette")
  Là, c'est l'inverse. On donne un mode d'emploi très précis pour construire une imprimante 3D. Les gens doivent suivre les étapes, lire les instructions, et parfois s'aider les uns les autres. C'est comme suivre une partition de musique : il y a une structure, mais il faut de la concentration.

3. La Magie : Comment on les a filmés ?

C'est ici que ça devient fascinant. Au lieu de juste poser une caméra dans le coin, les chercheurs ont équipé les participants comme des super-héros de l'espionnage :

• Des lunettes et des bracelets intelligents : Ils portaient des capteurs sur leurs poignets, leur tête et leur torse. Ces capteurs sentaient les mouvements (accélération), la température, et même la pression de l'air (pour savoir si la personne se penchait ou se levait).
• Des yeux partout : Il y avait des caméras fixées sur leur poitrine (vue de ce qu'ils voient) et d'autres dans la pièce (vue de l'extérieur).
• Des oreilles sensibles : Des microphones enregistraient les bruits des outils (le "clic" d'une vis, le "bruit" d'un marteau), mais sans les voix des gens, pour protéger leur vie privée.

En tout, c'est comme si on avait créé un film en 8 dimensions : on voit l'action, on sent les mouvements du corps, on entend les bruits des outils, et on connaît la position exacte de chaque objet.

4. Pourquoi c'est utile ? (La "Boîte à Outils" pour les Robots)

Cette énorme collection de données (plus de 37 heures de vidéo et de capteurs !) sert de "terrain d'entraînement" pour l'intelligence artificielle.

• Apprendre à danser : Cela permet aux robots d'apprendre non seulement quoi faire, mais comment le faire, même si la personne devant eux fait des erreurs ou change de méthode.
• La sécurité : Si le robot voit que l'humain est en train de faire un mouvement dangereux (comme se pencher trop près d'une machine), il peut intervenir.
• L'efficacité : On peut analyser comment les gens travaillent pour améliorer les processus dans les usines réelles.

5. Le Résultat : Une Révolution pour l'Usine du Futur

En résumé, OpenMarcie est comme un manuel d'instructions universel pour les robots. Avant, les robots étaient un peu comme des bébés : ils ne comprenaient que ce qu'on leur montrait de manière très stricte. Avec OpenMarcie, ils vont pouvoir comprendre la complexité du travail humain, les erreurs, les improvisations et la collaboration.

C'est une étape géante vers des usines où les humains et les machines ne sont plus des étrangers l'un pour l'autre, mais des coéquipiers qui se comprennent parfaitement, même sans se parler.

Résumé technique

1. Problématique et Contexte

L'industrie 4.0 et les usines intelligentes reposent de plus en plus sur l'intégration de l'intelligence humaine dans des systèmes automatisés. Pour optimiser les flux de production, assurer la sécurité et évaluer les compétences, la Reconnaissance d'Activités Humaines (HAR) est cruciale. Cependant, les datasets existants pour les environnements industriels souffrent de trois limitations majeures :

1. Manque de multimodalité synchronisée : Ils ne combinent pas efficacement les capteurs portables (wearables), la vision et l'audio.
2. Tâches trop contraintes : Les données sont souvent issues de protocoles rigides qui ne reflètent pas la nature ouverte, procédurale et collaborative du travail industriel réel.
3. Diversité limitée : Peu de diversité démographique ou de complexité de tâche (souvent des actions courtes et isolées).

De plus, les méthodes basées uniquement sur la vision posent des problèmes de confidentialité et de risque de fuite technologique dans les usines. Il est donc nécessaire d'unifier des sources de données hétérogènes (capteurs inertiels, audio, vidéo égocentrique/exocentrique) pour capturer la complexité des workflows industriels.

2. Méthodologie et Conception du Dataset

OpenMarcie est un dataset multimodal à grande échelle conçu spécifiquement pour la surveillance des activités humaines en milieu manufacturier. Il repose sur deux scénarios expérimentaux distincts impliquant 36 participants (au total) :

• Scénario (a) : Assemblage/Désassemblage de vélo (Ad-hoc)

  • Nature : Tâche orientée vers un but, sans protocole fixe, favorisant la résolution de problèmes divergente.
  • Participants : 12 bénévoles.
  • Capteurs : IMU, magnétomètres, baromètres, capteurs thermiques et spectromètres portés aux poignets, à la tête (lunettes) et au torse. Caméra RGB-D égocentrique et caméras exocentriques (ZED).
  • Annotation : Basée sur une vue exocentrique manuelle avec un schéma "Verbe-Objet-Outil" conscient de l'intention.

• Scénario (b) : Assemblage d'imprimante 3D (Procédural)

  • Nature : Tâche hautement procédurale suivant des instructions détaillées, simulant une ligne de production. Inclut une assemblage collaboratif séquentiel où les participants continuent le travail des précédents, évaluant et corrigeant les erreurs.
  • Participants : 24 bénévoles valides.
  • Capteurs : Configuration similaire mais adaptée à l'ergonomie (IMU aux poignets, caméra au front et au torse, iPhone avec LiDAR).
  • Annotation : Utilisation d'un pipeline hybride humain-IA. Des narrations orales en temps réel sont transcrites, puis transformées en "soft labels" (descriptions naturelles) et enfin en "hard labels" (classes d'actions discrètes) via des modèles de langage (LLM comme GPT-4o et DeepSeek-r1) avec validation humaine.

Caractéristiques Techniques du Dataset :

• Volume : Plus de 37 heures de données.
• Modalités : 8 types de données (IMU, magnétomètre, baromètre, température, spectromètre, caméra thermique, LiDAR/RGB-D, audio stéréo).
• Canaux : Plus de 200 canaux d'information indépendants (environ 282 canaux bruts).
• Synchronisation : Données parfaitement synchronisées entre les vues égocentriques (portables) et exocentriques (fixes), ainsi qu'avec les flux audio et de capteurs.
• Éthique : Anonymisation stricte (floutage des visages, suppression de la voix pour ne garder que les sons instrumentaux/outils) conforme à la Déclaration d'Helsinki.

3. Contributions Clés

1. Dataset Multimodal Unifié : OpenMarcie est le premier dataset industriel à unifier des capteurs portables, des vidéos multi-vues (égocentrique + exocentrique), des étiquettes multi-actions (actions simultanées) et une couverture complète de workflows industriels.
2. Réalisme des Scénarios : Contrairement aux tâches scriptées, il capture des décisions autonomes, des erreurs de manipulation, des corrections et des interactions collaboratives, reflétant la dynamique réelle d'une usine.
3. Annotation Riches et Évolutive : Utilisation de narrations audio et de LLM pour générer des étiquettes structurées, permettant une analyse fine-granulaire (séquencement, outils, objets, intentions).
4. Benchmarks de Validation : Établissement de trois tâches de référence pour évaluer le dataset :
   • Reconnaissance d'activité humaine (HAR).
   • Légendage à vocabulaire ouvert (Open Vocabulary Captioning).
   • Alignement inter-modal (Cross-Modal Alignment).

4. Résultats Expérimentaux

Les auteurs ont évalué plusieurs architectures (fusions tardives, transformateurs, modèles modernes comme Perceiver IO et AnyMAL) sur les trois tâches :

• Reconnaissance d'Activité (HAR) :

  • La fusion Inertiel + Vision obtient les meilleurs résultats (Macro F1 ~0.88 pour le vélo, ~0.77 pour l'imprimante 3D).
  • L'ajout de l'audio seul apporte peu, mais la fusion complète (I+A+V) améliore légèrement la performance par rapport aux modalités unimodales.
  • Les modèles modernes (Perceiver IO) surpassent les baselines de fusion tardive.

• Légendage à Vocabulaire Ouvert :

  • La combinaison Inertiel + Vision est également la plus performante pour la similarité cosinus avec les descriptions textuelles.
  • L'audio seul est le moins performant, confirmant que les sons d'outils sont subtils sans contexte visuel ou inertiel.

• Alignement Inter-Modal :

  • L'alignement entre les modalités (vidéo, IMU, audio, texte) est le plus fort lorsque l'inertiel et la vision sont combinés avec le texte.
  • Cela démontre la capacité du dataset à apprendre des représentations partagées robustes.

• Détection de Contact Outil :

  • Une analyse spécifique montre que l'audio est crucial pour détecter les contacts outils/pièces (marteau, vissage), améliorant le F1 de ~0.905 à 0.923 lorsqu'il est ajouté à la vision et l'inertiel.

5. Signification et Impact

OpenMarcie comble un vide critique dans la recherche sur l'IA industrielle :

• Validité Écologique : Il offre un compromis entre le contrôle expérimental nécessaire à l'annotation précise et la complexité des workflows réels (erreurs, collaboration, diversité des tâches).
• Confidentialité : En intégrant des capteurs portables et en anonymisant les données (suppression de la voix, floutage), il propose une voie pour la surveillance industrielle respectueuse de la vie privée.
• Fondation pour l'IA Corporelle (Embodied AI) : Le dataset permet de développer des systèmes capables de comprendre non seulement ce qui est fait, mais comment et pourquoi, facilitant la collaboration humain-robot, l'évaluation des compétences et la formation adaptative.
• Ressource Communautaire : En étant open-source, il permet à la communauté de benchmark des modèles multimodaux avancés dans des conditions réalistes, au-delà des simples jeux de données de vidéos web.

En résumé, OpenMarcie représente une avancée majeure pour la compréhension des activités humaines complexes en milieu industriel, en passant d'une vision purement visuelle à une approche multimodale holistique intégrant le mouvement, le son et le contexte procédural.