From Instructions to Assistance: a Dataset Aligning Instruction Manuals with Assembly Videos for Evaluating Multimodal LLMs

Cette étude présente le jeu de données M2AD, qui aligne les manuels d'instructions avec des vidéos d'assemblage de meubles, afin d'évaluer les capacités actuelles des modèles de langage multimodaux à servir d'assistants en temps réel pour des tâches procédurales et de mettre en évidence leurs limites actuelles en matière de raisonnement visuel et textuel.

L'essentiel

🛠️ Le Grand Défi : De la Notice au "Super-Assistant"

Imaginez que vous venez d'acheter un meuble en kit (disons, un grand placard IKEA). Vous avez la notice papier (le texte) et vous avez vos yeux pour voir les pièces. Le but de ce papier, c'est de créer un super-assistant numérique capable de vous aider en temps réel.

L'idée ? Cet assistant ne devrait pas seulement lire la notice, mais aussi voir ce que vous faites (via une caméra ou des lunettes de réalité augmentée) et vous dire : "Attends, tu as oublié la vis B !" ou "Bravo, cette étape est finie, on passe à la suivante."

Pour tester si les intelligences artificielles actuelles sont capables de faire ce travail, les chercheurs ont créé un nouveau terrain de jeu appelé M2AD.

---

📚 1. La Recette du Jeu de Données (M2AD)

Pour entraîner et tester ces robots, il faut des exemples. Les chercheurs ont pris des vidéos YouTube de gens assemblant des meubles et les ont jumelées avec les notices officielles.

• L'analogie : C'est comme si vous preniez un film de cuisine et que vous colliez, page par page, la recette du chef à côté de chaque mouvement du cuisinier.
• Ce qu'ils ont fait : Ils ont découpé les vidéos en petits morceaux précis et ont dit : "Ici, sur la page 12 de la notice, l'étape 3 commence. Ici, elle se termine."
• Pourquoi c'est spécial ? Contrairement à d'autres bases de données qui demandent des annotations ultra-détaillées (comme dessiner des cadres autour de chaque vis), ici, ils ont voulu voir si l'IA pouvait comprendre la logique globale sans qu'on lui dise tout mot par mot. C'est comme apprendre à conduire en regardant un film plutôt qu'en mémorisant chaque mouvement d'un professeur.

---

🤖 2. Le Test : Qui est le meilleur élève ?

Les chercheurs ont pris plusieurs "cerveaux" d'intelligence artificielle (appelés modèles multimodaux, car ils voient et lisent) et les ont mis à l'épreuve sur un PC de bureau classique (pas un super-ordinateur de la NASA, pour rester réaliste).

Ils ont posé trois types de questions à ces IA :

1. Le Détective de Fin d'Étape : "Regarde cette photo de ton travail et cette page de la notice. Est-ce que tu as fini l'étape ?"
   • Résultat : Certains modèles ont réussi, d'autres ont eu l'air de deviner au hasard. C'était difficile !
2. Le Chasseur de Page : "Voici une photo de ton montage. Est-ce que l'instruction est sur cette page de la notice ou sur la page d'à côté ?"
   • Résultat : Là encore, la plupart des modèles ont eu du mal à faire le lien entre l'image réelle et le dessin schématique de la notice.
3. Le Compteur d'Étapes : "Où en es-tu exactement ? Est-ce l'étape 4 ou l'étape 5 ?"
   • Résultat : C'était le plus dur. La plupart des modèles se sont perdus, sauf un nommé MolMo qui a brillé. Pourquoi ? Parce qu'il est très fort pour "pointer" du doigt les objets sur l'image et comprendre la spatialité (gauche/droite), comme un humain qui dirait "Non, mets la pièce à gauche, pas à droite".

---

💡 3. Les Leçons Apprises (Les Limites)

Malgré les progrès, les chercheurs ont découvert que nos IA actuelles ont encore des "lunettes de vue" limitées :

• Le problème de la mémoire : Pour comprendre une séquence complexe (comme assembler un meuble), il faut se souvenir de ce qui s'est passé il y a 5 minutes. Or, les modèles actuels ont une "mémoire à court terme" très courte. C'est comme essayer de lire un roman en ne se souvenant que des deux dernières phrases.
• Le fossé entre le dessin et la réalité : Les IA ont du mal à comparer un dessin technique (la notice) avec une photo réelle (le meuble en bois). C'est comme si on demandait à quelqu'un de reconnaître un ami sur une photo de passeport, mais que l'ami portait un manteau et un chapeau.
• Le besoin de "raisonnement spatial" : Les modèles qui réussissent le mieux sont ceux qui peuvent littéralement "pointer" sur l'image et dire "C'est ici". C'est une compétence humaine naturelle que les IA commencent juste à maîtriser.

---

🚀 Conclusion : Vers quel futur ?

Ce papier nous dit deux choses importantes :

1. C'est possible : On commence à pouvoir créer des assistants qui comprennent nos actions sans avoir besoin d'annoter chaque seconde de vidéo (ce qui serait trop cher et long).
2. Il reste du travail : Pour que cet assistant soit vraiment utile dans un atelier ou chez vous, il faut qu'il soit capable de voir plusieurs images à la fois, de comprendre la chronologie (le temps qui passe) et de faire le lien entre un dessin abstrait et la réalité.

En résumé, nous sommes à l'aube d'une nouvelle ère où l'IA ne se contente plus de lire des textes, mais commence à regarder nos mains travailler pour nous aider. Mais pour l'instant, elle a encore besoin d'un peu d'aide pour ne pas se tromper de vis !

Résumé technique

1. Problématique et Contexte

Les modèles de langage de grande taille (LLM) ont révolutionné le traitement du texte, mais leur application aux tâches complexes du monde réel nécessite désormais une intégration multimodale (images, vidéo, audio), donnant naissance aux Modèles de Langage Multimodaux (MLM).

Le problème central abordé par les auteurs est l'évaluation de la capacité des MLM actuels à agir comme assistants techniques en temps réel (par exemple, pour l'assemblage de meubles). Bien que des benchmarks existent (comme IKEA Manuals at Work ou HoloAssist), ils présentent des limites majeures :

• Ils se concentrent souvent sur des tâches atomiques (reconnaissance d'action, détection d'erreur) plutôt que sur le raisonnement procédural séquentiel.
• Ils reposent sur des annotations lourdes et coûteuses (niveau image, limites d'objets) qui ne correspondent pas à la capacité des nouveaux MLM à extraire des informations brutes.
• Ils manquent de diversité dans les points de vue (égocentrique vs exocentrique) et ne testent pas suffisamment l'intégration entre des manuels d'instructions (texte/image statique) et des flux vidéo dynamiques.

L'objectif est donc de créer un cadre d'évaluation réaliste pour déterminer si les MLM peuvent comprendre, suivre et guider un utilisateur à travers une procédure d'assemblage complexe en s'appuyant uniquement sur des données multimodales.

2. Méthodologie : Le Dataset M2AD

Pour répondre à ces lacunes, les auteurs ont créé le dataset M2AD (Manual-to-Action Dataset).

• Source des données : Le dataset est composé de vidéos YouTube réelles (non scriptées) montrant l'assemblage de 53 meubles IKEA, couplées aux manuels d'instructions officiels extraits du site d'IKEA.
• Annotation : Contrairement aux approches précédentes, M2AD utilise une annotation minimale mais précise. Chaque vidéo est segmentée en fenêtres temporelles correspondant à l'exécution d'une étape spécifique du manuel. Les annotations incluent :
  • Les timestamps de début et de fin de chaque étape.
  • Le numéro de l'étape.
  • Le numéro de la page du manuel correspondant.
• Diversité : Le dataset intègre des perspectives égocentriques (vue à la première personne, type VR/AR) et exocentriques (vue à la troisième personne), reflétant la variabilité réelle des tâches humaines (sauts d'étapes, retours en arrière, interruptions).
• Statistiques : 1228 annotations au total, avec une durée moyenne d'étape de 21,1 secondes et un nombre d'étapes par vidéo variant de 2 à 71.

3. Contributions Clés

1. Création de M2AD : Un benchmark open-source conçu spécifiquement pour évaluer le raisonnement procédural multimodal dans des scénarios d'assistance technique, en alignant manuels et vidéos.
2. Évaluation sur Matériel Grand Public : Les expériences ont été menées sur du matériel de niveau consommateur (PC avec GPU RTX 4090) pour simuler des contraintes réelles de confidentialité des données et de latence, évitant ainsi le recours à des API cloud fermées.
3. Analyse des Capacités des MLM : Une évaluation systématique de plusieurs modèles MLM open-source (LLaVa, Qwen2-VL, MolMo, Ovis, etc.) sur trois tâches critiques.
4. Réduction de la dépendance aux annotations : Démonstration qu'il est possible d'évaluer les modèles sans annotations de niveau pixel, en se basant sur la compréhension globale du flux vidéo et du texte.

4. Expériences et Résultats

Les auteurs ont évalué les modèles sur trois tâches distinctes en utilisant des modèles comme LLaVa-Video, Qwen2-VL, MolMo, Ovis, et Pixtral.

• Tâche 1 : Détection de l'achèvement d'une étape (Step Completion)

  • Objectif : Déterminer si l'étape actuelle de la vidéo correspond à l'étape indiquée dans le manuel.
  • Résultats : Les performances sont globalement modestes. Seuls LLaVa-Video, Qwen2-VL et Ovis dépassent significativement le hasard (précision ~56-57%). La plupart des autres modèles se comportent comme des classificateurs aléatoires.

• Tâche 2 : Détection d'étape (Step Detection)

  • Objectif : Identifier si une page de manuel donnée contient l'instruction correspondant à la vidéo.
  • Résultats : Encore une fois, LLaVa-Video et Qwen2-VL obtiennent les meilleurs résultats (~59% et ~56% de précision), tandis que les autres modèles peinent à distinguer les pages pertinentes des leurres.

• Tâche 3 : Identification de l'étape (Step Identification)

  • Objectif : Identifier le numéro exact de l'étape en cours parmi plusieurs options.
  • Résultats : C'est la tâche la plus difficile. La plupart des modèles échouent (précision < 25%). Une exception notable est MolMo, qui atteint une précision de 79,56%.
  • Analyse de MolMo : Sa performance exceptionnelle est attribuée à sa capacité de "pointage" (pointing) vers des entités dans l'image et à son utilisation du raisonnement spatial (comparaison gauche/droite entre la page du manuel et la vidéo), bien qu'il ne supporte pas nativement le raisonnement texte-image entrelacé (interleaved).

5. Signification et Limites

Constats Principaux :

• Limites Architecturales et Matérielles : Les performances sont fortement limitées par la capacité des modèles à traiter de longs contextes vidéo et à intégrer plusieurs images avec du texte de manière fluide. Les contraintes matérielles (mémoire) obligent souvent à tronquer les données, nuisant à la compréhension des séquences complexes.
• Importance du Raisonnement Spatial et Entrelacé : Les résultats soulignent que pour l'assistance technique, la capacité à raisonner sur la disposition spatiale des éléments (comme le fait MolMo) et à traiter des flux entrelacés de texte et d'images est cruciale.
• Potentiel des Annotations Minimales : Le dataset prouve que les modèles modernes peuvent être évalués avec des annotations temporelles simples, réduisant ainsi les coûts de création de datasets.

Conclusion et Perspectives :
L'article conclut que bien que les MLM actuels montrent un potentiel prometteur pour l'assistance technique, ils ne sont pas encore prêts pour un déploiement robuste en temps réel sur du matériel grand public sans améliorations architecturales. Les auteurs suggèrent des recherches futures axées sur :

• Le pré-entraînement et le fine-tuning pour améliorer l'alignement modal et le suivi d'instructions.
• L'exploration de la dépendance aux annotations pour comprendre jusqu'où les modèles peuvent fonctionner avec des données brutes.
• L'extension de ces évaluations à d'autres domaines techniques (réparation de véhicules, santé, programmation).

En résumé, M2AD constitue une étape importante vers la création d'assistants IA réalistes capables de comprendre et d'interagir avec des procédures complexes du monde réel, tout en mettant en lumière les défis techniques actuels des modèles multimodaux.