EgoIntent: An Egocentric Step-level Benchmark for Understanding What, Why, and Next

Ce papier présente EgoIntent, un benchmark de niveau étape pour les vidéos égocentriques évaluant la compréhension des intentions locales, globales et des étapes suivantes, et révèle que les modèles multimodaux actuels peinent encore à maîtriser cette tâche complexe.

L'essentiel

🎥 EgoIntent : Le Test de "Lecture dans les Pensées" pour les Robots

Imaginez que vous êtes un assistant personnel très avancé, un robot qui vous regarde faire vos tâches quotidiennes (cuisiner, réparer une voiture, ranger le salon). Votre but n'est pas seulement de dire "Ah, il coupe une tomate" (ce que les robots savent déjà faire), mais de comprendre pourquoi il le fait, ce qu'il va faire ensuite, et quel est son but final.

C'est exactement ce que les chercheurs de l'Université de Hong Kong ont voulu tester avec leur nouveau projet : EgoIntent.

1. Le Problème : Les Robots sont trop "bêtes" pour l'instant

Aujourd'hui, les intelligences artificielles (les modèles de langage multimodaux) sont comme des enfants très brillants mais un peu naïfs. Si vous leur montrez une vidéo où quelqu'un prend un marteau, ils peuvent vous dire : "Il tient un marteau".
Mais si vous leur demandez : "Pourquoi prend-il ce marteau ? Va-t-il clouer un tableau ou casser un mur ?", ils sont souvent perdus. Ils manquent de contexte et de prévision.

Les chercheurs ont créé un test pour voir si ces robots peuvent vraiment "lire dans les pensées" de quelqu'un en train d'agir.

2. La Solution : Le Test "EgoIntent"

Pour créer ce test, les chercheurs ont utilisé des milliers de vidéos filmées à la première personne (comme si vous aviez une caméra sur votre tête). C'est ce qu'on appelle des vidéos "égocentriques".

Ils ont découpé ces vidéos en petits morceaux, appelés "étapes". Imaginez une recette de cuisine :

• Étape 1 : Prendre la farine.
• Étape 2 : Verser l'eau.
• Étape 3 : Pétrir la pâte.

Leur test demande à l'IA, à chaque étape, de répondre à trois questions cruciales :

1. Le "Quoi" (Intention Locale) : Que fait-il exactement en ce moment ? (Ex: "Il prépare le foret").
2. Le "Pourquoi" (Intention Globale) : Quel est le but ultime de cette action ? (Ex: "Il veut réparer la roue de la voiture").
3. Le "Et après ?" (Planification) : Quelle sera la prochaine action logique ? (Ex: "Il va visser l'écrou").

3. L'astuce Magique : La "Coupure de Film" 🎬

C'est ici que le test devient vraiment difficile et intelligent.

D'habitude, si on montre une vidéo à un robot, il peut tricher en regardant la fin du film pour deviner le début. Pour éviter cela, les chercheurs ont inventé une règle stricte : ils coupent la vidéo juste avant que l'action ne soit terminée.

L'analogie du détective :
Imaginez que vous êtes un détective. Vous voyez un suspect qui sort un outil de sa poche.

• Le test normal : Vous voyez le suspect utiliser l'outil pour ouvrir une porte. Vous dites : "Il ouvre une porte". Facile !
• Le test EgoIntent : Vous voyez le suspect sortir l'outil, mais la vidéo s'arrête avant qu'il ne touche la porte. Vous devez deviner : "Il va ouvrir une porte ? Ou peut-être qu'il va juste vérifier si l'outil fonctionne ?"

Le robot ne doit pas se fier au résultat (la porte ouverte), mais seulement aux indices présents avant l'action (la façon dont il tient l'outil, son regard, l'environnement).

4. Les Résultats : Les Robots sont encore loin de la perfection

Les chercheurs ont testé 15 intelligences artificielles différentes (les plus puissantes du monde, comme Qwen, Gemini, etc.) avec ce test.

Le résultat est sans appel : C'est très difficile !

• Même la meilleure IA n'a obtenu qu'un score moyen de 33 sur 100.
• C'est comme si un élève avait 33/100 à un examen de psychologie humaine.

Les robots sont un peu meilleurs pour comprendre le but général ("Pourquoi"), mais ils échouent souvent à prédire la prochaine étape précise ("Et après ?"). Ils ont du mal à anticiper l'avenir sans voir le futur.

5. Pourquoi est-ce important ?

Pourquoi se donner autant de mal pour un test difficile ?
Parce que pour qu'un robot soit un vrai assistant (qui vous aide à cuisiner sans que vous ayez à lui donner des ordres à chaque seconde), il doit être capable de deviner vos besoins avant même que vous ne les exprimiez.

Si un robot comprend que vous êtes en train de préparer un gâteau (et non juste de mélanger des œufs), il pourra vous tendre le bol de farine avant que vous ne le demandiez.

En résumé

EgoIntent, c'est comme un examen de "sens commun" et de "prévision" pour les robots. Il leur demande de regarder une action en cours, de deviner le but caché et de prédire la suite, le tout sans avoir le droit de regarder la fin du film. Pour l'instant, les robots sont encore des débutants dans ce domaine, mais ce test va les aider à devenir de vrais assistants intelligents demain.

Résumé technique

1. Problématique et Contexte

Les modèles de langage multimodaux (MLLM) ont démontré des capacités remarquables dans le raisonnement vidéo. Cependant, leur aptitude à comprendre l'intention humaine de manière fine et granulaire dans des vidéos égocentriques (vue à la première personne) reste largement inexplorée.

• Limites des benchmarks existants : La plupart des évaluations actuelles se concentrent sur le raisonnement au niveau de l'épisode ou du clip entier. Elles négligent la granularité du niveau d'étape (step-level), qui est pourtant cruciale pour des applications réelles comme les assistants intelligents, l'apprentissage par imitation robotique ou la réalité augmentée.
• Le besoin : Un assistant proactif ne doit pas seulement répondre à des instructions explicites, mais doit inférer l'intention de l'utilisateur en observant son comportement : comprendre ce qui est en train d'être fait (What), pourquoi cela est fait dans le cadre global (Why), et ce qui va suivre (Next).
• Le défi : L'intention évolue dynamiquement à chaque étape d'une activité procédurale. Les raisonnements grossiers ne capturent pas ces transitions subtiles. De plus, les modèles actuels ont tendance à "tricher" en utilisant des informations futures (fuite d'information) pour déduire l'intention, ce qui fausse l'évaluation de leur capacité de prédiction.

2. Méthodologie : Le Benchmark EgoIntent

Les auteurs introduisent EgoIntent, un benchmark conçu spécifiquement pour évaluer la compréhension d'intention au niveau de l'étape dans des vidéos égocentriques.

A. Construction des Données

• Source : Le benchmark est construit à partir des annotations temporelles de l'ensemble de données Ego4D (via le sous-ensemble GoalStep).
• Échelle : Il comprend 3 014 étapes extraites de 32 vidéos procédurales couvrant 15 scénarios variés (intérieur et extérieur : cuisine, garage, jardin, atelier, etc.).
• Dimensions d'évaluation : Chaque étape est annotée selon trois dimensions complémentaires :
  1. Intention Locale (What) : Quel est l'objectif immédiat de l'étape en cours ?
  2. Intention Globale (Why) : Quel est le rôle fonctionnel de cette étape dans la tâche globale ?
  3. Plan de l'Étape Suivante (Next) : Quelle est l'action la plus probable qui suivra immédiatement ?

B. Stratégie de Troncature Temporelle (Innovation Clé)

Pour garantir une évaluation rigoureuse et éviter la fuite d'information future (future-frame leakage), les auteurs appliquent une troncature temporelle pré-résultat :

• Chaque clip vidéo est coupé immédiatement avant que le résultat clé de l'étape ne devienne visible (ex: avant le contact ou la prise d'un objet).
• Le modèle n'a accès à aucune image des étapes suivantes.
• Cela force le modèle à effectuer un raisonnement prédictif basé uniquement sur les tendances d'action, le contexte de la scène et les interactions main-objet observées, sans pouvoir s'appuyer sur le résultat final.

C. Évaluation

• Tâche : Génération ouverte (Open-ended generation) plutôt que choix multiple, pour éviter que les modèles n'utilisent des indices sémantiques prédéfinis.
• Métrique : Utilisation d'un LLM (Qwen3) comme évaluateur sémantique pour comparer les réponses générées aux références, car la correspondance exacte de chaînes de caractères est inadaptée à la diversité des expressions valides.
• Modèles testés : 15 MLLMs représentatifs, incluant des modèles propriétaires (Qwen, Gemini) et open-source (InternVL, LLaVA, etc.).

3. Résultats Principaux

Les expériences menées sur les 15 modèles révèlent des performances globalement faibles, soulignant la difficulté de la tâche :

• Performance Globale : Même le meilleur modèle (Qwen3.5-plus) n'obtient qu'un score moyen de 33,31 sur les trois dimensions.
• Déséquilibre des Compétences :
  • Les modèles sont relativement meilleurs pour l'Intention Globale (comprendre le "Pourquoi" à un niveau abstrait).
  • Ils échouent davantage sur l'Intention Locale (le "Quoi" immédiat) et la Planification de l'Étape Suivante (le "Prochain" futur).
  • Exemple : Qwen3.5-plus obtient 36,80 pour l'intention globale, contre 32,06 pour l'intention locale et 31,06 pour le plan suivant.
• Généralisation : Les performances varient considérablement selon les scénarios (intérieur vs extérieur, complexité des objets). Aucun modèle ne domine de manière cohérente sur tous les environnements, indiquant une dépendance aux indices visuels saillants plutôt qu'à un raisonnement procédural robuste.
• Conclusion des résultats : La compréhension d'intention au niveau de l'étape dans les vidéos égocentriques reste un problème hautement non résolu pour les modèles actuels.

4. Contributions Clés

1. EgoIntent Benchmark : Introduction du premier benchmark dédié à la compréhension d'intention au niveau de l'étape pour les vidéos égocentriques, couvrant les dimensions What, Why, Next.
2. Mécanisme de Troncature : Conception d'un protocole de troncature temporelle qui élimine les informations futures, permettant une évaluation propre du raisonnement prédictif et de la planification.
3. Évaluation Systématique : Analyse approfondie de 15 MLLMs, révélant leurs limites actuelles et fournissant des analyses fines par dimension et par scénario pour guider les recherches futures.

5. Signification et Impact

Ce travail est significatif car il redéfinit les standards d'évaluation pour les assistants IA proactifs. Il démontre que la simple reconnaissance d'actions ou la mémorisation visuelle ne suffisent pas pour créer des agents capables d'anticiper les besoins humains.

• Pour la recherche : EgoIntent sert de testbed diagnostique pour identifier les faiblesses spécifiques des modèles (ex: difficulté à prédire le futur sans indice de résultat).
• Pour l'application : Il met en lumière le fossé entre les capacités actuelles des MLLMs et les exigences réelles pour le déploiement d'assistants robotiques ou d'AR capables d'interagir de manière fluide et contextuelle avec les humains dans des tâches procédurales complexes.

En résumé, EgoIntent établit que la compréhension fine de l'intention humaine, en particulier la capacité à anticiper le prochain pas avant qu'il ne se produise, est un défi majeur qui nécessite des avancées substantielles au-delà des architectures actuelles.