💻 computer science

ProAct: A Benchmark and Multimodal Framework for Structure-Aware Proactive Response

Cet article introduit ProAct-75, un benchmark complet comprenant 75 tâches et des graphes de tâches structurés, ainsi que ProAct-Helper, un cadre multimodal qui exploite une recherche pilotée par l'entropie sur ces graphes pour permettre aux agents proactifs de surpasser les modèles existants en matière de détection de déclencheurs, d'efficacité des étapes et d'exécution d'actions parallèles.

Auteurs originaux : Xiaomeng Zhu, Fengming Zhu, Weijie Zhou, Ye Tian, Zhenlin Hu, Yufei Huang, Yuchun Guo, Xinyu Wu, Zhengyou Zhang, Fangzhen Lin, Xuantang Xiong

Publié 2026-02-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiaomeng Zhu, Fengming Zhu, Weijie Zhou, Ye Tian, Zhenlin Hu, Yufei Huang, Yuchun Guo, Xinyu Wu, Zhengyou Zhang, Fangzhen Lin, Xuantang Xiong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous travaillez sur un puzzle avec un ami. Un robot passif est comme un robot qui ne bouge que si vous lui touchez l'épaule en disant : « Déplace cette pièce ici. » Il attend votre commande, même s'il voit que vous avez du mal ou qu'une pièce est sur le point de tomber de la table.

Un robot proactif, ce que cet article présente, est comme un coéquipier serviable qui vous regarde travailler, comprend la vue d'ensemble et dit : « Hé, je vois que tu es sur le point de faire tomber cette pièce ; je vais attraper la colle pendant que tu termines cette étape. » Il ne se contente pas d'attendre ; il anticipe ce qui doit se passer ensuite et agit de lui-même pour aider.

Voici une décomposition simple des trois parties principales de l'article :

1. Le Problème : Les robots ont besoin d'une carte

Les auteurs affirment que, bien que nous ayons beaucoup de vidéos de personnes faisant des choses (comme cuisiner ou réparer un vélo), les robots ont du mal à être proactifs car ils manquent d'une « carte ».

L'écart : Les robots existants voient une vidéo et peuvent deviner : « La personne est en train de lacer une chaussure. » Mais ils ne connaissent pas la structure de la tâche. Ils ne savent pas que pendant qu'une personne lace la chaussure gauche, le robot pourrait simultanément attraper la chaussure droite sans gêner.
Le résultat : Sans cette carte, les robots gênent souvent, attendent trop longtemps ou font les choses dans le mauvais ordre, rendant le travail de l'humain plus difficile au lieu de l'aider.

2. La Solution : ProAct-75 (Le nouveau terrain d'entraînement)

Pour corriger cela, l'équipe a créé une nouvelle « salle de sport » pour les robots appelée ProAct-75.

Ce que c'est : Une collection massive de 75 tâches différentes (comme vider une poubelle, assembler un canapé ou gérer une urgence) avec plus de 91 000 micro-étapes annotées.
La recette secrète : Contrairement aux autres ensembles de données, ProAct-75 est accompagné de Graphes de Tâches. Considérez-les comme des organigrammes ou des plans de métro.
- Ils montrent quelles étapes doivent se produire en premier (on ne peut pas mettre le couvercle avant que la poubelle ne soit dedans).
- Ils montrent quelles étapes peuvent se produire en même temps (fils parallèles).
- Analogie : Si l'humain marche sur la voie de gauche d'un train, la carte indique au robot qu'il peut marcher en toute sécurité sur la voie de droite en même temps, plutôt que d'attendre que l'humain termine tout son voyage.

3. Le Robot : ProAct-Helper

En utilisant ce nouveau terrain d'entraînement, ils ont construit un cerveau de robot appelé ProAct-Helper.

Comment il réfléchit : Il utilise une IA puissante (un Modèle de Langage Large Multimodal) pour regarder la vidéo et comprendre ce que fait l'humain.
L'astuce de l'« entropie » : C'est la partie ingénieuse. Le robot utilise un concept mathématique appelé « entropie » (une mesure du chaos ou du mélange) pour décider quoi faire.
- La métaphore : Imaginez une piste de danse. Si l'humain et le robot essaient tous deux de danser sur le même petit espace, ils se cognent (chaos élevé). S'ils dansent sur des parties différentes de la piste, c'est fluide (chaos faible).
- ProAct-Helper calcule constamment : « Si je fais cette action, est-ce que nous allons nous cogner, ou pouvons-nous travailler en parallèle ? » Il choisit l'action qui permet de garder la « piste de danse » organisée et permet à chacun d'avancer en même temps.

Ce qu'ils ont trouvé (Les résultats)

L'équipe a testé leur robot contre d'autres modèles d'IA intelligents (y compris certains très célèbres et coûteux).

Meilleur timing : ProAct-Helper était bien meilleur pour savoir quand intervenir. Il n'interrompait pas quand ce n'était pas nécessaire.
Plus de travail en parallèle : Parce qu'il comprenait la « carte », il a réussi à prendre en charge des tâches qui pouvaient être faites en même temps que l'humain. Cela a permis d'économiser environ 15 % de temps par rapport aux autres robots qui se contentaient d'attendre leur tour.
Moins d'erreurs : Il a commis moins d'erreurs en devinant ce que l'humain faisait ensuite, ce qui a conduit à un travail d'équipe plus fluide.

Résumé

En bref, cet article dit : « Pour que les robots soient vraiment utiles, ils doivent comprendre la structure d'une tâche, pas seulement les actions. En leur donnant une "carte" de ce qui peut se passer simultanément, nous pouvons leur apprendre à travailler avec les humains en parallèle, plutôt que de simplement attendre leur tour derrière eux. »

L'article fournit la carte (ProAct-75), la méthode d'entraînement (ProAct-Helper) et la preuve que cette approche fonctionne mieux que de simples suppositions.

Résumé Technique : ProAct : Un Benchmark et un Cadre Multimodal pour une Réponse Proactive Sensible à la Structure

1. Énoncé du Problème

Les agents robotiques actuels opèrent principalement de manière passive, exécutant des actions uniquement après avoir reçu des instructions explicites. Cette dépendance impose une charge cognitive aux utilisateurs humains et limite l'autonomie des systèmes robotiques. En revanche, les agents proactifs visent à s'aligner sur des objectifs de haut niveau (par exemple, l'assistance, la maintenance, la sécurité) en surveillant continuellement l'environnement pour déterminer quand intervenir et quelle action entreprendre.

Cependant, le développement de tels agents est entravé par deux lacunes critiques dans les ressources existantes :

Manque de Ressources Spécialisées : Les benchmarks de compréhension vidéo existants manquent souvent d'une granularité temporelle cohérente, d'une modélisation de tâche hiérarchique unifiée ou de représentations structurelles explicites des dépendances de tâches.
Absence d'Ancrage Structurel : Sans graphes de tâches explicites codant la précédence temporelle et les possibilités d'exécution parallèle, les agents sont contraints de traiter toutes les étapes comme séquentielles. Cela les empêche d'identifier les opportunités d'exécuter des tâches indépendantes en parallèle, ce qui entraîne des flux de travail inutilement prolongés et de potentielles interruptions de flux (par exemple, un robot attendant de nouer un sac alors qu'un humain est encore en train de retirer l'ancien, plutôt que de préparer un nouveau sac simultanément).

L'article traite le problème de la réponse proactive basée sur la vision, où un agent doit observer continuellement des flux vidéo pour détecter des déclencheurs, identifier les états actuels, prédire les actions humaines futures et sélectionner la prochaine action robotique optimale sous les contraintes d'un graphe de tâches.

2. Méthodologie

2.1. Benchmark ProAct-75

Pour permettre la recherche dans ce domaine, les auteurs introduisent ProAct-75, un benchmark couvrant trois scénarios : Assistance, Maintenance et Surveillance de la Sécurité.

Composition des Données : Le jeu de données comprend 75 tâches avec 5 383 vidéos et 91 581 annotations au niveau de l'étape. Les données sont agrégées à partir de sources publiques (COIN, Ego-Exo4D, UCF-Crime) et complétées par 495 clips auto-collectés pour couvrir les tâches sous-représentées.
Protocole d'Annotation : Les vidéos sont ré-annotées avec une granularité constante au niveau de l'action atomique. Crucialement, chaque tâche est équipée d'un Graphe de Tâche explicite (un graphe orienté acyclique avec des dépendances ET/OU). Ces graphes codent :
- Contraintes de Précédence : Étapes qui doivent précéder d'autres étapes.
- Threads Parallèles : Branches indépendantes qui peuvent être exécutées concurremment.
- Abstractions de Niveau Intermédiaire : Groupement hiérarchique d'étapes atomiques.
Tâches d'Évaluation : Le benchmark évalue cinq capacités spécifiques :
1. Détection de Déclencheur (Trigger) : Décider si une intervention est nécessaire.
2. Détection d'Étape : Localiser l'étape actuelle dans le flux de travail.
3. Détection de Tâche : Identifier la tâche de haut niveau.
4. Prédiction d'Action Future : Prédire les $n$ prochaines actions humaines.
5. Sélection d'Action Proactive : Choisir la prochaine action robotique qui est réalisable selon le graphe de tâches.

2.2. Cadre ProAct-Helper

Les auteurs proposent ProAct-Helper, un modèle de référence construit sur un Grand Modèle de Langage Multimodal (MLLM) qui intègre la perception avec une planification contrainte par un graphe.

Module de Liaison Hiérarchique (HBM) : Pour gérer la distribution à longue traîne des tâches et des étapes, ProAct-Helper utilise le HBM. Ce module impose une cohérence sémantique inter-niveaux en maximisant l'accord entre les représentations de niveau parent (déclencheur/tâche) et enfant (étape) via des pertes contrastives. Cela améliore la capacité du modèle à reconnaître des classes rares et à maintenir la cohérence à travers la hiérarchie de prédiction.
Recherche Heuristique Pilotée par l'Entropie : Pour la sélection d'actions, le cadre ne se contente pas de mimer la prochaine étape de l'humain. Au lieu de cela, il utilise le graphe de tâches pour identifier les actions légales ( $A_{legal}$ $A_{l e g a l}$ ) qui satisfont les contraintes ET/OU.
- Le système modélise les actions humaines et robotiques comme des distributions sur des threads parallèles.
- Il calcule l'entropie de mélange de threads ( $H_{mix}$ ), qui pénalise le changement fréquent entre les threads (charge cognitive élevée) et l'exécution mixte où les deux agents travaillent sur le même thread simultanément.
- L'agent sélectionne l'action qui minimise $H_{mix}$ , privilégiant ainsi les actions sur des threads parallèles différents du thread actuel de l'humain, à condition de ne pas violer les contraintes de précédence.

3. Contributions Clés

Benchmark ProAct-75 : Un ensemble de données complet pour la réponse proactive basée sur la vision, présentant des graphes de tâches explicites et des annotations sensibles à la structure à travers les scénarios d'assistance, de maintenance et de sécurité.
Cadre ProAct-Helper : Un modèle de base multimodal combinant un MLLM avec un Module de Liaison Hiérarchique pour une perception d'état robuste et une recherche heuristique pilotée par l'entropie pour une sélection d'actions sensible à la structure.
Validation Empirique : Des expériences approfondies démontrant que ProAct-Helper surpasse les modèles MLLM fermés et ouverts les plus performants, tant en matière de reconnaissance d'état que d'efficacité collaborative.

4. Résultats Expérimentaux

Les expériences ont été menées sur ProAct-75, comparant ProAct-Helper (basé sur Qwen2.5-VL-7B) à divers modèles de référence, incluant GPT-4o, Gemini-2.5-Pro et d'autres variantes de Qwen.

Perception d'État : ProAct-Helper surpasse significativement les modèles de référence dans la détection de déclencheur, de tâche et d'étape. Plus précisément, il a amélioré le F1 de la Tâche de 17,09 % et le F1 de l'Étape de 11,72 % par rapport au meilleur modèle fermé (Gemini-2.5-Pro). Le module HBM a apporté une amélioration supplémentaire de 2,71 % pour le mF1 de la Tâche et de 1,63 % pour le mF1 de l'Étape, soulignant son efficacité pour gérer les catégories à longue traîne.
Sélection d'Action Proactive :
- Étapes Économisées (SS) : ProAct-Helper a économisé 0,361 étape de plus par interaction par rapport au meilleur modèle de référence, indiquant une collaboration plus efficace.
- Actions Parallèles (PA) : Le cadre a augmenté le taux d'actions parallèles de 15,58 % par rapport aux modèles de référence, démontrant sa capacité à exécuter des threads indépendants de manière concurrente plutôt que d'attendre les étapes séquentielles de l'humain.
- Réduction de l'Entropie : La méthode a obtenu une entropie de mélange de threads plus faible, indiquant une coordination plus fluide avec des changements moins fréquents entre les threads humain et robot.
Robustesse : Dans les évaluations hors distribution (OOD) impliquant différents points de vue de caméra, ProAct-Helper a maintenu des performances nettement plus élevées (conservant ~73 % de la performance de la meilleure vue) par rapport à des modèles comme Ego-Exo4D (qui ne conserve que ~15 %).

5. Signification et Revendications

L'article affirme que ProAct-75 fournit l'ancrage structurel nécessaire pour passer d'agents passifs suivant des instructions à de véritables systèmes proactifs. Les auteurs soulignent que les MLLM existants peinent à exploiter les structures de graphes de tâches même lorsqu'elles sont fournies en entrée, penchant souvent vers une exécution séquentielle ou échouant à identifier les opportunités de parallélisme.

ProAct-Helper démontre qu'en intégrant des graphes de tâches explicites avec une recherche pilotée par l'entropie, les agents peuvent :

Réduire les interruptions de flux de travail en exécutant des threads parallèles.
Améliorer l'efficacité de la collaboration en économisant des étapes humaines.
Maintenir la robustesse à travers divers points de vue et distributions de tâches à longue traîne.

Les auteurs positionnent ce travail comme une étape fondamentale vers une réponse proactive sensible à la structure, suggérant que les directions futures devraient se concentrer sur le décodage réalisable par graphe et sur l'utilisation des descriptions de déclencheurs du benchmark pour le post-entraînement afin d'affiner davantage les comportements proactifs raisonnables. L'article conclut que, bien que le planificateur soit un heuristique léger, son succès valide la nécessité des contraintes structurelles dans la conception d'agents proactifs.