Résumé Technique : ProcObject-10K

Énoncé du Problème

Les benchmarks actuels pour la compréhension procédurale dans les vidéos instructives sont principalement centrés sur l'action. Ils modélisent la structure procédurale comme des séquences d'actions ou d'événements, négligeant souvent le rôle fondamental des transitions d'état des objets. Dans les tâches procédurales du monde réel (par exemple, la cuisine, l'assemblage), l'objectif est atteint par la transformation progressive des états des objets sous l'interaction humaine. La même action peut produire des résultats différents selon l'état initial de l'objet, ce qui détermine à son tour les actions subséquentes valides.

Les jeux de données existants échouent à évaluer si les modèles peuvent raisonner sur ces dynamiques au niveau de l'objet. Bien que certains jeux de données se concentrent sur le suivi d'objets, ils manquent d'une structure procédurale orientée vers un objectif ; inversement, les jeux de données de vidéos instructives se concentrent sur les séquences d'actions sans modéliser les dépendances causales induites par les changements d'état des objets. Par conséquent, les benchmarks actuels permettent aux modèles d'atteindre de hautes performances en s'appuyant sur des priors linguistiques et des motifs d'actions plutôt qu'en effectuant un raisonnement fin sur la manière dont les objets évoluent pour accomplir une tâche.

Méthodologie

1. Le Benchmark PROCOBJECT-10K

Les auteurs introduisent PROCOBJECT-10K, le premier benchmark conçu pour évaluer conjointement le raisonnement centré sur l'objet et l'ancrage temporel des preuves dans les vidéos instructives.

• Composition du Jeu de Données : Le jeu de données comprend 10 522 paires de questions-réponses (VideoQA) ouvertes ancrées dans 1 799 extraits vidéo couvrant 137 tâches répartis sur 9 domaines (incluant des vues égocentriques et exocentriques).
• Pipeline de Génération de Données : Un pipeline semi-automatisé en quatre étapes a été employé :
  1. Collecte : Les vidéos ont été sélectionnées à partir de jeux de données existants (CaptainCook4D, EgoPER, HoloAssist, COIN) connus pour leurs interactions complexes main-objet.
  2. Échantillonnage : Des séquences d'actions temporellement contiguës ont été échantillonnées pour assurer une cohérence causale et une apparence d'objet constante.
  3. Génération de QA : Des Modèles Vision-Langage (VLM) ont été sollicités avec des légendes denses centrées sur l'objet et des images éparses pour générer des questions, des réponses et des plages de preuves temporelles de soutien.
  4. Vérification : Un processus de filtrage rigoureux a éliminé les instances solubles par le bon sens seul (texte uniquement), vérifié l'alignement réponse-preuve via des LLM, et inclus une revue humaine pour affiner l'ambiguïté et assurer l'ancrage temporel.
• Taxonomie des Questions : Le benchmark définit cinq types de raisonnement centrés sur la dynamique des objets :
  1. Ancrage des Prérequis : Identifier les états d'objet nécessaires avant une action.
  2. Évolution de l'État de l'Objet : Suivre comment un objet change entre les étapes.
  3. Raisonnement Contrefactuel : Prédire les résultats si des états d'objets spécifiques étaient modifiés.
  4. Reconnaissance d'Erreurs : Identifier les erreurs dans la manipulation ou l'état de l'objet.
  5. Évaluation de la Prêtitude : Déterminer si un objet est dans l'état correct pour l'étape suivante.

2. Affinage Supervisé Centré sur l'Objet (SFT)

Pour combler les lacunes de raisonnement identifiées, les auteurs proposent un cadre SFT qui encourage explicitement les modèles à prêter attention à l'évolution dynamique des objets pertinents pour l'action.

• Construction de Pseudo-Étiquettes : Au lieu d'une annotation manuelle, le cadre utilise un VLM pour extraire des phrases clés d'objets à partir des paires de questions-réponses, qui sont ensuite localisées dans les images vidéo à l'aide d'un modèle de détection d'objets. Cela génère :
  • Masques Souples au Niveau des Patchs : Une supervision spatiale indiquant le chevauchement entre les patches d'image et les objets détectés.
  • Indicateurs de Présence d'Objet : Une supervision temporelle indiquant quelles images contiennent les objets pertinents.
• Objectifs d'Entraînement : La perte générative standard ($L_{gen}$) est augmentée de deux contraintes auxiliaires :
  • Contrainte Spatiale ($L_{spl}$) : Encourage le modèle à se concentrer sur les patches d'image chevauchant les objets de soutien.
  • Contrainte Temporelle ($L_{tmp}$) : Encourage le modèle à se concentrer sur les images spécifiques où se produisent les dynamiques clés des objets.
• Inférence : Les têtes auxiliaires sont supprimées lors de l'inférence pour maintenir l'efficacité, laissant un modèle avec des représentations visuelles apprises centrées sur l'objet.

Résultats Clés

1. L'Écart Réponse-Ancrage

L'évaluation de 13 grands modèles de langage multimodaux (MLLM) leaders a révélé une divergence substantielle :

• Réponses Plausibles, Mauvais Ancrage : Les modèles ont obtenu des scores raisonnables dans les questions-réponses ouvertes (en s'appuyant sur des priors linguistiques) mais ont échoué à localiser les preuves temporelles de soutien.
• Faible Performance d'Ancrage : L'Intersection sur Union moyenne (mIoU) pour l'ancrage temporel est restée constamment inférieure à 45 % pour tous les modèles, même pour les modèles propriétaires et open-source à grande échelle.
• Performance Aveugle des LLM : Les modèles uniquement linguistiques (par exemple, GPT-5.4-Mini) ont obtenu des scores de réponse compétitifs (score LLM-as-Judge ~3,14) sans entrée vidéo, confirmant que les modèles actuels contournent souvent les preuves visuelles.

2. Impact du SFT Centré sur l'Objet

Le modèle affiné avec le cadre SFT centré sur l'objet proposé (Qwen3-VL-4B) a démontré des améliorations significatives :

• Performance sur le Benchmark : Il a obtenu les meilleures performances sur la plupart des métriques, surpassant des bases de référence beaucoup plus grandes (par exemple, des modèles de 38 milliards de paramètres) tant en précision de réponse qu'en précision d'ancrage.
• Généralisation :
  • VideoQA : Le modèle affiné s'est transféré efficacement vers le benchmark MultiHop-EgoQA dans un cadre zero-shot, surpassant les modèles spécifiquement affinés sur ce jeu de données.
  • Planification Embodied : Lorsqu'intégré comme planificateur zero-shot dans le cadre ALFRED, le modèle affiné a amélioré le Taux de Succès (SR) et les scores Conditionnés par l'Objectif (GC) par rapport aux bases de référence zero-shot, indiquant que le raisonnement centré sur l'objet aide à l'exécution de tâches embodied.

Importance et Revendications

L'article revendique que PROCOBJECT-10K sert d'outil diagnostique critique, exposant la dépendance des MLLM actuels aux priors linguistiques plutôt qu'aux dynamiques fines des objets. Les auteurs soutiennent que :

1. La compréhension procédurale nécessite un raisonnement centré sur l'objet : Les séquences d'actions seules sont insuffisantes ; comprendre les dépendances causales des transitions d'état des objets est fondamental pour les systèmes intelligents assistant dans les tâches procédurales.
2. Une supervision explicite est nécessaire : Le cadre SFT proposé démontre que superviser explicitement les modèles sur les dynamiques d'état des objets (via des pseudo-étiquettes et des contraintes spatio-temporelles) est une stratégie efficace pour combler l'écart réponse-ancrage.
3. Transférabilité : Les représentations centrées sur l'objet apprises à partir de ce benchmark ne sont pas limitées au jeu de données lui-même mais se généralisent à d'autres tâches de VideoQA ancrées et à des scénarios de planification embodied, suggérant une valeur plus large pour la compréhension procédurale en IA.

Les auteurs concluent que PROCOBJECT-10K vise à catalyser la recherche future sur le raisonnement procédural centré sur l'objet, une intégration plus étroite avec les agents embodied, et le développement de modèles du monde qui comprennent mieux les transitions d'état physiques.