Résumé Technique : Suivre la Vérité : Surveillance Spatio-Temporelle Centrée sur les Objets pour les Modèles de Langage Vision-Langage Vidéo

1. Énoncé du Problème

Bien que les Modèles de Langage Vison-Langage Multimodaux (MLLM) aient fait progresser la compréhension vidéo, ils restent très vulnérables aux hallucinations dans les scènes dynamiques. Les auteurs soutiennent que cet échec découle d'un manque de surveillance spatio-temporelle : la capacité à suivre de manière persistante les identités, les états et les relations des objets dans le temps.

Les benchmarks d'évaluation actuels souffrent de deux limitations critiques qui obscurcissent ce déficit :

1. Dépendance aux Indices Locaux : De nombreuses questions peuvent être résolues en inspectant une seule image ou un court segment, permettant aux modèles de contourner le raisonnement temporel global.
2. Obscurité de la Réponse Finale : Une évaluation basée uniquement sur la réponse finale masque le processus de raisonnement. Un modèle peut produire une réponse correcte grâce à des priors statistiques ou une coïncidence, sans véritablement résoudre les dépendances spatio-temporelles sous-jacentes.

Par conséquent, les benchmarks existants offrent une vision limitée des véritables capacités de compréhension d'un modèle, échouant à distinguer entre un raisonnement temporel authentique et un « apprentissage par raccourci ».

2. Méthodologie

L'article propose une approche à deux volets : un nouveau benchmark pour une évaluation rigoureuse (STEMO-Bench) et un nouveau cadre centré sur les objets pour la compréhension vidéo (STEMO-Track).

2.1 STEMO-Bench : Benchmark de Surveillance Spatio-Temporelle

STEMO-Bench est conçu pour évaluer explicitement la capacité d'un MLLM à suivre la dynamique centrée sur les objets. Il introduit un pipeline de construction de données basé sur la structure et un protocole d'évaluation fine.

• Construction des Données :
  • Annotation de Faits Pilotée par des Experts : Au lieu de générer directement des paires Question-Réponse à partir de la vidéo brute, les auteurs construisent d'abord une représentation structurelle vérifiée par des humains. Un groupe d'annotateurs formés identifie les entités, attribue des identifiants canoniques et enregistre les états et relations observables sous forme de tuples structurés (par exemple, (t, objet, état)).
  • Liaison d'Identité : Les annotateurs retracent manuellement les entités à travers des ancres temporelles pour assurer un suivi d'identité cohérent, même à travers des occlusions ou des changements d'état.
  • Génération Automatique de Questions : Un LLM génère des questions cibles complexes basées sur ces faits vérifiés, garantissant qu'elles nécessitent un raisonnement multi-étapes dans le temps.
  • Décomposition : Chaque question cible est décomposée en une séquence de sous-questions atomiques correspondant aux étapes clés de la surveillance spatio-temporelle (par exemple, identifier un objet, récupérer son état à un moment précis, vérifier une transition).
• Métriques d'Évaluation :
  • Précision Cible ($A_{target}$) : Précision standard sur la question finale.
  • Précision des Sous-Questions ($A_{sub}$) : Précision sur l'ensemble des sous-questions prérequis.
  • Cohérence ($A_{cons}$) : La proportion de sous-questions correctement répondues étant donné que la réponse cible était correcte. Une $A_{target}$ élevée avec une $A_{cons}$ faible indique une dépendance à des corrélations fallacieuses plutôt qu'à une surveillance robuste.

2.2 STEMO-Track : Cadre Centrée sur les Objets

Pour remédier aux modes d'échec exposés par STEMO, les auteurs proposent STEMO-Track, un pipeline qui modélise explicitement les entités et leur évolution temporelle plutôt que de traiter la vidéo comme une séquence non structurée d'images.

• Architecture du Pipeline :
  1. Découpage Temporel : La vidéo est partitionnée en chunks temporels disjoints.
  2. Extraction d'État par Chunk : Un extracteur d'état basé sur un VLM ($E_\phi$) traite chaque chunk indépendamment pour identifier les objets visibles et estimer leurs états, produisant des observations locales.
  3. Agrégation Temporelle : Un module d'agrégation temporelle ($A_\psi$) consolide les observations locales en trajectoires d'objets globales et cohérentes. Cela implique un algorithme de liaison d'identité en quatre étapes :
     • Score de Similarité : Appariement des objets entre les chunks basé sur les attributs visuels et la proximité spatiale.
     • Filtrage par Contraintes : Application de seuils de proximité temporelle et de confiance.
     • Résolution de Conflits : Utilisation d'un appariement bipartite pour garantir une correspondance d'identité un-à-un.
     • Génération de Trajectoire : Fusion des observations liées en trajectoires cohérentes ($S_o$).
  4. Récupération de Trajectoire Basée sur la Requête : Pour une requête donnée, un récupérateur ($R_\omega$) sélectionne le sous-ensemble pertinent de trajectoires ($S_Q$) nécessaire pour répondre à la question.
  5. Réponse Guidée par la Trajectoire : Un générateur de réponse ($G_\eta$) raisonne sur les trajectoires récupérées pour produire la réponse finale.

Cette conception sépare la construction de la représentation du raisonnement spécifique à la requête, permettant à la représentation vidéo d'être construite une fois et réutilisée pour plusieurs questions.

3. Contributions Clés

1. STEMO-Bench : Un benchmark présentant des faits centrés sur les objets vérifiés par des humains qui évalue le raisonnement intermédiaire via des sous-questions atomiques, distinguant la compréhension temporelle authentique de la justesse fortuite.
2. STEMO-Track : Un nouveau pipeline centré sur les objets qui construit et interroge systématiquement des trajectoires d'objets structurées, ancrant explicitement les réponses dans des données temporelles récupérées.
3. Évaluation Systématique : Une évaluation complète des MLLMs modernes sur la cohérence cible versus intermédiaire, mettant en évidence les déficiences spatio-temporelles et démontrant l'efficacité d'une surveillance explicite.

4. Résultats Expérimentaux

Les auteurs ont évalué STEMO-Track par rapport à des MLLMs propriétaires de bout en bout (par exemple, Gemini-3.1-Pro, GPT-5), des modèles à poids ouverts (par exemple, Qwen3-VL, InternVL3) et des pipelines structurés (par exemple, VideoMind, TraveLER) sur STEMO-Bench.

• Performance : STEMO-Track (utilisant Gemini-3-Flash) a atteint 77,1 % de Précision Cible, surpassant significativement la meilleure ligne de base propriétaire (Gemini-3.1-Pro à 61,4 %) et les modèles à poids ouverts.
• Cohérence : STEMO-Track a démontré une Cohérence ($A_{cons}$) supérieure à 81,3 %, contre 69,2 % pour Gemini-3.1-Pro. Cela indique que les réponses correctes de STEMO-Track sont plus susceptibles d'être soutenues par un raisonnement intermédiaire fidèle.
• Significativité Statistique : Les améliorations étaient statistiquement significatives ($p < 0,005$) via des tests de bootstrap appariés.
• Études d'Ablation :
  • Budget Visuel : La réduction du budget visuel pour le générateur de réponse a eu un impact minimal sur STEMO-Track (Gemini) mais a sévèrement dégradé les modèles à poids ouverts, suggérant que la mémoire de trajectoire encode efficacement les indices temporels.
  • Agrégation : La concaténation déterministe des trajectoires a surpassé la synthèse basée sur un LLM, empêchant l'omission de détails critiques à faible saillance.
• Analyse Qualitative : Des études de cas ont révélé que les modèles de base répondaient souvent correctement aux questions cibles tout en échouant aux sous-questions prérequis (par exemple, en identifiant incorrectement l'identité d'un objet), confirmant que les métriques basées uniquement sur la cible surestiment la véritable compréhension.

5. Signification et Revendications

L'article revendique que la limitation principale des MLLMs vidéo actuels est l'absence de surveillance spatio-temporelle explicite. En introduisant STEMO-Bench, les auteurs fournissent un outil pour diagnostiquer rigoureusement cet échec, allant au-delà de la « justesse fortuite ».

La signification de STEMO-Track réside dans sa formulation centrée sur les objets, qui aligne le calcul interne du modèle avec les exigences de la compréhension vidéo : maintenir des identités persistantes et suivre l'évolution des états. Les auteurs affirment que la construction explicite de trajectoires est un facteur clé dans la réduction des hallucinations et l'amélioration de la cohérence du raisonnement. Ils concluent que les travaux futurs devraient se concentrer sur l'amélioration de la liaison fine des attributs visuels au sein de ces trajectoires pour renforcer davantage la robustesse, plutôt que de compter uniquement sur le passage à l'échelle de bout en bout.