Résumé Technique : VideoSEAL

Problème : Désalignement des Preuves dans la Compréhension de Vidéos Longues par des Agents

La compréhension de vidéos longues (LVU) présente un défi unique : les preuves visuelles pertinentes sont souvent rares et dispersées dans le temps au sein d'un contenu hautement redondant. Bien que les modèles de langage multimodaux de grande taille (MLLM) actuels excellent dans le raisonnement sur des vidéos courtes, leur extension aux vidéos longues nécessite une interaction itérative et agissante pour naviguer dans les chronologies et récupérer des preuves.

Les auteurs identifient un mode de défaillance critique dans les systèmes LVU agissants existants, appelé désalignement des preuves. Dans ce régime, les agents produisent des réponses correctes qui ne sont pas réellement étayées par les preuves récupérées ou inspectées. L'article formalise cela comme l'état « correct mais non ancré », où un agent atteint la justesse du résultat ($C=1$) mais manque d'ancrage traçable ($G=0$). Ce phénomène est entraîné par deux pressions systémiques :

1. Pression de l'invite (au moment de l'inférence) : À mesure que les traces d'interaction deviennent plus longues et plus bruyantes, le planificateur est incité à être décisif sans localiser de manière fiable les preuves. Cela déplace le comportement de la « recherche de preuves » vers l'« ajustement des preuves », où l'agent s'appuie sur des priors paramétriques ou des modèles plausibles pour résoudre les incertitudes, conduisant à des hallucinations sémantiques.
2. Pression de la récompense (au moment de l'entraînement) : L'apprentissage par renforcement (RL) standard pour la LVU utilise souvent des récompenses basées uniquement sur le résultat (justesse de la réponse finale) en raison de la rareté des étiquettes d'ancrage temporel fin. Cela encourage les agents à maximiser les retours via des complétions spéculatives ou des comportements de raccourci plutôt que par une vérification rigoureuse des preuves, élargissant ainsi l'écart entre la précision et l'ancrage.

Les auteurs soutiennent que la cause racine de ces pressions est le paradigme d'agent couplé, où un modèle monolithique unique est responsable à la fois de la planification à long horizon (recherche) et de la génération de réponses (autorité) au sein d'un même contexte partagé.

Méthodologie : Le Cadre Découplé Planificateur–Inspecteur

Pour remédier au désalignement des preuves, VideoSEAL propose une solution structurelle : découpler la planification à long horizon de l'autorité de réponse. Le cadre introduit deux entités distinctes :

1. Le Planificateur : Une politique de modèle de langage responsable uniquement de la recherche de preuves. Il navigue dans la chronologie de la vidéo, formule des requêtes et récupère des segments temporels candidats à l'aide d'outils (indexation hors ligne, récupération et inspection visuelle). Crucialement, le planificateur ne génère pas la réponse finale ; il maintient une mémoire de recherche structurée et sparse pour éviter la saturation du contexte.
2. L'Inspecteur : Un MLLM figé qui détient l'autorité de réponse exclusive. Il reçoit les preuves vidéo candidates soumises par le planificateur et effectue une vérification au niveau des pixels. L'inspecteur émet un verdict binaire de suffisance ($z_t \in \{0, 1\}$) :
   • Si $z_t=1$, les preuves sont jugées suffisantes et l'inspecteur génère la réponse finale.
   • Si $z_t=0$, l'inspecteur renvoie un signal « RECHERCHER PLUS » avec un retour sur les preuves manquantes, forçant le planificateur à poursuivre la recherche.

Composants Techniques Clés :

• Interfaces d'Outils : Le système utilise VisualRetrieve (recherche sémantique sur des légendes/encapsulations pré-calculées) et VisualInspect (vérification au niveau des pixels de segments spécifiques).
• Entraînement : Le planificateur est optimisé à l'aide de l'Optimisation de Politique Relative par Groupes (GRPO) tandis que l'inspecteur reste figé. La conception de la récompense inclut une récompense terminale conditionnée par les preuves qui évolue avec le chevauchement temporel entre les segments accédés et les preuves de vérité terrain, encourageant l'alignement sans nécessiter un réentraînement complet du socle visuel.
• Modularité : L'architecture prend en charge des mises à niveau « plug-and-play ». L'inspecteur peut être remplacé par un MLLM plus puissant au moment de l'inférence pour améliorer la fidélité de la vérification sans réentraîner le planificateur.

Contributions Clés

1. Diagnostics du Désalignement des Preuves : L'article introduit deux diagnostics complémentaires pour quantifier le désalignement :
   • Ancrage Temporel ($G_t$) : Mesure si l'agent accède aux régions temporelles pertinentes (en utilisant l'IoU temporel).
   • Ancrage Sémantique ($G_s$) : Utilise un juge LLM pour vérifier si la réponse finale est logiquement soutenue par les sorties d'outils dans la trace.
     Ces diagnostics révèlent le régime « correct mais non ancré » et quantifient le « taux d'hallucination temporelle » ($H_t$) et le « taux d'hallucination sémantique » ($H_s$).
2. Cadre Découplé Planificateur–Inspecteur : Une architecture novatrice qui sépare la recherche de preuves de la génération de réponses. En conditionnant la réponse finale sur une vérification au niveau des pixels, le cadre empêche les réponses non étayées motivées par des sorties d'outils non vérifiées.
3. Gains Empiriques et Mise à l'Échelle : Le cadre démontre des améliorations constantes sur quatre benchmarks de vidéos longues (MLVU, LongVideoBench, LVBench, VideoMME). Notamment, il évolue de manière monotone avec des budgets de recherche plus importants et des modèles inspecteurs plus puissants, tandis que les bases de référence couplées plafonnent souvent ou se dégradent en raison de la saturation du contexte.

Résultats

Les auteurs évaluent VideoSEAL par rapport à des modèles propriétaires, des MLLM open-source et des cadres agissants existants (à la fois couplés et découplés).

• Précision : VideoSEAL atteint 55,1 % sur LVBench et 62,0 % sur LongVideoBench, surpassant les bases de référence couplées de marges significatives (par exemple, +20,5 % sur LVBench par rapport à la version couplée du même socle).
• Ancrage : Le cadre réduit considérablement les hallucinations. Sur LVBench, il atteint un ancrage sémantique ($G_s$) de 0,808 (contre ~0,25–0,47 pour les bases de référence) et réduit l'hallucination sémantique ($H_s$) à 0,113.
• Propriétés de Mise à l'Échelle :
  • Mise à l'Échelle de la Recherche : L'augmentation du budget de recherche ($K$) améliore les performances de VideoSEAL, tandis que les agents couplés régressent après un certain point en raison de la saturation du contexte.
  • Mise à l'Échelle Perceptuelle : La mise à niveau de l'inspecteur d'un modèle 7B à un modèle 72B génère des gains de précision substantiels sans réentraîner le planificateur, démontrant la modularité de l'approche.
• Capacité de Refus : L'inspecteur distingue efficacement les preuves suffisantes des preuves insuffisantes, refusant de répondre (en émettant $z=0$) sur des clips non cibles significativement plus souvent que sur des clips de vérité terrain, réduisant ainsi les suppositions.

Signification et Revendications

L'article revendique que le moteur principal de la performance dans les QA de vidéos longues agissants n'est pas simplement des modèles plus grands ou de meilleures fonctions de récompense, mais la séparation architecturale de la planification et de l'autorité de réponse. En découplant ces rôles, VideoSEAL atténue la « pression de l'invite » et la « pression de la récompense » qui conduisent au désalignement des preuves.

Les auteurs positionnent ce travail comme un changement de paradigme : passer de l'entraînement d'un agent couplé unique pour rechercher et décider, vers un système vérifiable et modulaire où la génération de réponses est strictement conditionnée par des preuves visuelles. Cette approche améliore l'interprétabilité (via les trajectoires de recherche) et la vérifiabilité, offrant une solution structurelle au problème « correct mais non ancré » qui afflige les agents de vidéos longues actuels. Le travail suggère que les améliorations futures en LVU pourraient dépendre davantage de la fidélité de l'inspection au niveau des pixels (perception) que de la sophistication de la planification linguistique (raisonnement), à condition que la logique de planification soit solide.