🤖 AI

See More, Think Deeper: Query-Expanded Visual Evidence and Answer-Clue Guided Reflection for Long Video Understanding

Le document présente CoVER, un cadre qui améliore la compréhension des vidéos longues dans les Video-LLM en rassemblant dynamiquement des preuves visuelles étendues par la requête pour « voir plus » et en employant une réflexion guidée par les indices de réponse pour « réfléchir plus profondément », surpassant ainsi les modèles existants grâce à un raisonnement centré sur les preuves et visuellement vérifiable.

Auteurs originaux : Shuning Wang, Zhiheng Wu, YiNuo Lu, Naiming Liu, Chen Jia, Bowen Liu, Shuo Nie, Weijie Zhu, Yumeng Zhang

Publié 2026-06-09

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Shuning Wang, Zhiheng Wu, YiNuo Lu, Naiming Liu, Chen Jia, Bowen Liu, Shuo Nie, Weijie Zhu, Yumeng Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un mystère dans un film très long et complexe. Vous êtes le détective, et le film est votre seule source d'indices.

La plupart des « détectives IA » actuels (Video-LLMs) tentent de résoudre le mystère en regardant le film une seule fois, très rapidement, puis en devinant la réponse. Ils pourraient manquer un détail infime parce qu'ils regardaient l'écran dans sa globalité, ou ils pourraient deviner en se basant sur ce qui arrive habituellement dans les films plutôt que sur ce qui s'est réellement passé dans cette scène spécifique.

Le papier présente un nouveau détective nommé CoVER (Comprehensive Visual Evidence and Reflection). CoVER ne se contente pas de deviner ; il suit un processus strict en deux étapes pour « Voir Plus » et « Réfléchir Plus Profondément ».

Voici comment fonctionne CoVER, en utilisant une analogie simple :

Le Problème : L'approche « Regard et Devine »

Imaginez qu'on vous demande : « Quel a été le tout premier en-cas mangé par le personnage ? »

L'IA classique : Regarde tout le film rapidement. Elle voit un personnage manger une pomme plus tard. Elle devine : « C'était une pomme ! » Elle n'a pas regardé assez attentivement pour voir que le personnage a en fait bu un soda avec des glaçons avant de manger la pomme.
Le Problème : L'IA s'appuie sur un seul regard large et manque souvent les petits indices cruciaux cachés dans la chronologie.

La Solution : Le travail de détective en deux étapes de CoVER

CoVER change la donne en utilisant deux outils spéciaux : La Loupe et Le Vérificateur de Faits.

Étape 1 : « Voir Plus » (La Loupe)

Au lieu de simplement regarder le film une fois, CoVER agit comme un détective qui réalise : « Je dois regarder de plus près. »

L'Astuce : Avant de répondre, CoVER se pose une série de questions de suivi, que le papier appelle des « pseudo-requêtes ».
L'Analogie : Si la question est « Qu'ont-ils mangé en premier ? », CoVER ne cherche pas seulement de la « nourriture ». Il génère des termes de recherche spécifiques comme : « Y a-t-il une boisson avec des glaçons ? », « Y a-t-il des tranches de pastèque ? », « Y a-t-il une tasse ? »
Le Résultat : Il utilise ces questions spécifiques pour zoomer sur des clips minuscules et en haute définition de la vidéo qu'il aurait pu manquer lors de son premier coup d'œil rapide. Il rassemble un tas complet de preuves avant de faire une supposition.

Étape 2 : « Réfléchir Plus Profondément » (Le Vérificateur de Faits)

Une fois que CoVER a rassemblé les preuves, il élabore une Réponse Provisoire (une première supposition). Mais il ne s'arrête pas là.

L'Astuce : CoVER prend sa propre réponse provisoire et la transforme en un « Indice » pour se tester lui-même.
L'Analogie : Si CoVER devine : « Le premier en-cas était de la pastèque », il crée un indice spécifique : « Vérifier si la pastèque apparaît avant le soda. » Il retourne ensuite spécifiquement vers la vidéo pour chercher cette relation.
Le Résultat : Si la vidéo montre que le soda est arrivé avant la pastèque, CoVER attrape sa propre erreur. Il dit : « Oh non, ma réponse provisoire était fausse car la preuve la contredit », et il révise la réponse pour trouver la bonne (le soda).

Pourquoi cela est important

La plupart des modèles d'IA sont comme des étudiants qui écrivent une dissertation et la rendent immédiatement. CoVER est comme un étudiant qui :

Effectue des recherches approfondies sur le sujet (rassembler plus de preuves).
Écrit un premier brouillon.
Examine de manière critique son propre brouillon par rapport aux faits.
Corrige les erreurs avant de rendre la version finale.

Les Résultats

Le papier démontre que cette méthode fonctionne. CoVER est bien meilleur pour répondre à des questions sur de longues vidéos que les autres modèles de même taille. Il bat même certains modèles « fermés » (dont on ne peut pas voir l'intérieur) très coûteux sur certains tests.

En bref : CoVER empêche l'IA de deviner en se basant sur un coup d'œil rapide. Au lieu de cela, il force l'IA à traquer des indices spécifiques, à rédiger un brouillon, puis à vérifier ce brouillon par rapport à la vidéo pour s'assurer que la réponse est réellement vraie.

Résumé Technique : CoVER – Compréhension Visuelle Exhaustive et Réflexion pour la Compréhension de Vidéos Longues

1. Énoncé du Problème

Les modèles de langage de grande taille pour la vidéo (Video-LLMs) récents ont fait progresser la compréhension de vidéos longues, mais ils font face à deux limitations critiques dans les tâches de raisonnement :

Acquisition d'Évidences Incomplète : Les méthodes existantes reposent souvent sur une intention de recherche unique (la question d'origine) pour récupérer des preuves visuelles. Cette approche à grain grossier manque fréquemment des indices visuels épars, fins ou critiques (par exemple, des attributs d'objets spécifiques, des séquences temporelles ou des changements d'état) nécessaires à un raisonnement complexe.
Absence de Vérification Visuelle : Les modèles actuels génèrent généralement des réponses de manière en boucle ouverte. Une fois qu'une réponse provisoire est produite, le processus se termine sans vérifier si la réponse est soutenue par des preuves visuelles ou sans la réviser si de nouvelles preuves contredisent l'hypothèse initiale. Cela crée un écart où une haute précision de la réponse n'implique pas nécessairement un ancrage correct dans l'évidence.

2. Méthodologie : Le Cadre CoVER

Les auteurs proposent CoVER (Comprehensive Visual Evidence and Reflection), un cadre conçu pour faire passer la compréhension de vidéos longues d'une génération centrée sur la réponse à un raisonnement centré sur l'évidence et visuellement vérifiable. CoVER fonctionne via un processus en boucle fermée impliquant deux modules principaux et un outil de recherche spécialisé.

2.1 Composants Clés

CueZoom (Outil de Zoom-In de Preuve Visuelle Sensible aux Indices) :
Un mécanisme de recherche qui localise des segments vidéo à haute résolution basés sur des indices textuels. Il calcule les scores de pertinence entre les images de la vidéo et les indices textuels (questions, pseudo-requêtes ou indices de réponse) en utilisant des encodeurs textuels et visuels. Pour assurer la stabilité, il applique un Lissage Temporel Laplacien (LTS) aux scores de pertinence, filtrant les pics de bruit et fusionnant les images voisines en clips d'évidence cohérents.
Évidence Visuelle par Expansion de Requête (QVE) :
Pour remédier à l'acquisition incomplète d'évidences, CoVER génère des pseudo-requêtes ( $P$ ) à partir de la question d'origine et de l'observation globale de la vidéo. Ces pseudo-requêtes décomposent la demande de raisonnement en indices visuels divers et observables (par exemple, « Y a-t-il une boisson avec des glaçons ? »). Le modèle utilise la question d'origine combinée à ces pseudo-requêtes pour extraire des clips de zoom-in complets et pertinents pour la tâche afin de générer une réponse provisoire.
Réflexion Guidée par l'Indice de Réponse (AGR) :
Pour remédier à l'absence de vérification, CoVER introduit une étape de réflexion. Après avoir génécu une réponse provisoire, le modèle dérive un indice visuel spécifique à la réponse (une condition vérifiable qui doit être vraie si la réponse est correcte). Cet indice est utilisé pour extraire des preuves de vérification spécifiques. Le modèle compare ensuite la réponse provisoire à cette nouvelle preuve. Si l'évidence contredit la réponse provisoire, celle-ci est révisée ; sinon, elle est conservée.

2.2 Pipeline d'Entraînement

CoVER emploie un ajustement fin supervisé (SFT) en deux étapes, suivi d'un apprentissage par renforcement (RL) :

Étape 1 (SFT QVE) : Entraîne le modèle à générer des réponses provisoires fiables en utilisant l'évidence étendue. Le modèle apprend une politique adaptative pour invoquer l'outil de zoom-in avec des pseudo-requêtes lorsque l'observation globale est insuffisante.
Étape 2 (SFT AGR) : Entraîne le modèle à vérifier les réponses provisoires à l'aide d'indices spécifiques à la réponse. La fonction de perte masque les tokens correspondant aux réponses provisoires incorrectes pour éviter que le modèle n'apprenne à partir d'étapes intermédiaires erronées, se concentrant sur la supervision du raisonnement de vérification et de la génération de la réponse finale.
Apprentissage par Renforcement (GRPO) : Le modèle est optimisé davantage via l'Optimisation de Politique Relative de Groupe (GRPO) avec une fonction de récompense composite comprenant :
- Récompense de Réponse : Encourage les prédictions finales correctes.
- Récompense de Vérification : Pénalise la révision d'une réponse provisoire correcte en une réponse finale incorrecte et récompense les transitions cohérentes ancrées dans l'évidence.
- Récompense de Format : Assure l'adhérence au format de sortie structuré.

3. Principales Contributions

Le papier revendique les contributions suivantes :

Première Réflexion par Feedback Visuel dans les Video-LLMs : CoVER est le premier cadre intégrant la réflexion par feedback visuel dans le raisonnement des Video-LLM, transformant le processus d'inférence d'une boucle ouverte en une boucle fermée.
Cadre à Double Module : Il propose une approche unifiée combinant l'Évidence Visuelle par Expansion de Requête (pour « Voir Plus » via des pseudo-requêtes diverses) et la Réflexion Guidée par l'Indice de Réponse (pour « Penser Plus Profond » via la vérification visuelle).
Raisonnement Centré sur l'Évidence : Le cadre déplace le paradigme de la génération de réponses basée sur des priors linguistiques vers un raisonnement basé sur une évidence visuelle complète et vérifiable.

4. Résultats Expérimentaux

Les expériences ont été menées sur quatre benchmarks majeurs de vidéos longues : MLVU, Video-MME, LongVideoBench et LVBench. Le modèle de base utilisé était Qwen2.5-VL-7B.

Gains de Performance : CoVER-7B a nettement surpassé le modèle de référence Qwen2.5-VL-7B, atteignant des améliorations de +3,9 % sur MLVU, +0,7 % sur Video-MME, +1,1 % sur Video-MME-Long, +2,3 % sur LongVideoBench et +4,6 % sur LVBench.
Comparaison avec l'État de l'Art (SOTA) : CoVER a surpassé les modèles de raisonnement open-source de pointe (ex. : Video-MTR, Conan) et a même surpassé certains modèles fermés sur des métriques spécifiques, malgré une échelle de paramètres comparable (7B).
Études d'Ablation :
- Supprimer soit l'étape 1, soit l'étape 2 du SFT a entraîné une dégradation des performances, confirmant la nécessité des deux entraînements : acquisition d'évidence et vérification.
- La suppression de l'apprentissage par renforcement (RL) a causé des chutes significatives, particulièrement sur MLVU et LVBench, soulignant le rôle du RL dans l'optimisation du raisonnement ancré dans l'évidence.
- La suppression de l'un ou l'autre des modules QVE ou AGR a systématiquement dégradé les performances sur tous les benchmarks, démontant que les deux composants sont essentiels.

5. Signification et Revendications

Le papier postule que CoVER répond au défi fondamental de l'ancrage de l'évidence dans la compréhension de vidéos longues. En s'éloignant de la dépendance aux indices partiels saillants ou aux priors linguistiques, CoVER permet aux modèles de :

Localiser des Évidences Éparses : Rassembler dynamiquement des faits visuels fins grâce à l'expansion de requête.
Vérifier le Raisonnement : Utiliser le feedback visuel pour valider et corriger les réponses provisoires, garantissant que la sortie finale est soutenue par le contenu de la vidéo.

Les auteurs concluent qu'une acquisition d'évidence exhaustive et une réflexion par feedback visuel sont critiques pour un raisonnement fiable sur des vidéos longues, offrant une voie vers des Video-LLMs plus robustes sans nécessairement augmenter l'échelle des modèles.

6. Limites

Les auteurs reconnaissent plusieurs limites :

Dépendance à la Qualité des Requêtes : L'efficacité repose sur la qualité des pseudo-requêtes et des indices de réponse générés ; des requêtes ambiguës peuvent extraire des évidences trompeuses.
Biais de la Réponse Initiale : Étant donné que la réflexion est conditionnée par la réponse provisoire initiale, des prédictions initiales incorrectes peuvent mener à des indices de vérification biaisés.
Surcharge de Calcul : Le processus de recherche par zoom-in introduit un calcul supplémentaire par rapport à l'échantillonnage uniforme.
Compréhension Holistique : Le cadre peut être moins efficace pour les questions nécessitant une compréhension holistique de la vidéo plutôt qu'une recherche d'évidences visuelles localisées.