🤖 machine learning

Incentivizing Vision Language Models to Search for Long Video Question Answering

L'article présente VSeek, un cadre agentique qui améliore le questionnement sur de longues vidéos en employant l'apprentissage par renforcement avec des récompenses neuro-symboliques pour transformer la tâche en un processus de recherche multi-tours qui vérifie systématiquement les preuves visuelles récupérées par rapport à des spécifications de logique temporelle formelles.

Auteurs originaux : Harsh Goel, S P Sharan, Sahil Shah, Minkyu Choi, Joungbin An, Kristen Grauman, Sandeep P. Chinchali

Publié 2026-07-07

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Harsh Goel, S P Sharan, Sahil Shah, Minkyu Choi, Joungbin An, Kristen Grauman, Sandeep P. Chinchali

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que l'on vous remette un documentaire de deux heures et que l'on vous pose une question très précise, du type : « De quelle couleur était le chapeau que l'homme portait quand il a fait tomber le vase ? »

L'ancienne méthode (Perception passive) :
Les modèles d'IA actuels tentent généralement de répondre à cela en jetant un coup d'œil à une poignée aléatoire d'images de tout le film — peut-être 64 clichés répartis uniformément. C'est comme essayer de trouver une aiguille spécifique dans une botte de foin en saisissant une poignée de foin au hasard. Si l'aiguille ne se trouve pas dans cette poignée, l'IA devine, et se trompe souvent car elle a manqué le moment crucial.

La nouvelle méthode (VSeek) :
Le document présente VSeek, un agent d'IA plus intelligent qui agit comme un détective humain. Au lieu de deviner au hasard, VSeek « parcourt » activement la chronologie de la vidéo. Il se dit : « Je dois trouver le moment où le vase tombe », puis utilise le langage naturel pour rechercher précisément cette scène. C'est comme avoir un assistant intelligent qui sait utiliser la fonction « Rechercher » sur un lecteur vidéo pour sauter directement au moment pertinent avant de répondre.

Le problème : Comment enseigner à l'IA à bien chercher ?
Apprendre à une IA à être un bon détective est difficile. Habituellement, nous disons seulement à l'IA si la réponse finale est juste ou fausse (comme un professeur corrigeant un examen à la fin). Mais si l'IA effectue des recherches sur les mauv's éléments et finit par trouver la bonne réponse par chance, elle prend de mauvaises habitudes. Elle a besoin d'un retour sur la manière dont elle a cherché, et pas seulement sur le résultat final.

La solution : VETL (Le « Test Unitaire Visuel »)
Pour corriger cela, les auteurs ont créé un système appelé VETL (Visual Evidence via Temporal Logic). Considérez cela comme la transformation d'une question en une liste de contrôle ou une recette.

Décomposition : Le système prend une question complexe et la décompose en de minuscules faits indéniables (des primitives).
- Question : « Qu'a-t-elle mis sur le yaourt après avoir versé de l'eau chaude ? »
- La liste de contrôle :
  1. Une femme est présente.
  2. Elle verse de l'eau chaude.
  3. Elle prend du yaourt avec une cuillère.
  4. Elle ajoute une garniture.
  5. [ La garniture est visible.
La récompense : Lorsque l'IA cherche dans la vidéo, le système vérifie son « reçu » (les clips qu'elle a trouvés). A-t-elle trouvé le versement de l'eau ? A-t-elle trouvé le yaourt ? Si l'IA trouve les clips qui correspondent à la liste de contrôle, elle reçoit un « point bonus » (une récompense), avant même de donner la réponse finale.

C'est comme un jeu vidéo où vous gagnez des points pour avoir collecté des objets spécifiques en cours de route, plutôt que de gagner des points uniquement pour avoir vaincu le boss final. Cela apprend à l'IA à être minutieuse et précise dans sa recherche.

Les résultats :
En utilisant cette méthode de « liste de contrôle » pour entraîner l'IA, VSeek est devenu bien meilleur pour trouver les bonnes réponses dans des vidéos longues.

Il a considérablement amélioré sa précision par rapport aux modèles qui se contentent de deviner ou de chercher de manière aléatoire.
Il a appris à poser de meilleures questions de recherche (par exemple, chercher « garniture à la fraise » au lieu de simplement « nourriture »).
Il est devenu plus efficace, observant moins de cadres au total car il savait exactement quoi chercher, plutôt que de fixer l'ensemble du film.

En résumé :
Le document présente VSeek, une IA qui ne se contente pas de regarder des vidéos passivement, mais qui traque activement les réponses comme un détective. Pour lui apprendre à chasser efficacement, les auteurs ont inventé VETL, un système qui transforme les questions en une liste de contrôle stricte de faits visuels. Cela donne à l'IA un retour immédiat sur sa capacité à rassembler les bonnes preuves, menant à des réponses beaucoup plus intelligentes et précises pour les vidéos longues.

... balises.
2. Recherche : Émet des requêtes de recherche en langage naturel via des outils <search> ou <search subtitle> pour récupérer des clips candidats.
3. Observation : Reçoit un budget limité d'images (16 images par tour) provenant des clips récupérés.
4. Affinement : Met à jour son contexte en fonction des preuves récupérées avant de formuler la réponse finale.

Le système utilise une infrastructure de double indexation :

Index Visuel Sémantique : Les vidéos sont segmentées en clips de 8 secondes et intégrées à l'aide de l'encodeur ViCLIP.
Index de Sous-titres : Les transcriptions textuelles sont mappées à des fenêtres de frames exactes, permettant à l'agent de rechercher des dialogues spécifiques ou des entités nommées que les plongements visuels pourraient manquer.

2.2 VETL : Preuve Visuelle via la Logique Temporelle

Pour résoudre le problème de la rareté des récompenses, les auteurs proposent VETL, un pipeline neuro-symbolique qui fait le pont entre le langage naturel ouvert et la vérification visuelle discrète.

Génération de Spécifications : Les requêtes complexes des utilisateurs sont compilées en spécifications formelles de Logique Temporelle (TL). Un générateur LLM propose une formule TL $\phi$ sur un ensemble de primitives visuelles atomiques (ex: « femme », « verse de l'eau », « ajoute une fraise »). Un modèle juge vérifie cette spécification pour la couverture des entités et la fidélité temporelle.
Découplage de la Sémantique et du Temps : La spécification TL sépare les événements de fondement visuel (primitives) de leurs dépendances temporelles. Cela transforme la question à long horizon en une liste de contrôle exacte des éléments visuels requis.
Signal de Récompense Dense : Lors du post-entraînement par RL, le contexte vidéo récupéré par l'agent est évalué par rapport à la spécification TL. Un vérificateur visuel déterministe (utilisant ViCLIP) détecte si des primitives spécifiques sont présentes dans les frames récupérées. La récompense $R_{VETL}$ est calculée comme la fraction des primitives requises observées avec succès à travers l'ensemble de la trajectoire. Cela fournit un feedback dense et par étapes, incitant l'agent à rassembler des preuves spécifiques plutôt qu'à simplement deviner la réponse finale.

2.3 Apprentissage par Renforcement (Reinforcement Learning)

Le framework utilise l'optimisation de politique relative de groupe (Group Relative Policy Optimization - GRPO) pour le post-entraînement. La récompense totale est une combinaison pondérée de la précision de la réponse finale (Exact Match, $R_{EM}$ ) et de la récompense de preuve VETL ( $R_{VETL}$ ) :
$R = \lambda_1 R_{EM} + \lambda_2 R_{VETL}$
où $\lambda_1=0.7$ et $\lambda_2=0.3$ . Cet objectif encourage le modèle à apprendre une politique de recherche qui vérifie rigoureusement le contexte avant de répondre.

3. Contributions Clés

Le papier présente quatre contributions principales :

Framework VSeek : Un système agentique qui convertit la LVQA en un processus de découverte actif et multi-tour utilisant le langage naturel comme interface de recherche primaire, évitant ainsi le besoin de prédiction de timestamp rigide.
Pipeline VETL : Une méthode neuro-symbolique qui convertit les questions ouvertes en spécifications de logique temporelle vérifiables, créant de fait des « tests unitaires visuels » pour la construction du contexte.
Récompenses de Vérification RL : Un mécanisme de façonnage de récompense novateur qui évalue la trajectoire de collecte de preuves d'un agent par rapport aux primitives visuelles extraites, permettant un feedback vérifiable et par étapes au-delà de la seule supervision du résultat.
Validation Empirique : Démonstration que l'optimisation de la construction de contexte vérifiée améliore significativement les performances de raisonnement agentique à long horizon.

4. Résultats Expérimentaux

Les auteurs ont évalué VSeek sur plusieurs benchmarks in-domain (LongVideoBench, MLVU, Video-MME) et out-of-domain (LVBench, CGBench-mini).

Gains de Performance : Comparé aux modèles de base (Qwen3-VL-4B-Thinking), les variantes de VSeek ont montré des améliorations significatives. Spécifiquement, VSeek-VETL a amélioré les scores Pass@1 jusqu'à 8 % et les scores Pass@4 de 15 % sur les benchmarks de compréhension de vidéos longues.
Efficacité de la Récompense : L'introduction des récompenses VETL a apporté un avantage distinct par rapport aux modèles entraînés uniquement avec des récompenses Exact Match (VSeek-EM), particulièrement sur les jeux de données in-domain où la couverture des preuves est critique.
Robustesse sur Vidéo Longue : À mesure que la durée de la vidéo augmentait (ex: >10 minutes), les variantes de VSeek ont maintenu une plus grande stabilité de raisonnement par rapport aux baselines comme VideoTree et Naive RAG. VSeek-VETL a spécifiquement appris à produire des mots-clés de recherche très précis, évitant les requêtes génériques qui mènent souvent à des clips non pertinents.
Efficacité : Les variantes de VSeek ont atteint des performances de pointe tout en traitant nettement moins de frames en moyenne (environ 30–32 frames) par rapport au budget fixe de 64 frames des VLMs standards et des baselines RAG.
Robustesse Algorithmique : Les bénéfices des récompenses vérifiées ont été constants à travers les algorithmes GRPO et RLOO, bien qu'une dégradation ait été observée avec GSPO.

5. Signification et Revendications

Le papier affirme que la voie à suivre pour l'agentique de QA vidéo longue doit refléter les percées de l'apprentissage des mathématiques et de la programmation pour les LLM, où le progrès est catalysé par des récompenses vérifiables.

Passage du Passif à l'Actif : VSeek éloigne le domaine de l'échantillonnage uniforme passif vers une recherche de preuves active et itérative, reconnaissant que les humains ne comptent pas sur un échantillonnage aléatoire de frames pour les documents longs.
Combler le Fossé de la Vérification : En introduisant VETL, les auteurs affirment avoir résolu le goulot d'étranglement critique de l'application du RL à la vidéo : l'absence de signal pour vérifier la construction du contexte. Cela permet d'entraîner des agents qui sont incités à trouver la « bonne » preuve visuelle, et non seulement la « bonne » réponse finale.
Fondation pour les Futurs Agents : Les auteurs positionnent VSeek et VETL comme une étape fondamentale pour des agents vidéo plus puissants, suggérant que l'optimisation explicite du comportement de recherche de preuves vérifiables est essentielle pour passer à l'échelle la compréhension vidéo longue.

Le papier conclut que bien que des défis subsistent (tels que les limitations de la recherche séquentielle et les goulots d'étranglement du moteur de recherche), la combinaison de la recherche agentique et de la vérification neuro-symbolique offre une voie robuste pour résoudre les tâches complexes de raisonnement vidéo à long horizon.

2.2 VETL : Preuve Visuelle via la Logique Temporelle

2.3 Apprentissage par Renforcement (Reinforcement Learning)

3. Contributions Clés

4. Résultats Expérimentaux

5. Signification et Revendications

Articles similaires