💻 computer science

Searching Videos as Trees: Self-Correcting Agents for Grounded Long Video QA

L'article propose VideoTreeSearch (VTS), un cadre d'agent autocorrecteur qui modélise le questionnement sur de longues vidéos ancrées comme une recherche itérative sur un arbre temporel adaptatif avec des opérations explicites de retour en arrière, surpassant de manière significative les méthodes antérieures en permettant la récupération après des erreurs précoces et en atteignant des résultats de pointe sur plusieurs bancs d'essai.

Auteurs originaux : Ce Zhang, Ziyang Wang, Yulu Pan, Oluwatumininu Oguntola, Pranav Wagh, Qiyu Wu, Hiromi Wakaki, Mohit Bansal, Gedas Bertasius

Publié 2026-07-20

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ce Zhang, Ziyang Wang, Yulu Pan, Oluwatumininu Oguntola, Pranav Wagh, Qiyu Wu, Hiromi Wakaki, Mohit Bansal, Gedas Bertasius

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de trouver un moment précis et minuscule dans un film qui dure des heures. Peut-être devez-vous voir exactement ce qu'un chef a ajouté dans un bol juste avant de le mettre au four, mais la vidéo est un tutoriel de cuisine complet. Si vous parcourez simplement tout le film rapidement, vous pourriez manquer cette action d'une fraction de seconde. Mais si vous regardez chaque image à vitesse normale, cela prendrait une éternité. C'est le défi du « Grounded Long-Video Question Answering » (Réponse à des questions sur de longues vidéos avec ancrage temporel). Il s'agit d'une tâche où un ordinateur doit non seulement répondre à une question sur une vidéo longue, mais aussi pointer l'endroit exact, de quelques secondes seulement, où se cache la réponse.

Pendant un certain temps, les scientifiques ont tenté de résoudre ce problème en donnant à l'ordinateur un outil de « ciseaux ». L'ordinateur devinait une plage temporelle, découpait la vidéo à cet endroit et observait le résultat. S'il se trompait, il essayait de découper à nouveau. Mais cette approche revenait à essayer de trouver une aiguille dans une botte de foin en n'ayant le droit que de couper la botte de foin en deux ; si vous coupez la mauvaise moitié, vous ne pouvez pas facilement revenir de l'autre côté pour réessayer. Vous ne faites que découper la mauvaise pièce de plus en plus petit jusqu'à abandonner. Ce papier introduit une façon de chercher plus intelligente, transformant la vidéo en une carte que l'ordinateur peut explorer, revenir en arrière et corriger ses erreurs sur, un peu comme un détective résolvant un mystère.

La Carte du Détective : Comment VTS Résout le Mystère de la Vidéo

Découvrez VideoTreeSearch (VTS), un nouveau cadre conçu pour aider les ordinateurs à devenir des experts en détectives vidéo. Les chercheurs derrière ce papier ont réalisé que l'ancienne façon de chercher dans les vidéos était trop maladroite. Les méthodes précédentes agissaient comme une personne qui ne pouvait que progresser vers l'avant, réduisant un clip vidéo en le recadrant constamment. Si elles faisaient une erreur au début — par exemple, si elles pensaient que la réponse se trouvait dans les dix premières minutes alors qu'elle était dans les dix dernières — elles étaient coincées. Elles n'avaient aucun moyen de dire : « Attendez, je suis partie dans la mauvaise direction », et de revenir essayer un autre chemin. Elles ne faisaient que creuser de plus en plus profondément dans le mauvais trou.

L'Analogie de l'Arbre
Pour correr cela, les auteurs ont transformé la vidéo en un arbre. Imaginez que l'intégralité de la vidéo est le tronc d'un arbre géant. Le tronc se divise en quelques grosses branches, représentant des scènes ou des chapitres majeurs. Ces branches se divisent à nouveau en petites brindilles, et les brindilles se divisent en minuscules feuilles.

La Racine : Toute la vidéo.
Les Branches : Les gros segments de la vidéo où la scène change (comme passer de la cuisine à la salle à manger).
Les Feuilles : Les moments précis et minuscules où la réponse pourrait se cacher.

Crucialement, cet arbre n'est pas construit avec des tranches de tailles égales. Au lieu de cela, l'ordinateur regarde la vidéo et coupe l'arbre exactement là où l'histoire visuelle change. Si une scène dure cinq minutes, cette branche est longue ; si une scène est un simple flash rapide, cette branche est courte. Cela signifie que chaque partie de l'arbre fait sens en tant qu'unité narrative, plutôt que d'être simplement une tranche de temps aléatoire.

Les Quatre Mouvements Magiques
Une fois que la vidéo est un arbre, l'agent informatique ne se contente plus de « recadrer ». Il possède quatre mouvements spécifiques pour naviguer dans cette carte :

Zoom In (Zoom avant) : Descendre une branche pour voir une partie plus petite et plus détaillée de la vidéo.
Zoom Out (Dézoom) : Remonter vers la branche parente si vous réalisez que vous êtes allé trop loin dans la mauvaise direction.
Shift (Décalage) : Se déplacer latéralement vers une autre branche au même niveau (comme vérifier la pièce d'à côté au lieu de la pièce actuelle).
Answer (Répondre) : Arrêter la recherche et donner la réponse finale avec l'horodatage exact.

La partie la plus excitante est le Zoom Out et le Shift. Ce sont les boutons « J'ai fait une erreur, essayons à nouveau ». Dans les anciennes méthodes, revenir en arrière était impossible ou très difficile. Dans VTS, c'est un mouvement standard et intégré. L'agent peut plonger dans une mauvaise branche, réaliser que c'est une impasse, remonter et sauter vers une autre branche pour trouver la vérité.

Entraîner le Détective
On ne peut pas simplement donner un arbre à un ordinateur et s'attendre à ce qu'il sache comment l'utiliser. Les chercheurs ont dû enseigner à l'agent comment gérer les erreurs. Ils ont créé un processus d'entraînement spécial où ils envoyaient délibérément l'agent sur le mauvais chemin exprès.

Le Détour : L'agent était guidé pour choisir une mauvaise branche.
La Récupération : Ensuite, il devait trouver comment remonter et trouver le bon chemin.

En pratiant ces scénarios de « détour et récupération », l'agent a appris que faire une erreur n'est pas la fin du jeu ; c'est juste une partie de la recherche. Il a appris que s'il est coincé, il doit utiliser ses outils de Zoom Out et de Shift pour récupérer.

Les Résultats
Lorsqu'ils ont testé ce nouveau détective sur trois défis différents de questions-réponses vidéo, les résultats ont été impressionnants.

Sur le test CG-Bench, VTS a amélioré la capacité de trouver l'intervalle de temps correct de 12,5 points par rapport à la meilleure méthode précédente.
Sur le test Haystack-Ego4D (qui utilise des vidéos très longues), il s'est amélioré de 7,4 points.
Même sur des questions vidéo générales où il n'avait pas besoin de trouver le moment exact, il a quand même battu les autres méthodes de près de 7,1 points en précision.

Le papier suggère que cette « recherche hiérarchique » (recherche par couches) est la recette secrète. Lorsqu'ils ont supprimé la capacité de faire du Zoom Out ou du Shift, les performances ont chuté de manière significative. Cela prouument que la capacité de revenir en arrière est ce qui rend le système si performant.

Pourquoi c'est important
Les auteurs ont découvert que VTS ne fait pas que deviner ; il explore. En moyenne, il faut environ 4,8 tours (étapes) pour résoudre un problème, alors que les anciennes méthodes abandonnaient généralement après seulement 1 ou 2 tours. Le nouvel agent utilise activement ses outils de retour en arrière dans environ 60 % de ses recherches. Ce n'est pas seulement un calculateur plus rapide ; c'est un explorateur plus intelligent qui sait admettre quand il a tort et essayer un autre itinéraire.

En bref, ce papier montre que traiter une longue vidéo comme une carte structurée, plutôt que comme une liste plate d'images, permet aux ordinateurs de résoudre des questions complexes avec une précision bien plus élevée. En leur donnant les outils pour reculer et changer de direction, nous leur avons appris à être bien meilleurs pour trouver l'aiguille dans la botte de foin.

Résumé Technique : VideoTreeSearch (VTS) pour le Grounded Long Video QA

1. Définition du Problème

L'article traite du Grounded Long Video Question Answering (Grounded LVQA), une tâche qui exige qu'un modèle réponde à une question sur une vidéo longue tout en localisant simultanément l'intervalle temporel court (la preuve) qui soutient la réponse.

Les approches agentiques actuelles cadrent généralement cela comme une exploration multi-tours utilisant une action continue unique : crop_video(start, end). Les auteurs identifient deux lacunes structurelles critiques dans ces méthodes :

Espace d'action asymétrique : Bien que le recadrage (cropping) rétrécisse naturellement la recherche (du grossier au fin), il manque d'un primitif pour le retour en arrière (backtracking) du fin vers le grossier. Une fois qu'un agent s'engage dans une mauvaise région, il ne peut pas facilement s'en remettre, ce qui conduit à une convergence prématurée.
Espace de recherche plat : La régression de timestamp continue force l'agent à localiser la preuve à partir de pixels bruts sans décomposition hiérarchique de la vidéo. Cela laisse l'espace de recherche non organisé et manque de priors sémantiques concernant l'emplacement des segments cohérents.

Par conséquent, les méthodes antérieures échouent souvent à se remettre de leurs erreurs précoces et peinent à réaliser une localisation précise dans les vidéos longues où la preuve pertinente n'occupe qu'une infime fraction de la durée totale.

2. Méthodologie : VideoTreeSearch (VTS)

Les auteurs proposent VideoTreeSearch (VTS), un cadre qui reformule le Grounded LVQA comme une recherche itérative et auto-correctrice sur un arbre temporel adaptatif.

2.1 Construction de l'Arbre Temporel Adaptatif

Au lieu d'un échantillonnage de trames uniforme, VTS construit un arbre non uniforme où les nœuds correspondent à des segments vidéo sémantiquement cohérents.

Détection de limites : L'arbre est construit en détectant les changements de scènes visuelles à l'aide des embeddings CLIP. Pour un segment donné, les trames sont échantillonnées à 1 fps, et les distances cosinus entre les embeddings consécutifs sont calculées. Les limites sont placées là où le changement visuel dépasse un seuil adaptatif.
Structure : La racine représente la vidéo entière. Les nœuds intermédiaires sont des segments à grain grossier, et les feuilles sont des candidats à grain fin. Les enfants d'un nœud forment une partition non chevauchante de l'intervalle du parent.
Matérialisation paresseuse (Lazy Materialization) : L'arbre est construit de manière paresseuse pendant l'inférence ; seuls la racine et les enfants des nœuds visités sont matérialisés pour maintenir l'espace de navigation restreint.

2.2 Espace d'Action Fondé sur l'Arbre

L'agent navigue dans l'arbre en utilisant quatre opérations discrètes, séparant explicitement l'exploration de l'auto-correction :

zoom_in(c) : Descend dans le $c$ -ième segment enfant (rétrécissement du grossier au fin).
zoom_out() : Remonte au nœud parent (retour en arrière du fin vers le grossier).
shift(s) : Se déplace latéralement vers le $s$ -ième frère sous le même parent.
answer(ŷ, [ts, te]) : Termine la recherche avec une réponse finale et l'intervalle de preuve localisé.

Cette conception transforme le retour en arrière, d'un comportement implicite et difficile, en un primitif explicite et apprenable.

2.3 Pipeline d'Entraînement

L'entraînement nécessite une supervision non seulement pour les chemins corrects, mais aussi pour la récupération après des erreurs, ce qui est absent des jeux de données standards. Les auteurs introduisent un pipeline de synthèse de trajectoire :

Synthèse : Un contrôleur génère des trajectoires qui incluent des détours délibérés dans des branches incorrectes suivis d'une récupération (en utilisant zoom_out et shift).
Apprentissage Supervisé (SFT) : L'agent est entraîné pour imiter ces trajectoires. Crucialement, la perte est appliquée sélectivement : le modèle observe la séquence complète "détour-et-récupération" comme contexte, mais n'est supervisé que sur les mouvements désirables (zooms corrects, actions de récupération et shifts). Les erreurs intentionnelles dans la trajectoire servent de contexte mais sont masquées de la perte.
Apprentification par Renforcement (RL) : Après le SFT, la politique est affinée via GRPO avec des récompenses basées sur la précision de la localisation (Temporal IoU) et la justesse de la réponse.

3. Contributions Clés

Cadre (Framework) : Introduction de VTS, qui présente le Grounded LVQA comme une recherche hiérarchique sur un arbre sémantique plutôt que comme une régression continue.
Primitifs d'Action : Proposition d'actions discrètes zoom_in, zoom_out et shift qui permettent explicitement le retour en arrière et l'auto-correction, répondant à l'asymétrie des méthodes de recadrage antérieures.
Stratégie d'Entraînement : Un nouveau pipeline de synthèse de trajectoire qui génère des chemins de "détour et récupération", permettant à l'agent d'apprendre des modèles de récupération qui ne sont pas présents dans les données de vérité terrain.
Validation Empirique : Démonstration que la recherche hiérarchique explicite et le retour en arrière sont des mécanismes centraux pour améliorer les performances sur les tâches de vidéo longue.

4. Résultats Expérimentaux

VTS a été évalué sur trois benchmarks de Grounded LVQA (CG-Bench, Haystack-LVBench, Haystack-Ego4D) et trois benchmarks de QA vidéo longue générale (Video-MME, MLVU, LVBench).

Performance en Grounded LVQA

CG-Bench : VTS a atteint 16,8 mIoU et 36,4 % de précision, surpassant la base agentique la plus forte (LongVT) de +12,5 mIoU et +19,0 de précision.
Haystack-Ego4D : VTS a atteint 18,4 T-F1 et 66,1 % de précision, dépassant la meilleure base de +7,4 T-F1.
Efficacité : Malgré une performance supérieure, VTS a traité moins de trames en moyenne (328) par rapport aux bases d'échantillonnage uniforme (384) et aux agents captioner-LLM (450).

Transfert de QA Vidéo Longue Générale

La politique de navigation apprise a été transférée aux tâches de QA générale sans entraînement explicite de grounding :

VTS a surpassé toutes les bases agentiques antérieures sur Video-MME, MLVU et LVBench, avec des gains allant jusqu'à +7,1 points de précision sur LVBench.

Études d'Ablation

Backtracking (Retour en arrière) : Supprimer zoom_out et shift (pas de retour en arrière) a dégradé les performances de manière significative sur tous les indicateurs, confirmant que l'auto-correction est critique.
Arbre vs Plat : Remplacer l'arbre hiérarchique par un arbre plat de segments uniformes a dégradé la précision du QA, démontant la valeur d'une recherche multi-échelle.
Synthèse de Trajectoire : L'entraînement sur des trajectoires de "détour et récupération" a produit des performances nettement plus élevées (+6,4 mIoU) que l'entraînement sur des trajectoires de chemin optimal uniquement.

5. Signification et Revendications

L'article affirme que structurer la recherche sur une vidéo longue sous forme d'arbre adaptatif est un biais inductif utile pour le raisonnement vidéo à long terme. La principale signification réside dans le passage du paradigme de la "régression continue" à celui de la "navigation discrète", ce qui :

Découple l'Exploration et la Correction : Rend le retour en arrière un comportement explicite et apprenable plutôt qu'une capacité implicite et instable.
S'aligne sur la Sémantique : En ancrant la recherche dans les limites de scènes visuelles, le modèle raisonne sur des unités sémantiquement cohérentes plutôt que sur des timestamps arbitraires.
Permet la Récupération : La capacité d'annuler explicitement une descente erronée permet aux agents de gérer le coût élevé des erreurs dans les vidéos longues, où une seule erreur peut entraîner une perte de contexte irrécupérable.

Les auteurs concluent que bien que VTS soit principalement entraîné pour la localisation de preuves, la politique de recherche basée sur l'arbre se généralise efficacement aux tâches plus larges de compréhension vidéo longue, suggérant que le mécanisme de recherche hiérarchique et auto-correctrice est largement bénéfique pour le raisonnement vidéo.