💻 computer science

Video-o3: Native Interleaved Clue Seeking for Long Video Multi-Hop Reasoning

Video-o3 est un cadre novateur pour le raisonnement multi-sauts sur de longues vidéos qui surmonte les limites de l'échantillonnage uniforme en permettant une recherche itérative native d'indices grâce à un masquage d'attention découplé de la tâche et à une récompense guidée par une trajectoire vérifiable, atteignant ainsi des performances de pointe sur des références telles que MLVU et Video-Holmes.

Auteurs originaux : Xiangyu Zeng, Zhiqiu Zhang, Yuhan Zhu, Xinhao Li, Zikang Wang, Changlian Ma, Qingyu Zhang, Zizheng Huang, Kun Ouyang, Tianxiang Jiang, Ziang Yan, Yi Wang, Hongjie Zhang, Yali Wang, Limin Wang

Publié 2026-05-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiangyu Zeng, Zhiqiu Zhang, Yuhan Zhu, Xinhao Li, Zikang Wang, Changlian Ma, Qingyu Zhang, Zizheng Huang, Kun Ouyang, Tianxiang Jiang, Ziang Yan, Yi Wang, Hongjie Zhang, Yali Wang, Limin Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre une énigme dans un film de 30 minutes, mais que vous n'avez que quelques secondes pour le regarder. La plupart des modèles d'IA actuels tentent de résoudre ce problème en prenant une photo rapide et floue de l'ensemble du film toutes les quelques secondes, puis en devinant immédiatement la réponse. C'est comme essayer de trouver une aiguille spécifique dans une botte de foin en jetant un coup d'œil rapide à tout le tas une seule fois et en espérant l'avoir vue. Vous manquez souvent l'aiguille car elle est cachée dans le « foin » (les parties ennuyeuses), ou vous êtes submergé par trop d'informations.

Video-o3 est un nouveau cadre d'IA qui change la donne. Au lieu de jeter un coup d'œil, il agit comme un détective avec une loupe. Voici comment cela fonctionne, décomposé en concepts simples :

1. L'approche du détective (Recherche native de indices entrelacés)

Au lieu de regarder tout le film puis de deviner, Video-o3 regarde un peu, réfléchit, puis décide : « Je dois zoomer sur cette partie spécifique de 5 secondes pour voir ce qui se passe. »

Comment cela fonctionne : Il demande au système de « recadrer » un segment spécifique de la vidéo (comme découper un petit morceau de pellicule de la bobine) pour l'examiner de près.
La boucle : Il répète ce processus. Regarder un peu $\rightarrow$ Réfléchir $\rightarrow$ Zoomer sur un indice $\rightarrow$ Réfléchir à nouveau $\rightarrow$ Zoomer sur un autre indice.
Le résultat : Il construit la réponse pièce par pièce, en ne regardant que les parties de la vidéo qui comptent vraiment, en ignorant le reste.

2. Le problème de la « division de l'attention » (Masquage d'attention découplé par tâche)

Imaginez un détective qui essaie d'écrire un rapport tout en regardant simultanément une scène de crime. S'il essaie de faire les deux exactement en même temps, il risque de se confondre. Il pourrait regarder la scène de crime mais noter quelque chose de sa mémoire au lieu de ce qu'il voit réellement. C'est ce qu'on appelle la « fausse réflexion ».

La solution : Video-o3 utilise une technique spéciale de « masquage ».
- Lorsque l'IA cherche des indices (en scannant la vidéo), elle est forcée d'ignorer la réponse finale qu'elle pourrait écrire. Elle se concentre entièrement sur la recherche des preuves.
- Lorsque l'IA écrit la réponse, elle est forcée d'ignorer les images brutes de la vidéo et de se concentrer uniquement sur les indices qu'elle vient de trouver.
L'analogie : C'est comme un élève qui n'a le droit de consulter son manuel que pendant la phase d'« étude », et n'a le droit de consulter ses notes que pendant la phase de « examen ». Cela l'empêche de tricher ou de se confondre, garantissant que sa réponse finale est basée sur des preuves solides.

3. Le « panneau stop » (Récompense guidée par une trajectoire vérifiable)

Un détective pourrait théoriquement continuer à zoomer indéfiniment, en regardant chaque image, ce qui prendrait trop de temps et coûterait trop cher (puissance de calcul).

La solution : Video-o3 est entraîné avec un système de récompense spécial.
- Si l'IA trouve la réponse rapidement et avec précision, elle reçoit une grande « étoile d'or » (récompense).
- Si l'IA continue de zoomer inutilement après avoir déjà la réponse, elle reçoit une « pénalité » (la récompense diminue).
L'analogie : C'est comme un jeu de « Chaud et Froid ». L'IA apprend à arrêter de chercher dès qu'elle se sent « chaude » (qu'elle a assez de preuves). Elle apprend à être efficace, en s'arrêtant exactement quand elle a résolu l'énigme, plutôt que de perdre du temps à regarder des pièces vides.

4. Le terrain d'entraînement (Seeker-173K)

Pour enseigner à une IA à être un détective, vous ne pouvez pas simplement lui donner un manuel ; vous devez lui donner des milliers de cas pratiques où elle doit chasser des indices.

L'ensemble de données : Les chercheurs ont créé un vaste ensemble de données appelé Seeker-173K. Il contient 173 000 exemples de « mystères vidéo » où l'IA est forcée de pratiquer le cycle : Regarder $\rightarrow$ Zoomer $\rightarrow$ Réfléchir $\rightarrow$ Regarder à nouveau $\rightarrow$ Résoudre.
Le résultat : Parce qu'elle a beaucoup pratiqué sur ces tâches spécifiques de « chasse aux indices », elle est devenue bien meilleure pour résoudre des questions vidéo complexes que les modèles précédents.

La conclusion

Video-o3 est une manière plus intelligente pour les ordinateurs de regarder des vidéos longues. Au lieu d'essayer de mémoriser tout le film d'un coup, il agit comme un détective humain : il scanne la scène, zoome sur les détails importants, relie les points et s'arrête dès qu'il a la preuve. Cela le rend beaucoup plus rapide, plus précis et meilleur pour résoudre des énigmes complexes cachées dans des vidéos longues.

Performance : Lors des tests, cette approche a permis à l'IA de résoudre des énigmes vidéo avec une précision nettement supérieure (par exemple, 72,1 % sur un benchmark majeur) par rapport aux anciennes méthodes qui se contentaient de « jeter un coup d'œil » à la vidéo.

Résumé Technique : Video-o3

Énoncé du Problème

Les modèles de langage multimodaux de grande taille (MLLM) existants pour la compréhension de vidéos longues reposent principalement sur un échantillonnage uniforme des images suivi d'une inférence en tour unique. Cette approche peine à identifier des preuves éparses mais critiques au sein d'un contenu de fond extensif et redondant, entraînant une surcharge computationnelle significative et une dégradation de la précision du raisonnement. Bien que des prototypes précoces de « recherche d'indices + raisonnement de réponse » existent, ils dépendent souvent d'heuristiques conçues à la main, manquent d'optimisation de bout en bout et dissocient la recherche d'indices du raisonnement, échouant ainsi à passer à l'échelle pour des vidéos complexes et longues nécessitant un raisonnement multi-sauts conjoint. De plus, l'appel natif d'outils en plusieurs tours introduit deux défis fondamentaux : la dispersion de l'attention causée par l'hétérogénéité des tâches de raisonnement et d'appel d'outils au sein d'un contexte partagé, et l'inefficacité contextuelle où des interactions d'outils non contrôlées entraînent une consommation excessive de jetons et une exploration redondante.

Méthodologie

Les auteurs présentent Video-o3, un cadre conçu pour la recherche d'indices imbriquée nativement et le raisonnement multi-sauts dans les vidéos longues. Le système permet au modèle de découvrir itérativement des indices visuels saillants, d'effectuer une inspection fine de segments clés via un outil VideoCrop, et de terminer la recherche de manière adaptative une fois des preuves suffisantes acquises.

1. Masquage de l'Attention Découplé par Tâche (TDAM)

Pour atténuer la dispersion de l'attention induite par des tâches hétérogènes (découverte d'indices vs raisonnement de réponse), les auteurs proposent le TDAM. Ce mécanisme impose des contraintes de visibilité explicites lors du Finetuning Supervisé (SFT) :

Phase de Recherche d'Indices : Le modèle est restreint à l'attention exclusive sur l'entrée vidéo globale, le forçant à apprendre des stratégies de planification basées sur le contexte global.
Phase de Raisonnement de Réponse : L'aperçu global est masqué, contraignant le modèle à dériver les réponses exclusivement à partir des observations haute résolution de l'outil.
Cette stratégie est appliquée à seulement 10 % des données d'entraînement pour équilibrer l'expertise découplée avec la nécessité d'un raisonnement holistique, isolant efficacement l'entraînement de ces deux modes tout en maintenant un contexte global partagé.

2. Récompense Guidée par la Trajectoire Vérifiable (VTGR)

Pour contrôler la croissance de la longueur du contexte et encourager une exploration efficace, une nouvelle fonction de récompense est introduite pour l'Apprentissage par Renforcement (RL). La récompense $R$ est une composition de la justesse de la réponse, de la validité du format et d'un multiplicateur guidé par la trajectoire $\beta$ :
$R = r_a \cdot (1 + \beta) + r_f$

Score d'Indice Hybride ( $S_{clue}$ ) : Incite à une localisation précise en récompensant les trajectoires alignées sur des intervalles de vérité terrain (en utilisant IoU, IoP, IoG) ou en encourageant la diversité dans les échantillons d'« exploration libre ».
Facteur de Décroissance par Tour ( $\gamma$ ) : Pénalise les trajectoires dépassant un nombre de tours de référence, favorisant une terminaison agile et empêchant les boucles redondantes.
Le modèle est optimisé à l'aide de l'algorithme DAPO, une variante de GRPO, pour maximiser les avantages relatifs au sein des groupes échantillonnés.

3. Synthèse de Données et Seeker-173K

Pour surmonter la pénurie de données pour l'entraînement de l'appel d'outils imbriqué nativement, les auteurs ont développé un pipeline automatisé et évolutif de synthèse de données. Ce pipeline traite les triplets « Vidéo-Question-Réponse » à travers quatre étapes : Localisation d'Indice, Vérification de Validité, Génération de Trajectoire et Vérification de Cohérence Logique. Ce processus produit Seeker-173K, un corpus de haute qualité de 173 000 trajectoires d'interaction d'outils conçu spécifiquement pour cultiver des capacités robustes d'appel d'outils imbriqué nativement.

Contributions Clés

Masquage de l'Attention Découplé par Tâche : Un mécanisme qui dissocie la localisation d'indices du raisonnement de réponse pour prévenir l'interférence de l'attention, permettant aux modèles de bout en bout de se concentrer sur des étapes d'exploration spécifiques tout en préservant le contexte global.
Récompense Guidée par la Trajectoire Vérifiable : Une formulation de récompense qui équilibre l'exploration exhaustive avec l'efficacité computationnelle, encourageant le modèle à localiser les indices avec précision et à terminer le raisonnement précisément lorsque les preuves sont suffisantes.
Jeu de Données Seeker-173K : Un corpus d'entraînement à grande échelle et de haute qualité comprenant 173k trajectoires d'interaction d'outils, construit via un pipeline de synthèse automatisé pour soutenir l'apprentissage supervisé et par renforcement pour le raisonnement sur vidéos longues.

Résultats Expérimentaux

Des évaluations approfondies sur divers benchmarks de compréhension et de raisonnement de vidéos longues démontrent que Video-o3 surpasse considérablement les méthodes de l'état de l'art :

MLVU : A atteint une précision de 72,1 % (SFT+RL), surpassant les meilleurs résultats précédents.
Video-Holmes : A atteint une précision de 46,5 %, démontrant de solides capacités de recherche de preuves multi-sauts.
LVBench : A atteint une précision de 47,6 %.
Ancrage Temporel : Sur le benchmark Charades-STA, Video-o3 a atteint un mIoU de 60,7, surpassant significativement des bases de référence comme LongVT (27,2) et Qwen2.5-VL (43,6).
Efficacité : Comparé aux méthodes de raisonnement itératif découplées, Video-o3 a réduit le temps d'inférence de 32,9 % (vs LOVE-R1) et de 46,0 % (vs VideoChat-R1.5) tout en utilisant moins de jetons visuels, exploitant un contexte partagé unifié pour éliminer les calculs redondants via le cache KV.

Le cadre a également démontré une généralisation à des modèles de base plus petits (Qwen3-VL-4B), produisant des améliorations cohérentes sur tous les benchmarks testés.

Signification et Revendications

L'article revendique que Video-o3 établit un nouvel état de l'art pour la compréhension de vidéos longues en validant l'efficacité de l'appel d'outils natif dans ces scénarios. En permettant aux modèles de rechercher activement des preuves pertinentes pour la tâche via des interactions itératives en plusieurs tours plutôt que de traiter passivement des entrées statiques, Video-o3 adresse les limitations fondamentales de l'échantillonnage uniforme et de l'inférence en tour unique. Le travail souligne le potentiel transformateur des paradigmes d'utilisation native d'outils pour faire progresser la prochaine génération de MLLM agents, mettant spécifiquement en avant la capacité à décomposer des requêtes complexes en sous-objectifs gérables et à résoudre des ambiguïtés grâce à des chaînes de raisonnement multi-sauts robustes. Les auteurs soulignent que leur approche réussit à équilibrer le compromis entre la couverture de l'exploration et l'efficacité du raisonnement, une exigence critique pour l'analyse évolutive de vidéos longues.