Think with Grounding: Curriculum Reinforced Reasoning with Video Grounding for Long Video Understanding

Le papier présente Video-TwG, un cadre d'apprentissage par renforcement à curriculum qui améliore la compréhension des vidéos longues en permettant aux modèles de décider dynamiquement quand ancrer leur raisonnement textuel dans des clips vidéo pertinents, réduisant ainsi les hallucinations et surpassant les méthodes actuelles sur plusieurs benchmarks.

L'essentiel

🎬 Le Problème : Regarder un film entier pour trouver une aiguille dans une botte de foin

Imaginez que vous devez répondre à une question précise sur un film de 2 heures.

• Les anciennes méthodes (les "modèles actuels") : Elles regardent le film entier d'un coup d'œil rapide, comme si elles le regardaient en accéléré x10. Elles essaient de deviner la réponse en se basant sur ce qu'elles ont retenu.
  • Le problème : Comme le film est long et qu'il y a beaucoup de scènes inutiles (des gens qui marchent, des paysages), le modèle oublie les détails importants. Il commence à halluciner : il invente une réponse en toute confiance, même si elle est fausse, parce qu'il n'a pas vu le moment précis où la réponse se trouvait. C'est comme essayer de deviner la couleur d'un objet précis dans une pièce sombre en regardant juste la porte.

💡 La Solution : Video-TwG, le "Détective Intelligentsia"

Les chercheurs de Tsinghua University ont créé Video-TwG. Au lieu de regarder tout le film d'un coup, ce nouveau modèle agit comme un détective privé ou un chercheur d'information.

Voici comment il fonctionne, étape par étape, avec des analogies simples :

1. La Stratégie "Pensez en Cherchant" (Think-with-Grounding)

Imaginez que vous posez une question à un ami : "De quelle couleur est le pistolet à air comprimé dans cette vidéo ?"

• L'ancien modèle : Regarde la vidéo, dit "Je ne sais pas trop, je vais deviner Orange" (et se trompe).
• Video-TwG : Dit : "Attends, je ne vois pas bien le pistolet dans les images rapides. Je vais zoomer spécifiquement sur la scène où l'homme tient l'outil."
  • Il ne regarde pas tout le film. Il décide intelligemment quand et où il doit s'arrêter pour regarder de plus près. C'est comme passer d'une vue satellite floue à une vue satellite haute définition d'un seul bâtiment.

2. L'Entraînement en Deux Étapes (Le "Curriculum")

Apprendre à un robot à faire ça est difficile. Si on lui donne tout de suite un film de 2 heures, il va paniquer. Les chercheurs ont donc utilisé une méthode d'entraînement en deux temps, comme on apprend à un enfant à nager :

• Étape 1 (La petite piscine) : On commence avec de très courtes vidéos (quelques secondes) où la réponse est facile à trouver. Le modèle apprend la mécanique : "Je vois un indice ? Je zoome. Pas d'indice ? Je continue."
• Étape 2 (L'océan) : Une fois qu'il a compris le principe, on lui donne des vidéos de toutes les tailles et de tous les sujets. Il apprend à généraliser cette compétence pour n'importe quelle situation.

3. Le Système de Récompense (Le "Coach de Sport")

Pour que le modèle apprenne bien, il a besoin de feedback. Les chercheurs ont inventé un système de récompense intelligent :

• La récompense de précision : Si la réponse finale est bonne, le modèle reçoit des points.
• La récompense de "Self-Confiance" (Le test de vérité) : C'est l'astuce géniale. Parfois, le modèle zoome sur une vidéo, mais cette vidéo ne sert à rien. Pour vérifier, le système demande au modèle : "Si tu ne regardais que ce petit bout de vidéo que tu viens de zoomer, pourrais-tu encore répondre correctement ?"
  • Si oui : Bravo, c'était un bon zoom !
  • Si non : Tu as perdu du temps à zoomer sur le mauvais endroit. Pénalité !
  • Résultat : Le modèle apprend à être économe. Il ne zoome que si c'est vraiment nécessaire, évitant ainsi de gaspiller de l'énergie.

🏆 Les Résultats : Pourquoi c'est impressionnant ?

Les tests montrent que Video-TwG bat tous les autres modèles sur des vidéos longues (comme des documentaires ou des films).

• Moins d'erreurs : Il ne se trompe plus en inventant des réponses.
• Plus efficace : Il ne regarde pas tout le film, seulement les parties utiles. C'est comme lire un livre en sautant les pages inutiles pour trouver la page qui contient la réponse.
• Adaptabilité : Même si on lui donne une vidéo de très haute qualité ou de basse qualité, il s'adapte et reste performant.

En Résumé 🌟

Video-TwG, c'est comme passer d'un spectateur passif qui regarde tout le film sans comprendre, à un enquêteur actif qui sait exactement où chercher l'indice crucial. Au lieu de se fier à sa mémoire floue, il va chercher la preuve visuelle au bon moment, ce qui le rend beaucoup plus intelligent et fiable pour comprendre les longues vidéos.

Résumé technique

---

1. Problématique

La compréhension de vidéos longues (Long Video Understanding - LVU) est un défi majeur pour les grands modèles de langage multimodaux (Video-LLM). Les vidéos longues contiennent des indices multimodaux riches et complexes sur de longues plages temporelles, caractérisées par une forte redondance temporelle.

Les méthodes actuelles tentent d'améliorer les capacités d'analyse via un raisonnement textuel (Chain-of-Thought). Cependant, elles souffrent d'une limitation critique : elles opèrent sur un contexte vidéo fixe et statique. En raison de la redondance temporelle, les indices cruciaux et détaillés sont souvent ignorés ou perdus dans la compression du contexte, ce qui conduit le modèle à des hallucinations (inventer des faits) et à des résultats sous-optimaux. Le modèle ne sait pas quand ni où zoomer pour récupérer les informations manquantes.

2. Méthodologie : Video-TwG

Les auteurs proposent Video-TwG, un cadre d'apprentissage par renforcement (RL) qui introduit un nouveau paradigme : "Think-with-Grounding" (Penser avec ancrage). Ce modèle permet au Video-LLM de décider activement, de manière itérative, de réaliser un ancrage vidéo à la demande (on-demand grounding) pendant son processus de raisonnement.

A. Paradigme "Think-with-Grounding"

Au lieu de raisonner uniquement sur une vidéo pré-sélectionnée, le modèle interagit avec la vidéo en plusieurs tours :

1. Analyse initiale : Le modèle reçoit une représentation grossière (coarse-grained) de la vidéo entière.
2. Décision : À chaque tour, le modèle peut soit :
   • Réfléchir (Thinking) : Analyser les informations disponibles.
   • Ancrer (Grounding) : Si les informations sont insuffisantes, le modèle émet une action d'ancrage pour sélectionner un clip vidéo spécifique (début et fin) pertinent pour la question.
   • Répondre (Answering) : Une fois les indices suffisants réunis, le modèle fournit la réponse.
3. Zoom : Le clip ancré est ensuite chargé avec une représentation fine (fine-grained) et ajouté au contexte pour la prochaine étape de raisonnement.

B. Stratégie de Curriculum Renforcé à Deux Étapes

Pour réduire la difficulté d'entraînement et éviter l'effondrement du modèle, une stratégie en deux étapes est proposée :

1. Phase 1 (Cold Start) : Entraînement sur un sous-ensemble de données GQA (Grounded Question Answering) à courte durée (ex: NExT-GQA) où les ancrages sont étiquetés. Cela permet d'initier le comportement de "penser avec ancrage".
2. Phase 2 (Généralisation) : Passage à l'ensemble du dataset TwG-51K, incluant des vidéos de divers domaines et durées, majoritairement sans étiquettes d'ancrage. Le modèle apprend à généraliser sa capacité à ancrer de manière adaptative.

C. Algorithme TwG-GRPO

Les auteurs développent un algorithme d'optimisation basé sur GRPO (Group Relative Policy Optimization) adapté aux trajectoires multi-tours. Il intègre trois mécanismes clés de récompense :

• Récompense d'ancrage fine (Fine-grained Grounding Reward) : Pour les données étiquetées, elle mesure l'IoU (Intersection over Union) entre l'ancrage prédit et la vérité terrain.
• Récompense pseudo auto-confirmée (Self-Confirmed Pseudo Reward) : Pour les données non étiquetées, le modèle est utilisé comme juge. Si le modèle peut répondre correctement à la question en utilisant uniquement le clip vidéo ancré, cela confirme que l'ancrage était pertinent. Sinon, une pénalité est appliquée.
• Mécanisme à porte de précision (Accuracy-Gated Mechanism) : Les récompenses liées à l'ancrage ne sont accordées que si la réponse finale est correcte. Cela évite les conflits d'optimisation entre la précision de la réponse et la qualité de l'ancrage.

D. Dataset TwG-51K

Un nouveau dataset a été construit pour l'entraînement, contenant 50 744 échantillons :

• ~8 200 échantillons avec ancrages vidéo vérité terrain (issus de NExT-GQA et CG-Bench).
• ~42 500 échantillons de QA vidéo générale sans ancrages (issus de LLaVA-Video-178K).

3. Contributions Clés

1. Framework Video-TwG : Un cadre qui permet aux Video-LLM d'alterner raisonnement et ancrage dynamique sans modules auxiliaires complexes ni traces de raisonnement supervisées coûteuses.
2. Stratégie de Curriculum : Une approche en deux étapes combinée à l'algorithme TwG-GRPO pour apprendre efficacement sur des données étiquetées et non étiquetées.
3. Dataset TwG-51K : Une ressource hybride facilitant l'entraînement sur des scénarios variés.
4. Réduction des hallucinations : La capacité à zoomer dynamiquement sur les clips pertinents permet de récupérer les détails manquants dans les contextes longs.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois benchmarks majeurs : Video-MME, LongVideoBench et MLVU.

• Performance Globale : Video-TwG surpasse systématiquement les modèles de base (Qwen2.5-VL-7B) et les approches concurrentes (modèles à contexte long, agents vidéo, modèles de raisonnement comme Video-R1).
  • Sur Video-MME, l'amélioration atteint +7.0 points en basse résolution et +2.5 points en haute résolution par rapport au modèle de base.
  • Sur MLVU, les gains sont de +7.1 (LR) et +5.0 (HR).
• Efficacité de l'ancrage : L'ablation montre que l'ajout de la récompense pseudo auto-confirmée réduit le nombre d'actions d'ancrage inutiles de 15,7 % tout en améliorant la qualité de l'ancrage et en maintenant la précision des réponses.
• Étude de cas : Dans un exemple où un modèle de raisonnement classique (Video-R1) hallucine la couleur d'un outil (orange au lieu de bleu) en raison d'un contexte flou, Video-TwG détecte l'incertitude, effectue un ancrage pour zoomer sur la séquence pertinente, et identifie correctement la couleur.

5. Signification et Impact

Ce travail marque un changement de paradigme dans la compréhension de vidéos longues :

• De la passivité à l'activité : Au lieu de subir un contexte vidéo fixe, le modèle devient actif, décidant quand chercher plus d'informations.
• Évolutivité : La méthode fonctionne efficacement même avec des données partiellement non étiquetées, ce qui est crucial pour l'échelle des données vidéo réelles.
• Réduction des hallucinations : En reliant le raisonnement à la perception visuelle ciblée (RAG-style pour la vidéo), le modèle réduit les erreurs factuelles causées par l'oubli d'indices temporels.

En résumé, Video-TwG démontre que l'intégration d'un mécanisme d'ancrage dynamique guidé par un curriculum d'apprentissage par renforcement est la clé pour débloquer le potentiel des grands modèles de langage dans la compréhension de vidéos longues et complexes.