Think with Grounding: Curriculum Reinforced Reasoning with Video Grounding for Long Video Understanding

Dit paper introduceert Video-TwG, een curriculum-gebaseerd framework dat video-LLMs in staat stelt om tijdens redenering over lange video's dynamisch en selectief visuele gronding toe te passen, waardoor hallucinaties worden verminderd en de prestaties op diverse benchmarks aanzienlijk worden verbeterd.

De kern

De Kern: Een Slimme Detective in plaats van een Snelle Gokker

Stel je voor dat je een duizend pagina's tellend detectiveverhaal moet lezen om één specifieke vraag te beantwoorden: "Welke kleur had de moordwapen?"

Hoe de oude methoden werken (De "Snelle Gokker"):
Huidige slimme computers (AI-modellen) proberen vaak het hele verhaal in één keer te lezen, maar omdat het boek zo dik is, moeten ze het versmallen tot een samenvatting van slechts één pagina. Ze proberen dan op basis van die kleine samenvatting een antwoord te geven.

• Het probleem: Ze missen vaak de kleine details. Ze raden misschien "rood" omdat dat een logische kleur is voor een moordwapen, maar in werkelijkheid was het blauw. Ze "hallucineren" een antwoord omdat ze de feiten niet goed hebben gezien.

Hoe Video-TwG werkt (De "Slimme Detective"):
De nieuwe methode, Video-TwG, werkt anders. Het is alsof de detective een zoeklamp heeft.

1. Eerst kijken: De detective kijkt eerst naar de samenvatting van het verhaal.
2. Twijfelen: Als hij denkt: "Ik zie de kleur van het wapen niet goed in dit overzicht," stopt hij niet met gokken.
3. Zoeklamp gebruiken (Grounding): Hij zegt: "Wacht even, ik moet nu specifiek naar de bladzijde kijken waar het wapen wordt getoond." Hij zoomt dan in op dat specifieke stukje video (de "grondslag" of grounding).
4. Antwoorden: Pas als hij die specifieke scène scherp heeft gezien, geeft hij het juiste antwoord.

De Drie Magische Ingrediënten

Om deze detective te trainen, hebben de onderzoekers drie slimme trucjes bedacht:

1. Het Twee-Stappen Opleidingsplan (Het Curriculum)

Stel je voor dat je een kind wilt leren zwemmen. Je gooit het niet direct in de diepe oceaan.

• Stap 1 (Het Kinderbadje): Eerst trainen ze de computer op korte filmpjes (zoals een kinderbadje). Hier is het makkelijk om de juiste plek te vinden. De computer leert hier het patroon: "Kijk eerst, twijfel, zoom in, en geef dan antwoord."
• Stap 2 (De Oceaan): Pas daarna laten ze de computer oefenen met lange, complexe video's (zoals een uur durende film). Omdat het al weet hoe het moet "zoomen", kan het nu ook in de grote oceaan de juiste plekken vinden, zelfs als er geen antwoorden bij staan.

2. De "Zelf-Bevestigende" Beloning (De Pseudo-Beloning)

In de oceaan (Stap 2) hebben ze vaak geen antwoordboekje om te zien of de computer goed zat. Hoe weet je dan of hij de juiste plek in het filmpje heeft gevonden?

• De truc: De computer krijgt de opdracht: "Oké, je hebt nu naar dat specifieke stukje video gekeken. Kun jij het antwoord nu geven zonder naar de rest van de film te kijken?"
• De beloning: Als hij het antwoord correct geeft op basis van alleen dat stukje video, krijgt hij een sterretje. Dit leert de computer dat het belangrijk is om de juiste stukjes video te kiezen, niet zomaar willekeurige stukjes.

3. De "Niet-Gokken"-Regel (De Accuratesse-poort)

Soms kan een computer een stukje video goed vinden, maar toch het verkeerde antwoord geven, of andersom.

• De regel: De computer krijgt alleen een beloning voor het vinden van het juiste stukje video als het eindantwoord ook correct is. Dit zorgt ervoor dat hij niet gaat "gokken" of onnodig veel gaat zoeken als het antwoord al duidelijk is. Hij leert dus: "Zoek alleen als het echt nodig is."

Waarom is dit zo belangrijk?

Lange video's (zoals films of nieuwsuitzendingen) zitten vol met "ruis" en herhaling.

• Oude modellen proberen alles tegelijk te onthouden, raken in de war en verzinnen feiten.
• Video-TwG is efficiënt. Het kijkt niet naar alles, maar weet precies wanneer het moet inzoomen. Het is alsof je een boek leest en alleen de relevante pagina's eruit haalt om een vraag te beantwoorden, in plaats van het hele boek uit je hoofd te moeten leren.

Conclusie

Kortom: Video-TwG is een slimme manier om computers te leren om niet blindelings te gokken op basis van een vaag overzicht, maar om actief te beslissen: "Ik heb meer details nodig," en dan precies die details op te halen. Hierdoor worden de antwoorden veel waarheidsgetrouwer, zelfs bij video's van een uur lang.

Technische samenvatting

Probleemstelling

Het begrijpen van lange video's (Long Video Understanding - LVU) is een grote uitdaging voor multimodale modellen vanwege de rijke en complexe multimodale aanwijzingen over een lange tijdsduur. Bestaande methoden proberen dit op te lossen door tekstuele redenering (reasoning) toe te passen om complexe aanwijzingen te analyseren. Echter, deze benadering heeft een fundamenteel tekort:

• Hallucinaties door beperkte context: Bestaande modellen redeneren vaak op een vast, statisch bemonsterd video-fragment. Vanwege de tijdsredundantie van lange video's worden cruciale, gedetailleerde aanwijzingen vaak gemist binnen de beperkte contextlengte.
• Passieve benadering: Modellen wachten passief op een vast gegeven context in plaats van actief te beslissen wanneer ze specifieke delen van de video moeten inzoomen om een vraag te beantwoorden. Dit leidt tot suboptimale resultaten en hallucinaties wanneer de noodzakelijke informatie niet in het initiële fragment zit.

Methodologie: Video-TwG

De auteurs stellen Video-TwG voor, een curriculum-versterkt framework dat een nieuw paradigma introduceert: "Think-with-Grounding". In plaats van passief te redeneren, leert het model om actief en op vraagbasis (on-demand) te "grounden" (inzoomen op specifieke videoclips) tijdens het redeneerproces.

De kerncomponenten zijn:

1. Think-with-Grounding Paradigma:

   • Het model voert een multi-turn dialoog uit waarbij het afwisselend denkt (thinking), groundingsacties uitvoert (grounding) of antwoordt (answering).
   • Als het model vaststelt dat de huidige context onvoldoende is, voert het een grounding-actie uit om een specifiek tijdsinterval (start- en eindframe) te selecteren. Dit fragment wordt vervolgens met een fijnkorrelige representatie (high resolution) opnieuw ingeladen in de context voor verdere redenering.
   • Dit werkt vergelijkbaar met Retrieval-Augmented Generation (RAG), maar dan dynamisch tijdens het redeneren.

2. Twee-fase Versterkt Curriculum Strategie (Two-stage Reinforced Curriculum Strategy):
   Om de trainingsmoeilijkheid te verlagen, wordt een gefaseerde aanpak gebruikt:

   • Fase 1 (Cold Start): Het model wordt getraind op een klein dataset met korte video's en expliciete grounding-labels (GQA-data). Hier leert het de basis van het "think-with-grounding" gedrag.
   • Fase 2 (Generalisatie): Het model wordt geschaald naar een grote, diverse dataset met video's van verschillende domeinen en duur, waarbij grounding-labels vaak ontbreken. Hier wordt generalisatie bevorderd.

3. TwG-GRPO Algorithm:
   Voor het trainen wordt een aangepast Group Relative Policy Optimization (GRPO) algoritme gebruikt, specifiek ontworpen voor deze complexe redeneertrajecten. Het gebruikt een slim beloningssysteem:

   • Fine-grained Grounding Reward: Voor gelabelde data, gebaseerd op de overlap (IoU) tussen de voorspelde en de ground-truth clip.
   • Self-Confirmed Pseudo Reward: Voor ongelabelde data. Het model wordt gevraagd om de vraag alleen te beantwoorden op basis van de laatst geselecteerde clip. Als het model hier het juiste antwoord op geeft, krijgt het een positieve beloning. Dit moedigt het aan om alleen nuttige clips te selecteren.
   • Accuracy-Gated Mechanism: Grounding-beloningen worden alleen toegekend als het uiteindelijke antwoord correct is. Dit voorkomt conflicten tussen het doel om goed te antwoorden en het doel om te grounden.

4. TwG-51K Dataset:
   De auteurs hebben een nieuwe dataset samengesteld van 51.000 steekproeven, bestaande uit gelabelde GQA-data (voor fase 1) en een grote hoeveelheid ongelabelde algemene video-QA-data (voor fase 2).

Belangrijkste Bijdragen

1. Video-TwG Framework: Een nieuw framework dat video-LLMs in staat stelt om iteratief te redeneren met dynamische video-grounding, zonder zware externe modules of kostbare gesuperviseerde redeneertraces.
2. Nieuwe Trainingsstrategie: De "Two-stage Reinforced Curriculum Strategy" en het TwG-GRPO algoritme, dat fijnkorrelige beloningen, zelf-bevestigende pseudo-beloningen en een nauwkeurigheids-gated mechanisme combineert om zowel antwoordnauwkeurigheid als grounding-kwaliteit te verbeteren.
3. TwG-51K Dataset: Een nieuwe dataset die zowel gelabelde als ongelabelde data combineert om de training en generalisatie van het model te faciliteren.
4. State-of-the-Art Prestaties: Het model overtreft consistente sterke baselines op drie toonaangevende benchmarks.

Resultaten

Het model is geëvalueerd op Video-MME, LongVideoBench en MLVU.

• Prestatieverbetering: Video-TwG presteert consequent beter dan sterke baselines, waaronder algemene video-LLMs, lange-context modellen en andere redenerende modellen (zoals Video-R1).
• Vergelijking met Qwen2.5-VL-7B: T.o.v. het basismodel (Qwen2.5-VL-7B) werden significante verbeteringen geboekt (bijv. +7.0 punten op Video-MME bij lage resolutie en +5.0 punten op MLVU).
• Efficiëntie: Dankzij de Self-Confirmed Pseudo Reward leert het model om redundantie te verminderen. Het aantal grounding-acties daalde met 15,7% zonder in te leveren op de prestaties, wat aangeeft dat het model leert om alleen in te zoomen wanneer het echt nodig is.
• Ablatiestudies: Deze bevestigen dat beide trainingsfasen noodzakelijk zijn en dat de specifieke beloningsmechanismen (zoals de pseudo-reward) essentieel zijn voor het verminderen van nutteloze exploratie in lange video's.

Betekenis en Impact

Deze paper biedt een belangrijke doorbraak in het veld van lange video-analyse. Het lost het probleem van "temporale redundantie" en "gemiste aanwijzingen" op door het model de autonomie te geven om dynamisch de juiste videofragmenten te selecteren.

• Schalbaarheid: De methode is schaalbaar en vereist geen zware handmatige annotatie van redeneertraces voor de hele dataset.
• Robuustheid: Het reduceert hallucinaties aanzienlijk door te vertrouwen op geverifieerde, fijnkorrelige visuele bewijsstukken in plaats van te gokken op basis van een statisch, mogelijk onvolledig, video-overzicht.
• Toekomstperspectief: Het werk legt de basis voor meer geavanceerde, adaptieve video-agenten die complexe taken in lange video's kunnen uitvoeren door slim te combineren tussen redeneren en waarnemen.