Video-ToC: Video Tree-of-Cue Reasoning

Probleemstelling

Bestaande Video Large Language Models (Video LLMs) kampen met aanzienlijke beperkingen bij het uitvoeren van complexe video-redeneringen. Hoewel ze goed presteren op perceptie-taken, vertonen ze vaak:

1. Beperkte redeneercapaciteit: Ze vertrouwen te veel op vooraf getrainde, inherente redeneerpatronen in plaats van zich aan te passen aan de specifieke input van de video.
2. Hallucinaties: Omdat modellen moeite hebben met het extraheren van nuttige visuele aanwijzingen (visual cues) uit video's, neigen ze naar het beantwoorden van vragen op basis van hun taalkennis in plaats van de video-inhoud. Dit leidt tot foutieve conclusies, vooral bij vragen die fijnmazige waarneming vereisen.
3. Ongeschikte trainingsdata: Bestaande methoden gebruiken vaak sterke modellen (zoals Qwen2.5-VL-72B) om redeneerprocessen (rationales) vrij te genereren. Deze complexe patronen zijn echter te moeilijk voor kleinere modellen om te imiteren, wat resulteert in een gebrek aan effectieve visuele zoekstrategieën.

Methodologie: Video-ToC

Het paper introduceert Video-ToC, een nieuw raamwerk voor video-redenering dat zich richt op het verbeteren van de waarnemingscapaciteiten via "Tree-of-Cue" (Boom van Aanwijzingen) redenering. De aanpak bestaat uit twee hoofdfasen: Supervised Fine-Tuning (SFT) en Reinforcement Learning (RL).

1. Boom-geleide visuele cue-localisatie (SFT-fase)

In plaats van een lineaire redenering, gebruikt Video-ToC een hiërarchische boomstructuur om visuele aanwijzingen te lokaliseren:

• Data Constructie: Video's worden opgesplitst in clips (leaf nodes) op basis van shotgrenzen. Een boomstructuur wordt opgebouwd die de semantische relaties tussen deze clips vastlegt.
• Redeneertraject: Voor een specifieke vraag selecteert een MLLM (Multimodal LLM) de relevante clips. Door terug te werken (backtracking) van deze leaf nodes naar de root (de volledige video), ontstaat een subboom die een redeneertraject vormt.
• Visualisatie: Deze trajecten worden omgezet in "video compilaties" per laag van de boom. Een LLM genereert beschrijvingen van deze compilaties, die dienen als visuele cues.
• SFT Data: Een LLM vat deze gestructureerde cues samen tot een natuurlijk taalverhaal (rationale) dat stap-voor-stap uitlegt hoe de model de video scant, van grof naar fijn, om het antwoord te vinden. Dit resulteert in het Video-ToC-SFT-1k dataset (1.000 samples).

2. Beloning op basis van redeneerbehoeften (RL-fase)

Na de SFT-fase wordt Reinforcement Learning (GRPO-algoritme) toegepast met een innovatieve beloningsmechanisme:

• Redeneerbehoeften (Reasoning Demand): Voor elke vraag wordt de complexiteit gemeten door een model de vraag meerdere keren zonder nadenken te laten beantwoorden. De foutenratio bepaalt de "redeneerbehoeften" ($e^{-\alpha/M}$).
• Dynamic Reward: In tegenstelling tot een binaire beloning (juist/fout), is de beloning evenredig met de redeneerbehoeften.
  • Als een vraag moeilijk is (veel redenering nodig) en het model lost het op, krijgt het een hoge beloning.
  • Als een vraag eenvoudig is (weinig redenering nodig), is de beloning lager.
  • Dit voorkomt "overthinking" bij simpele vragen en moedigt diepgaande analyse aan bij complexe vragen.
• Dit resulteert in het Video-ToC-RL-2k dataset (2.000 samples) voor RL-training.

Belangrijkste Bijdragen

1. Video-ToC Framework: Een nieuw raamwerk dat boom-geleide visuele cue-localisatie introduceert, waardoor modellen gestructureerde patronen leren om fijnmazige details in video's te vinden.
2. Geautomatiseerde Data-pijplijn: De ontwikkeling van een pipeline voor het genereren van twee hoogwaardige datasets:
   • Video-ToC-SFT-1k: Voor het "cold start" van het model met gestructureerde redeneerpatronen.
   • Video-ToC-RL-2k: Voor RL-training met dynamische beloningen gebaseerd op vraagcomplexiteit.
3. Verbeterde Redeneerstrategie: De combinatie van gestructureerde SFT-data en een op behoeften gebaseerde RL-beloning vermindert hallucinaties aanzienlijk en verbetert de prestaties op zowel redenerings- als perceptietaken.

Resultaten

Het model is geëvalueerd op zes video-benchmarks (inclusief VSI-Bench, VideoMMMU, MMVU, MVBench, TempCompass, VideoMME) en één hallucinatie-benchmark (VideoHallucer).

• Prestaties: Video-ToC overtreft consistent bestaande methoden, waaronder de state-of-the-art Video-R1, op alle benchmarks. Bijvoorbeeld, op de VideoMME-benchmark behaalde Video-ToC een gemiddelde nauwkeurigheid van 59.3% (bij 32 frames), vergeleken met 58.1% voor Video-R1.
• Hallucinaties: Het model toont een significante reductie in hallucinaties. Waar Video-R1 vaak faalt door te vertrouwen op taalkennis, slaagt Video-ToC erin om de video-inhoud correct te analyseren, wat leidt tot een hogere score op de VideoHallucer-benchmark (51.9% vs 45.4% voor Video-R1).
• Ablatiestudies:
  • De "cold start" met SFT is cruciaal; direct starten met RL zonder SFT levert minder op.
  • De boom-structuur (Tree-of-Cue) werkt beter dan een enkelvoudige cue-localisatie.
  • De "Reasoning-demand Reward" presteert beter dan de standaard binaire beloning.

Betekenis en Impact

Dit werk is significant omdat het een fundamenteel probleem in Video LLMs aanpakt: de kloof tussen taalkennis en visuele waarneming. Door modellen te leren om visuele aanwijzingen systematisch en hiërarchisch te lokaliseren (van grof naar fijn), wordt de afhankelijkheid van hallucinaties verminderd. De introductie van een beloningsmechanisme dat adaptief is op de complexiteit van de vraag, biedt een nieuwe richting voor het trainen van redenerende multimodale modellen. De openbaarmaking van de datasets en code maakt dit een waardevolle basis voor toekomstig onderzoek in video-redenering.