SiLVR: A Simple Language-based Video Reasoning Framework

Probleemstelling

Recente vooruitgangen in test-time optimization hebben Large Language Models (LLMs) in staat gesteld om complexe redeneertaken in wiskunde en codering op te lossen. Echter, de redeneercapaciteiten van Multimodale Large Language Models (MLLMs) blijven significant achter, vooral bij complexe video-taak-uitdagingen. Bestaande methoden kampen met de volgende beperkingen:

• Ze vereisen vaak dure en tijdrovende Chain-of-Thought (CoT) data of taakspecifieke beloningssystemen (RL), wat leidt tot slechte generalisatie.
• RL-gebaseerde benaderingen zijn moeilijk te optimaliseren en vereisen enorme rekenkracht.
• Veel bestaande methoden presteren niet beter dan standaard Supervised Fine-tuning (SFT) en worstelen met lange contexten, causale redenering en het integreren van externe kennis.

Het doel van SiLVR is om een eenvoudige, modulaire en trainingsvrije oplossing te bieden die complexe video-taak-uitdagingen (zoals temporele, causale en kennis-gebaseerde redenering) effectief aanpakt zonder het model opnieuw te hoeven trainen op video-data.

Methodologie

SiLVR (Simple Language-based Video Reasoning) decomposeert video-begrip in twee fasen, waarbij het de video volledig omzet naar taal voordat er geredeneerd wordt. Het framework is volledig trainingsvrij en modulier.

Fase 1: Omzetting naar Taal-gebaseerde Representaties
In plaats van ruwe video-frames direct aan het LLM te geven, worden multimodale inputbronnen omgezet naar tekst:

1. Visuele Beschrijvingen: De inputvideo wordt opgedeeld in korte, niet-overlappende clips. Een vooraf getraind visueel captioning-model (standaard NVILA) genereert gedetailleerde beschrijvingen (captions) voor elke clip.
2. Audio/Spraak Transcriptie: Een Automatic Speech Recognition (ASR) tool (Whisper-large-v3) transcribeert spraak en audio naar tekst met tijdstempels.
3. Adaptieve Context Reductie (ACR): Om het probleem van lange video's (die duizenden tokens genereren) op te lossen, introduceert SiLVR een dynamisch schema. Dit schema bepaalt automatisch de temporele granulariteit voor het samplen van clips. Het begint met korte clips en verhoogt de clip-lengte iteratief totdat het totale aantal tokens binnen de contextlimiet van het LLM past, zonder essentiële informatie te verliezen.

Fase 2: Taal-gebaseerd Redeneren
De gegenereerde tekstuele beschrijvingen (visuele captions + transcripties) worden samen met de vraag ingevoerd in een krachtig redenerend LLM (standaard DeepSeek-R1). Het LLM voert de redenering volledig in de taalruimte uit, waarbij het visuele en auditieve informatie integreert om complexe vragen te beantwoorden.

Belangrijkste Bijdragen

1. Eenvoudig en Trainingsvrij Framework: SiLVR vereist geen complexe RL-training, geen taakspecifieke fine-tuning en geen nieuwe architecturale modules. Het is een "plug-and-play" oplossing die bestaande state-of-the-art modellen (captioners en LLMs) combineert.
2. Adaptieve Context Reductie: Een innovatieve methode om de token-lengte dynamisch aan te passen aan de video-duur en de contextlimiet van het LLM, wat essentieel is voor het verwerken van uur-lange video's.
3. Empirisch Bewijs voor Aggregatie: Het paper toont aan dat sterke redenerende LLMs, zelfs zonder expliciete training op video-data, effectief informatie kunnen aggregeren uit visuele en auditieve bronnen voor complexe temporele en causale taken.
4. State-of-the-Art Prestaties: SiLVR bereikt de beste resultaten op meerdere benchmarks, vaak met een aanzienlijke marge ten opzichte van gespecialiseerde multimodale modellen.

Resultaten

SiLVR werd geëvalueerd op acht complexe benchmarks, waaronder VideoMME (long), Video-MMLU, CGBench en EgoLife.

• Algemene Prestaties: SiLVR behaalde de beste gerapporteerde resultaten op Video-MMLU, VideoMME (lange versie met ondertiteling), CGBench en EgoLife. Het versloeg sterke proprietaire modellen zoals GPT-4o en Gemini-1.5 Pro.
  • Op Video-MMLU verbeterde SiLVR de prestaties met 11,8% ten opzichte van de vorige SOTA (Claude 3.5 Sonnet).
  • Op CGBench (gegroundeerd video-antwoorden) behaalde het 51,8% nauwkeurigheid, een verbetering van 6,9% ten opzichte van Qwen-2-VL-72B.
• Redenering vs. Niet-Redenerende Modellen: Een ablatiestudie toonde aan dat het gebruik van een redenerend LLM (DeepSeek-R1) in plaats van een niet-redenerend LLM (zoals Llama 4 of DeepSeek-V3) leidt tot aanzienlijk betere resultaten op redenerings-taken (+8,0% gemiddelde winst), terwijl de winst op algemene perceptie-taken kleiner is (+3,8%). Dit bevestigt dat de redeneercapaciteit van het LLM cruciaal is voor complexe video-taken.
• Efficiëntie: SiLVR is niet alleen nauwkeurig, maar ook efficiënt. De "SiLVR-fast" variant is 5,3x sneller dan agent-gebaseerde methoden zoals DrVideo, terwijl het toch een hogere nauwkeurigheid behaalt.
• Kennisverwerving en Grounding: Het framework excelleert in het verwerven van nieuwe kennis uit video's (op Video-MMMU) en in het temporeel lokaliseren van relevante videosegmenten (op CGBench), wat de interpreteerbaarheid vergroot.

Significantie

De significantie van SiLVR ligt in het bewijs dat de complexiteit van video-reasoning niet noodzakelijkerwijs vereist dat het model zelf wordt getraind op video-data of dat er complexe RL-architecturen worden gebruikt. Door video's te vertalen naar een rijke taalrepresentatie en deze te verwerken met een krachtig redenerend LLM, kunnen de grenzen van video-begrip worden verlegd.

Het paper suggereert dat de toekomst van video-reasoning ligt in het slim combineren van gespecialiseerde perceptiemodules (voor captioning en transcriptie) met de redeneercapaciteiten van grote taalmodellen, in plaats van het bouwen van monolithische multimodale modellen. SiLVR dient als een sterke, eenvoudige baseline voor de onderzoeksgemeenschap om nog krachtigere video-taak-systemen te ontwikkelen.