Temporal Gains, Spatial Costs: Revisiting Video Fine-Tuning in Multimodal Large Language Models

Probleemstelling: De "Temporale Val" (Temporal Trap)

Multimodale Grootte Taalmodellen (MLLM's) worden vaak getraind in meerdere fasen, waarbij Video-based Supervised Fine-Tuning (Video-SFT) een cruciale stap is om het videobegrip te verbeteren. De algemene aanname is dat het verbeteren van het videobegrip automatisch ook het begrip van statische beelden ten goede komt, aangezien video's sequenties van beelden zijn.

De auteurs van dit paper weerleggen deze aanname en introduceren het concept van de "Temporal Trap" (temporale val). Hun onderzoek toont aan dat er een fundamenteel conflict bestaat tussen het aanleren van temporale (tijdelijke) vaardigheden en het behoud van ruimtelijke (spatial) vaardigheden:

• Resultaat: Video-SFT verbetert de prestaties op videobenchmarks betrouwbaar, maar leidt vaak tot geen winst of zelfs een achteruitgang op benchmarks voor statische beelden.
• Oorzaak: Het optimaliseren van de modelparameters voor video-taken (temporale adaptatie) interfereert negatief met de ruimtelijke redenering die nodig is voor statische beeldtaken. Dit wordt verergerd door het gebruik van een te groot "temporaal budget" (aantal frames dat tijdens training wordt bemonsterd).

Methodologie

De auteurs hebben een systematische analyse uitgevoerd over drie dimensies:

1. Modelarchitectuur: Vergelijking van verschillende MLLM-families (o.a. Qwen2.5-VL, LLaVA-Next-Video, LLaVA-1.5).
2. Modelgrootte: Evaluatie van schalen van 3B tot 72B parameters.
3. Frame-bemonstering: Training met verschillende aantallen frames (8, 16, 32, 64) om het effect van het temporale budget te testen.

Theoretische Analyse:
De paper biedt een conservatieve theoretische onderbouwing voor dit fenomeen. Ze modelleren de trainingsdoelen voor beelden ($L_{img}$) en video's ($L_{vid}$) als gedeelde parameters.

• Ze tonen aan dat als de gradiënten van de video-taak en de beeld-taak negatief gecorreleerd zijn (negatieve alignment), een update die de video-prestaties verbetert, per definitie de verliezen voor de beeld-taak kan verhogen.
• Ze bewijzen dat het verhogen van het aantal frames (temporaal budget) de component van "temporeel gespecialiseerde aanpassing" versterkt. Zodra deze component de gedeelde ruimtelijke voordelen overtreft, keert de samenwerking om in conflict.

Oplossing: Hybrid-Frame Strategie
Om dit probleem aan te pakken, stellen de auteurs een Instruction-aware Hybrid-Frame Strategy voor. In plaats van een vast aantal frames te gebruiken voor alle video's, past deze strategie het aantal frames dynamisch aan op basis van de instructie:

• Een submodel (bijv. Qwen3-VL-8B) analyseert de vraag en de video-inhoud.
• Het bepaalt het minimale voldoende aantal frames dat nodig is om de specifieke vraag te beantwoorden (bijv. 8 frames voor statische scènes, 64 frames voor snelle beweging of complexe causale relaties).
• Dit minimaliseert redundante temporale blootstelling die de ruimtelijke vaardigheden verstoort.

Belangrijkste Resultaten

1. Bevestiging van de Trade-off: Experimenten tonen consistent aan dat na Video-SFT de prestaties op videobenchmarks (zoals Video-MME, MVBench) stijgen, terwijl prestaties op beeldbenchmarks (zoals MME, MMStar, MMBench) dalen. Dit geldt voor verschillende architecturen en schalen, hoewel grotere modellen (72B) iets robuuster zijn.
2. Invloed van Frame-aantal: Het verhogen van het aantal trainingsframes verbetert de videoprestaties, maar leidt tot afnemende meeropbrengsten en zelfs degradatie op beeldtaken. Redundante frames verstoren de statische visuele representaties.
3. Effectiviteit van Hybrid-Frame:
   • De Hybrid-Frame strategie slaagt erin de "temporale val" gedeeltelijk te mitigeren.
   • Modellen getraind met deze strategie behalen hogere scores op beeldtaken dan modellen getraind met grote, vaste frame-budgetten (bijv. 32 of 64 frames), terwijl ze sterke winst behouden op videotaken.
   • De strategie werkt ook effectief op verschillende architecturen (Qwen en LLaVA), wat aantoont dat het een breed toepasbaar mechanisme is.

Bijdragen

1. Systematische Studie: Het is de eerste studie die systematisch analyseert hoe Video-SFT de visuele vaardigheden van MLLMs herschikt, met name de balans tussen ruimtelijk en temporaal begrip.
2. Identificatie van de "Temporal Trap": De auteurs introduceren en kwantificeren het fenomeen waarbij videotraining ten koste gaat van beeldkwaliteit, en koppelen dit direct aan het temporale budget.
3. Theoretisch Onderbouwd Mechanisme: Ze bieden een wiskundige verklaring voor deze gradiëntconflicten en bewijzen dat adaptieve frame-toewijzing een theoretisch onderbouwde oplossing is.
4. Praktische Oplossing: Ze presenteren de Hybrid-Frame strategie, een efficiënte methode om de trade-off te verminderen zonder extra rekenkosten voor irrelevante frames.

Betekenis en Conclusie

Dit paper is van groot belang voor de ontwikkeling van toekomstige multimodale modellen. Het waarschuwt dat Video-SFT geen "gratis lunch" is voor MLLMs; het verbeteren van videobegrip gaat niet automatisch gepaard met behoud van beeldkennis.

De bevindingen suggereren dat huidige "unified" training pipelines nog geen echte synergie tussen beelden en video's hebben bereikt. De voorgestelde Hybrid-Frame Strategie biedt een pad naar efficiëntere training waarbij redundantie wordt vermeden, waardoor modellen zowel sterke ruimtelijke als temporale vaardigheden kunnen behouden. Dit is een essentiële stap richting echt universele multimodale modellen die zowel statische als dynamische visuele informatie even goed kunnen verwerken.