POVQA: Preference-Optimized Video Question Answering with Rationales for Data Efficiency

Probleemstelling

Video-Vraag-Antwoord (VQA) taken voor lange video's (zoals films en TV-afleveringen) vereisen gestructureerd redeneren over visuele bewijzen en dialogen. Huidige Large Vision-Language Models (LVLMs) stuiten echter op fundamentele beperkingen:

1. Contextvenster en Rekenkracht: Zelfs grote contextvensters kunnen slechts een kort fragment van een video bevatten bij de oorspronkelijke framesnelheid. De reken- en geheugenkosten groeien exponentieel met de videolengte.
2. Trade-off: Het selecteren van slechts enkele frames (keyframes) kan cruciaal bewijs voor causale of temporale vragen verwijderen, terwijl het verwerken van alle frames onhaalbaar is. Er is een compromis nodig tussen temporale dekking en het token-budget.

Methodologie: POVQA

De auteurs stellen POVQA (Preference-Optimized Video Question Answering) voor, een pipeline die lange video's comprimeert tot een vast token-budget terwijl de temporale dekking behouden blijft.

1. Tijdelijke Pooling (Compressie):
In plaats van geïsoleerde frames te selecteren, comprimeert POVQA elke seconde van de video tot één gepoolde afbeelding (1 fps).

• Techniek: Raw frames binnen een seconde worden samengevoegd via gewogen gemiddelden of 'blend-blur' technieken.
• Varianten: Er worden vier pooling-strategieën getest:
  • Weighted Average (WA): Eenvoudig gemiddelde.
  • Weighted Average Exponential (WAE): Geeft meer gewicht aan latere frames (recency bias).
  • Weighted Average Ramp (WAR): Lineaire recency bias.
  • Blend-Blur with Last Frame (BBLF): Een mix van de laatste frame en een geblurede versie van het gemiddelde.
• Voordeel: Dit reduceert de visuele sequentielengte van O(frames) naar O(seconden), waardoor een dichte temporale dekking mogelijk blijft binnen een beperkt token-budget.

2. Interleaving en Prompting:
De gepoolde afbeeldingen worden afgewisseld met ondertitelingstext (subtitles). Het model krijgt een prompt om zowel een rationalisatie (redenatie, "chain-of-thought") als een definitief antwoord te genereren.

3. Training en Optimalisatie:
Het model (Qwen2.5-VL-7B) wordt getraind met twee fasen:

• Supervised Fine-Tuning (SFT): Het model wordt getraind op paren van [rationalisatie + antwoord]. Dit dwingt het model om expliciete bewijzen te gebruiken. Er wordt gebruikgemaakt van QLoRA voor parameter-efficiënte fine-tuning.
• Direct Preference Optimization (DPO): Optioneel wordt DPO toegepast om het model te aligneren met preferenties (bijv. correcte rationalisaties versus foutieve). Dit helpt bij het sturen van de outputstijl, maar is gevoelig bij kleine datasets.

4. Nieuwe Dataset: ReasonVQA
Om deze aanpak te evalueren, introduceerden de auteurs ReasonVQA, een pilot-diagnostische dataset bestaande uit:

• 12 films (diverse genres).
• 239 menselijk geannoteerde triplets van [Vraag, Antwoord, Rationalisatie].
• Doel: Gecontroleerde analyse van lang-context redeneren onder compressie, inclusief analyse van faalmodi.

Belangrijkste Resultaten

De experimenten zijn uitgevoerd op ReasonVQA en getest op zero-shot transfer naar TVQA.

• Verbetering door SFT: Op ReasonVQA leidde SFT tot aanzienlijke verbeteringen ten opzichte van de baseline (alleen pooling zonder fine-tuning):
  • F1-score: van 0,212 naar 0,543.
  • BLEU-4: van 0,031 naar 0,291.
  • ROUGE-L: van 0,196 naar 0,528.
• Rol van DPO: De effecten van DPO waren gemengd. Hoewel het soms de kwaliteit van de rationalisatie verbeterde (hogere Embedding Cosine), leidde het niet altijd tot betere woord-overlappingscores (BLEU/ROUGE) voor het antwoord. In sommige gevallen was DPO zelfs licht negatief, wat wijst op instabiliteit bij beperkte preferentie-data.
• Zero-shot Transfer (TVQA):
  • POVQA met SFT+DPO bereikte 64,7% nauwkeurigheid op TVQA (zero-shot).
  • Interessant: De "pooling-only" baseline (zonder SFT/DPO) presteerde zelfs iets beter (69,7%), wat suggereert dat de temporale pooling zelf de belangrijkste driver is voor transfer, en dat DPO in kleine datasets niet altijd consistent verbetert.
• Pooling vs. Keyframes: Een ablatiestudie toonde aan dat het gebruik van gepoolde frames (die beweging bevatten) superieur is aan het gebruik van slechts één keyframe per seconde, vooral voor semantische gronding en consistentie in redenering.

Bijdragen

1. POVQA Pipeline: Een efficiënte methode voor lang-context multimodaal redeneren door video te comprimeren naar 1 fps gepoolde beelden, waardoor een vast token-budget wordt gehandhaafd.
2. Trainingstrategie: Een combinatie van rationale-supervisie (SFT) en optionele preferentie-optimalisatie (DPO) om expliciet redeneren te bevorderen.
3. ReasonVQA Dataset: Een nieuwe, kleine maar gecontroleerde dataset voor het diagnosticeren van faalmodi bij lang-context VQA onder compressie.
4. Analyse van DPO: Een genuanceerde analyse die aantoont dat DPO in kleine-data settings niet uniform positief is en dat SFT de belangrijkste prestatieverbeteraar is.

Betekenis en Conclusie

Dit werk positioneert zich als een diagnostische studie in plaats van een brede benchmark-release. De kernboodschap is dat test-tijd efficiëntie (door compressie) en transparante analyse van faalmodi cruciaal zijn voor praktische VQA-toepassingen.

• Sterke punten: De methode behoudt temporale dekking onder strenge rekenbeperkingen en verbetert de redeneerkwaliteit aanzienlijk door rationale-supervisie.
• Beperkingen: De dataset is klein en film-gericht. Pooling kan fijne temporale volgorde of snelle micro-acties verliezen. DPO is instabiel bij weinig data.
• Toekomst: De auteurs plannen uitbreiding van de dataset, evaluatie op standaard benchmarks en testen op verschillende modelgroottes.

Samenvattend biedt POVQA een robuuste aanpak om lange video's te begrijpen binnen de beperkingen van huidige LVLMs, waarbij de nadruk ligt op efficiëntie en het begrijpen van waarom modellen falen, in plaats van alleen op het maximaliseren van scores op grote benchmarks.