Technische Samenvatting: Beloningsmodellering voor Videobegrip

Probleemstelling

Ondanks aanzienlijke vooruitgang in multimodale beloningsmodellering (MRM) voor tekst- en afbeeldingsdomeinen, blijft de vooruitgang in beloningsmodellering voor videobegrip ernstig beperkt. Het vakgebied staat voor twee fundamentele knelpunten:

1. Gebrek aan Robuste Benchmarks: Bestaande benchmarks (bijv. MM-RLHF-RewardBench, VideoRewardBench) lijden onder een beperkte schaal, ontoereikende dekking van videospecifieke dimensies (algemeen, lang en redeneertaken) en onbetrouwbare evaluatieprotocollen. Cruciaal ontbreken ze vaak Chain-of-Thought (CoT) redeneersporen, met gemiddelde responslengtes zo kort als 104 tokens, wat niet overeenkomt met het "denk-voor-je-antwoord"-paradigma dat vereist is voor complex videobegrip. Bovendien zijn evaluatieprotocollen met één doorgang zeer vatbaar voor positiebias.
2. Schaarste aan Hoogwaardige Voorkeursdata: Hoewel voorkeursleren voor videoproduktie vooruitgang heeft geboekt, is hoogwaardige, grootschalige voorkeursdata voor videobegrip schaars vanwege hoge annotatiekosten en constructiecomplexiteit. Bestaande modellen die getraind zijn op tekst- of tekst-afbeeldingsdata, falen in effectieve overdracht naar videobeloningstaken en presteren vaak nauwelijks beter dan willekeurige baselines.

Methodologie

De auteurs stellen een unificerend raamwerk voor dat benchmarkontwerp, dataconstructie en training van beloningsmodellen aanpakt.

1. Video Understanding Reward Bench (VURB)

Een nieuwe benchmark die specifiek is ontworpen voor voorkeursbeoordeling van videobegrip, met de volgende kenmerken:

• Schaal en Omvang: 2.100 voorkeursparen die drie dimensies bestrijken: Algemeen Videobegrip, Lang Videobegrip en Video-redeneren.
• Lange CoT-Redenering: Alle voorkeursresponsen bevatten lange redeneersporen, met een gemiddelde van 1.143 tokens, wat zorgt voor een rijke logische context.
• Robuste Evaluatie: Er wordt gebruikgemaakt van een Meerderheidsstemming-protocol (N=8) waarbij de volgorde van gekozen/verworpen responsen willekeurig wordt omgewisseld om positiebias te mitigeren.
• Datakwaliteit: Responsen worden gegenereerd door vijf diverse multimodale modellen (waaronder Qwen3VL en Gemini-varianten) en gefilterd via een tweestapsproces:
  • Lengteconsistentie: Filtert paren met relatieve lengteverschillen >25% om beloningshacking op basis van woordrijkdom te voorkomen.
  • Causale consistentie: Menselijke experts verifiëren of de redenering logisch het uiteindelijke antwoord ondersteunt, en verwijderen gevallen waarbij het antwoord correct is maar de redenering gebrekkig (of omgekeerd).

2. Video Understanding Preference Dataset (VUP-35K)

Om de dataschaarste aan te pakken, construeren de auteurs een grootschalige dataset van 35.000 hoogwaardige voorkeursparen via een volledig geautomatiseerde, mens-annotator-vrije pijplijn:

• Generatie: Prompts uit bestaande benchmarks (bijv. Video-R1-CoT, Video-Holmes) worden uitgerold met kandidaat-modellen.
• Verificatie: Een LLM (Qwen3-4B) verifieert de correctheid van het uiteindelijke antwoord tegen de grondwaarheid.
• Augmentatiestrategie: Om het probleem van modellen die de meeste samples correct beantwoorden (wat leidt tot een gebrek aan negatieve samples) te overwinnen, introduceren de auteurs een strategie voor willekeurige visuele verstoring. Tijdens de uitrol worden video-invoer verslechterd (bijv. frame-reductie, resolutievermindering, dropout) om modellen te dwingen onjuiste responsen te produceren, waardoor de diversiteit van redeneerfouten wordt verrijkt.
• Eindcorpus: VUP-35K wordt gecombineerd met 213K algemene tekst-afbeelding voorkeursparen om een trainingsset van 245K te vormen.

3. Beloningsmodellen: VideoDRM en VideoGRM

Twee verschillende beloningsmodellen worden getraind op de geconstrueerde data:

• VideoDRM (Discriminatief): Een standaard beloningsmodel waarbij het taalmodelhoofd wordt vervangen door een scalair scorehoofd. Het wordt getraind met een Bradley-Terry rangschikkingverlies om de marge tussen gekozen en verworpen responsen te maximaliseren.
• VideoGRM (Generatief): Een generatief model dat wordt getraind via Group Relative Policy Optimization (GRPO). Het produceert zowel een voorkeursbeslissing als een interpreteerbaar redeneerspoor. Het wordt geoptimaliseerd met een binair beloningssignaal (1,0 voor correcte identificatie van de gekozen respons, 0,0 anders).

Belangrijkste Resultaten

Prestaties op VURB

• Falen van Baselines: Bestaande open-source modellen (waaronder specialistmodellen zoals R1-Reward en LLaVA-Critic-R1) presteren slecht op VURB, waarbij de meeste onder de 55% nauwkeurigheid vallen (nauwelijks boven de 50% willekeurige baseline). Propriëtaire modellen zoals GPT-5.2 bereiken ongeveer 62,9%.
• Voorgestelde Modellen:
  • VideoDRM bereikt een state-of-the-art (SOTA) algehele nauwkeurigheid van 63,8%, en presteert beter dan GPT-5.2 en de grootste Qwen3VL-varianten.
  • VideoGRM bereikt 59,3% en komt naar voren als het toonaangevende open-source generatieve beloningsmodel, met 5,0% beter dan Qwen3VL-32B-Thinking.

Generalisatie naar VideoRewardBench

Beide modellen bereiken SOTA-prestaties op de onafhankelijke VideoRewardBench:

• VideoDRM: 64,7% algehele nauwkeurigheid.
• VideoGRM: 64,6% algehele nauwkeurigheid.
• Beide modellen presteren beter dan hoogwaardige propriëtaire baselines (bijv. Gemini-2.5-Pro met 63,6%) en aanzienlijk grotere open-source modellen (bijv. LLaVA-Critic-72B met 63,0%).

Testtijd-Schaling (Best-of-N)

Onder Best-of-N-evaluatie op Video-Holmes en VideoMME:

• Zowel VideoDRM als VideoGRM bieden aanzienlijke winsten ten opzichte van Self-Judge en Majority-of-N-baselines.
• Bij N=8 bereikt VideoDRM 49,70% nauwkeurigheid (tegenover 40,17% baseline), wat hun nut aantoont als betrouwbare beloningssignalen voor herschikking tijdens de testtijd.

Ablatiestudies

• Invloed van VUP-35K: Het alleen integreren van VUP-35K verbetert de nauwkeurigheid van de backbone van 52,4% naar 62,5% op VURB, wat bevestigt dat videospecifieke voorkeursdata cruciaal is.
• Redeneervermogen: Generatieve beloningstraining op VUP-35K alleen verbetert de downstream-prestaties voor videobegrip op benchmarks zoals Video-Holmes (+6,6% nauwkeurigheid), wat aangeeft dat de dataset niet alleen het beloningsoordeel van het model verbetert, maar ook de inherente redeneervermogens.

Betekenis en Beweringen

Het artikel stelt dat de afwezigheid van gespecialiseerde voorkeursdata voor videobegrip en robuuste benchmarks de primaire bottleneck is geweest voor videobeloningsmodellering. Door VURB en VUP-35K in te voeren, tonen de auteurs aan dat:

1. Domeinspecificiteit Cruciaal Is: Modellen die zijn getraind op tekst- of tekst-afbeeldingsdata kunnen niet effectief worden overgedragen naar videobeloningstaken; toegewijde videovoorkeursdata is essentieel.
2. CoT en Robuste Evaluatie Uitmaken: Lange redeneersporen en meerderheidsstemmingsprotocollen zijn noodzakelijk om de ware beperkingen van huidige modellen bloot te leggen en betrouwbare evaluatie te waarborgen.
3. Succes van Dual Paradigma: Zowel discriminatieve als generatieve trainingsparadigma's zijn effectief voor videobeloningsmodellering, waarbij de voorgestelde modellen nieuwe prestatienormen stellen.
4. Fundament voor Betrouwbare Systemen: Het werk biedt een solide fundament voor toekomstig onderzoek in betrouwbare multimodale systemen, met de nadruk op de cruciale rol van gespecialiseerde data en trainingsstrategieën in de doorbraak van videobegrip.