Riepilogo Tecnico: Modellazione della Ricompensa per la Comprensione Video

Enunciato del Problema

Nonostante i significativi progressi nella modellazione della ricompensa multimodale (MRM) per i domini del testo e dell'immagine, i progressi nella modellazione della ricompensa per la comprensione video rimangono severamente limitati. Il settore affronta due colli di bottiglia fondamentali:

1. Mancanza di Benchmark Robusti: I benchmark esistenti (ad esempio, MM-RLHF-RewardBench, VideoRewardBench) soffrono di una scala limitata, di una copertura insufficiente delle dimensioni specifiche del video (compiti generali, a lungo raggio e di ragionamento) e di protocolli di valutazione inaffidabili. Crucialmente, spesso mancano di tracce di ragionamento Chain-of-Thought (CoT), con lunghezze medie delle risposte brevi quanto 104 token, il che non è allineato con il paradigma "pensare prima di rispondere" richiesto per la complessa comprensione video. Inoltre, i protocolli di valutazione in un singolo passaggio sono altamente suscettibili al bias di posizione.
2. Scarsità di Dati di Preferenza di Alta Qualità: Sebbene l'apprendimento delle preferenze abbia fatto progressi nella generazione video, i dati di preferenza su larga scala e di alta qualità per la comprensione video sono scarsi a causa degli elevati costi di annotazione e della complessità di costruzione. I modelli esistenti addestrati su dati testuali o testo-immagine non riescono a trasferirsi efficacemente ai compiti di ricompensa video, spesso performando appena sopra le linee di base casuali.

Metodologia

Gli autori propongono un framework unificato che affronta la progettazione dei benchmark, la costruzione dei dati e l'addestramento del modello di ricompensa.

1. Video Understanding Reward Bench (VURB)

Un nuovo benchmark progettato specificamente per il giudizio delle preferenze nella comprensione video, caratterizzato da:

• Scala e Ambito: 2.100 coppie di preferenze che coprono tre dimensioni: Comprensione Video Generale, Comprensione Video a Lungo Raggio e Ragionamento Video.
• Ragionamento CoT Lungo: Tutte le risposte di preferenza includono tracce di ragionamento lunghe, con una media di 1.143 token, garantendo un contesto logico ricco.
• Valutazione Robusta: Impiega un protocollo di Voto di Maggioranza (N=8) in cui l'ordine delle risposte scelte/rigettate viene scambiato casualmente per mitigare il bias di posizione.
• Qualità dei Dati: Le risposte sono generate da cinque diversi modelli multimodali (inclusi Qwen3VL e varianti di Gemini) e filtrate tramite un processo in due fasi:
  • Coerenza della Lunghezza: Filtra le coppie con differenze relative di lunghezza >25% per prevenire l'hacking della ricompensa basato sulla verbosità.
  • Coerenza Causale: Esperti umani verificano che il ragionamento supporti logicamente la risposta finale, rimuovendo i casi in cui la risposta è corretta ma il ragionamento è difettoso (o viceversa).

2. Video Understanding Preference Dataset (VUP-35K)

Per affrontare la scarsità di dati, gli autori costruiscono un dataset su larga scala di 35.000 coppie di preferenze di alta qualità tramite una pipeline completamente automatizzata, priva di annotatori umani:

• Generazione: I prompt provenienti da benchmark esistenti (ad esempio, Video-R1-CoT, Video-Holmes) vengono eseguiti utilizzando modelli candidati.
• Verifica: Un LLM (Qwen3-4B) verifica la correttezza della risposta finale rispetto alla verità fondamentale (ground truth).
• Strategia di Augmentation: Per superare il problema per cui i modelli rispondono correttamente alla maggior parte dei campioni (portando a una mancanza di campioni negativi), gli autori introducono una strategia di perturbazione visiva casuale. Durante l'esecuzione, gli input video vengono degradati (ad esempio, riduzione dei frame, riduzione della risoluzione, dropout) per costringere i modelli a produrre risposte errate, arricchendo così la diversità dei fallimenti di ragionamento.
• Corpus Finale: VUP-35K viene combinato con 213K coppie di preferenze testo-immagine generali per formare un set di addestramento da 245K.

3. Modelli di Ricompensa: VideoDRM e VideoGRM

Due distinti modelli di ricompensa vengono addestrati sui dati costruiti:

• VideoDRM (Discriminativo): Un modello di ricompensa standard in cui la testa del modello linguistico è sostituita da una testa di punteggio scalare. Viene addestrato utilizzando una perdita di classificazione Bradley-Terry per massimizzare il margine tra le risposte scelte e quelle rigettate.
• VideoGRM (Generativo): Un modello generativo addestrato tramite Group Relative Policy Optimization (GRPO). Produce sia una decisione di preferenza sia una traccia di ragionamento interpretabile. Viene ottimizzato utilizzando un segnale di ricompensa binario (1.0 per l'identificazione corretta della risposta scelta, 0.0 altrimenti).

Risultati Chiave

Prestazioni su VURB

• Fallimento delle Linee di Base: I modelli open-source esistenti (inclusi modelli specialistici come R1-Reward e LLaVA-Critic-R1) performano male su VURB, con la maggior parte che scende sotto il 55% di accuratezza (appena sopra la linea di base casuale del 50%). I modelli proprietari come GPT-5.2 raggiungono circa il 62,9%.
• Modelli Proposti:
  • VideoDRM raggiunge un'accuratezza complessiva state-of-the-art (SOTA) del 63,8%, superando GPT-5.2 e le varianti più grandi di Qwen3VL.
  • VideoGRM raggiunge il 59,3%, emergendo come il principale modello di ricompensa generativo open-source, superando Qwen3VL-32B-Thinking del 5,0%.

Generalizzazione su VideoRewardBench

Entrambi i modelli raggiungono prestazioni SOTA sul indipendente VideoRewardBench:

• VideoDRM: 64,7% di accuratezza complessiva.
• VideoGRM: 64,6% di accuratezza complessiva.
• Entrambi i modelli superano le linee di base proprietarie di alto livello (ad esempio, Gemini-2.5-Pro al 63,6%) e modelli open-source significativamente più grandi (ad esempio, LLaVA-Critic-72B al 63,0%).

Scaling al Momento del Test (Best-of-N)

Sotto la valutazione Best-of-N su Video-Holmes e VideoMME:

• Sia VideoDRM che VideoGRM forniscono guadagni significativi rispetto alle linee di base Self-Judge e Majority-of-N.
• A N=8, VideoDRM raggiunge un'accuratezza del 49,70% (vs. 40,17% della linea di base), dimostrando la loro utilità come segnali di ricompensa affidabili al momento del test per il reranking.

Studi di Ablazione

• Impatto di VUP-35K: L'inclusione di VUP-35K da sola migliora l'accuratezza del backbone dal 52,4% al 62,5% su VURB, confermando che i dati di preferenza specifici per il video sono critici.
• Capacità di Ragionamento: L'addestramento di ricompensa generativo su VUP-35K da solo migliora le prestazioni di comprensione video a valle su benchmark come Video-Holmes (+6,6% di accuratezza), indicando che il dataset potenzia le capacità di ragionamento intrinseche del modello, non solo il suo giudizio di ricompensa.

Significato e Affermazioni

Il documento afferma che l'assenza di dati di preferenza specifici per la comprensione video e di benchmark robusti è stato il principale collo di bottiglia per la modellazione della ricompensa video. Introducendo VURB e VUP-35K, gli autori dimostrano che:

1. La Specificità di Dominio è Cruciale: I modelli addestrati su dati testuali o testo-immagine non possono trasferirsi efficacemente ai compiti di ricompensa video; sono essenziali dati di preferenza video dedicati.
2. CoT e Valutazione Robusta Contano: Tracce di ragionamento lunghe e protocolli di voto di maggioranza sono necessari per esporre i veri limiti dei modelli attuali e garantire una valutazione affidabile.
3. Successo del Paradigma Duale: Sia i paradigmi di addestramento discriminativo che generativo sono efficaci per la modellazione della ricompensa video, con i modelli proposti che stabiliscono nuovi standard di prestazione.
4. Fondamento per Sistemi Affidabili: Il lavoro fornisce una solida base per la ricerca futura su sistemi multimodali affidabili, evidenziando il ruolo critico di dati specializzati e strategie di addestramento nell'avanzamento della comprensione video.