Chains That See, Answers That Don't: A Multi-Aspect Evaluation Recipe for Forced Chain-of-Thought on Video-MME

Sintesi Tecnica: "Catene che Vedono, Risposte che Non Lo Fanno: Una Ricetta di Valutazione Multi-Aspetto per la CoT Forzata su Video-MME"

Problema
Il documento affronta un'ipotesi prevalente nell'adattamento dei Modelli Vision-Language (VLM) al question answering su video (Video-QA): l'idea che forzare i modelli a generare passaggi di ragionamento Chain-of-Thought (CoT) prima di rispondere migliori l'affidabilità e l'accuratezza. Sebbene la CoT sia ampiamente adottata, la sua utilità funzionale nei contesti video rimane non verificata. Gli autori mettono in discussione l'ipotesi nulla della "catena boilerplate" (o predefinita) — la previsione che le catene CoT forzate possano essere ampiamente invarianti rispetto all'input (ovvero il testo del ragionamento rimane simile indipendentemente dal video in input) ma possano comunque spostare la risposta finale a causa di effetti di formato, senza che il modello stia realmente "leggendo" l'input visivo. Al contrario, mettono in discussione anche se il fatto che le catene siano condizionate dal video implichi necessariamente un miglioramento dell'accuratezza nelle domande a scelta multipla (MCQ).

Metodologia: Una Ricetta di Valutazione a Tre Sonde
Gli autori propongono una specifica ricetta di valutazione a tre sonde, istanziata sul benchmark Video-MME utilizzando la famiglia di modelli Qwen2.5-VL (varianti con 7B e 32B parametri). La pipeline è progettata per disaccoppiare la qualità della generazione della catena dall'utilità della risposta finale.

1. Sonda 1: Accuratezza Accoppiata con Controlli di Formato

   • Design: Valuta le prestazioni sotto quattro condizioni: Diretta (solo risposta), CoT (passaggi di ragionamento forzati), Answer-First (risposta seguita dal ragionamento) e No-Video (solo testo).
   • Scoring: Utilizza due scorer basati su regex per estrarre le risposte:
     • Strict (Rigido): Richiede tag espliciti (es. "Answer: X") o formattazione specifica all'inizio della riga.
     • Permissive (Permissivo): Include una regola di fallback per costringere gli output di tipo rifiuto verso una scelta alfabetica.
   • Statistica: Riporta test McNemar accoppiati, intervalli di confidenza (CI) di bootstrap da 50k e p-value corretti con metodo Holm su una famiglia primaria di quattro test dichiarata nel manoscritto.

2. Sonda 2: Diagnostica di Scambio Video Contraffattuale

   • Design: Rivaluta le risposte CoT in cui il video originale viene sostituito con un video diverso dello stesso tipo di task.
   • Metriche:
     • Chain Token-Jaccard: Misura la sovrapposzione tra la catena di ragionamento del video reale e quella del video scambiato.
     • Final Letter Flip Rate: Misura quanto spesso la risposta predetta cambia quando il video cambia.
     • Original-Label Retention: Verifica se il modello mantiene la risposta per il video originale quando gli viene mostrato il video scambiato (un diagnostico per distinguere tra rifiuto e coincidenza).
   • Obiettivo: Testare se le catene sono realmente condizionate dall'input. Una catena "boilerplate" mostrerebbe un'alta similarità Jaccard e bassi tassi di flip; una catena condizionata dall'input mostrerebbe l'opposto.

3. Sonda 3: Scala di Degradazione Visiva

   • Design: Valuta le prestazioni CoT attraverso una scala di segnale visivo monotonicamente decrescente: Reale $\to$ Frame Mescolati $\to$ Singolo Frame (ripetuto) $\to$ Frame Neri. Sono riportate separatamente due condizioni di contaminazione (task/dominio scambiato).
   • Metriche: Correlazione di Spearman ($\rho$) tra degradazione visiva e accuratezza/similarità della catena.
   • Obiettivo: Determinare se la catena di ragionamento utilizzi il segnale visivo e se l'accuratezza degradi in tandem con la perdita di informazione visiva.

Risultati Chiave
La valutazione su Qwen2.5-VL (7B e 32B) produce una scoperta in due parti:

1. Le Catene sono Fortemente Condizionate dal Video:

   • L'ipotesi nulla della "catena boilerplate" viene respinta. Quando il video viene scambiato, la Token-Jaccard della catena scende significativamente (a 0.14 per 32B e ~0.12 per 7B), e i tassi di flip della lettera finale sono elevati (67% per 32B, ~60% per 7B).
   • Esempi qualitativi mostrano che il modello descrive esplicitamente il contenuto del video scambiato e rifiuta di rispondere se il contenuto non corrisponde alle opzioni, invece di generare un template generico.

2. Le Catene Condizionate dal Video Non Migliorano l'Accuratezza (e Possono Danneggiarla):

   • Modello 32B: La CoT forzata non migliora l'accuratezza MCQ rispetto alla risposta diretta. Sotto lo scoring strict, la CoT mostra un leggero calo (-5.33 pp, $p=0.048$) che non sopravvive alla correzione di Holm. Sotto lo scoring permissive, il calo è minore (-2.33 pp) e non significativo. Si verifica un segno opposto nei subset analizzati solo tramite parsing, attribuito a effetti di selezione del tasso di parsing piuttosto che a un reale miglioramento.
   • Modello 7B: La CoT forzata produce un calo di accuratezza statisticamente supportato. Sotto lo scorer strict, il calo è di -7.32 punti percentuali ($p=0.003$, $p$ corretto con Holm di $0.012$). Questo è l'unico risultato della famiglia primaria che sopravvive alla correzione di Holm a $\alpha=0.05$. Gli autori ipotizzano che ciò sia dovuto alla propagazione dell'errore, dove il modello più piccolo si impegna in inferenze intermedie che degradano la risposta finale.
   • Scala Visiva: L'accuratezza e la similarità della catena diminuiscono entrambe monotonicamente man mano che il segnale visivo degrada (Reale $\to$ Nero), confermando che le catene utilizzano l'input visivo, ma questo grounding non correla con guadagni di accuratezza nel formato CoT.

Significato e Rivendicazioni
Il documento non sostiene che la CoT sia universalmente inutile, né che questi risultati si generalizzino oltre l'istanza Qwen2.5-VL / Video-MME. Il suo significato risiede invece nella metodologia di valutazione e nella specifica scoperta di un disaccoppiamento tra il grounding della catena e l'utilità del task.

• Contributo Metodologico: Gli autori forniscono una "ricetta a tre sonde" per testare rigorosamente la CoT in contesti multimodali. Sostengono che i confronti di accuratezza standard siano insufficienti; i valutatori devono misurare separatamente il condizionamento dell'input (tramite sonde di scambio) e la sensibilità del tasso di parsing (tramite scoring strict vs permissive).
• Risultato Empirico: Il documento dimostra che un modello può generare tracce di ragionamento altamente sensibili all'input visivo (provando che "vede" il video) pur non riuscendo a sfruttare tale ragionamento per migliorare le risposte finali e, nel caso di modelli più piccoli, degradandone attivamente le prestazioni.
• Lezione di Valutazione: Gli autori avvertono che le "tracce di ragionamento grounded" non sono una condizione sufficiente per guadagni a valle. Raccomandano di riportare i tassi di parsing insieme all'accuratezza, di utilizzare sonde di sostituzione dell'input per verificare il condizionamento della catena e di trattare "la CoT aiuta/non aiuta" come una questione multi-sfaccettata che richiede strumenti diagnostici specifici piuttosto che un singolo punteggio aggregato.

Gli autori dichiarano esplicitamente che il loro scorer regex personalizzato non è lo valutatore ufficiale di Video-MME e che la scelta del loro criterio di significatività primario (strict scoring) è stata post-hoc. Rilasciano le risposte grezze e uno script di ricalcolo per garantire che tutti i numeri siano riproducibili, invitando il lavoro futuro a validare queste scoperte sull'intero benchmark e su altre famiglie di modelli.