Chains That See, Answers That Don't: A Multi-Aspect Evaluation Recipe for Forced Chain-of-Thought on Video-MME

Technische Samenvatting: "Kettingen die Zien, Antwoorden die Niet: Een Multi-Aspect Evaluatie Recept voor Geforceerde Chain-of-Thought op Video-MME"

Probleemstelling
Het artikel behandelt een heersende aanname bij de adaptatie van Vision-Language Models (VLM's) naar videovraagbeantwoording (Video-QA): dat het dwingen van modellen om Chain-of-Thought (CoT) redeneerstappen te genereren vóór het geven van een antwoord, de betrouwbaarheid en nauwkeurigheid verbetert. Hoewel CoT breed wordt toegepast, blijft de functionele bruikbaarheid in videocontest niet geverifieerd. De auteurs dagen de "boilerplate-chain" nulhypothese uit—de voorspelling dat geforceerde CoT-ketens grotendeels input-invariant zouden zijn (d.w.z. de tekstuele redenering blijft vergelijkbaar ongeacht de video-input) maar toch het uiteindelijke antwoord verschuiven door formateffecten, zonder dat het model de visuele input werkelijk "leest". Daartegenover de vraag of zelfs als ketens wel video-geconditioneerd zijn, dit noodzakelijkerwijs vertaalt naar verbeterde nauwkeurigheid bij Multiple-Choice vragen (MCQ).

Methodologie: Een Drie-Probe Evaluatie Recept
De auteurs stellen een specifiek, drie-probe evaluatie recept voor, geïnstantieerd op de Video-MME benchmark met behulp van de Qwen2.5-VL familie (7B en 32B parameter varianten). De pijplijn is ontworpen om de kwaliteit van de keten-generatie te ontkoppelen van de uiteindelijke antwoord-utiliteit.

1. Probe 1: Gepaard Accuraatheid met Formaatcontroles

   • Ontwerp: Evalueert prestaties onder vier condities: Direct (alleen antwoord), CoT (geforceerde redeneerstappen), Answer-First (antwoord dan redenering), en No-Video (alleen tekst).
   • Scoring: Gebruikt twee regex-gebaseerde scorers om antwoorden te extraheren:
     • Strict: Vereist expliciete tags (bijv. "Answer: X") of specifieke regel-beginnende formattering.
     • Permissive: Bevat een fallback-regel om weigerings-achtige outputs te dwingen naar een letter-keuze.
   • Statistiek: Rapporteert gepaarde McNemar-testen, 50k bootstrap betrouwbaarheidsintervallen (CI's) en Holm-gecorrigeerde $p$-waarden over een door het manuscript verklaarde primaire familie van vier testen.

2. Probe 2: Counterfactual Video-Swap Diagnostic

   • Ontwerp: Evalueert opnieuw de CoT-responsen waarbij de originele video wordt vervangen door een andere video van hetzelfde taaktype.
   • Metrieken:
     • Chain Token-Jaccard: Meet de overlap tussen de redeneerketen van de echte video en de gewisselde video.
     • Final Letter Flip Rate: Meet hoe vaak het voorspelde antwoord verandert wanneer de video verandert.
     • Original-Label Retention: Controleert of het model het antwoord voor de originele video behoudt wanneer het de gewisselde video ziet (een diagnostic voor weigering versus toeval).
   • Doel: Om te testen of ketens werkelijk input-geconditioneerd zijn. Een "boilerplate" keten zou een hoge Jaccard-gelijkenis en lage flip-rates laten zien; een input-geconditioneerde keten zou het tegenovergestelde laten zien.

3. Probe 3: Visuele Degradatie Ladder

   • Ontwerp: Evalueert CoT-prestaties over een monotoon afnemende visuele signaal-ladder: Echt $\to$ Geschudde Frames $\to$ Enkel Frame (herhaald) $\to$ Zwarte Frames. Twee contaminatie-condities (gewisselde taak/domein) worden apart gerapporteerd.
   • Metrieken: Spearman correlatie ($\rho$) tussen visuele degradatie en accuratie/keten-gelijkenis.
   • Doel: Om te bepalen of de redeneerketen visuele signalen gebruikt en of de accuratie afneemt in tandem met het verlies van visuele informatie.

Belangrijkste Resultaten
De evaluatie op Qwen2.5-VL (7B en 32B) levert een tweeledige bevinding op:

1. Kettingen zijn Sterk Video-Geconditioneerd:

   • De "boilerplate-chain" nul wordt verworpen. Wanneer de video wordt gewisseld, daalt de chain token-Jaccard significant (naar 0.14 voor 32B en ~0.12 voor 7B), en de final letter flip rates zijn hoog (67% voor 32B, ~60% voor 7B).
   • Kwalitatieve voorbeelden laten zien dat het model expliciet de inhoud van de gewisselde video beschrijft en weigert te antwoorden als de inhoud niet overeenkomt met de opties, in plaats van een generieke template te generen.

2. Video-Geconditioneerde Kettingen Verbeteren de Accuratie Niet (en Kunnen Schadelijk Zijn):

   • 32B Model: Geforceerde CoT verbetert de MCQ-accuratie niet ten opzichte van direct antwoorden. Onder strikte scoring laat CoT een lichte daling zien (-5.33 pp, $p=0.048$) die de Holm-correctie niet doorstaat. Onder permissieve scoring is de daling kleiner (-2.33 pp) en niet-significant. Een tekenomkering (sign flip) vindt plaats in de geparseerde-alleen subsets, toegeschreven aan parse-rate selectie-effecten in plaats van echte verbetering.
   • 7B Model: Geforceerde CoT produceert een statistisch ondersteunde daling in accuratie. Onder de strikte scorer is de daling -7.32 procentpunten ($p=0.003$, Holm-gecorrigeerd $p=0.012$). Dit is het enige resultaat in de primaire familie dat de Holm-correctie bij $\alpha=0.05$ doorstaat. De auteurs hypothetiseren dat dit komt door foutpropagagatie, waarbij het kleinere model zich committeert aan intermediaire inferenties die het uiteindelijke antwoord verslechteren.
   • Visuele Ladder: Accuratie en keten-gelijkenis nemen beide monotoon af naarmate het visuele signaal degradeert (Echt $\to$ Zwart), wat bevestigt dat de ketens visuele input gebruiken, maar deze gronding correleert niet met winst in accuratie in het CoT-formaat.

Betekenis en Claims
Het artikel beweert niet dat CoT universeel nutteloos is, noch dat deze resultaten generaliseerbaar zijn buiten de Qwen2.5-VL / Video-MME instantie. In plaats daarvan ligt de betekenis in de evaluatiemethodologie en de specifieke ontdekking van een ontkoppeling tussen keten-gronding en taak-utiliteit.

• Methodologische Bijdrage: De auteurs bieden een "drie-probe recept" om CoT in multimodale settings rigoureus te testen. Ze stellen dat standaard accuratie-vergelijkingen onvoldoende zijn; evaluatoren moeten apart input-conditionering (via swap probes) en parse-rate sensitiviteit (via strikt vs. permissieve scoring) meten.
• Empirische Bevinding: Het artikel demonstreert dat een model redeneersporen kan genereren die zeer gevoelig zijn voor visuele input (bewijst dat het de video "ziet"), maar die er toch niet in slagen die redenering te benutten om de uiteindelijke antwoorden te verbeteren, en in het geval van kleinere modellen, de prestaties zelfs actief verslechteren.
• Evaluatie Les: De auteurs waarschuwen dat "gegronde redeneersporen" geen voldoende voorwaarde zijn voor downstream winsten. Ze pleiten voor het rapporteren van parse rates naast accuratie, het gebruik van input-substitutie probes om keten-conditionering te verifiëren, en het behandelen van "CoT helpt/helpt niet" als een veelzijdige vraag die specifieke diagnostische instrumenten vereist in plaats van een enkele geaggregeerde score.

De auteurs verklaren expliciet dat hun aangepaste regex scorer niet de officiële Video-MME evaluator is, en dat hun primaire significantie-keuze (strikte scoring) post-hoc was. Ze publiceren de ruwe responsen en een herberekeningsscript om ervoor te zorgen dat alle cijfers reproduceerbaar zijn, en nodigen toekomstig werk uit om deze bevindingen op de volledige benchmark en andere modelfamilies te valideren.