Technische Samenvatting: Stabiele Curven, Instabiele Items: Item-niveau Schaalingsheterogeniteit in Video LLM's

1. Probleemstelling

Huidige evaluatiepraktijken voor Video Large Language Models (Video LLM's) leunen zwaar op geaggregeerde schalingscurven, die de gemiddelde prestaties uitzetten tegen een toenemend visueel budget (bijv. aantal frames of resolutie). Deze curven lijken doorgaans vloeiend of verzadigend, wat leidt tot de interpretatie dat het verhogen van de visuele input ofwel gunstig is, ofwel slechts redundant.

De auteurs stellen dat dit geaggregeerde overzicht een significante instabiliteit op item-niveau verbergt. Bij elke overgang in budget kan een model op sommige items verspringen van onjuist naar juist, terwijl het tegelijkertijd op andere items verspringt van juist naar onjuist. Deze tegengestelde stromen vallen in het gemiddelde tegen elkaar weg, waardoor een "stabiele" geaggregeerde curve ontstaat die aanzienlijke item-niveau churn maskeert. Dit fenomeen, getiteld visuele verwarring (visual confusion), suggereert dat geen enkel visueel budget optimaal is voor alle items, en dat hogere budgetten de prestaties op specifieke inputs actief kunnen schaden.

2. Methodologie

Het artikel introduceert een gepaarde schalings-trajectaudit om deze verborgen dynamiek bloot te leggen.

• Gepaarde Item-niveau Trajecten: In plaats van één score per budget te rapporteren, volgen de auteurs de respons-traject van een bevroren model op hetzelfde item over een gecontroleerd raster van visuele configuraties (variërend in aantal frames, resolutie, samplingbeleid en temporele-spatiële allocatie).
• Matched-Grid Metrieken: Om een eerlijke vergelijking tussen modellen te garanderen, maakt de studie gebruik van matched grids (bijv. {tekst, 16f, 32f, 64f}) die de architecturale context-plafonds van verschillende modellen respecteren.
• Kernmetrieken:
  • Oracle Headroom: Het verschil tussen de beste vaste nauwkeurigheid (met gebruik van een enkel budget voor alle items) en de item-niveau oracle-nauwkeurigheid (de maximale nauwkeurigheid die haalbaar is als het optimale budget individueel voor elk item zou worden geselecteerd).
  • Visuele Verwarring (Visual Confusion): De snelheid waarmee items correct zijn bij een configuratie met lagere kosten, maar onjuist bij een configuratie met hogere kosten.
  • Tekst Overschrijving (Text Overwrite): Een specifieke subset van verwarring waarbij een item dat in tekst-alleen modus correct is, onjuist wordt wanneer visuele inputs worden toegevoegd.
  • Churn: De som van items die verspringen van foutief-naar-correct en correct-naar-fout, wat verschilt van de netto geaggregeerde verandering.
• Experimentele Omvang: De studie behandelt vijf bevroren open Video LLM's (Qwen2.5-VL-7B, Qwen3-VL-8B, InternVL3-8B, InternVL3.5-8B, LLaVA-NeXT-Video-7B) over drie architectuurfamilies. Evaluaties beslaan vier multiple-choice benchmark-splits (Video-MME v1/v2, MLVU), open-ended QA/samenvatting (MLVU) en gecontroleerde dialooggeneratie (AVSD).
• Interventies: De auteurs testen robuustheid over raw-video versus gecachte pipelines, diverse samplingbeleid (uniform, random, dense-start) en iso-compute allocaties (afwegingen tussen frameaantal en ruimtelijke resolutie).

3. Belangrijkste Resultaten

Geaggregeerde Stabiliteit versus Item-instabiliteit

• Annuleringseffect: Op de Video-MME v1 short split resulteerde het verhogen van frames van 128 naar 256 in een netto nauwkeurigheidsverandering van slechts -0,7 punten. Dit maskeerde echter het feit dat 23 items onjuist werden en 18 items correct werden, wat een staatverandering van 5,2% in de benchmark-populatie vertegenwoordigt.
• Oracle Headroom: Over vier modellen en vier MCQA-splits varieert de item-niveau oracle headroom tussen de 8,8 en 18,9 nauwkeurigheidspunten. Dit duidt op een aanzienlijke kloof tussen de huidige deployment met een vast budget en de theoretisch maximale prestaties die haalbaar zijn met adaptieve budgettering.
• Visuele Verwarringspercentages: Tussen de 12,5% en 25,5% van de items vertoont visuele verwarring (correct bij lager budget, onjuist bij hoger budget).
• Tekst Overschrijving: Een niet-verwaarloosbaar deel van de items (5,0–7,3% van het totaal, of 13,2–17,9% van de tekst-correcte items) wordt correct beantwoord via tekst alleen, maar wordt onjuist wanneer visuele inputs worden geïntroduceerd. Dit effect is bijzonder sterk bij "Telproblemen" (Counting Problems).

Generalisatie over Taken en Protocollen

• Open-ended Generatie: Het fenomeen houdt stand buiten multiple-choice. Op MLVU generatie-taken variëren de Token-F1 oracle gaps tussen 2,7 en 3,7 punten. Op AVSD dialooggeneratie variëren de gaps tussen 3,8 en 4,8 punten. Zelfs wanneer de gemiddelde kwaliteit verbetert met het budget, lijdt een aanzienlijk deel van de items aan regressie in score.
• Robuustheid: De heterogeniteit blijft bestaan over verschillende resoluties, samplingbeleid en executie-pipelines (raw vs. cache). Hoewel de exacte set van verwarde items licht varieert per protocol, blijft de populatie-brede structuur van annulering en complementariteit consistent.
• Iso-Compute Heterogeniteit: Wanneer het totale aantal pixels constant wordt gehouden (bijv. ~9,7M pixels), zijn verschillende temporele-spatiële allocaties (bijv. 32 frames met hoge resolutie versus 128 frames met lage resolutie) optimaal voor verschillende subsets van items. Geen enkele allocatie is universeel het beste.

Operationele Implicaties

• Confidence Cascade: De auteurs demonstreren een operationeel gebruiksscenario: een "confidence cascade" die begint met een laag budget (bijv. 16 frames) en pas escaleert als de zekerheid (confidence) van het model laag is. Deze aanpak evenaart de nauwkeurigheid van een vast 128-frame budget terwijl het gemiddelde gedeelde frame-kosten met 31,7% vermindert en de wall-clock latency met 28,2% (met frame sharing).
• Sampling Sensitiviteit: Een gecontroleerde sampling-interventie herstelde 29,0% van de terminale regressies (items die onjuist waren bij een hoog budget, maar correct gemaakt konden worden door het samplingbeleid te wijzigen), wat suggereert dat de compositie van bewijslast een controleerbare factor is in deze fouten.

4. Bijdragen

1. Evaluatieprotocol: Formulering van Video LLM schaling als gepaarde item-niveau respons-trajecten, wat matched-grid metrieken biedt die de bidirectionele annulering blootleggen die verborgen blijft door geaggregeerde curven.
2. Empirische Dekking: Vaststelling van breed empirisch bewijs over vijf modellen, drie architectuurfamilies en diverse taakformaten (MCQA, generatie, dialoog), wat aantoont dat item-niveau complementariteit een consistent fenomeen is op populatieniveau.
3. Protocol-onafhankelijkheid: Scheiding van de robuuste populatie-brede structuur van protocol-gevoelige item-labels door middel van volledige sampling, resolutie en raw/cache analyses.
4. Audit Artefact: Publicatie van een uitgebreide dataset met circa 0,13M per-item modeloutputs, afgeleide annotaties (trajecten, verwarringstags), protocol-provenance en analysecode.

5. Betekenis en Claims

Het artikel claimt dat de standaardvisie op Video LLM schaling incompleet is. De "vloeiende" geaggregeerde curven die vaak in de literatuur worden aangehaald, zijn een statistisch artefact van tegengestelde item-niveau transities.

• Meetverschuiving: De auteurs pleiten voor een verschuiving van het rapporteren van enkel geaggregeerde gemiddelden naar het rapporteren van geredde en geschaade stromen naast het gemiddelde. Dit is essentieel voor het interpreteren van bijna nul-netto veranderingen.
• Adaptieve Inferentie: Het bestaan van aanzienlijke oracle headroom en item-specifieke optima suggereert dat adaptieve inferentie (het dynamisch toewijzen van compute per item) een levensvatbare en noodzakelijke strategie is voor efficiënte Video LLM deployment, in plaats van simpelweg het budget voor alle inputs te verhogen.
• Benchmark Design: De bevindingen benadrukken de noodzaak van matched-grid vergelijkingen om gedragsverschillen te isoleren van architecturale context-plafonds en suggereren dat benchmark-ontwerpen rekening moeten houden met text-overwrite shortcuts en letter-prior biases.

Het werk claimt niet de onderliggende oorzaken van visuele verwarring op te lossen (die heterogeen blijven en niet volledig verklaard kunnen worden door eenvoudige laag-niveau statistieken), maar biedt het noodzakelijke meetkader en de data om deze gedragingen te auditeren en gerichte mitigatiestrategieën te ontwikkelen.