Technische Samenvatting: De Laagfrequentie-val: Video-Taalmodellen Falen bij Eenvoudige Event-Boekhouding

Probleemstelling

Real-world video benchmarks voor Video-Taalmodellen (VLM's) verstrengelen vaak meerdere variabelen—event count, frequentie, duur, visuele complexiteit en semantiek—waardoor het moeilijk is om specifieke faalmodi te isoleren. Hoewel bestaande programmeerbare benchmarks betere controle bieden, scoren deze doorgaans alleen het uiteindelijke antwoord, waardoor ze er niet in slagen te auditeren of een model events heeft gemist, de timing heeft verward, het spoor van een sequentie is verloren, of alleen fouten maakte tijdens de aggregatie. Bij consequent is de nauwkeurigheid van het eindantwoord, wat zwakke temporele toegang of broze redenering kan maskeren, waarbij verborgen blijft dat modellen kunnen falen bij elementaire event-boekhouding naarmate de temporele belasting toeneemt.

Methodologie

De auteurs introduceren trace-grounded parametric profiling, een gecontroleerd evaluatiekader ontworpen om temporele redeneercapaciteiten te isoleren van visuele complexiteit.

Gecontroleerde Taakruimte

De studie maakt gebruik van programmatisch gegenereerde video's met de Manim animatie-engine om frame-nauwkeurige controle te garanderen over ruimtelijke trajecten en timing. Drie verschillende domeinen worden geëvalueerd:

1. Bounce Ball: Het tellen van contactmomenten met de wand van een stuiterende bal.
2. Blinking: Het tellen van on-pulses van een visueel object (transiënte events).
3. State Machine: Het tellen van categorische toestandsveranderingen (persistente events).

Experimentele Parameters

Het framework varieert systematisch twee orthogonale parameters terwijl rendering, semantiek en taakregels constant blijven:

• Event Count ($N$): Variërend van 0 tot 12.
• Event Frequency ($F$): Variërend van 0,5 Hz tot 4,0 Hz.
• Duur: Alle clips zijn vastgesteld op 24 seconden. De actieve event-sequentie beslaat ongeveer $N/F$ seconden, waarbij statische frames de rest invullen.

Grondwaarheid en Metrieken

Elke video is gekoppeld aan een uitvoerbare grondwaarheid-trace die event-timestamps, toestandsveranderingen en cumulatieve tellingen bevat. Dit maakt een granulaire evaluatie mogelijk die verder gaat dan eenvoudige nauwkeurigheid van het eindantwoord. Belangrijke metrieken zijn:

• Final Answer Exact Match (Acc): Of de gerapporteerde telling gelijk is aan $N$.
• Trace Precision ($P$) en Recall ($R$): Afstemming tussen de door het model gerapporteerde timestamps en de grondwaarheid binnen een op de frequentie gerelateerde window $\delta(F) = 1/(2F)$.
• Visual Observation Ratio (VOR): De ratio tussen gerapporteerde events en werkelijke events ($M/N$), wat over- of onder-rapportering aangeeft.
• Accidental Correctness Rate (ACR): Gegevens waarbij de uiteindelijke telling correct is, ondanks een lage getrouwheid van de trace.
• Reasoning Failure Rate (RFR): Gegevens waarbij de trace getrouw is (hoge F1), maar de uiteindelijke telling onjuist is.

Geëvalueerde Modellen

De primaire evaluatie richt zich op Gemini 3.6 Flash (ontvangt ~1 FPS input) en Qwen3-VL-235B (ontvangt 2 FPS input). Aanvullende cross-systeem controles omvatten diverse schalen van Qwen3-VL en InternVL3.5.

Belangrijkste Bijdragen

1. Gecontroleerd Evaluatiekader: Vervangt enkelvoudige geaggregeerde scores door capaciteitsoppervlakken die in kaart zijn gebracht over event count ($N$) en frequentie ($F$).
2. Trace-Grounded Benchmark: Auditeert door het model gerapporteerde events tegen een uitvoerbare grondwaarheid, waarbij onderscheid wordt gemaakt tussen ononderbouwde correcte tellingen en getrouwe event-reconstructie.
3. Gerichte Interventies: Diagnosticeert foutbronnen via dichtere sampling, event-gecentreerde keyframes (oracle evidence), en diverse prompting-strategieën (bijv. Chain-of-Thought, gestructureerde tracing).
4. Natural-Video Transfer: Valideert of de geobserveerde foutpatronen in gecontroleerde settings persistent zijn in real-world video's met herhaalde events (TransRAC dataset).

Resultaten

Gestage Temporele Fout

De resultaten onthullen een "gestaagd" foutpatroon afhankelijk van de event-representatie (persistent versus transiënt):

• Persistente Events (State Machine): Gemini 3.6 Flash telt betrouwbaar tot $N=12$ bij 0,5 Hz en 1,0 Hz. De prestaties verslechteren naarmate de frequentie toeneemt, waarbij ze dalen naar $N=2$ bij 1,5 Hz.
• Transiënte Events (Blinking): Er bestaat geen betrouwbare positieve-telling regio; het model faalt consistent in het toegankelijk maken van transiënte events, zelfs bij lage counts en frequenties.
• High-Load Regime: In condities met een hoge count en hoge frequentie zijn slechts 0,2% van de uiteindelijke tellingen correct, en het model herstelt slechts 18,1% van de werkelijke events.

De Rol van Visuele Toegang versus Redeneren

• Sampling Density: Het verhogen van de sampling rate van 1 FPS naar 4 FPS verbeterde de Bounce Ball accuratesse van 19,6% naar 29,3%. De gerapporteerde sequentie stemde echter slechts in 3,7% van de gevallen overeen met de grondwaarheid. Dit geeft aan dat extra frames de uiteindelijke scores kunnen opblazen (via accidental correctness) zonder een getrouwe event-reconstructie te produceren.
• Oracle Keyframes: Het verstrekken van event-gecentreerde keyframes (het wegnemen van de zoeklast) verhoogde de accuratesse naar 68,6% voor $N \le 5$, maar de prestaties stortten in voor $N \ge 6$. Dit suggereert dat hoewel visuele toegang een bottleneck is, retentie en accumulatie van de sequentie nog steeds beperkende factoren zijn, zelfs wanneer events perfect gelokaliseerd zijn.
• Prompting Strategieën: Diverse prompting-technieken (Direct Answer, Structured Trace, Multi-Turn, CoT, Role Prompting) leverden vergelijkbaar beperkte winst op en breidden de betrouwbare operationele regio niet uit.

Trace-Level Diagnostiek

• Lage Load: Modellen vertonen vaak over-rapportering (VOR > 1) en accidental correctness, waarbij de uiteindelijke telling weliswaar juist is, maar de gebruikte timestamps gemist of gehallucineerd zijn.
• Hoge Load: De dominante foutmodus verschuift naar onder-rapportering (VOR < 1) en omissie. Het model rapporteert minder events dan plaatsvinden, en de gerapporteerde events zijn vaak temporeel accuraat maar incompleet.
• Aggregatie Fouten: Een non-zero Reasoning Failure Rate (RFR) geeft aan dat zelfs wanneer het model de event-sequentie succesvol herstelt (hoge trace F1), het soms faalt in het correct aggregeren ervan tot een uiteindelijke telling.

Natural Video Transfer

Evaluatie op de TransRAC dataset bevestigt dat de concentratie van succes bij lage event counts ($N \le 4$) persisteert in natuurlijke video's met camerabewegingen en rommel, wat bevestigt dat het foutpatroon robuust is over domeinen heen.

Significantie en Claims

Het artikel betoogt dat final-answer accuracy alleen de temporele redenering verkeerd karakteriseert. Een model kan het juiste aantal bereiken door te gokken of door gehallucineerde events te aggregeren, wat het fundamentele onvermogen om temporele sequenties te volgen maskeert.

De auteurs beweren dat:

1. Event Representatie Zaken Doet: Of een event persistent of transiënt is, bepaalt de initiële toegang tot bewijslast.
2. Visuele Toegang Noodzakelijk maar Onvoldoende is: Het verhogen van de frame density of het verstrekken van oracle keyframes verbetert de prestaties, maar elimineert de grens die wordt opgelegd door sequentielengte en retentie niet.
3. Staged Failure: Het faalproces bestaat uit verschillende stadia: eerst het toegankelijk maken van de event; daarna het behouden van de sequentie; en ten slotte het aggregeren van de telling.
4. Evaluatie Verschuiving: Trace-grounded profiling verschuift de video-evaluatie van geaggregeerde metrieken naar een gedetailleerde diagnostiek van waar de temporele redenering faalt (toegang versus retentie versus aggregatie) en of de gerapporteerde bewijslast de uiteindelijke telling daadwerkelijk ondersteunt.

De studie concludeert dat huidige VLM's moeite hebben met elementaire event-boekhouding naarmate de temporele belasting toeneemt, een beperking die standhoudt zelfs met geavanceerde prompting of verhoogde visuele sampling.