How Should Video LLMs Output Time? An Analysis of Efficient Temporal Grounding Paradigms

1. Het Probleem

Video Temporal Grounding (VTG) is de taak om tijdssegmenten in een video te lokaliseren die overeenkomen met een natuurlijke taal query. Hoewel Multimodal Large Language Models (MLLMs) deze taak hebben verbeterd, bestaat er geen eenduidige consensus over de beste manier om tijdsvoorspellingen te formuleren in de output van het model.

Bestaande methoden worden doorgaans gekoppeld aan verschillende backbones, datasets en trainingsprotocollen, wat het onmogelijk maakt om de specifieke impact van het output-ontwerp te isoleren. Bovendien worden VTG-systemen steeds vaker overwogen voor implementatie op bronnenbeperkte randapparatuur (edge devices). Er is een gebrek aan systematisch onderzoek naar de afweging tussen outputformulering en systeemefficiëntie, vooral bij compacte modellen.

2. Methodologie

De auteurs voeren een gecontroleerde empirische studie uit om drie dominante output-paradigma's voor VTG te vergelijken. Het cruciale aspect van hun methode is dat ze alle andere variabelen constant houden (backbone, data, training protocol) en alleen het output-ontwerp variëren.

De drie vergeleken paradigma's:

1. Tekst Numerieke Generatie (Text Numeral Generation):
   • Het model genereert tijdstippen als gewone tekstnummers (bijv. "van 52.0 tot 63.0 seconden") binnen de standaard taalmodus.
   • Geen architecturale aanpassingen; vertrouwt op de inherente numerieke redenering van de LLM.
2. Tijds-Token Generatie (Temporal Token Generation):
   • Introduceert speciale tijds-tokens in het vocabulaire en gebruikt een dedicated hoofd (head) voor generatie.
   • Werkt vaak via causale gebeurtenismodellering waarbij tijden, scores en captions sequentieel worden gegenereerd.
3. Continue Temporal Decoding (Continuous Temporal Decoding):
   • Mapt de verborgen staten van het model direct naar een continue tijdsverdeling (waarschijnlijkheidsdichtheid) in plaats van discrete tokens.
   • Gebruikt een lichte MLP (Multi-Layer Perceptron) om een verdeling over tijdsbins te voorspellen, waaruit de verwachte tijdstippen worden berekend.

Experimenteel Opzet:

• Backbones: Vijf compacte VLM-modellen (0.5B tot 8B parameters), waaronder SmolVLM2, FastVLM en Molmo2.
• Datasets: Charades-STA, QVHighlights en YouCook2.
• Training: Identieke LoRA-finetuning protocollen, dezelfde data (1.2M samples), en dezelfde hardware (NVIDIA H200).
• Metingen: Naast nauwkeurigheid (IoU, R1@IoU) worden ook efficiëntiemetrics gemeten: inferentie-latentie, trainingsdoorvoer, parameter-overhead en GPU-geheugengebruik.

3. Belangrijkste Bijdragen

• Unificatie van Vergelijking: De eerste studie die deze drie paradigma's vergelijkt onder strikt gecontroleerde omstandigheden, waardoor de outputformulering de enige variabele is.
• Efficiëntiebewuste Analyse: Een diepgaande analyse van de "Efficiency-Accuracy Pareto frontier", wat essentieel is voor praktische implementatie op randapparatuur.
• Insights voor Compacte Modellen: Inzicht in hoe output-paradigma's presteren bij schaalverkleining (van 0.5B tot 8B), wat relevant is voor toekomstige edge-deployments.

4. Resultaten

De resultaten tonen duidelijke verschillen in prestaties en efficiëntie:

• Dominantie van Continue Decoding:

  • Het Continue Temporal Decoding paradigma behaalt consistent de hoogste localisatie-nauwkeurigheid over alle taken en modelgroottes.
  • Op de Charades-STA dataset bereikt een 8B-model met continue decoding een mIoU van 57.1%, terwijl het tekst-numerieke paradigma op hetzelfde model slechts 27.5% haalt.
  • Het continue paradigma lost het probleem van kwantisatiefouten op dat optreedt bij het vertalen van continue tijd naar discrete teksttokens.

• Het "Paradigma Dividend":

  • Een verrassende bevinding is dat een klein model (1.5B parameters) met continue decoding (51.3% R1@0.5) beter presteert dan gevestigde 7B-modellen die andere paradigma's gebruiken (bijv. 40.3% voor TRACE).
  • Dit suggereert dat het optimaliseren van de outputformulering een effectievere route is naar betere prestaties dan het simpelweg vergroten van het aantal parameters ("brute-force scaling").

• Efficiëntie en Latentie:

  • Tekst Numeriek: Geen extra parameters, maar hoge inferentie-latentie door autoregressieve generatie van lange getallenreeksen.
  • Tijds-Token: Lage parameter-overhead, maar extreem hoge latentie door sequentiële generatie.
  • Continue Decoding: Biedt de beste afweging. Hoewel de parametergroei kwadratisch is met de hidden dimension ($O(D^2)$), is de inferentie niet-autoregressief (één forward pass). Dit resulteert in de laagste latentie en de beste positie op de Pareto-grens voor efficiëntie versus nauwkeurigheid.

• Data-efficiëntie: Het continue paradigma leert sneller en heeft minder trainingsdata nodig om hoge prestaties te bereiken in vergelijking met de andere methoden.

5. Betekenis en Conclusie

Dit paper biedt objectieve, empirische richtlijnen voor het ontwerpen van efficiënte VTG-systemen. De belangrijkste conclusies zijn:

1. Output Formulier is Kritisch: De keuze van hoe een model tijd outputt, heeft een grotere impact op de prestaties dan de schaal van het model zelf.
2. Continue Decoding is Superior: Voor de meeste toepassingen, vooral op bronnenbeperkte apparaten, is continue temporal decoding de superieure keuze vanwege de hoge nauwkeurigheid en lage latentie.
3. Edge-Deployability: Het paper toont aan dat compacte modellen (<2B parameters) met het juiste output-ontwerp (continue decoding) gevestigde grotere modellen kunnen verslaan, wat een pad opent voor real-time video-analyse op edge devices.
4. Beperkingen: Hoewel continue decoding de grenzen van tijdsbepaling optimaliseert, blijven complexe causale redeneringen (bijv. multi-stap acties) een uitdaging die waarschijnlijk vereist dat er ook aan de input-kant (videocoding) wordt geoptimaliseerd.

Samenvattend stelt het paper dat de toekomst van efficiënte Video LLMs ligt in het loskoppelen van tijdsvoorspelling van generatieve tekstmodellen en het gebruik van gespecialiseerde, continue regressie- of distributiemethoden.