TimeLens: Rethinking Video Temporal Grounding with Multimodal LLMs

Titel: TimeLens: Video Temporal Grounding heroverwogen met Multimodale Grootte Taalmodellen (MLLM's)

Samenvatting:
Dit paper introduceert TimeLens, geen nieuwe architectuur, maar een systematische studie en een robuust fundament voor het verbeteren van Video Temporal Grounding (VTG) in Multimodale Grootte Taalmodellen (MLLM's). De auteurs stellen dat bestaande methoden en benchmarks fundamentele tekortkomingen hebben in datakwaliteit en algoritmisch ontwerp. Door deze problemen aan te pakken, hebben ze modellen ontwikkeld die de state-of-the-art (SOTA) prestaties behalen, zelfs het overtreffen van gesloten, proprietaire modellen zoals GPT-5 en Gemini-2.5-Flash.

1. Het Probleem

Hoewel MLLM's uitstekend zijn in het begrijpen van wat er in een video gebeurt ("wat"), falen ze vaak in het bepalen van wanneer het gebeurt ("wanneer").

• Datakwaliteit: Bestaande VTG-benchmarks (zoals Charades-STA, ActivityNet Captions, QVHighlights) bevatten aanzienlijke fouten, waaronder onduidelijke queries, niet-bestaande gebeurtenissen, dubbele annotaties en onnauwkeurige tijdstippen. Dit leidt tot misleidende evaluaties waarbij open-source modellen kunstmatig hoog scoren ten opzichte van proprietaire modellen.
• Algoritmisch Ontwerp: Er is geen consensus over de beste praktijken voor het trainen van MLLM's voor VTG. Vragen over tijdsrepresentatie (hoe tijd te coderen?) en trainingsparadigma's (Supervised Fine-Tuning vs. Reinforcement Learning, denken vs. niet-denken) blijven onbeantwoord.

2. Methodologie

De auteurs hanteren een tweeledige aanpak: het verbeteren van datakwaliteit en het optimaliseren van algoritmisch ontwerp.

A. Datakwaliteit: TimeLens-Bench en TimeLens-100K

• TimeLens-Bench (Evaluatie): De auteurs hebben drie populaire benchmarks handmatig herzien volgens strikte criteria (query-uniekheid, bestaansrecht van gebeurtenissen, duidelijkheid, en nauwkeurigheid van annotaties).
  • Ze hebben een automatische en handmatige pipeline gebruikt om fouten te detecteren en te corrigeren.
  • Resultaat: Een betrouwbaarder evaluatieset die de prestaties van modellen eerlijker weergeeft.
• TimeLens-100K (Training): Om het probleem van ruis in trainingsdata aan te pakken, hebben ze een geautomatiseerde pipeline gebruikt waarbij geavanceerde MLLM's (zoals Gemini-2.5-Pro) video's opnieuw hebben geannoteerd. Dit resulteerde in een schaalbaar, hoogwaardig trainingsdataset van 100.000 annotaties.

B. Algoritmisch Ontwerp

De auteurs hebben drie kerncomponenten geoptimaliseerd:

1. Tijdsrepresentatie (Timestamp Encoding):
   • Ze vergeleken verschillende methoden: posities-embeddings, visuele overlays (tekst op het beeld), en tekstuele codering.
   • Vindt: De meest effectieve methode is interleaved tekstuele codering met ruwe tijdstippen (bijv. "10.2s" als teksttoken direct voor de visuele tokens van het frame). Dit is eenvoudiger en performanter dan complexe posities-embeddings of visuele overlays.
2. Trainingsparadigma (RLVR vs. SFT):
   • Ze vergeleken Supervised Fine-Tuning (SFT) met Reinforcement Learning met Verifieerbare Beloningen (RLVR).
   • Vindt: Een pure "thinking-free" RLVR-aanpak (zonder expliciete "denkstappen" of Chain-of-Thought) presteert beter en is efficiënter dan SFT of "thinking-based" RLVR. VTG is primair een perceptietask die intuïtie vereist, niet complex redeneren.
3. Trainingsrecepten (Best Practices):
   • Early Stopping: Trainen tot de beloningsmetriek (reward) plateauert en dan stoppen, in plaats van een volledige epoch te trainen, voorkomt overtraining en prestatieverlies.
   • Moeilijkheidsgebaseerd Sampling: Het selecteren van trainingsdata met een hoge moeilijkheidsgraad (relatief tot het huidige model) is cruciaal voor optimale prestaties.

3. Belangrijkste Bijdragen

1. TimeLens-Bench: Een nieuw, strikt gecontroleerd evaluatiebenchmark dat de onbetrouwbaarheid van bestaande benchmarks blootlegt en leidt tot een drastische herordening van modelprestaties.
2. TimeLens-100K: Een groot, hoogwaardig trainingsdataset gegenereerd via automatische herannotatie.
3. TimeLens Modellen: Een familie van MLLM's (o.a. TimeLens-7B en TimeLens-8B) die zijn getraind met de nieuwe recepten.
4. Best Practices: Een reeks bewezen methoden voor tijdsrepresentatie en trainingsstrategieën die de basis vormen voor toekomstig VTG-onderzoek.

4. Resultaten

• Prestaties: De TimeLens-modellen behalen state-of-the-art resultaten onder open-source modellen.
  • TimeLens-8B (gebaseerd op Qwen3-VL-8B) overtreft prominente proprietaire modellen zoals GPT-5 en Gemini-2.5-Flash op de TimeLens-Bench.
  • TimeLens-7B (gebaseerd op Qwen2.5-VL-7B) sluit de kloof met grotere modellen en proprietary modellen aanzienlijk.
• Impact van Data: Modellen getraind op TimeLens-100K tonen aanzienlijke verbeteringen ten opzichte van modellen getraind op originele, ruisige data.
• Evaluatie-Verificatie: Op de originele benchmarks scoorden open-source modellen soms hoger dan proprietary modellen door datafouten. Op TimeLens-Bench bleek dat proprietary modellen vaak beter waren, maar TimeLens heeft deze kloof gesloten of omgekeerd.
• Generalisatie: De modellen behouden hun algemene video-vaardigheden (gevalideerd op Video-MME) terwijl ze gespecialiseerd zijn in temporal grounding.

5. Betekenis en Conclusie

TimeLens demonstreert dat de beperkingen van huidige MLLM's in video-tijdsgrounding vaak liggen in datakwaliteit en inefficiënte trainingsstrategieën, niet noodzakelijk in de modelarchitectuur zelf.

• Paradigmaverschuiving: Het paper stelt dat voor perceptie-taken zoals VTG, complexe "denkprocessen" (Chain-of-Thought) overbodig kunnen zijn en dat directe, verifieerbare beloning (RLVR) effectiever is.
• Open Science: Alle code, data (TimeLens-Bench en TimeLens-100K) en modellen worden open-source beschikbaar gesteld, wat een solide basis legt voor toekomstig onderzoek.
• Conclusie: Door de focus te verleggen van het uitvinden van nieuwe architecturen naar het systematisch verbeteren van data en trainingsrecepten, kunnen open-source modellen concurreren met of zelfs de beste gesloten modellen overtreffen in specifieke visuele taken.