Efficient Spatio-Temporal Grounding with Multimodal Large Models via Second-Level Tracking and RL Verification

Technische Samenvatting: Efficiënte Spatio-Temporele Gronding met Multimodale Grote Modellen via Second-Level Tracking en RL-Verificatie

1. Probleemdefinitie

Spatio-temporele videogronding (STVG) vereist dat een model een natuurlijke taalzoekopdracht lokaliseert in zowel tijd (het identificeren van het gebeurtenisinterval) als ruimte (het volgen van het referentiedoel gedurende dat interval). Hoewel Multimodale Grote Taalmodellen (MLLM's) over sterke redeneergaven beschikken, is het direct toepassen ervan op lange video's via frame-voor-frame inferentie computationeel onhaalbaar en instabiel.

De geïdentificeerde kernuitdagingen zijn:

• Computationele Kosten: Dichte sampling op frameniveau creëert een explosie van visuele tokens, wat de verwerking van lange video's kostbaar maakt.
• Instabiliteit: Directe generatie van dichte coördinaten leidt vaak tot "drift", waarbij het model de identiteit van het doel verliest of tragerende trajecten produceert door kleine numerieke fouten in tekst-gegenereerde boxen.
• Supervisie Mismatch: Standaard supervised fine-tuning (SFT) optimaliseert token-waarschijnlijkheid in plaats van taakspecifieke metrieken zoals temporele overlap of spatiale trajectconsistentie.

2. Methodologie

De auteurs stellen een praktische pijplijn voor die de eenheid van redeneren verschuift van het frame naar de seconde, gekoppeld aan een drie-fasen trainingsstrategie en reinforcement learning (RL) verificatie.

A. Second-Level Formulering
In plaats van $T$ frames te verwerken, wordt de video omgezet in $K$ seconden-eenheden ($K = \lceil T/F \rceil$).

• Input: Het model verwerkt video-eenheden die per seconde zijn geaggregeerd.
• Output: Het model voorspelt een temporeel interval $[\hat{t}_s, \hat{t}_e]$ en een compact traject $\hat{B}$ bestaande uit één bounding box per seconde.
• Smoothing: Tijdens de inferentie wordt een lichtgewicht inter-seconde smoothing toegepast om continuïteit te herstellen en jitter te verminderen, terwijl de voorspelde temporele grenzen behouden blijven.

B. Drie-fasen Trainingspijplijn
De methode maakt gebruik van een GLM-V-stijl architectuur die getraind wordt via drie afzonderlijke fasen:

1. Continual Pre-Training (CPT):

   • Doel: Brede spatio-temporele grondingsvaardigheden opbouwen.
   • Data: Een mix van STVG-data, Multi-Object Tracking (MOT), Single-Object Tracking (SOT) en segmentatiedata.
   • Strategie: Video's worden gesampled op 1 FPS om aan te sluiten bij de seconden-niveau formulering. Algemene video-captioning en QA-data worden opgenomen om te voorkomen dat het model inklapt naar een smalle coördinaat-voorspellende taak, waardoor algemene conversatie- en redeneervaardigheden behouden blijven.

2. Supervised Fine-Tuning (SFT) met Gecorrigeerde Redenering:

   • Doel: Gestructureerde doelselectie en temporele redenering aanleren.
   • Data: 20K voorbeelden van VidSTG en HC-STG.
   • Mechanisme: Geavanceerde MLLM's (bijv. Gemini) genereren Chain-of-Thought (CoT) sporen die zich richten op wat te volgen en wanneer de gebeurtenis plaatsvindt.
   • Correctie: Cruciaal is dat de gegenereerde spatiale coördinaten en temporele intervallen in de uiteindelijke output worden vervangen door ground-truth annotaties. Dit scheidt nuttige semantische redenering van onbetrouwbare gegenereerde geometrie, waardoor het model het correcte redeneerproces leert zonder gestraft te worden voor geometrische ruis in de trainingsdata.

3. Reinforcement Learning (RL) met Verifier:

   • Doel: Direct optimaliseren voor grondingskwaliteit metrieken.
   • Beloningsfunctie: Een verifier scoort voorspellingen met behulp van een gewogen som van:
     • tIoU: Temporele Intersection over Union (overlap tussen voorspelde en ground-truth tijdvensters).
     • mvIoU: Motion-aware spatiale IoU (gemiddelde IoU van boxen over de gematchte temporele intersectie).
   • Optimalisatie: De policy wordt geoptimaliseerd met een GRPO-stijl objectief met asymmetrische clipping. De gecombineerde beloning ($tIoU + mvIoU$) biedt een dichter leersignaal dan het gebruik van enkel motion-aware beloningen, wat helpt om het model eerst het juiste gebeurtenisvenster te laten lokaliseren voordat het traject wordt verfijnd.

C. Inferentie
Het model geeft een gestructureerd antwoord met het temporele interval en het seconden-niveau traject. Ongeldige staten worden weggegooid en inter-seconde smoothing wordt toegepast. De output kan op seconden-niveau blijven of worden geïnterpoleerd naar frame-niveau boxen indien vereist door een benchmark.

3. Belangrijkste Bijdragen

• Second-Level Tracking Formulering: Een verschuiving van frame-niveau naar seconden-niveau eenheden die de sequentielengte en visuele token kosten aanzienlijk vermindert, terwijl de gebeurtenisstructuur en trajectcontinuïteit behouden blijven via smoothing.
• Gecorrigeerde Redenering Supervisie: Een trainingsstrategie die gegenereerde CoT-sporen gebruikt voor semantische redenering, maar gegenereerde coördinaten vervangt door ground truth, om te voorkomen dat het model leert van ruisige geometrische supervisie.
• Verifier-gestuurde RL: Een optimalisatiefase met een verifier gebaseerd op $tIoU + mvIoU$ om de output van het model direct af te stemmen op STVG-evaluatiemetrieken, in plaats van enkel te vertrouwen op token-waarschijnlijkheid.
• Efficiënt High-Performance Model: Demonstratie dat een 9B parameter taak-afgestemd model significante grotere algemene MLLM's (bijv. 397B Qwen3.5) kan overtreffen op STVG-taken.

4. Experimentele Resultaten

De methode werd geëvalueerd op de VidSTG en HC-STVG benchmarks, evenals op Video-MME-v2 om algemeen video-begrip te beoordelen.

• STVG Prestaties:

  • Op VidSTG bereikte het uiteindelijke RL-model een mtIoU van 31.35 en een mvIoU van 23.79, waarmee het alle baselines inclusief 397B en 1T parameter modellen overtreft.
  • Op HC-STVG bereikte het model een mtIoU van 60.04 en een mvIoU van 40.99, opnieuw superieur aan grotere algemene modellen.
  • De progressie van SFT naar RL liet zien dat hoewel SFT het formaat aanpast, RL de metriek-afstemming aanzienlijk verbetert. De gecombineerde $tIoU + mvIoU$ beloning convergeerde sneller en leverde betere resultaten op dan $mvIoU$ alleen.

• Algemeen Video-begrip:

  • Evaluatie op Video-MME-v2 liet zien dat het model verbeterde ten opzichte van de GLM-4.1V-Thinking baseline in zowel niet-lineaire redenering (12.6 vs. 9.4) als eenvoudige nauwkeurigheid (28.0 vs. 23.7), wat aangeeft dat de trainingspijplijn niet overfit is geraakt op lokalisatie ten koste van algemeen redeneren.

• Ablatie Studies:

  • FPS Sensitiviteit: Training op 1 FPS leverde de beste resultaten op, waarbij een balans werd gevonden tussen kosten en temporeel bewijs.
  • Reward Design: De combinatie van temporele en motion-aware beloningen was cruciaal; het gebruik van enkel motion-aware beloningen resulteerde in zwakkere vroege leersignalen.

5. Betekenis en Claims

Het artikel stelt dat de bottleneck in MLLM-gebaseerde STVG niet louter de model schaal is, maar de formulering van de taak en het ontwerp van het supervisiesignaal. Door semantische redenering te ontkoppelen van geometrische generatie en direct te optimaliseren voor taakmetrieken via RL, demonstreren de auteurs dat een kleiner, gespecialiseerd model een superieure prestatie kan leveren in lange-video gronding vergeleken met massieve algemene modellen.

De auteurs positioneren dit werk als een praktische oplossing voor het "ontbrekende puzzelstukje" in MLLM-gebaseerde STVG: het efficiënt afhandelen van lange video's terwijl stabiele temporele en spatiale gronding wordt geproduceerd. Ze merken op dat hoewel de methode effectief is, toekomstig werk deze redeneervaardigheden kan uitbreiden naar bredere taken zoals event parsing en interactieve video-agenten, of de aanpak kan aanpassen voor real-time en luidruchtige open-world omgevingen.