Technische Samenvatting: TraVEL – Trajectory-Guided Video Embedding Learning voor Driving-Video Retrieval

Probleemstelling

Efficiënt het ophalen van specifieke rijscenario's uit grootschalige logs van autonome voertuigen is cruciaal voor datacuratie, modelontwikkeling en veiligheidsanalyse. Hoewel gestructureerde, op regels gebaseerde retrieval-systemen specifieke gebeurtenissen kunnen targeten, vereisen ze door experts gedefinieerde regels, hulpgegevens (bijv. objectdetecties, kaarten) en meerfasige perceptie-pipelines, wat het kostbaar maakt om uit te breiden naar nieuwe domeinen. Daartegenover bieden multimodale embedding-modellen een eenvoudiger, efficiënter alternatief door video's te representeren als enkelvoudige doorzoekbare vectoren. Echter, algemene visuele taalmodellen (VLMs) falen vaak in het rijdomein omdat ze vertrouwen op statische scènecontext-shortcuts in plaats van op fijnmazige beweging. Ze hebben moeite met het onderscheiden van operationeel tegengestelde gebeurtenissen (bijv. accelereren versus decelereren, links afslaan versus rechts afslaan) wanneer de visuele achtergrond vergelijkbaar is.

Methodologie

De auteurs stellen TraVEL (Trajectory-Guided Video Embedding Learning) voor, een framework ontworpen om algemene multimodale embedding-modellen aan te passen aan driving-video retrieval door fysieke bewegingssignalen tijdens de training te integreren zonder dat deze nodig zijn tijdens de inferentie. De aanpak bestaat uit een tweefasige trainingspipeline:

1. Driving-Domain Supervised Fine-Tuning (SFT)

De auteurs pakken eerst het domeingap aan tussen algemene pretraining-data en driving-video's. Ze finetunen het Qwen3-VL-Embedding model met gepaarde driving-videoclips en reasoning-trace captions uit de nuReasoning dataset. Deze fase maakt gebruik van de Info-NCE doelstelling om tekst- en videorepresentaties uit te lijnen, wat de algehele retrieval-prestaties aanzienlijk verbetert. De auteurs merken echter op dat supervisie via captions alleen een spaars signaal biedt voor fijnmazige voertuigdynamiek, waardoor queries gericht op beweging (zoals specifieke acceleratieprofielen) uitdagend blijven.

2. Trajectory-Aware Group Relative Policy Optimization (GRPO)

Om de beperkingen van alleen op captions gebaseerde supervisie aan te pakken, introduceert TraVEL een reinforcement learning-fase met behulp van Group Relative Policy Optimization (GRPO).

• Privileged Supervision: Tijdens de training wordt elke videoclip gekoppeld aan een gesynchroniseerde ego-pose sequentie (laterale verplaatsing en snelheid). Deze poses zijn privileged informatie: ze worden uitsluitend gebruikt als beloningssignaal tijdens de training en worden niet als input aan het embedding-model gegeven of vereist tijdens de retrieval.
• Bewegingsrepresentatie: Ego-pose sequenties worden gehersampled en getransformeerd met behulp van een logaritmische warping-functie om veranderingen nabij nul te benadrukken (bijv. stoppen naar accelereren). De gelijkenis tussen bewegingssignalen wordt berekend met behulp van Dynamic Time Warping (DTW) om temporele misalignments op te vangen.
• Beloningsconstructie: Het trainingsproces construeert twee soorten kandidaatgroepen:
  • Text-to-Video ($G_{t2v}$): Bevat de ground-truth video en hard negatives. De beloning is binair (1 voor het correcte paar, 0 anders) om cross-modale uitlijning te behouden.
  • Video-to-Video ($G_{v2v}$): Bevat hoog scorende videokandidaten op basis van het huidige model. De beloning is een gegradeerde waarde afgeleid van de ego-trajectgelijkenis (DTW-afstand). Clips met vergelijkbare bewegingen ontvangen hogere beloningen.
• Optimalisatie: De GRPO-doelstelling werkt het model bij om het voordeel van correcte paren en bewegingsgelijke video's te maximaliseren, waardoor de embedding-ruimte effectief wordt hervormd om gevoelig te zijn voor voertuigbeweging, terwijl de efficiëntie van single-vector retrieval behouden blijft.

Belangrijkste Bijdragen

1. TraVEL Framework: Een eenvoudige, effectieve methode om algemene multimodale embedding-modellen aan te passen aan driving-video retrieval door fysieke bewegingssignalen te integreren in de trainingslus.
2. Motion-Aware Fine-Tuning: De introductie van een traject-afgeleide beloning binnen een GRPO-framework. Dit maakt video-embeddings gevoelig voor ego-beweging (longitudinaal en lateraal) zonder de inferentie-pipeline te wijzigen (geen behoefte aan ego-poses of hulp-perceptie tijdens retrieval).
3. Driving-Video Retrieval Benchmark: De constructie van een retrieval-benchmark afgeleid van de nuReasoning dataset, die specifiek motion-centric queries evalueert.

Experimentele Resultaten

De auteurs evalueerden TraVEL op de nuReasoning dataset met Qwen3-VL-Embedding modellen op 2B en 8B parameterschaal.

• Baseline Prestaties: Off-the-shelf modellen (inclusief CLIP4Clip, InternVideo2 en pre-trained Qwen3-VL) vertoonden een aanzienlijk domeingap, met R@1 scores over het algemeen onder de 2,5% en een mediane rang nabij willekeurige kans.
• Impact van SFT: Supervised fine-tuning op gepaarde clips verbeterde de retrieval aanzienlijk, maar bleef onvoldoende voor fijnmazige onderscheidingen in beweging.
• TraVEL Prestaties:
  • Instance-Level Retrieval: TraVEL verbeterde de recall substantieel. Bij 2B steeg R@1 van 1,3% (Pretrained) naar 8,7%, en de mediane rang daalde van 266 naar 23. Bij 8B bereikte R@1 10,1%, met een mediane rang van 17.
  • Motion-Centric Retrieval: TraVEL liet de meest significante winsten zien op motion-specifieke queries.
    • 2B Model: Longitudinale mAP verbeterde met 9,8 punten (van 45,9% met SFT naar 55,7% met TraVEL). Laterale mAP verbeterde met 4,7 punten (van 31,0% naar 35,7%).
    • 8B Model: Longitudinale mAP verbeterde met 7,2 punten (naar 57,5%), en laterale mAP met 1,5 punt (naar 39,9%).
  • Kwalitatieve Analyse: Visualisaties toonden aan dat TraVEL erin slaagde de gelijkenis tussen visueel vergelijkbare clips met verschillende bewegingen te verminderen (bijv. accelereren in een bocht naar links versus decelereren in een bocht naar rechts) en de gelijkenis tussen clips met dezelfde traject ondanks verschillende visuele contexten te vergroten (bijv. dag versus nacht).

Betekenis en Claims

Het artikel claimt dat TraVEL er succesvol in slaagt de kloof te overbruggen tussen de efficiëntie van single-vector embedding search en de noodzaak voor motion-sensitieve retrieval in autonoom rijden. Door het gebruik van ego-trajectgelijkenis als een privileged trainingssignaal, organiseert de methode de video-embeddingruimte volgens voertuigdynamiek zonder dat er complexe perceptie-pipelines of hulpgegevens nodig zijn tijdens de inferentie.

De auteurs benadrukken dat hoewel TraVEL duidelijke winsten oplevert op motion-centric queries (met name bij stoppen en draaien), uitdagingen blijven bestaan voor subtiele verschuivingen binnen de rijstrook. Zij positioneren TraVEL niet als een vervanging voor gestructureerde regelgebaseerde systemen, maar als een complementaire, efficiënte aanpak die gebruikmaakt van breed beschikbare fysieke bewegingssignalen om de representatiekracht van algemene multimodale modellen te versterken. Het werk suggereert dat het combineren van fysiek gefundeerde supervisie met embedding-gebaseerde search een levensvatbare weg is om downstream driving workflows zoals datacuratie en veiligheidsvalidatie te verbeteren.