Technische Samenvatting: Het decoderen van de intentie van voetgangers bij oversteken via egocentrische visie met behulp van Vision Language Models

Probleemdefinitie

Dit werk behandelt de uitdaging van het voorspellen van de intentie van voetgangers om over te steken (specifiek of een voetganger zal "oversteken" of "wachten") met behulp van egocentrische visie (eerste-persoonsperspectief). In tegenstelling tot traditionele exocentrische benaderingen die vertrouwen op voertuiggemonteerde of surveillancecamera's, richt deze studie zich op het decoderen van intentie vanuit korte (2 seconden) monoculaire videoclips die zijn vastgelegd vanuit het perspectief van de voetganger. Het doel is om de actie van de voetganger te voorspellen binnen een horizon van 1 seconde in de toekomst.

De auteurs herformuleren deze voorspellingsopgave als een gesloten Visual Question Answering (VQA) probleem. Het model ontvangt een egocentrische videoclip ($V$), optionele contextuele informatie ($C$) en een specifieke query ($Q$), en moet de juiste intentie selecteren uit de vooraf gedefinieerde verzameling $\{cross, yield\}$.

Methodologie

1. Modelselectie en Baselines

De studie evalueert twee families van Vision-Language Models (VLMs):

• Multimodale Large Language Models (MLLMs): Specifiek de Qwen3-VL familie (2B en 8B varianten) en Qwen2.5-VL-7B, evenals InternVL3 modellen. Deze zijn gekozen vanwege hun brede wereldkennis en algemene redeneervermogens.
• Video-Language Pretraining (VLP) Modellen: Specifiek GroundVQA, dat is voorgetraind op egocentrische video-tekstdata maar vaak wordt gedomineerd door binnenactiviteiten.
• Baselines: Een gespecialiseerde CLIP+Transformer baseline (video-only deep learning) dient als de primaire prestatiebenchmark, naast willekeurige gokken en voorspelling op basis van de meerderheidsklasse.

2. Prompting Strategieën (Zero-Shot Evaluatie)

Voordat er wordt gefinetuned, testen de auteurs drie prompting strategieën om de inherente redeneercapaciteiten van de modellen te beoordelen:

• Standaard Prompting: Een directe vraag om de meest waarschijnlijke actie.
• Text Chain-of-Thought (CoT): Het aanmoedigen van het model om tussenliggende redeneringsstappen te genereren (bijv. het analyseren van visuele elementen, risico en logica) voordat het antwoord geeft.
• Visual Prompting: Het aanvullen van video-inputs met "set-of-marks" overlays (bounding boxes en ID's) gegenereerd door een detector (GroundingDINO) om relevante objecten zoals voertuigen en oversteekdoelen te benadrukken.

3. Integratie van Contextuele Informatie

Naast de video integreert de studie aanvullende modaliteiten om het redeneren te verbeteren:

• Ego Motion: De positie en snelheid van de voetganger.
• Vehicle Motion: De positie en snelheid van het autonome voertuig.
• Eye Gaze: Vertegenwoordigd als ofwel tekstuele beschrijvingen (richting in graden) of visuele overlays (rode stippen op fixatiepunten).
• Persoonlijke Attributen: Demografische gegevens (bijv. leeftijd, geslacht, handigheid) opgenomen in de prompt.

De auteurs onderzoeken twee integratiestrategieën voor tijdvariërende context: Preface (het toevoegen van context aan het begin van de prompt) en Interleaved (het invoegen van context naast specifieke videoframes).

4. Fine-Tuning Strategie

Om de voorgetrainde modellen aan te passen aan het verkeersdomein, gebruiken de auteurs Supervised Fine-Tuning (SFT) met behulp van Low-Rank Adaptation (LoRA). Deze aanpak bevriest de originele modelparameters en traint alleen low-rank updates in geselecteerde lagen. Ze experimenteren met het tunen van:

• Alleen de taalencoders.
• Alleen de cross-modale fusiemodules.
• Zowel de taalcomponenten als de cross-modale componenten gezamenlijk.
  De vision encoder blijft bevroren om de rol als feature extractor te behouden.

Belangrijkste Resultaten

Zero-Shot Prestaties

• Beperkt Redeneren: State-of-the-art VLMs bereiken in een zero-shot setting slechts matige winst ten opzichte van willekeurig gokken (bijv. Qwen2.5-VL-7B bereikt ~63% nauwkeurigheid) maar slagen er niet in om de gespecialiseerde CLIP+Transformer baseline (72,7% nauwkeurigheid) te overtreffen.
• Beperkingen van Prompting: Text CoT prompting verbeterde de prestaties niet en verhoogde de inferentie-latentie aanzienlijk. In sommige gevallen verslechterde het de prestaties doordat modellen standaard naar "yield" neigden. Visual prompting (set-of-marks) leverde ook geen meetbare verbeteringen op, waarschijnlijk door detectie-inconsistenties en de specifieke aard van de VR-omgeving.
• Input Sensitiviteit: Grotere modellen (bijv. Qwen3-VL-8B) presteerden slechter bij een verhoogde frame-sampling (van 4 naar 32 frames), wat wijst op gevoeligheid voor redundante inputs, terwijl kleinere modellen (Qwen3-VL-2B) juist profiteerden van meer frames.

Gefinetunede Prestaties

• Significante Winsten: Parameter-efficiënte fine-tuning verbeterde de prestaties aanzienlijk. De gefinetunede Qwen3-VL-2B behaalde 77,7% nauwkeurigheid, en de gefinetunede VLP (GroundVQA) behaalde 78,9% nauwkeurigheid.
• State-of-the-Art: Deze resultaten vertegenwoordigen een verbetering van 9% in nauwkeurigheid ten opzichte van de gespecialiseerde CLIP+Transformer baseline.
• Architecturale Aanpassing: Voor Qwen-modellen was het tunen van enkel de cross-modale modules voldoende. Voor VLP-modellen leverde het tunen van zowel de taal- als de cross-modale componenten de beste resultaten op.

Impact van Contextuele Aanwijzingen

• Zero-Shot: Het toevoegen van context (bijv. ego motion, gaze) verbeterde over het algemeen de zero-shot prestaties, waarbij ego motion de meest informatieve enkele cue was. Echter, het combineren van cues zonder fine-tuning leidde soms tot hallucinaties of verslechterde prestaties.
• Gefinetuned: Wanneer gefinetuned, leerden de modellen effectief gebruik te maken van context. De combinatie van ego motion en eye gaze (specifiek gaze-on-screen) bood de beste generalisatie, met een nauwkeurigheidsverbetering van 14,5% ten opzichte van de transformer baseline.
• Context Formattering: De Preface strategie (het toevoegen van context aan het begin) presteerde consequent beter dan de Interleaved strategie, wat suggereert dat globale conditionering op context effectiever is dan frame-voor-frame interleaving voor deze taak.

Betekenis en Claims

Het artikel claimt een nieuwe state-of-the-art te hebben gevestigd voor egocentrische voetgangersintentie-decodering. De belangrijkste bijdragen zijn:

1. Haalbaarheid van VLMs: Het aantonen dat hoewel off-the-shelf VLMs niet-triviale zero-shot capaciteiten bezitten voor verkeersredenering, ze domeinadaptatie (fine-tuning) vereisen om gespecialiseerde deep learning baselines te evenaren of te overtreffen.
2. Effectiviteit van Fine-Tuning: Het aantonen dat parameter-efficiënte fine-tuning (LoRA) een zeer effectieve strategie is om algemene VLMs aan te passen aan veiligheidskritische verkeerstaken, waarbij ze modellen overtreffen die enkel op video zijn getraind.
3. Waarde van Multimodale Context: Het vaststellen dat het opnemen van eye gaze en ego motion de voorspellende nauwkeurigheid en generalisatie aanzienlijk verbetert, vooral wanneer het model getraind is om deze signalen te interpreteren.
4. Methodologische Inzichten: Het leveren van bewijs dat tekstgebaseerde CoT prompting en visuele overlays mogelijk niet gunstig zijn voor deze specifieere taak, terwijl gestructureerde contextintegratie (via preface) en fine-tuning cruciaal zijn.

De auteurs merken beperkingen op, waaronder het gebruik van een VR-gebaseerde dataset die mogelijk niet alle real-world complexiteiten vangt, en de afhankelijkheid van uniform gesamplede frames. Ze suggereren dat toekomstig werk zich moet richten op verkeersspecifieke pretraining, adaptieve temporele sampling en evaluatie op real-world data met zeldzame gebeurtenissen.