⚡ electrical engineering

VLM-VPI: A Vision-Language Reasoning Framework for Improving Automated Vehicle-Pedestrian Interactions

VLM-VPI is een nieuw multimodaal raamwerk voor autonoom rijden dat visuele en taalgebaseerde redenering combineert met demografische context om de intentie van voetgangers nauwkeuriger te begrijpen en de veiligheid en efficiëntie van voertuiginteracties te verbeteren.

Oorspronkelijke auteurs: Qingwen Pu, Kun Xie, Yuxiang Liu

Gepubliceerd 2026-04-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Qingwen Pu, Kun Xie, Yuxiang Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je in een zelfrijdende auto zit. De auto ziet een voetganger bij een zebrapad staan. De meeste huidige zelfrijdende auto's werken als een soort strenge rekenmachine: ze kijken alleen naar afstand en snelheid. "Is de persoon nog 5 meter weg? Ja? Dan moet ik remmen!"

Maar mensen zijn geen rekenmachines. Wij gebruiken onze ogen, onze intuïtie en onze sociale kennis. We zien of iemand naar de auto kijkt, of een kind onrustig heen en weer springt, of een oudere dame langzaam en voorzichtig de weg op stapt.

Dit wetenschappelijke onderzoek introduceert VLM-VPI, een systeem dat de zelfrijdende auto een soort "sociaal brein" geeft.

Hier is de uitleg in begrijpelijke taal:

1. Van een rekenmachine naar een sociale waarnemer

De huidige auto's zijn als een bestuurder die alleen naar de snelheidsmeter en de afstand tot de voorganger kijkt, maar met een blinddoek op de rest van de wereld. Ze begrijpen de intentie niet. Als een voetganger even stilstaat om zijn veters te strikken, denkt de auto misschien dat hij gaat oversteken en remt hij plotseling hard (wat irritant is voor het verkeer). Of erger: de auto ziet niet dat een kind plotseling de weg op rent omdat het de auto niet heeft opgemerkt.

Het nieuwe systeem werkt met een "Vision-Language Model". Zie dit als een combinatie van een super-oog (dat niet alleen ziet dat er iets is, maar ook wat het is) en een slimme vertaler (die de beelden omzet in een verhaal). In plaats van alleen cijfers te zien, "leest" de auto de scène: "Ik zie een kind dat onrustig kijkt, hij lijkt niet op de auto te letten."

2. De "Grootouders-test" (Demografische aanpassing)

Dit is een van de slimste onderdelen van het onderzoek. De onderzoekers beseften dat een "one-size-fits-all" aanpak gevaarlijk is.

Stel je voor dat je een beveiligingssysteem hebt voor een school. Je wilt niet dat de deur bij elke zucht van een leerling opengaat (te gevoelig), maar je wilt ook niet dat de deur dicht blijft als een leraar met zware boeken aankomt (te traag).

Het systeem in de auto past zich aan op basis van wie er oversteekt:

Kinderen: De auto weet dat kinderen onvoorspelbaar zijn, als een springende kangoeroe. Daarom houdt de auto extra veel afstand en remt hij eerder.
Volwassenen: De auto gaat uit van een normaal, voorspelbaar tempo.
Ouderen: De auto begrijpt dat zij misschien langzamer lopen en geeft hen meer tijd en ruimte.

Het is alsof de auto een empathische chauffeur wordt die weet dat je een kind anders behandelt dan een marathonloper.

3. Hoe werkt het in de praktijk? (De drie stappen)

Het systeem werkt als een klein team in de auto:

De Waarnemer (De ogen): Maakt een foto en ziet: "Er staat een oudere persoon bij het zebrapad."
De Denker (Het brein): Krijgt de foto en de snelheid door. Hij vergelijkt dit met "voorbeelden" uit het echt (een soort digitale ervaringen) en redeneert: "De persoon kijkt naar de auto en wacht geduldig. De intentie is: wachten (yielding)."
De Bestuurder (De voeten): Krijgt het commando: "Het is veilig, je kunt rustig doorrijden," of "Pas op, dit kind rent de weg op, rem nu hard!"

4. Wat hebben ze bewezen?

De onderzoekers hebben dit getest in een hyperrealistische simulatie (CARLA) en met echte beelden. De resultaten waren indrukwekkend:

Minder paniekremmen: De auto remt veel minder vaak onnodig, waardoor de verkeersstroom soepeler blijft.
Veiliger voor kwetsbaren: Het aantal bijna-ongelukken met kinderen en ouderen daalde enorm (met meer dan 50%!).
Slimmer redeneren: De auto begrijpt nu situaties die voorheen "onmogelijk" waren, zoals voetgangers die twijfelen of ze wel of niet gaan oversteken.

Samenvatting

In plaats van een auto die alleen maar reageert op beweging, bouwen deze wetenschappers een auto die de wereld begrijpt. Het is het verschil tussen een robot die alleen maar tegen een muur botst als hij hem raakt, en een mens die ziet dat de muur er staat en er netjes omheen loopt.

Technische Samenvatting: VLM-VPI

1. Probleemstelling (The Problem)

Huidige systemen voor autonoom rijden (AV's) baseren hun besluitvorming bij interacties met voetgangers voornamelijk op geometrische en kinematische gegevens (zoals positie, snelheid en afstand). Dit leidt tot twee fundamentele problemen:

Gebrek aan semantisch begrip: AV's kunnen de intentie van een voetganger (bijv. gaat iemand oversteken of wacht hij/zij?) moeilijk inschatten voordat er fysieke beweging plaatsvindt. Dit resulteert in ofwel gevaarlijke vertragingen in noodremsystemen, ofwel onnodig remmen (false alarms) dat de verkeersdoorstroming verstoort.
Demografische blindheid: Bestaande systemen passen uniforme veiligheidsmarges toe op alle voetgangers. Ze houden geen rekening met het feit dat kinderen onvoorspelbaarder zijn en ouderen vaak een lagere mobiliteit en tragere reactietijden hebben, wat specifieke risicoprofielen vereist.

2. Methodologie (Methodology)

De auteurs introduceren VLM-VPI, een multimodal reasoning framework dat een brug slaat tussen perceptie en controle via een semantische laag. Het systeem bestaat uit drie kerncomponenten:

Multimodale Perceptielaag: Deze laag verzamelt visuele data (RGB-beelden via een camera) en kinematische data (trajecten van het voertuig en de voetganger) uit de CARLA-simulatieomgeving.
Reasoning Layer (Redeneerlaag): Dit is het hart van het systeem en maakt gebruik van Large Language Models (LLM's):
- Qwen3-VL 8B: Een vision-language model dat beelden omzet in gestructureerde tekstuele beschrijvingen (bijv. houding, blikrichting, leeftijdscategorie).
- GPT-OSS 20B: Een reasoning model dat de tekstuele beschrijving combineert met de kinematische JSON-logs. Het maakt gebruik van few-shot learning met zes real-world exemplaren (uit de PIE-dataset) om de intentie (yielding vs. non-yielding) en de demografische categorie (kind, volwassene, senior) te bepalen.
Tiered Safety Control Module: Een adaptieve controller die de beslissingen vertaalt naar voertuigacties. In plaats van een uniforme remstrategie gebruikt dit systeem demografisch-adaptieve remmarges ( $\alpha_{demo}$ ). Voor kinderen en ouderen worden de veiligheidszones en remdrempels vergroot om de hogere onzekerheid en lagere mobiliteit op te vangen.

3. Belangrijkste Bijdragen (Key Contributions)

Paradigmaverschuiving: De verschuiving van puur geometrische voorspelling naar semantisch redeneren in de sociale ruimte.
Few-shot Learning voor Veiligheid: Het aantonen dat het gebruik van een kleine set real-world gedragsexemplaren effectiever is voor intentie-herkenning dan grote hoeveelheden gesimuleerde data.
Demografisch-adaptieve Controle: De implementatie van een controleframework dat rekening houdt met de specifieke kwetsbaarheid van verschillende leeftijdsgroepen.
Interpreteerbaarheid: Door de output van de LLM's in natuurlijke taal te formuleren (visuele analyse, kinematische analyse, besluit en reden), wordt het besluitvormingsproces van de AV transparant en verifieerbaar.

4. Resultaten (Results)

De evaluatie vond plaats in CARLA-simulaties en op de real-world PIE-dataset:

Intentie-classificatie: VLM-VPI behaalde een nauwkeurigheid van 92,3%, wat aanzienlijk hoger is dan de rule-based baseline (78,4%) en supervised learning modellen zoals LSTM (79,4%) of CAPformer (82,4%).
Veiligheid (Conflictreductie): Het gebruik van demografisch-adaptieve controle verminderde het aantal conflicten met 60% voor kinderen en 54,5% voor ouderen vergeleken met uniforme controle. De gemiddelde Time-to-Collision (TTC) verbeterde aanzienlijk.
Efficiëntie: Het aantal "false alarms" (onnodig remmen) daalde van 7,4% naar 2,8%. De gemiddelde tijd om een kruispunt te passeren verbeterde van 13,5 s naar 11,8 s.
Sim-to-Real Transfer: Op de real-world PIE-dataset behaalde het systeem een nauwkeurigheid van 87,5%, wat de praktische toepasbaarheid bevestigt.

5. Betekenis (Significance)

Dit onderzoek is cruciaal voor de volgende generatie autonome voertuigen. Het bewijst dat het integreren van Vision-Language Models niet alleen de veiligheid verhoogt door proactief te reageren op menselijk gedrag, maar ook de efficiëntie van het verkeer verbetert door onnodige interventies te minimaliseren. Bovendien biedt de focus op demografische variabiliteit een ethische en praktische oplossing voor het beschermen van de meest kwetsbare weggebruikers, wat essentieel is voor de maatschappelijke acceptatie en regelgeving van zelfrijdende auto's.