Technische Samenvatting: DriveSafe

Probleemstelling

Uitgebreide situational awareness is cruciaal voor autonome voertuigen om risico's in veiligheidskritieke omgevingen te identificeren en te mitigeren. Hoewel Multimodale Grootte Taalmodellen (MLLM's) succes hebben bewezen in algemene visueel-taaltaken, stellen de auteurs vast dat zero-shot MLL's tekortschieten in fijnmazige, ruimtelijk verankerde risicobeoordeling voor het rijden. Specifiek hebben bestaande algemene modellen de neiging om generieke, beschrijvende bijschriften te genereren die geen potentieel gevaar identificeren of bruikbare veiligheidsrichtlijnen bieden. Bovendien richten eerdere domeinspecifieke benaderingen zich vaak op risicovoorspelling of trajectvoorspelling, maar verwaarlozen ze het genereren van expliciete, voor mensen begrijpelijke veiligheidsadviezen die noodzakelijk zijn voor praktische implementatie. Er is ook een gebrek aan datasets die kritieke objecten expliciet koppelen aan risicorelatieve gedragswoorden en veiligheidsadviezen.

Methodologie

De auteurs stellen DriveSafe voor, een raamwerk ontworpen voor risicobewuste scene-interpretatie dat gestructureerde natuurlijke taalbeschrijvingen benut in plaats van een massieve MLLM direct te fine-tunen op ruwe video. Het raamwerk werkt in twee hoofdfasen:

1. Bijschriftgeneratie met Multimodale Context

In plaats van uitsluitend te vertrouwen op visuele encoders, verrijkt DriveSafe de scene-interpretatie door specifieke contextuele aanwijzingen te integreren:

• Ruimtelijke Context ($S_t$): Afgeleid van segmentatiemaskers van weg en rijbaan om berijdbare gebieden af te bakenen.
• Bewegingscontext ($M_t$): Geëxtraheerd via optische flow om relatieve bewegingen van agenten (voertuigen, fietsers, voetgangers) te benadrukken.
• Diepteccontext ($D_t$): Berekend op objectniveau om ruimtelijke nabijheid tot het eigen voertuig te schatten.
• Videobeschrijving ($d_v$): Een hoog-niveau semantische samenvatting gegenereerd door een MLLM.

Deze modaliteiten worden gecombineerd tot een geünificeerde input ($X_v$) en via een gestructureerde prompt ingevoerd in een Grootte Taalmodel (LLM). Dit proces genereert een geometrie-bewust bijschrift ($C_v$) dat expliciet manoeuvres van het eigen voertuig, gedrag van omringende agenten, rijbaanposities en omkaderingskaders met diepte- en bewegingsaanwijzingen bevat.

2. Risicobeoordeling en Veiligheidsadvies

Het gegenereerde bijschrift ($C_v$) wordt door een LLM verwerkt om af te leiden:

• Een binaire risicolabel ($\hat{r}$: Ja/Nee).
• Een verfijnd risicobijschrift ($C_r$) dat het gevaar uitlegt.
• Risicorelatieve sleutelwoorden ($\hat{K}$) die het gedrag vastleggen.
• Omkaderingskaders ($\hat{b}$) voor het risicovol object.

Afleiding van Veiligheidsadvies: De geëxtraheerde sleutelwoorden worden via een op regels gebaseerde mapping-functie ($g(\cdot)$), afgeleid uit de DRAMA-dataset, gekoppeld aan negen vooraf gedefinieerde categorieën voor veiligheidsadviezen (bijv. "Vertragen", "Stoppen", "Voorrang verlenen").

Trainingsstrategie:

• Zero-Shot: Het raamwerk kan opereren zonder fine-tuning door de LLM direct te prompten.
• Adapter Fine-Tuning: Om de prestaties te verbeteren, maken de auteurs gebruik van een lichtgewicht adaptermodule (LLaMA-Adapter) die is getraind op tripletten van bijschrift-instructie-antwoord. Dit brengt de LLM in lijn met domeinspecifiek risicoredeneren zonder volledige video-pretraining. Het trainingsdoel minimaliseert de negatieve log-waarschijnlijkheid van de gestructureerde respons (risicolabel, bijschrift, sleutelwoorden en omkaderingskader).

Belangrijkste Bijdragen

1. DriveSafe-raamwerk: Een nieuw proces dat directe fine-tuning van MLLM's op video vermijdt. In plaats daarvan integreert het multimodale aanwijzingen (optische flow, segmentatie, diepte) met videobeschrijvingen om rij-specifieke bijschriften te produceren, die vervolgens door een LLM worden verwerkt voor risicovoorspelling en veiligheidsadviezen.
2. Dataset-extensie: De auteurs breiden de DRAMA-dataset uit door risicovol gedrag expliciet te koppelen aan kritieke objecten en annotaties voor veiligheidsadviezen in te voeren. Ze gebruiken een LLM voor automatische annotatie van de trainingsset, terwijl handmatige annotaties voor de testset worden gereserveerd om betrouwbaarheid te waarborgen.
3. Bruikbare Veiligheidsrichtlijnen: In tegenstelling tot eerdere werken die zich uitsluitend op detectie richten, genereert DriveSafe expliciet verankerde veiligheidsadviezen die gekoppeld zijn aan gedetecteerde gevaren.

Experimentele Resultaten

Experimenten werden uitgevoerd op de DRAMA-benchmark, waarbij DriveSafe werd vergeleken met bestaande risicobeoordelingsmodellen (LCP, VTS, HoP) en algemene MLLM's (Qwen2.5-VL, LLaVA-NeXT, VideoLLaMA3).

• Bijschriftgeneratie: DriveSafe-Finetuned presteerde aanzienlijk beter dan zowel zero-shot MLLM's als gespecialiseerde baselines. Zo behaalde het een BLEU-4-score van 60,38 vergeleken met ongeveer 56 voor HoP en <30 voor algemene VLM's.
• Verankering van Risicovolle Objecten: Het gefinetunteerde model behaalde een Acc@0.5 van 74,8 en een Mean IoU van 59,8, waarmee het ver voorbijging aan algemene VLM's die worstelden met lokalisatie (bijv. Qwen2.5-VL had 0,0 Acc@0.5). De auteurs merken op dat IoU alleen misleidend kan zijn voor zero-shot modellen, aangezien hoge IoU-scores kunnen voortkomen uit zeldzame juiste matches terwijl de meeste risico's worden gemist; DriveSafe behoudt gelijktijdig hoge nauwkeurigheid en IoU.
• Voorspelling van Veiligheidsadvies: DriveSafe-Finetuned behaalde 52,85% nauwkeurigheid en een gewogen F1-score van 37,15, meer dan het verdubbelen van de prestaties van zijn zero-shot tegenhanger (23,49% nauwkeurigheid) en aanzienlijk beter presterend dan alle baselines (die varieerden van 13–19% nauwkeurigheid).
• Kwalitatieve Analyse: Casestudies tonen aan dat DriveSafe-Finetuned hallucinaties en overdrijvingen die veel voorkomen bij zero-shot modellen reduceert, en verankerde interpretaties biedt (bijv. correct identificeren van een stilstaand voertuig versus een bewegend voertuig) en context-appropriete suggesties.

Betekenis en Claims

Het artikel stelt dat DriveSafe een kritieke kloof in autonoom rijden aanpakt door risicobegrip te verbinden met bruikbare veiligheidsrichtlijnen. Door risicobeoordeling te conditioneren op expliciete, op taal gebaseerde scene-representaties verrijkt met geometrische en bewegingsaanwijzingen, bereikt het raamwerk state-of-the-art prestaties in risicodetectie en generatie van veiligheidsadviezen.

De auteurs benadrukken dat hun aanpak transparantie biedt door geïdentificeerde risico's expliciet te koppelen aan specifieke veiligheidsaanbevelingen, wat essentieel is voor het opbouwen van vertrouwen in autonome systemen. Ze positioneren dit werk als een fundamentele stap, waarbij ze opmerken dat hoewel de huidige risicoveiligheidsmapping statisch is, het een nieuw raamwerk voor veiligheidskritiek redeneren vestigt. Het artikel concludeert dat domeinspecifieke adaptatie (via lichtgewicht adapters en multimodale context) noodzakelijk is om de beperkingen van algemene VLM's in veiligheidskritieke rijscenario's te overwinnen.