💬 NLP

DriveSafe: A Framework for Risk Detection and Safety Suggestions in Driving Scenarios

DriveSafe ist ein neuartiges Framework, das die Risikobewertung autonomer Fahrzeuge verbessert, indem es räumlich verankerte, multimodale Szenenbeschreibungen generiert, um einen leichten Adapter zu feinabstimmen, und dadurch auf dem DRAMA-Benchmark einen State-of-the-Art-Ergebnis bei der Identifizierung von Gefahren und der Bereitstellung von Sicherheitsempfehlungen erzielt.

Ursprüngliche Autoren: Sainithin Artham, Shankar Gangisetty, Avijit Dasgupta, C. V. Jawahar

Veröffentlicht 2026-05-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Sainithin Artham, Shankar Gangisetty, Avijit Dasgupta, C. V. Jawahar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen sehr intelligenten, gut gebildeten Roboter im Autofahren. Sie möchten, dass dieser Roboter nicht nur die Straße sieht, sondern auch versteht, warum eine Situation gefährlich sein könnte, und Ihnen genau sagt, was zu tun ist.

Diese Arbeit stellt ein neues System namens DriveSafe vor. Denken Sie daran als an einen „Sicherheitscoach" für autonome Fahrzeuge, der die Lücke zwischen dem bloßen „Sehen" der Straße und dem tatsächlichen „Verstehen" von Risiken schließt.

So funktioniert es, aufgeteilt in einfache Konzepte:

1. Das Problem: Der „Bücherwurm" vs. der „straßenkluge" Fahrer

Die Forscher stellten fest, dass aktuelle „Multimodale Große Sprachmodelle" (MLLMs) – die wie superintelligente Roboter sind, die Bilder sehen und Texte lesen können – bei allgemeinen Aufgaben hervorragend sind. Sie sind wie Bücherwürmer: Sie können ein Bild einer Straße perfekt beschreiben („Da ist ein rotes Auto und ein blauer Himmel").

Wenn es jedoch ums Fahren geht, haben diese Bücherwürmer Schwierigkeiten. Oft übersehen sie subtile Gefahren. Zum Beispiel sehen sie vielleicht einen Lastwagen, bemerken aber nicht, dass er sich verlangsamt und die Straße dadurch blockiert. Sie sind wie ein Passagier, der die Landschaft beschreiben kann, aber nicht weiß, wie man fährt oder eine Gefahr erkennt, bis es zu spät ist. Sie versagen auch darin, spezifische Ratschläge zu geben wie „Bremse jetzt ab", sondern sagen stattdessen nur: „Das Auto ist da."

2. Die Lösung: DriveSafes „Drei-Linsen-Brille"

Um dies zu beheben, entwickelten die Autoren DriveSafe. Anstatt dem Roboter nur ein Video zu geben, versehen sie ihn mit einem speziellen Satz von drei Linsen, durch die er blickt, bevor er zu sprechen versucht:

Die Bewegungs-Linse: Diese verfolgt, wie sich Dinge bewegen (wie optischer Fluss). Sie erkennt Geschwindigkeit und Richtung.
Die Tiefen-Linse: Diese misst, wie weit entfernt Dinge sind. Sie weiß, ob ein Fußgänger 3 Meter oder 30 Meter entfernt ist.
Die Raum-Linse: Diese kartiert die Fahrspuren und Grenzen. Sie weiß, wo der „befahrbare" Bereich liegt.

Durch die Kombination dieser drei Linsen mit einer allgemeinen Beschreibung der Szene erstellt das System eine super-detaillierte Geschichte (eine Bildunterschrift) darüber, was passiert. Es ist, als würde man dem Roboter gleichzeitig eine Karte, einen Tacho und einen Entfernungsanzeiger geben, anstatt nur ein Foto.

3. Der Zwei-Schritte-Prozess

DriveSafe arbeitet in zwei Hauptphasen:

Schritt A: Die Geschichte schreiben
Zuerst nimmt das System das Video und die „Drei-Linsen"-Daten, um eine sehr spezifische, fundierte Geschichte zu schreiben.

Schlechtes Beispiel (alte Modelle): „Ein Auto ist auf der Straße."
DriveSafe-Beispiel: „Ein gelber Lastwagen verlangsamt sich in der eigenen Spur, befindet sich 20 Meter voraus und blockiert den Weg."

Schritt B: Der Sicherheitscoach
Diese detaillierte Geschichte wird dann an ein großes Sprachmodell (das „Gehirn") weitergegeben. Da die Geschichte so präzise ist, kann das Gehirn nun wie ein Fahrschullehrer agieren:

Risiko erkennen: „Ja, das ist gefährlich."
Die Gefahr lokalisieren: „Der gelbe Lastwagen ist das Problem."
Ratschlag geben: „Bremse ab."

4. Den Coach trainieren (Feinabstimmung)

Die Forscher stellten fest, dass selbst mit der „Drei-Linsen"-Geschichte das Gehirn noch Übung brauchte. Also forderten sie den Roboter nicht einfach auf zu raten, sondern lehrten ihn mithilfe eines leichtgewichtigen Adapters.

Stellen Sie sich dies als ein spezialisiertes Trainingshandbuch vor. Sie zeigten dem Roboter Tausende von Beispielen, bei denen eine bestimmte Art von Gefahr (wie ein „verlangsamender Lastwagen") immer zu einer bestimmten Aktion („Bremse ab") führt. Dieses Training half dem Roboter, das Raten einzustellen und zuverlässige, umsetzbare Ratschläge zu geben.

5. Die Ergebnisse: Von „Vielleicht" zu „Definitiv"

Das Team testete DriveSafe auf einem Datensatz namens DRAMA (eine Sammlung von Fahrvideos mit Sicherheitskennzeichnungen).

Allgemeine KI-Modelle: Wenn sie gebeten wurden, Risiken zu erkennen und Ratschläge zu geben, lagen sie oft falsch oder waren vage (mit einer Genauigkeit von etwa 13–19 %). Sie waren wie ein Tourist, der versucht, in einem fremden Land ohne Karte zu fahren.
DriveSafe (Zero-Shot): Selbst ohne das spezielle Trainingshandbuch, nur mit den „Drei-Linsen"-Geschichten, schnitt DriveSafe besser ab als die allgemeinen Modelle (etwa 23 % Genauigkeit).
DriveSafe (Trainiert): Nach der Verwendung des Trainingshandbuchs stieg DriveSafe auf 52,85 % Genauigkeit an. Es wurde signifikant besser darin, die genaue Gefahr zu erkennen und den richtigen Ratschlag zu geben, und übertraf alle anderen getesteten Methoden deutlich.

Das Fazit

Die Arbeit behauptet, dass DriveSafe ein neues Framework ist, das autonome Fahrzeuge sicherer macht durch:

Die Nutzung zusätzlicher Daten (Bewegung, Tiefe, Raum), um bessere Beschreibungen der Straße zu erstellen.
Die Nutzung dieser Beschreibungen, um die KI darin zu trainieren, Risiken zu erkennen und spezifische Sicherheitsratschläge zu geben (wie „Stoppen" oder „Bremse ab").
Den Nachweis, dass diese Methode viel besser funktioniert als die Verwendung allgemeiner KI-Modelle, die nicht speziell für Fahrrisiken trainiert wurden.

Kurz gesagt: DriveSafe verwandelt einen Roboter, der einen Stau beschreiben kann, in einen Roboter, der ihn sicher bewältigen kann.

Technische Zusammenfassung: DriveSafe

Problemstellung

Eine umfassende Situationswahrnehmung ist für autonome Fahrzeuge entscheidend, um Risiken in sicherheitskritischen Umgebungen zu identifizieren und zu mindern. Während Multimodale Large Language Models (MLLMs) in allgemeinen Vision-Sprach-Aufgaben Erfolge gezeigt haben, stellen die Autoren fest, dass Zero-Shot-MLLMs bei feinabgestimmten, räumlich verankerten Risikobewertungen für das Fahren unterperformen. Insbesondere neigen bestehende allgemeingültige Modelle dazu, generische, beschreibende Bildunterschriften zu erzeugen, die potenzielle Gefahren nicht erkennen oder handlungsorientierte Sicherheitshinweise liefern. Darüber hinaus konzentrieren sich frühere domänenspezifische Ansätze oft auf Risikovorhersage oder Trajektorienprognose, vernachlässigen jedoch die Generierung expliziter, für Menschen verständlicher Sicherheitsempfehlungen, die für den praktischen Einsatz notwendig sind. Es fehlt zudem an Datensätzen, die kritische Objekte explizit mit verhaltensbezogenen Schlüsselwörtern im Zusammenhang mit Risiken und Sicherheitsempfehlungen verknüpfen.

Methodik

Die Autoren schlagen DriveSafe vor, ein Framework für risikobewusstes Szenenverständnis, das strukturierte natürliche Sprachbeschreibungen nutzt, anstatt ein massives MLLM direkt auf Rohvideo zu feinabstimmen. Das Framework arbeitet in zwei Hauptphasen:

1. Bildunterschrift-Generierung mit multimodalem Kontext

Anstatt sich ausschließlich auf visuelle Encoder zu verlassen, erweitert DriveSafe das Szenenverständnis durch die Integration spezifischer Kontextinformationen:

Räumlicher Kontext ( $S_t$ ): Abgeleitet aus Segmentierungsmasken für Straße und Fahrspur zur Abgrenzung befahrbarer Bereiche.
Bewegungskontext ( $M_t$ ): Extrahiert mittels optischem Fluss, um relative Bewegungen von Akteuren (Fahrzeuge, Radfahrer, Fußgänger) hervorzuheben.
Tiefenkontext ( $D_t$ ): Auf Objektebene berechnet, um die räumliche Nähe zum Ego-Fahrzeug zu schätzen.
Videobeschreibung ( $d_v$ ): Eine hochrangige semantische Zusammenfassung, die von einem MLLM generiert wird.

Diese Modalitäten werden zu einer einheitlichen Eingabe ( $X_v$ ) kombiniert und über einen strukturierten Prompt in ein Large Language Model (LLM) eingespeist. Dieser Prozess generiert eine geometrieaware Bildunterschrift ( $C_v$ ), die explizit Manöver des Ego-Fahrzeugs, Verhaltensweisen umgebender Akteure, Fahrspurpositionen sowie Begrenzungsrahmen mit Tiefen- und Bewegungshinweisen enthält.

2. Risikobewertung und Sicherheitsempfehlung

Die generierte Bildunterschrift ( $C_v$ ) wird von einem LLM verarbeitet, um Folgendes abzuleiten:

Eine binäre Risikokennzeichnung ( $\hat{r}$ : Ja/Nein).
Eine verfeinerte Risikobildunterschrift ( $C_r$ ), die die Gefahr erklärt.
Risikorelevante Schlüsselwörter ( $\hat{K}$ ), die das Verhalten erfassen.
Begrenzungsrahmen ( $\hat{b}$ ) für das riskante Objekt.

Ableitung von Sicherheitsempfehlungen: Die extrahierten Schlüsselwörter werden mithilfe einer regelbasierten Abbildungsfunktion ( $g(\cdot)$ ), die aus dem DRAMA-Datensatz abgeleitet ist, auf neun vordefinierte Kategorien von Sicherheitsempfehlungen (z. B. „Verlangsamen", „Anhalten", „Vorfahrt gewähren") abgebildet.

Trainingsstrategie:

Zero-Shot: Das Framework kann ohne Feinabstimmung arbeiten, indem es das LLM direkt promptet.
Adapter-Feinabstimmung: Zur Leistungsverbesserung setzen die Autoren ein leichtgewichtiges Adapter-Modul (LLaMA-Adapter) ein, das auf Triplets aus Bildunterschrift, Anweisung und Antwort trainiert wird. Dies bringt das LLM mit domänenspezifischer Risikobegründung in Einklang, ohne ein vollständiges Video-Pre-Training zu erfordern. Das Trainingsziel minimiert die negative Log-Likelihood der strukturierten Antwort (Risikokennzeichnung, Bildunterschrift, Schlüsselwörter und Begrenzungsrahmen).

Hauptbeiträge

DriveSafe-Framework: Eine neuartige Pipeline, die eine direkte Feinabstimmung von MLLMs auf Video vermeidet. Stattdessen integriert sie multimodale Hinweise (optischer Fluss, Segmentierung, Tiefe) mit Videobeschreibungen, um fahrspezifische Bildunterschriften zu erzeugen, die anschließend von einem LLM zur Risikovorhersage und Generierung von Sicherheitsempfehlungen verarbeitet werden.
Erweiterung des Datensatzes: Die Autoren erweitern den DRAMA-Datensatz, indem sie riskantes Verhalten explizit mit kritischen Objekten verknüpfen und Annotationen für Sicherheitsempfehlungen einführen. Sie nutzen ein LLM zur automatischen Annotation des Trainingssets, während manuelle Annotationen für das Testset vorbehalten bleiben, um die Zuverlässigkeit zu gewährleisten.
Handlungsorientierte Sicherheitshinweise: Im Gegensatz zu früheren Arbeiten, die sich ausschließlich auf die Detektion konzentrieren, generiert DriveSafe explizit verankerte Sicherheitsempfehlungen, die mit erkannten Gefahren verknüpft sind.

Experimentelle Ergebnisse

Die Experimente wurden auf dem DRAMA-Benchmark durchgeführt, wobei DriveSafe mit bestehenden Risikobewertungsmodellen (LCP, VTS, HoP) und allgemeingültigen MLLMs (Qwen2.5-VL, LLaVA-NeXT, VideoLLaMA3) verglichen wurde.

Bildunterschrift-Generierung: DriveSafe-Finetuned schnitt sowohl bei Zero-Shot-MLLMs als auch bei spezialisierten Baselines signifikant besser ab. So erreichte es beispielsweise einen BLEU-4-Score von 60,38 im Vergleich zu ca. 56 für HoP und <30 für allgemeine VLMs.
Verankung riskanter Objekte: Das feinabgestimmte Modell erreichte eine Acc@0,5 von 74,8 und einen Mean-IoU von 59,8 und übertraf damit allgemeine VLMs, die bei der Lokalisierung Schwierigkeiten hatten (z. B. hatte Qwen2.5-VL eine Acc@0,5 von 0,0). Die Autoren weisen darauf hin, dass der IoU allein für Zero-Shot-Modelle irreführend sein kann, da hohe IoU-Werte aus seltenen korrekten Übereinstimmungen resultieren können, während die meisten Risiken übersehen werden; DriveSafe erzielt gleichzeitig hohe Genauigkeit und IoU.
Vorhersage von Sicherheitsempfehlungen: DriveSafe-Finetuned erreichte eine Genauigkeit von 52,85 % und einen gewichteten F1-Score von 37,15, was mehr als eine Verdopplung der Leistung seiner Zero-Shot-Entsprechung (23,49 % Genauigkeit) darstellt und alle Baselines (mit Genauigkeiten zwischen 13 und 19 %) deutlich übertrifft.
Qualitative Analyse: Fallstudien zeigen, dass DriveSafe-Finetuned Halluzinationen und Übertreibungen, die bei Zero-Shot-Modellen üblich sind, reduziert und verankerte Interpretationen liefert (z. B. korrekte Unterscheidung zwischen einem stehenden und einem fahrenden Fahrzeug) sowie kontextangemessene Empfehlungen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass DriveSafe eine kritische Lücke im autonomen Fahren schließt, indem es das Risikoverständnis mit handlungsorientierten Sicherheitsempfehlungen verbindet. Indem die Risikobewertung auf expliziten, sprachbasierten Szenendarstellungen basiert, die um geometrische und Bewegungshinweise erweitert sind, erreicht das Framework State-of-the-Art-Leistung bei der Risikoerkennung und der Generierung von Sicherheitsempfehlungen.

Die Autoren betonen, dass ihr Ansatz Transparenz bietet, indem er erkannte Risiken explizit mit spezifischen Sicherheitsempfehlungen verknüpft, was für den Aufbau von Vertrauen in autonome Systeme unerlässlich ist. Sie positionieren diese Arbeit als grundlegenden Schritt und stellen fest, dass die aktuelle Abbildung von Risiko zu Sicherheit zwar statisch ist, aber ein neuartiges Framework für sicherheitskritisches Schlussfolgern etabliert. Die Arbeit kommt zu dem Schluss, dass eine domänenspezifische Anpassung (durch leichtgewichtige Adapter und multimodalen Kontext) notwendig ist, um die Grenzen allgemeingültiger VLMs in sicherheitskritischen Fahrszenarien zu überwinden.