🤖 AI

Responsibility Distribution Estimation in Ego-View Accident Videos with Multimodal Large Language Models

Dieses Paper führt die neuartige Aufgabe der Schätzung der Verantwortungsverteilung in Ego-Perspektiv-Verkehrsunfallvideos ein und zeigt auf, dass feinabgestimmte multimodale große Sprachmodelle durch die Nutzung der direkten visuellen Perspektive des Fahrers effektiv prozentuale Anteile der Verantwortung der Akteure vorhersagen können.

Ursprüngliche Autoren: Ryosei Tamura, Andrew Shin

Veröffentlicht 2026-07-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ryosei Tamura, Andrew Shin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen herauszufinden, wer die Schuld an einem Autounfall trägt. Normalerweise betrachten Polizei oder Versicherungen die Szene aus einer „Vogelperspektive“ – wie eine Überwachungskamera an einer Straßenecke oder ein Satellitenfoto. Sie sehen das Gesamtbild, aber sie können nicht genau sehen, was der Fahrer im Auto unmittelbar vor dem Aufprall gesehen hat.

Dieses Paper stellt eine neue Art vor, Unfälle zu betrachten: vom Fahrersitz aus.

Hier ist eine einfache Aufschlüsselung dessen, was die Forscher getan haben, unter Verwendung einiger alltäglicher Analogien:

1. Das Problem: Der „Blinde Fleck der Vogelperspektive“

Den herkömmlichen Unfallanalysen gleicht es, als würde man ein Theaterstück von der Rückbank des Theaters aus beobachten. Man sieht die Schauspieler (Autos und Fußgänger) und die Bühne, aber man weiß nicht, was der Hauptcharakter (der Fahrer) durch seine spezifische Brille gesehen hat.

Das Problem: Überwachungskameras sind teuer in der Installation, und sie können nicht sagen, ob der Fahrer tatsächlich Zeit hatte zu reagieren oder ob etwas plötzlich in seinem Sichtfeld auftauchte.
Die Lösung: Die Forscher verwendeten „Ego-View“-Videos. Dies ist Bildmaterial, das von einer Dashcam im Auto aufgenommen wurde. Es ist, als würde man eine Kamera auf die Stirn des Fahrers setzen. Es zeigt genau das, was der Fahrer sah, was es viel fairer macht, zu beurteilen, ob er den Unfall hätte vermeiden können.

2. Das neue Spiel: Den Kuchen aufteilen, statt einen Gewinner zu küren

In den meisten Unfallstudien ist das Ziel zu sagen: „Der Fußgänger ist zu 100 % im Unrecht“ oder „Das Auto ist zu 100 % im Unrecht“.

Die neue Aufgabe: Die Forscher entwickelten ein Spiel namens „Responsibility Distribution“ (Verteilung der Verantwortung). Anstatt einen Gewinner zu wählen, muss das Modell einen 100-prozentigen Kuchen aufteilen.
Beispiel: Vielleicht ist der Fußgänger zu schnell auf die Straße gelaufen (60 % Schuld), aber der Fahrer hat auch telefoniert und nicht hart genug gebremst (40 % Schuld). Das Ziel ist es, die KI darauf zu trainieren, diesen Kuchen korrekt zu schneiden.

3. Wie sie die KI trainiert haben (Der „Lehrer“ und der „Schüler“)

Sie haben keine menschlichen Anwälte genutzt, um tausende Videos zu beschriften (das würde ewig dau{%_}er). Stattdessen verwendeten sie einen cleveren zweistufigen Prozess:

Schritt 1 (Der Lehrer): Sie verwendeten eine sehr intelligente KI (ein Large Language Model), die die Dashcam-Videos beobachtete und eine „beste Schätzung“ dafür aufschrieb, wie man den Schuld-Kuchen aufteilt. Sie stellten sicher, dass die Zahlen immer 100 % ergaben.
Schritt 2 (Der Schüler): Sie nahmen ein anderes KI-Modell (Qwen3-VL) und „feinabstimmten“ es mithilfe der Notizen des Lehrers. Denken Sie an einen Schüler, der den Lösungsschlüssel eines Lehrers studiert, um zu lernen, wie man eine Prüfung bewertet.

4. Das Experiment: Was musste die KI sehen?

Sie testeten die KI auf drei verschiedene Arten, um zu sehen, welche Informationen am wichtigsten waren:

Die Augen (Nur Video): Die KI beobachtete die Dashcam-Frames.
Die Brille (Video + Text): Die KI sah das Video und las eine schriftliche Beschreibung der Szene (wie „sonniger Tag“, „städtische Straße“).
Die Augenbinde (Nur Text): Die KI las nur die Beschreibung und sah kein Video.

Die Ergebnisse:

Der Gewinner: Die KI, die das Video sah und den Text las, war am besten. Sie traf die Schuldverteilung etwa 79 % der Zeit richtig (Exact Match).
Der Verlierer: Als sie das Video wegnahmen und nur den Text gaben, war die KI schlecht darin, die Schuldverteilung zu erraten. Dies beweist, dass das Sehen des Videos entscheidend ist. Man kann die Reaktion eines Fahrers nicht verstehen, indem man nur einen Bericht liest; man muss sehen, was er gesehen hat.
Der „Brillen“-Test: Sie versuchten auch, der KI „Segmentierungs-Overlays“ zu geben (Bilder, bei denen Autos und Menschen in massiven Farbblöcken dargestellt sind). Dies half nicht viel mehr als das Zeigen des Rohvideos, was darauf hindeutet, dass die KI intelligent genug ist, das Rohbild von selbst zu verstehen.

5. Die große Warnung (Ethischer Realitätscheck)

Die Autoren sind sehr deutlich: Dies ist ein Forschungsprototyp, kein Richter.

Der „Lehrer“ war nicht perfekt: Der „Lösungsschlüssel“, der verwendet wurde, um die KI zu trainieren, wurde von einer anderen KI generiert, nicht von einem menschlichen Anwalt. Es ist eine gute Schätzung, aber keine rechtliche Wahrheit.
Fehlende Details: Die KI kann den Tacho des Autos nicht sehen und kennt nicht die spezifischen Verkehrsregeln des jeweiligen Landes. Sie sieht nur, was im Video enthalten ist.
Die Regel: Dieses Werkzeug sollte niemals dazu verwendet werden, automatisch zu entscheiden, wer ins Gefängnis kommt oder wer die Versicherung zahlt. Es ist wie ein „Zweitmeinungs“-Werkzeug, das menschliche Ermittler unterstützt, aber keinen Ersatz für sie darstellt.

Zusammenfassung

Das Paper zeigt, dass eine intelligente KI, wenn man ihr ein Dashcam-Video gibt und fragt: „Wie viel Schuld trifft den Fahrer gegenüber der anderen Person?“, tatsächlich eine ziemlich gute Arbeit leisten kann – aber nur, wenn sie das Video sehen kann. Es ist ein großer Schritt zum Verständnis von Unfällen aus der Perspektung des Fahrers, aber es ist immer noch nur ein Werkzeug für die Forschung, nicht ein Urteil vor Gericht.

Technisches Resümee: Schätzung der Verantwortungsverteilung in Ego-Perspektiv-Unfalldaten mittels Multimodaler Großer Sprachmodelle

Problemdefinition

Die aktuelle multimodale Unfallanalyse stützt sich stark auf Infrastrukturkamera-Aufnahmen, Satellitenbilder oder strukturierte Unfallberichte. Diese Datenquellen weisen zwei kritische Einschränkungen auf: Sie sind in großem Maßstab kostspielig in der Bereitstellung und – was noch wichtiger ist – sie erfassen nicht objektiv die visuelle Perspektive, die dem Fahrer vor einem Unfall zur Verfügung stand. Folglich eignen sie sich unzureichend für die Argumentation über die Vermeidbarkeit eines Unfalls und die Fahrerverantwortung aus der Sicht des beteiligten Fahrzeugs.

Dieses Paper führt die Verantwortungsverteilungsschätzung als eine neue Aufgabe für Ego-Perspektiv-Verkehrsunfallvideos ein. Im Gegensatz zu konventionellen Aufgaben, die ein einzelnes Unfalllabel, den Schweregrad oder eine kausale Erklärung vorhersagen, erfordert diese Aufgabe ein Modell, das eine proportionale Verantwortungsverteilung (Prozentwerte, die sich zu 100 % summieren) unter allen beteiligten Akteuren (z. B. Ego-Fahrzeug, andere Fahrzeuge, Fußgänger) vorherzusagen. Das Modell muss darüber schlussfolgern, welche Informationen dem Ego-Fahrer zur Verfügung standen, die primär verantwortliche Partei identifizieren und Haftungsprozentsätze zuweisen, die eine geteilte Verantwortung widerspiegeln und somit die reale Verkehrslogik nachbilden.

Methodik

Datensatzkonstruktion

Die Autoren konstruierten einen Datensatz basierend auf MM-AU, einer Sammlung von Ego-Perspektiv-Dashcam-Unfallvideos mit bestehenden Textannotationen (Szenenbeschreibung, Ursachen, Präventivmaßnahmen). Da MM-AU keine Verantwortlichkeitslabels besitzt, entwickelten die Autoren eine LLM-gestützte Annotations-Pipeline:

Input: Für jedes Video werden 8 gleichmäßig verteilte Frames, die das Zeitfenster des abnormalen Ereignisses abdecken (sichergestellt, dass der Unfallframe enthalten ist), einem LLM zusammen mit Metadaten der Szene und Textannotationen präsentiert.
Generierung des Outputs: Das LLM wird angewiesen, ganzzahlige Prozentwerte für das Ego-Fahrzeug und andere Parteien auszugeben (die sich zu 100 % summieren), die primär verantwortliche Partei zu identifizieren, die andere Partei zu kategorisieren und eine Begründung auf Basis visueller/textlicher Evidenz zu liefern.
Beschränkungen: Die Temperatur ist auf Null gesetzt, um die Konsistenz zu maximieren. Der resultierende Datensatz ist etwa ausgewogen zwischen Ego-primären (52 %) und Fremdpartei-primären (48 %) Fällen.

Modell und Training

Die Studie führt ein Fine-Tuning von Qwen3-VL-4B durch, einem multimodalen großen Sprachmodell, unter Verwendung von LoRA (Low-Rank Adaptation) auf allen linearen Projektionsschichten (Rang $r=16$ , Skalierungsfaktor $\alpha=32$ ).

Input: Das Modell erhält $k=10$ extrahierte Frames, Szenenmetadaten und Textannotationen.
Output: Das Modell generiert autoregressiv einen JSON-formatierten Output, der die vorhergesagte Verantwortungsverteilung, die Primärpartei, das Label der anderen Partei und die Begründung enthält.
Constraint-Lernen: Die Anforderung, dass sich die Prozentsätze zu 100 summieren, wird implizit durch die Prompt-Instruktionen und die Verteilung der Trainingsdaten erzwungen, anstatt durch explizite Post-Processing-Beschränkungen.

Experimentelles Setup

Die Autoren evaluieren das feinabgestimmte Modell gegenüber einer GPT-5 Zero-Shot-Baseline unter drei Eingangsbedingungen:

RGB: Rohframes + Textannotationen.
RGB+Seg: Semantische Segmentierungs-Overlays + Textannotationen.
Text: Textannotationen allein (keine Bilder).

Evaluationsmetriken:

Exact Match (EM): Prozentsatz der Fälle, in denen der vorhergesagte Verantwortungsanteil des Ego-Fahrzeugs exakt mit der Grundwahrheit (Ground Truth) übereinstimmt.
Within-10%/20% (W-10/W-20): Anteil der Fälle mit einem absoluten Fehler $\le$ 10 oder 20 Prozentpunkten.
MAE/RMSE: Mittlerer absoluter Fehler (Mean Absolute Error) und die Wurzel des mittleren quadratischen Fehlers (Root Mean Squared Error) bezüglich des Prozentsatzes des Ego-Fahrzeugs.
Primary Party Accuracy (PP): Genauigkeit bei der Identifizierung der primär verantwortlichen Agenten.

Kernergebnisse

Das feinabgestimmte Qwen3-VL-4B zeigt signifikante Verbesserungen gegenüber der GPT-5 Zero-Shot-Baseline, insbesondere unter RGB-Input:

Exact Match: Das feinabgestimmte Modell erreicht 79,1 %, verglichen mit 38,5 % bei GPT-5 Zero-Shot.
Primary Party Accuracy: Das feinabgestimmte Modell erreicht 96,7 % und übertrifft damit die 89,0 % von GPT-5.
Fehlerreduktion: Der mittlere absolute Fehler (MAE) für den Prozentsatz des Ego-Fahrzeugs sinkt von 12,1 (GPT-5) auf 4,9 (feinabgestimmt), was einer Reduktion von mehr als der Hälfte entspricht.

Ablation und Input-Analyse:

Visuelle Notwendigkeit: Das Entfernen des visuellen Inputs (Text-only Bedingung) führt zu einer starken Leistungsverschlechterung für beide Modelle. Der MAE von GPT-5 verdoppelt sich mehr als (12,1 $\to$ 24,9), und der MAE des feinabgestimmten Modells steigt drastisch an (4,9 $\to$ 35,1). Dies bestätigt, dass die Ego-Perspektiv-Frames kritische Informationen zur Verantwortung enthalten, die nicht allein aus Text rekonstruierbar sind.
Segmentierungs-Impact: Das Ersetzen der rohen RGB-Frames durch semantische Segmentierungs-Overlays (RGB+Seg) liefert vergleichbare oder leicht schlechtere Ergebnisse, was darauf hindeutet, dass das rohe visuelle Erscheinungsbild in diesem Kontext ausreichende oder sogar überlegene Informationen für diese Aufgabe bietet im Vergleich zu strukturierten Segmentierungs-Overlays.
Fine-tuning vs. Zero-shot: Während GPT-5 Zero-Shot eine vernünftige „Within-10%“-Leistung zeigt (79,1 %), was darauf hindeutet, dass es grob über die Richtung der Verantwortung schlussfolgern kann, zeigt der hohe Exact Match Score des feinabgestimmten Modells, dass das Training auf LLM-annotierten Labels das Modell effektiv an spezifische Prozentwerte bindet, statt nur die Parteien korrekt zu ranken.

Bedeutung und Beiträge

Das Paper beansprucht drei primäre Beiträge:

Neue Aufgabenformulierung: Es führt die „Schätzung der Verantwortungsverteilung“ als eine neuartige Aufgabe für das multimodale Verständnis von Unfällen ein, die über binäre Klassifikation oder kausale Erklärung hinausgeht und zu einer proportionalen Zuweisung übergeht.
Ego-zentrierte Grundlage: Es hebt den einzigartigen Wert von Ego-Perspektiv-Videos für die fahrerzentrierte Argumentation hervor und etabliert den ersten Benchmark für diese spezifische Aufgabe.
Nachweis der Machbarkeit: Die Ergebnisse etablieren einen starken initialen Benchmark und zeigen, dass multimodale LLMs effektiv komplexe, auf Constraints basierende Argumentationen (Zuweisung von Prozentsätzen, die sich zu 100 summieren) durchführen können, wenn sie mit geeigneten Daten feinabgestimmt werden.

Die Autoren positionieren diese Arbeit als Fundament für „sozial und rechtlich bedeutsames multimodales Schließen“ und legen nahe, dass Ego-Perspektiv-Videos eine vielversprechende Basis für das Verständnis der Vermeidbarkeit von Unfällen und der Verantwortungsverteilung bieten, die externe Sichtweisen nicht leisten können.

Limitationen und ethische Überlegungen

Das Paper wahrt eine bescheidene Haltung hinsichtlich seiner Ansprüche:

Gültigkeit der Labels: Die Verantwortlichkeitslabels werden von einem LLM generiert und dienen als Stellvertreter für die Evaluation; sie sind nicht menschliche Experten-Annotationen oder rechtliche Grundwahrheiten. Der aktuelle Prozess berücksichtigt keine jurisdiktionsspezifischen Gesetze.
Datenumfang: Das Modell stützt sich auf extrahierte Frames und Text, es mangelt an expliziter physikalischer Evidenz (z. B. exakte Geschwindigkeit, Bremskraft, Trajektorien), was das feingliedrige zeitliche Schließen einschränken kann.
Komplexität: Die aktuelle Formulierung konzentriert sich auf Interaktionen zwischen zwei Parteien; Unfälle mit drei oder mehr Akteuren erfordern eine komplexere Dekomposition, die bisher nicht adressiert wurde.
Ethische Warnung: Das System wird explizit als explorativer Forschungsprototyp definiert. Es darf nicht für automatisierte rechtliche, gerichtliche oder versicherungstechnische Entscheidungen verwendet werden. Die Autoren betonen das Risiko des Automatisierungs-Bias (Automation Bias) und die Notwendigkeit einer Human-in-the-loop-Architektur für jede zukünftige Anwendung in der realen Welt. Zudem werden Datenschutzbedenken hinsichtlich personenbezogener Daten in Dashcam-Videos angemerkt.