Technische Samenvatting: Schatting van de Verdeling van Verantwoordelijkheid in Ego-View Ongevallenvideo's met Multimodale Grote Taalmodellen

Probleemdefinitie

Huidige multimodale verkeersongevallenanalyse leunt zwaar op infrastructuurcamera-beelden, satellietbeelden of gestructureerde ongevalsgegevens. Deze gegevensbronnen kennen twee kritieke beperkingen: ze zijn kostbaar om op grote schaal uit te rollen, en nog belangrijker, ze slagen er niet in om objectief het visuele perspectief te vangen dat de bestuurder vóór een ongeval had. Daarom zijn ze minder geschikt voor het redeneren over de vermijdbaarheid van een ongeval en de verantwoordelijkheid van de bestuurder vanuit het perspectief van het betrokken voertuig.

Dit artikel introduceert Verdeling van Verantwoordelijkheid Schatting (Responsibility Distribution Estimation) als een nieuwe taak voor ego-view verkeersongevallenvideo's. In tegen tegenstelling tot conventionele taken die een enkele ongevalslabel, ernst of causale verklaring voorspellen, vereist deze taak dat een model een proportionele verantwoordelijkheidsverdeling voorspelt (percentages die optellen tot 100%) onder alle betrokken actoren (bijv. het ego-voertuig, andere voertuigen, voetgangers). Het model moet redeneren over welke informatie beschikbaar was voor de ego-bestuurder, de primaire verantwoordelijke partij identificeren en aansprakelijkheidspercentages toewijzen die gedeelde verantwoordelijkheid weerspiegelen, vergelijkbaar met menselijke verkeersredenering.

Methodologie

Dataset Constructie

De auteurs hebben een dataset geconstrueerd op basis van MM-AU, een collectie ego-view dashcam-ongevallenvideo's met bestaande tekstuele annotaties (scènebeschrijving, oorzaken, preventieve maatregelen). Omdat MM-AU geen verantwoordelijkheidslabels heeft, hebben de auteurs een LLM-ondersteunde annotatie-pipeline ontwikkeld:

• Input: Voor elke video worden 8 uniform gesamplede frames die het abnormale gebeurtenisvenster beslaan (waarbij het ongevalframe is opgenomen) gepresenteerd aan een LLM, samen met scène-metadata en tekstuele annotaties.
• Output Generatie: De LLM wordt geprompt om gehele getallen (percentages) te genereren voor het ego-voertuig en andere partijen (optellend tot 100%), de primaire verantwoordelijke partij te identificeren, de andere partij te categoriseren en een rationale te bieden die gebaseerd is op visuele/tekstuele bewijslast.
• Restricties: De temperatuur is ingesteld op nul om consistentie te maximaliseren. De resulterende dataset is ongeveer gebalanceerd tussen gevallen waarbij de ego-partij primair is (52%) en gevallen waarbij de andere partij primair is (48%).

Model en Training

De studie verfijnt Qwen3-VL-4B, een multimodale groot taalmodel, met behulp van LoRA (Low-Rank Adaptation) op alle lineaire projectielagen (rank $r=16$, schaalfactor $\alpha=32$).

• Input: Het model ontvangt $k=10$ gesamplede frames, scène-metadata en tekstuele annotaties.
• Output: Het model genereert autoregressief een JSON-geformatteerde output die de voorspelde verantwoordelijkheidsverdeling, de primaire partij, de label van de andere partij en de rationale bevat.
• Constraint Learning: De vereiste dat percentages optellen tot 100 wordt impliciet afgedwongen via de prompt-instructies en de trainingsdata-distributie, in plaats van via expliciete post-processing restricties.

Experimentele Opstelling

De auteurs evalueren het verfijnde model tegen een GPT-5 zero-shot baseline onder drie inputcondities:

1. RGB: Ruwe frames + tekstuele annotaties.
2. RGB+Seg: Semantische segmentatie-overlays + tekstuele annotaties.
3. Tekst: Tekstuele annotaties alleen (geen afbeeldingen).

Evaluatiemetrieken:

• Exact Match (EM): Percentage gevallen waarin de voorspelde verantwoordelijkheid van het ego-voertuig exact overeenkomt met de grondwaarheid.
• Within-10%/20% (W-10/W-20): Proportie gevallen met een absolute fout $\le$ 10 of 20 procentpunten.
• MAE/RMSE: Mean Absolute Error en Root Mean Squared Error op het percentage van het ego-voertuig.
• Primary Party Accuracy (PP): Nauwkeurigheid in het identificeren van de primaire verantwoordelijke actor.

Belangrijkste Resultaten

Het verfijnde Qwen3-VL-4B vertoont significante verbeteringen ten opzichte van de zero-shot GPT-5 baseline, met name onder RGB-input:

• Exact Match: Het verfijnde model bereikt 79,1%, vergeleken met 38,5% voor GPT-5 zero-shot.
• Primary Party Accuracy: Het verfijnde model bereikt 96,7%, waarmee het de 89,0% van GPT-5 overtreft.
• Foutreductie: De Mean Absolute Error (MAE) voor het percentage van het ego-voertuig daalt van 12,1 (GPT-5) naar 4,9 (verfijnd), een reductie van meer dan de helft.

Ablatie en Input Analyse:

• Visuele Noodzakelijkheid: Het verwijderen van visuele input (Text-only conditie) veroorzaakt een scherpe prestatiedegradatie voor beide modellen. De MAE van GPT-5 verdubbelt meer dan (12,1 $\to$ 24,9), en de MAE van het verfijnde model stijgt drastisch (4,9 $\to$ 35,1). Dit bevestigt dat ego-view frames cruciale informatie over verantwoordelijkheid bevatten die niet uit tekst alleen kan worden afgeleid.
• Segmentatie Impact: Het vervangen van ruwe RGB-frames door semantische segmentatie-overlays (RGB+Seg) levert vergelijkbare of iets slechtere resultaten op, wat suggerekt dat de ruwe visuele verschijning voldoende of superieurere informatie biedt voor deze taak vergeleken met gestructureerde segmentatie-overlays in deze setting.
• Fine-tuning vs. Zero-shot: Hoewel GPT-5 zero-shot een redelijke "Within-10%" prestatie laat zien (79,1%), wat aangeeft dat het ruwweg de richting van de verantwoordelijkheid kan redeneren, zorgt de hoge Exact Match score van het verfijnde model ervoor dat de training op LLM-geannoteerde labels het model effectief verankert aan specifieke percentagewaarden in plaats van alleen de partijen correct te rangschikken.

Betekenis en Bijdragen

Het artikel claimt drie primaire bijdragen:

1. Nieuwe Taakformulering: Het introduceert "Responsibility Distribution Estimation" als een nieuwe taak voor multimodale ongevalsverstand, bewegend van binaire classificatie of causale verklaring naar proportionele toewijzing.
2. Ego-Centrisch Fundament: Het benadrukt de unieke waarde van ego-view video's voor bestuurder-gecentreerd redeneren en vestigt de eerste benchmark voor deze specifieke taak.
3. Demonstratie van Haalbaarheid: De resultaten vormen een sterk initieel benchmark, waarbij wordt aangetoond dat multimodale LLM's effectief genuanceerde, op restricties gebaseerde redeneringen kunnen uitvoeren (het toewijzen van percentages die optellen tot 100) wanneer ze worden verfijnd met geschikte data.

De auteurs positioneren dit werk als een fundament voor "sociaal en juridisch betekenisvol multimodale redeneren", waarbij zij suggereren dat ego-centrische video's een veelbelovende basis bieden voor het begrijpen van de vermijdbaarheid van ongevallen en de verdeling van verantwoordelijkheid die externe standpunten niet kunnen bieden.

Beperkingen en Ethische Overwegingen

Het artikel hanteert een bescheiden houding ten aanzien van de claims:

• Validiteit van Labels: De verantwoordelijkheidslabels worden gegenereerd door een LLM en dienen als een proxy voor evaluatie; ze zijn niet menselijke expert-annotaties of juridische grondwaarheid. Het huidige proces houdt geen rekening met jurisdictie-specifieke wetgeving.
• Data Omvang: Het model vertrouwt op gesamplede frames en tekst, en mist expliciet fysiek bewijs (bijv. exacte snelheid, remkracht, trajecten), wat fijnmazig temporeel redeneren kan beperken.
• Complexiteit: De huidige formulering richt zich op interacties tussen twee partijen; ongevallen waarbij drie of meer actoren betrokken zijn, vereisen een complexere decompositie die nog niet is behandeld.
• Ethische Waarschuwing: Het systeem wordt expliciet gedefinieerd als een exploratief onderzoeks-prototype. Het mag niet worden gebruikt voor geautomatiseerde juridische, gerechtelijke of verzekeringstechnische besluitvorming. De auteurs benadrukken het risico van automatisering-bias en de noodzaak van een human-in-the-loop architectuur voor elke toekomstige real-world toepassing. Daarnaast worden privacyzorgen met betrekking tot persoonlijk identificeerbare informatie in dashcam-video's opgemerkt.