AITP: Traffic Accident Responsibility Allocation via Multimodal Large Language Models

Titel: AITP: Toewijzing van Verantwoordelijkheid bij Verongelukken via Multimodale Grootte Taalmodellen

1. Het Probleem

Verkeersongevallen vormen een aanzienlijke bedreiging voor de openbare veiligheid. De huidige toewijzing van verantwoordelijkheid (Traffic Accident Responsibility Allocation - TARA) berust grotendeels op handmatige beoordeling, wat tijdrovend en arbeidsintensief is. Hoewel er vooruitgang is geboekt met Multimodale Grootte Taalmodellen (MLLMs) in het detecteren van ongevallen (TAD) en het begrijpen van ongevallen (TAU), blijven deze systemen beperkt tot perceptie en beschrijving.

De uitdagingen voor TARA zijn:

• Causaal redeneren: Het vereist meer dan alleen het beschrijven van wat er gebeurt; het vereist het afleiden van oorzaken en het toepassen van verkeersregels.
• Hallucinaties: Bestaande modellen missen gestructureerd causaal redeneren en juridische kennis, wat leidt tot onbetrouwbare of hallucinerende oordelen over verantwoordelijkheid.
• Gebrek aan data: Er bestaat geen specifiek dataset voor TARA. Bestaande datasets focussen op detectie of beschrijving, maar missen systematische labels voor verantwoordelijkheidstoewijzing.

2. Methodologie

De auteurs stellen AITP (Artificial Intelligence Traffic Police) voor, een multimodaal MLLM dat is ontworpen om verantwoordelijkheid toe te wijzen, ondersteund door twee kerninnovaties: Multimodal Chain-of-Thought (MCoT) en Retrieval-Augmented Generation (RAG).

• DecaTARA Dataset:
  De auteurs hebben de eerste grote dataset specifiek voor TARA ontwikkeld, genaamd DecaTARA. Deze bevat 67.941 video's en 195.821 vraag-antwoordparen, opgedeeld in tien gerelateerde taken:

  1. Ongevallengedetectie (TAD): Detectie van ongevallen, type classificatie, tijds- en ruimtelijke lokalisatie.
  2. Ongevalbegrip (TAU): Beschrijving van feiten, oorzaakanalyse en advies om ongevallen te voorkomen.
  3. Niet-ongevaltaken: Beschrijving en uitleg van voertuiggedrag in normale scenario's (om overfitting te voorkomen).
  4. Verantwoordelijkheidstoewijzing (TARA): De kernopgave waarbij het model bepaalt wie verantwoordelijk is (hoofdverantwoordelijkheid, gedeelde verantwoordelijkheid, of geen ongeval).

• Trainingsstrategie (4-staps progressieve fijne afstemming):
  Het model (gebaseerd op Qwen3-VL) wordt stapsgewijs getraind om van perceptie naar complex redeneren te gaan:

  1. Domein-afstemming: Training op niet-ongevaldata om basisverkeerskennis te verwerven.
  2. TAD: Training op detectie, type, tijd en ruimte.
  3. TAU: Training op beschrijving, oorzaak en preventie.
  4. TARA: Light-weight LoRA-finetuning op verantwoordelijkheidstoewijzing.

• Inferentie Strategie:

  • Multimodal Chain-of-Thought (MCoT): In plaats van direct een antwoord te geven, doorloopt het model een meervoudige dialoogstroom: eerst detecteren of er een ongeval is, dan het type en tijdstip bepalen, vervolgens de ruimtelijke locatie (bounding boxes) identificeren, feiten beschrijven, oorzaken analyseren, en pas daarna verantwoordelijkheid toewijzen. Dit bouwt stap-voor-stap verifieerbare bewijslast op.
  • Retrieval-Augmented Generation (RAG): Tijdens de TARA-fase haalt het model relevante artikelen uit de verkeerswetgeving op uit een externe kennisbank. Deze juridische context wordt aan de prompt toegevoegd om het redeneren te grondvesten in feitelijke wetten, wat hallucinaties reduceert en de interpretatie verbetert.

3. Belangrijkste Bijdragen

1. DecaTARA Dataset: De eerste grote, multi-taak dataset voor verkeersongevalverantwoordelijkheid, die detectie, begrip en juridisch redeneren unificeert.
2. AITP Model: Een nieuw MLLM-architectuur die MCoT en RAG combineert om gestructureerd, juridisch onderbouwd redeneren mogelijk te maken voor TARA.
3. Nieuwe Evaluatiemethode: Introduceert "Accuracy of Responsibility Allocation" als een kwantitatieve metric om de redeneercapaciteit van modellen te beoordelen, verder dan alleen tekstuele beschrijving.

4. Resultaten

Uitgebreide experimenten tonen aan dat AITP state-of-the-art (SOTA) prestaties levert:

• Verantwoordelijkheidstoewijzing (TARA): AITP bereikt een significant hogere nauwkeurigheid (72,18% op ongevallen) vergeleken met sterke baselines zoals Qwen3-VL, Gemma-3n en InternVL3.5.
• Ongevallengedetectie (TAD): AITP overtreft andere modellen aanzienlijk in het nauwkeurig bepalen van het tijdstip en de ruimtelijke locatie van ongevallen (bijv. 89,01% AP@7 voor tijdslokalisatie).
• Kwalitatieve Verbetering: Terwijl basismodellen vaak "geen ongeval" zeggen of hallucineren over de oorzaak, levert AITP consistente oordelen die gekoppeld zijn aan specifieke verkeersregels (bijv. artikel 62 van de verkeerswet).
• Ablatiestudies: Bevestigen dat progressieve training effectiever is dan directe training op alle taken, en dat zowel MCoT als RAG essentieel zijn voor de uiteindelijke prestaties. Zonder RAG daalt de nauwkeurigheid, wat aantoont dat juridische kennis cruciaal is.

5. Significantie

Dit werk markeert een paradigmaverschuiving in de analyse van verkeersvideo's:

• Van Beschrijving naar Redeneren: Het verlegt de focus van het puur beschrijven van scènes naar het uitvoeren van complex, juridisch onderbouwd causaal redeneren.
• Automatisering: Het biedt een haalbare route naar geautomatiseerde systemen voor het bepalen van verkeersaansprakelijkheid, wat de efficiëntie van verkeersautoriteiten kan vergroten en menselijke fouten kan verminderen.
• Veiligheid en Recht: Door het integreren van wetgeving in het redeneerproces, creëert het een nieuwe standaard voor "law-aligned" AI-systemen die betrouwbaar en interpreteerbaar zijn in veiligheidskritieke scenario's.

Kortom, AITP en DecaTARA leggen de basis voor de volgende generatie intelligente verkeerssystemen die niet alleen zien wat er gebeurt, maar ook begrijpen wie er verantwoordelijk is volgens de wet.