🤖 machine learning

A Modular Zero-Shot Pipeline for Accident Detection, Localization, and Classification in Traffic Surveillance Video

Dit paper beschrijft een modulaire zero-shot pipeline voor de detectie, lokalisatie en classificatie van verkeersongevallen in bewakingsvideo's, die zonder gespecificeerde trainingsdata werkt door gebruik te maken van piekdetectie, optische stroom en CLIP-embeddings.

Oorspronkelijke auteurs: Amey Thakur, Sarvesh Talele

Gepubliceerd 2026-04-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Amey Thakur, Sarvesh Talele

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een heel lange, saaie film hebt van een drukke kruising, opgenomen door een beveiligingscamera. In deze film rijden duizenden auto's, maar ergens in die chaos gebeurt er iets verschrikkelijks: een ongeluk. Je taak is om als een super-snelle detective drie dingen te vinden:

Wanneer gebeurde het?
Waar op het scherm gebeurde het?
Wat voor soort ongeluk was het? (Bijvoorbeeld: een achteruitrij-ongeluk of een frontaal botsing?)

Het probleem is dat je geen voorbeelden hebt om te leren. Je mag niet kijken naar andere ongelukken om te weten hoe ze eruitzien. Je moet het "op het eerste gezicht" doen, alsof je een vreemde taal spreekt en toch de betekenis van een zin moet raden.

Dit is precies wat de onderzoekers Amey en Sarvesh hebben gedaan. Ze hebben een slimme, modulaire machine gebouwd die dit doet zonder ooit een echt ongeluk te hebben gezien. Laten we hun drie stappen bekijken met een paar creatieve vergelijkingen.

Stap 1: De "Rusteloze Kijker" (Het Tijdstip vinden)

Stel je voor dat je naar een film kijkt en plotseling schreeuwt iemand "BAM!". De camera trilt even, of de beelden veranderen heel snel.

Hoe het werkt: De computer kijkt niet naar de auto's zelf, maar naar het verschil tussen twee opeenvolgende beelden. Normaal gesproken verandert een filmpje rustig (auto's rijden voorbij). Maar bij een crash is er een enorme, plotselinge verandering in helderheid en beweging.
De Analogie: Het is alsof je een heel stil concertzaal hebt en plotseling een glas breekt. De computer luistert naar het "geluid" van de pixels. Het filtert de normale ruis (zoals een wolk die voor de zon schuift) eruit en zoekt naar de grootste piek in beweging. Dat is het moment van de crash.

Stap 2: De "Bewegings-Storm" (De Locatie vinden)

Nu we weten wanneer het gebeurde, moeten we weten waar.

Hoe het werkt: De computer kijkt naar een klein venster rond het crash-moment. Hij gebruikt een techniek genaamd "optische stroom" (optical flow). Dit is alsof je een windkaart tekent over het scherm: waar bewegen de pixels het hardst?
De Analogie: Denk aan een storm die over een veld waait. De grassprietjes die het hardst bewegen, vormen een wirwar. De computer zoekt naar het hart van de storm. Hij negeert de lichte bries (auto's die rustig voorbijrijden) en concentreert zich alleen op de plek waar de wind het hevigst waait. Dat is waar de auto's op elkaar zijn gebotst.

Stap 3: De "Meertalige Vertaler" (Het Type ongeluk vinden)

Dit is het lastigste deel. De computer moet zeggen: "Dit was een achtervolgingsongeluk" of "Dit was een T-bone crash". Maar de computer heeft nooit een ongeluk gezien.

Hoe het werkt: Ze gebruiken een slimme AI genaamd CLIP. Deze AI is opgeleid met miljoenen foto's en teksten van het internet. Hij weet wat een "auto" is en wat "botsen" betekent, maar hij kent de specifieke ongelukken uit de dataset niet.
De Analogie: Stel je voor dat de AI een vertaler is die alleen Engels en "Beeld" spreekt. Je geeft hem een foto van een crash en vraagt: "Is dit een 'auto die van achteren botst' of 'een auto die van opzij botst'?"
De AI leest vijf verschillende beschrijvingen van elk type ongeluk (bijv. "twee auto's die frontaal op elkaar rijden"). Hij vergelijkt de foto met deze beschrijvingen. Welke beschrijving past het beste bij de foto? Die wint. Het is alsof je een foto laat zien aan iemand die de taal niet spreekt, maar wel de betekenis van de woorden door de beelden begrijpt.

Waarom is dit zo speciaal?

Meestal moet je een AI "trainen" met duizenden voorbeelden van ongelukken voordat hij ze kan herkennen. Dat is alsof je iemand duizenden keren moet laten zien hoe een appel eruitziet voordat hij een appel kan herkennen.

Deze methode is Zero-Shot (nul voorbeelden). Het is alsof je iemand die nog nooit een appel heeft gezien, een foto toont en zegt: "Kijk, dit is een appel." En die persoon zegt: "Ah, dat lijkt op de beschrijving van een 'rood, rond fruit' die ik ken!" Ze gebruiken alleen algemene kennis die de AI al had.

Wat ging er mis? (De beperkingen)

Natuurlijk is het niet perfect.

Valse alarmen: Als er een grote boom in de wind staat of wolken schaduwen werpen, denkt de "Rusteloze Kijker" soms dat er een crash is, terwijl er niets gebeurt.
Verwarring: Als er veel auto's tegelijk bewegen, raakt de "Bewegings-Storm" de draad kwijt en weet hij niet precies waar het middelpunt is.
De taalbarrière: De "Vertaler" (CLIP) is getraind op foto's van het internet (vaak vanuit ooghoogte). Beveiligingscamera's kijken vaak van bovenaf. De AI vindt het lastig om een ongeluk te herkennen als het er anders uitziet dan de foto's die hij kent. Soms denkt hij dat een achtervolgingsongeluk een zijwaartse klap is, gewoon omdat het perspectief anders is.

Conclusie

De onderzoekers hebben een slimme, modulaire machine gebouwd die ongelukken kan vinden in beveiligingsvideo's zonder ooit een ongeluk te hebben gezien. Het is alsof ze een detective hebben gebouwd die alleen kijkt naar beweging, wind en taal, en dat al vrij goed doet. Het is een grote stap naar veiligere straten, waarbij computers ons kunnen helpen om sneller hulp te sturen, zelfs als ze nog nooit een ongeluk hebben gezien.

Titel: Een Modulaire Zero-Shot Pipeline voor Detectie, Lokalisatie en Classificatie van Verongelukken in Verkeerssurveillancevideo

Auteurs: Amey Thakur en Sarvesh Talele (Onafhankelijke Onderzoekers)
Context: ACCIDENT @ CVPR 2026 uitdaging

1. Probleemstelling

Het paper adresseert de uitdaging om verkeersongevallen automatisch te detecteren, te lokaliseren en te classificeren in surveillancevideo's, zonder gebruik te maken van gelabelde real-world trainingsdata. Dit is een kritiek probleem omdat:

Verkeersongevallen jaarlijks meer dan een miljoen doden eisen.
Bestaande methoden vaak vereisen dat ze worden getraind op geannoteerde video's uit exact dezelfde omgeving (zelfde camera-hoek, belichting, verkeerspatronen), wat de overdraagbaarheid (generalisatie) beperkt.
De ACCIDENT @ CVPR 2026 competitie specifiek eist dat deelnemers werken zonder real-world labels. De ontwikkeling gebeurt uitsluitend op synthetische data (gegenereerd door de CARLA-simulator), terwijl de testset bestaat uit echte CCTV-opnames.

De taak vereist drie voorspellingen per video:

Tijdstip: Wanneer vindt het ongeluk plaats (in seconden)?
Locatie: Waar is het impactpunt (genormaliseerde coördinaten)?
Type: Wat is het type botsing (vijf categorieën: frontaal, achterop, zijdelingse schuine, enkelvoertuig, T-botsing)?

2. Methodologie

De auteurs stellen een zero-shot pipeline voor die het probleem opdelt in drie onafhankelijke modules. Geen enkel model wordt gefinetuned op de dataset; er worden uitsluitend voorgeöefende gewichten gebruikt.

A. Tijdelijke Detectie (Temporal Peak Detection)

Doel: Het vinden van het exacte moment van de botsing.
Methode:
1. Berekening van het gemiddelde absolute verschil in helderheid tussen opeenvolgende frames ( $d_t$ ).
2. Toepassing van een rollend gemiddelde (venster $w=5$ ) om ruis te onderdrukken.
3. Normalisatie naar Z-scores ( $z_t$ ) om statistische uitschieters te identificeren.
4. Detectie van pieken: Frames met een Z-score boven een drempelwaarde ( $\tau = 1.5$ ) worden als kandidaten gezien. De frame met de hoogste score wordt geselecteerd. Als geen enkele drempel wordt overschreden, wordt het globale maximum gekozen.

B. Ruimtelijke Lokalisatie (Spatial Impact Localization)

Doel: Het bepalen van het impactpunt in het beeld.
Methode:
1. Selectie van een venster van 30 frames rond het voorspelde tijdstip.
2. Berekening van dichte optische stroming (dense optical flow) met het Farneback-algoritme om bewegingsvectoren per pixel te schatten.
3. Sommatie van de magnitude van de stroming over het venster om een bewegingskaart ( $M$ ) te creëren.
4. Percentiel-drempelstelling: Waarden onder de 90e percentiel worden op nul gezet om diffuse achtergrondbeweging (zoals wolken of verkeer dat niet betrokken is) te onderdrukken.
5. Berekening van het gewogen zwaartepunt (centroid) van de overgebleven hoge-magnitude cluster als het impactpunt.

C. Classificatie van Botsingstypen (Collision Type Classification)

Doel: Het classificeren van het ongeluk in één van de vijf categorieën.
Methode:
1. Gebruik van CLIP (Contrastive Language-Image Pre-training), een vision-language model getraind op 400 miljoen beeld-tekstparen.
2. Tekst-embeddings: Voor elke botsingscategorie worden 5 natuurlijke taal-prompten geschreven (bijv. "een auto die van achteren op een andere auto botst"). Deze worden gemiddeld tot één tekst-vector per categorie.
3. Beeld-embeddings: 8 frames rond het piekmoment worden door CLIP's visuele encoder (ViT-B/32) gehaald en gemiddeld.
4. Vergelijking: De klasse met de hoogste cosinussimilariteit tussen de beeld-vector en de tekst-vector wordt gekozen.

3. Belangrijkste Bijdragen

Zero-Shot Aanpak: De pipeline werkt volledig zonder domain-specifieke fine-tuning op de real-world testdata. Het generaliseert van synthetische data (of puur pre-training) naar echte CCTV-beelden.
Modulariteit: De drie modules (tijd, ruimte, classificatie) zijn volledig onafhankelijk. Dit maakt het mogelijk om onderdelen te vervangen of te optimaliseren zonder de rest van het systeem aan te passen.
Open Source: De implementatie is publiek beschikbaar als een Kaggle notebook, wat reproduceerbaarheid garandeert.
Klassieke + Moderne Hybrid: Het combineert klassieke signaalverwerking (Z-scores, optische stroming) met state-of-the-art vision-language modellen (CLIP).

4. Resultaten

Score: De pipeline behaalde een score van 0.2523 op de publieke leaderboard van de real-world testset.
Component Scores (op een kalibratiesubset):
- Tijdelijke nauwkeurigheid ( $T$ ): 0.438 (Redelijk goed; pieken worden vaak gevonden).
- Ruimtelijke nauwkeurigheid ( $S$ ): 0.168 (Matig; het zwaartepunt kan afwijken bij complexe scènes).
- Classificatie ( $C$ ): 0.0 (Slecht; op de kalibratiesubset werden alle "frontale" botsingen verkeerd ingeschat als "T-botsing").
Analyse van Fouten:
- Tijd: Grote achtergrondbeweging (bijv. zwaaiende bomen) kan valse pieken veroorzaken.
- Ruimte: Als meerdere voertuigen tegelijk bewegen, versmilt het gewogen gemiddelde en driftt het zwaartepunt.
- Classificatie: CLIP faalt bij CCTV-perspectieven (vaak hoog/overhead) omdat het getraind is op internetfoto's op ooghoogte. De voorspellingen vertonen een systematische verschuiving (bijv. veel "sideswipe" in plaats van "rear-end"), wat wijst op een domein-kloof in visuele cues.

5. Betekenis en Toekomstperspectief

Dit paper demonstreert dat het mogelijk is om een robuust systeem te bouwen voor verkeersveiligheid zonder de dure en tijdrovende stap van het handmatig annoteren van duizenden real-world video's. Hoewel de huidige classificatieprestaties beperkt zijn door de domein-kloof tussen synthetische data/internetbeelden en surveillancebeelden, biedt de modulaire architectuur duidelijke verbeteringsrichtingen:

Optische Stroom: Vervanging van Farneback door geleerde schatters (zoals RAFT) voor betere nauwkeurigheid op lage resolutie.
Fine-tuning: Het finetunen van de CLIP-encoder op de synthetische trainingsdata zou de domein-kloof kunnen verkleinen en de classificatie significant kunnen verbeteren.

De studie bevestigt dat een combinatie van statistische signaalverwerking en grote pre-getrainde modellen een veelbelovende route is voor automatisering in complexe, data-schaarse domeinen zoals verkeersveiligheid.