💻 computer science

Zero-Shot Traffic Accident Detection via a Coarse-to-Fine VLM-Tracking Pipeline

Dit artikel presenteert een trainingsvrije, van grof naar fijn georiënteerde pijplijn die een bevroren Qwen3-VL-32B vision-language model combineert met objectdetectie en tracking om state-of-the-art zero-shot verkeersongevallen te detecteren op echte CCTV-beelden, waarbij bestaande baselines met 22% wordt overtroffen zonder dat er gelabelde real-world trainingsdata vereist zijn.

Oorspronkelijke auteurs: Dipit Saha, Shah Mohammad Abdul Mannan, Mohammad Raihan Rashid, Ruwad Naswan, Ahnaf Tahmid

Gepubliceerd 2026-08-11

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dipit Saha, Shah Mohammad Abdul Mannan, Mohammad Raihan Rashid, Ruwad Naswan, Ahnaf Tahmid

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een misdaad probeet op te lossen, maar het enige bewijsmateriaal dat je hebt, is een korrelig beveiligingsvideo van 30 seconden van een verkeerscamera. De video is wazig, de auto's zijn kleine stipjes en het ongeluk gebeurt in een oogwenk. Stel je nu voor dat je een computer precies moet vertellen wanneer de crash plaatsvond, waar op het scherm de auto's botsten en wat voor soort crash het was (zoals een frontale botsing of een zijdelingse aanrijding). De crux is dat je de computer niet de kans mag geven om echte auto-ongelukken te zien om van te leren; de computer moet het volledig zelf uitzoeken, gebruikmakend van alleen wat hij al "weet" van het enorme internet. Dit is de uitdaging van Zero-Shot Learning: een machine leren om een nieuwe situatie te herkennen zonder een specifieke handleiding, door enkel te vertrouwen op algemeen gezond verstand.

Dit artikel pakt exact dat probleem aan voor verkeersongevallen. De auteurs hebben een slim "twee-stappen" systeem gebouwd dat werkt als een detective met een vergrootglas en een stopwatch. In plaats van naar de hele video tegelijk te staren en in de war te raken, scant het systeem eerst snel en grof om te raden wanneerd de crash waarschijnlijk plaatsvond. Daarna zoomt het in op dat ene kleine moment en gebruikt het een aparte tool om boxen rond de auto's te tekenen en hun exacte posities op te schrijven. Het voert dit supergedetailleerde, geannoteerde beeld aan een gigantisch AI-brein (een Vision-Language Model) om het definitieve antwoord te krijgen. Het resultaat? Het systeem raadde de tijd, de plaats en het type ongeluk beter dan elke andere methode die de organisatoren van de wedstrijd hadden gepubliceerd, en dat alles zonder ooit een enkel echt crashvideo tijdens de "training" te hebben gezien.

De Twee-Stappen Dans van de Detective

De kern van dit artikel is dat het kijken naar een hele video in één keer een slechte strategie is om ongelukken te vinden. Ongelukken zijn vluchtig; ze duren misschien slechts 100 tot 500 milliseconden (dat is minder dan een halve seconde!) binnen een clip van 30 seconden. Als je de computer zomaar een paar willekeurige frames laat zien, is het alsoals proberen een specifieke seconde in een film te vinden door willekeurig door de pagina's te bladeren — je zult de actie waarschijnlijk volledig missen. De auteurs noemen dit het "contact-frame probleem".

Om dit op te lossen, ontwierpen ze een Coarse-to-Fine Pipeline, wat in feid een twee-stappen onderzoek is.

Stap 1: De Groothoekscan (Coarse Pass)
Eerst werpt het systeem een snelle, brede blik op de hele video. Het pakt 60 frames (afbeeldingen) die verspreid zijn over de volledige 30 seconden. Het vraagt een krachtig AI-model (genaamd Qwen3-VL-32B-Instruct) om twee dingen te raden: "Wanneer denk je dat de crash plaatsvond?" en "Wat voor soort crash was het?".
Denk hierbij aan een detective die vanaf de overkant van de straat naar een plaats delict kijkt. Hij kan de details niet zien, maar hij kan wel zeggen: "Oh, het lijkt erop dat er rond de 15-seconden mark een auto-ongeluk is gebeurd." Deze gok is niet perfect, maar het geeft het systeem een startpunt. Het verankert de zoektocht in de tijd, zodat de volgende stap niet blind hoeft te zoeken.

Stap 2: Het Vergrootglas (Fine Pass)
Zodra het systeem een ruwe tijdsindicatie heeft (laten we zeggen 15 seconden), stopt het daar niet. Het creëert een klein "venster" van tijd rond die schatting — specifiek 2 seconden vóór en 2 seconden na de geschatte tijd. Dit is het kritieke moment.
Binnen dit venster van 4 seconden schakelt het systeem over naar de hoogste versnelling. Het draait een super-snelle objectdetector (YOLO11x) en een tracker (BoT-SORT) op de volledige snelheid van de video. Deze tools doen twee belangrijke dingen:

Ze tekenen boxen: Ze plaatsen een gekleurd rechthoek rond elke auto die ze zien.
Ze schrijven een rapport: Ze laten niet alleen het plaatje zien; ze schrijven ook de exacte coördinaten van die boxen op als getallen (zoals "Auto 1 is op positie 0.49, 0.62").

Nu laat het systeem deze geannoteerde, ingezoomde scène zien aan dezelfde gigantische AI-model. Maar deze keer kijkt de AI niet alleen naar een wazig beeld; de AI kijkt naar een foto met een geschreven beschrijving van waar de auto's zich bevinden. Het is alsof je de detective een foto geeft met pijlen die naar de verdachten wijzen en een notitie met: "Verdachte A staat hier." Deze combinatie van visuele en numerieke aanwijzingen helpt de AI om het exacte moment van impact en de exacte locatie op het scherm te bepalen.

Waarom dit Belangrijk is en Wat het Vermijdt

Het artikel betoogt expliciet tegen een "directe" aanpak waarbij je simpelweg de hele video in één keer aan een AI voert. De auteurs ontdekten dat als je dat doet, de AI in de war raakt. De AI heeft de neiging om te gokken dat het ongeluk precies in het midden van de video plaatsvond (een "mid-video bias"), ongeacht wanneer het werkelijk gebeurde. Ook heeft het systeem moeite met het vinden van de exacte locatie omdat de auto's zo klein en wazig zijn in de lage-resolutie CCTV-beelden.

Door de "one-shot" methode te verwerpen, bewezen de auteurs dat het opdelen van het probleem veel beter werkt. Ze zorgden er ook voor dat ze een veelvoorkomende valkuil in AI-onderzoek vermeden: fine-tuning. Normaal gesproken moet je een AI duizenden gelabelde voorbeelden van een specifieke taak voeren om hem goed te maken. Hier mochten de auteurs echter geen enkele real-world ongeluksvideo gebruiken voor de training. Ze moesten volledig vertrouwen op de bestaande kennis van de AI (zero-shot). Ze gebruikten wel een synthetische dataset (computergegenereerde crashes uit een spel genaamd CARLA) om het systeem te bouwen, maar de uiteindelijke test vond plaats op echte, rommelige, real-world CCTV-beelden die de AI nog nooit had gezien.

De Resultaten: Een Nieuw Record

Toen ze hun systeem testten tijdens de officiële uitdaging, die 2.027 echte CCTV-clips bevatte, waren de resultaten indrukwekkend. De wedstrijd gebruikte een speciaal scoringssysteem genaamd "harmonic mean", wat een beetje is als een rapportcijfer waarbij als je één vak niet haalt (zoals het raden van de tijd), je hele cijfer naar nul zakt.

Het systeem van de auteurs behaalde een score van 0.504.
Dit versloeg de vorige beste inzending (die een complexe mix van vele verschillende modellen was) met een aanzienlijke marge. De vorige beste score was 0.412.
Om dit in perspectief te plaatsen: de methode van de auteurs was ongeveer 22% beter dan de op één na beste concurrent.

Het systeem was bijzonder goed in het raden van de tijd van het ongeluk (score 0.549) en het type crash (score 0.503). Het was iets minder perfect in het raden van de exacte locatie (score 0.468), maar de algehele verbetering was groot genoeg om de eerste plaats te veroveren.

De "Veiligheidsnetten" en de Haperingen

De auteurs waren slim genoeg om te beseffen dat AI onbetrouwbaar kan zijn. Ze bouwden verschillende "veiligheidsnetten" in om te voorkomen dat het systeem vastloopt of opgeeft.

De Tijd-vloer: Als de AI gokte dat de crash op 0 seconden plaatsvond (wat meestal fout is), dwong het systeem de AI om een iets latere tijd te kiezen om een "nul"-score te voorkomen.
De Back-up: Als het systeem te veel data kreeg en het geheugen vol liep (een veelvoorkomend probleem bij grote AI-modellen), hadden ze een back-upplan om het met minder frames opnieuw te proberen.
De JSON-bewaker: Soms worden AI-modellen praatgrager en schrijven ze extra tekst in plaats van alleen het antwoord. Het systeem was geprogrammeerd om die extra tekst te negeren en alleen te kijken naar het specifieke antwoordformaat.

Ondanks deze veiligheidsmaatregelen was het systeem niet perfect. De auteurs merkten op dat in zeer donkere of zwaar gecomprimeerde video's het systeem soms moeite had om de auto's te zien, wat leidde tot een gok in het midden van het scherm. Ze merkten ook op dat voor "sideswipe" ongelukken (waarbij auto's elkaar slechts licht raken) het systeem soms het subtiele eerste contact miste en een iets ander moment raadde. Echter, dit waren de enige grote fouten, en het systeem presteerde nog steeds beter dan de rest.

De Kernboodschap

Dit artikel laat zien dat je geen AI hoeft te trainen op miljoenen echte ongelukken om een goede ongelukken-detective te worden. In plaats daarvan kun je de AI een slimme strategie geven: een snelle scan om te vinden wanneer, gevolgd door een gedetailleerde, geannoteerde blik om te vinden waar en wat. Door een krachtig AI-brein te combineren met een snelle, precieze trackingtool, hebben de auteurs een systeem gecreëerd dat verkeersongevallen in real-time kan begrijpen, zonder een bibliotheek van eerdere crashes nodig te hebben om van te leren. Het is een herinnering dat de beste manier om een moeilijk probleem op te lossen niet altijd is om er meer data tegenaan te gooien, maar om slimmer na te denken over hoe je ernaar kijkt.

=== SAMENVOETING ===

Technische Samenvatting: Zero-Shot Verkeersongevallen Detectie via een Coarse-to-Fine VLM-Tracking Pipeline

1. Probleemdefinitie

Het artikel behandelt de uitdaging van het extraheren van gestructureerde gebeurtenisrecords uit ruwe verkeersbewakingsbeelden (CCTV). Specifiek moet het systeem drie componenten gelijktijdig voorspellen:

Temporele Lokalisatie ( $\hat{t}$ ): De exacte tijd van de botsing.
Spatiële Lokalisatie ( $\hat{x}, \hat{y}$ ): De genormaliseerde impactlocatie binnen het kader.
Classificatie van Botsingstype ( $\hat{c}$ ): Het type ongeval (bijv. frontale botsing, achteroprijden, zijdelingse aanrijding, t-boon, of enkelvoudig voertuigongeval).

De evaluatie vindt plaats onder de ACCIDENT @ CVSR benchmark-beperkingen, die een strikte zero-shot setting opleggen: er is geen gelabelde real-world trainingsdata beschikbaar. Systemen moeten generaliseren van een synthetische CARLA-gebaseerde ontwikkelset naar 2.027 real-world CCTV-clips. De prestaties worden gemeten door het harmonisch gemiddelde (HM) van de scores voor de drie takken. Deze metriek is onvergeeflijk; als één enkele tak faalt, stort de totale score in naar nul.

Geïdentificeerde kernuitdagingen zijn onder meer:

Datakwaliteit: Lage resolutie, zware compressie, nachtopnames en voertuigen die slechts enkele pixels innemen.
Temporele Sparsiteit: Ongevallen beslaan slechts 100–500 ms binnen een clip van 30 seconden, waardoor uniforme sampling waarschijnlijk het contactmoment mist.
Modelbias: Vision-Language Models (VLM's) vertonen een "mid-video bias", waarbij ze bij onzekerheid standaard naar het middelpunt van de clip vervallen ( $\hat{t} \approx D/2$ ).
Coördinaatherstel: Lage-resolutie pixels maken nauwkeurige herwinning van spatiële coördinaten onbetrouwbaar zonder aanvullende context.

2. Methodologie

De auteurs stellen een training-vrije, twee-pass coarse-to-fine pipeline voor die een bevroren grote VLM integreert met traditionele computer vision-componenten (detectie en tracking).

Kernarchitectuur

Het systeem maakt gebruik van een bevroren Qwen3-VL-32B-Instruct model gekoppeld aan YOLO11x voor objectdetectie en BoT-SORT voor multi-object tracking. Er wordt geen fine-tuning uitgevoerd op real-world data.

Pass 1: Coarse Temporele Lokalisatie

Input: De volledige videoclip wordt spaars gesampled (tot 60 frames bij 2 fps).
Proces: Frames worden afgewisseld met timestamp-tokens (bijv. <T.T seconden>) en gevoed aan de VLM.
Output: Het model retourneert een JSON-object met een grove ongevalstijd ( $\hat{t}_c$ ) en een botsingstype-hint ( $\hat{c}_c$ ).
Doel: Om het botsingsmoment in de tijd te verankeren, waardoor het zoekvenster wordt vernauwd voordat de spatiële redenering begint.

Pass 2: Fine Spatiële en Temporele Verfijning

Vensterdefinitie: Een strak venster van 4 seconden ( $[\hat{t}_c - 2s, \hat{t}_c + 2s]$ ) wordt gedefinieerd rond de grove schatting.
Tracking: YOLO11x en BoT-SORT draaien op de natuurlijke framerate van de video (niet gesampled) om stabiele voertuigidentiteiten te behouden. Een lage betrouwbaarheidsdrempel (0.1) zorgt voor het volgen van wazige of geoccludeerde voertuigen.
Annotatie & Prompting:
- 24 frames worden uniform gesampled uit het getrackte venster.
- Frames worden geannoteerd met bounding boxes en voertuig-ID's met behulp van een visualisatie-drempel van 0.3.
- Dual-View Input: Elk frame wordt aan de VLM gepresenteerd met twee vormen van informatie:
  1. Visuele Overlay: De afbeelding met getekende bounding boxes en labels (bijv. [Car 1]).
  2. Expliciete Numerieke Tekst: Genormaliseerde coördinaattekst (bijv. [Car 1: (0.491,0.620)-(0.589,0.694)]).
Output: Het model retourneert een verfijnd JSON-object met de definitieve ongevalstijd, centrumcoördinaten ( $\hat{x}, \hat{y}$ ) en het botsingstype.

Safeguards tijdens de Inferentie

Om catastrofale fouten te voorkomen die een harmonic mean naar nul zouden reduceren, gebruikt het systeem verschillende fallback-mechanismen:

Temporal Floor: Voorkomt degeneratieve zero-time outputs.
YOLO Retry / Raw-Frame Fallback: Als detectie faalt (bijv. in nacht/gecomprimeerde clips), keert het systeem terug naar raw frames voor de fine pass.
Short-Window Retry: Als de VLM buiten het geheugen (OOM) schiet in Pass 2, probeert het opnieuw met minder frames en een nauwer contextvenster.
JSON Safeguard: Zorgt ervoor dat malafide outputs de evaluatie van de clip niet laten crashen.

3. Belangrijkste Bijdragen

Training-Free Zero-Shot Pipeline: Een methode die state-of-the-art resultaten behaalt op echte CCTV-data zonder enige real-world gelabelde training, uitsluitend vertrouwend op de brede priors van een bevroren VLM en off-the-shelf detectoren.
Coarse-to-Fine Strategie: Een nieuwe twee-pass benadering die temporele verankering ontkoppelt van spatiële redenering, wat de "mid-video bias" en de moeilijkheid van het vinden van zeldzame botsingsgebeurtenissen in lange clips effectief mitigeert.
Visual-Numeric Prompting: De integratie van genormaliseerde coördinaattekst naast visuele bounding box overlays voorziet de VLM van zowel semantische als expliciete geometrische bewijslast, wat de nauwkeurigheid van de spatiële lokalisatie op lage-resolutie beelden aanzienlijk verbetert.
Stabiele Identiteits-tracking: Het gebruik van tracking op de natuurlijke framerate (BoT-SORT) zorgt voor consistente voertuig-ID's, wat ID-swapping fouten voorkomt die de visuele prompts verslechteren in gesamplede benaderingen.

4. Resultaten

Op de officiële 2.027-clip real-CCTV testset behaalde het systeem het volgende:

Harmonisch Gemiddelde (HM) Score: 0.504 (Private leaderboard: 0.503).
Vergelijking: Dit overtreft de beste door de organisator gepubliceerde baseline (een multi-model ensemble) die 0.412 scoorde, wat een relatieve verbetering van 22% vertegenwoordigt.
Prestaties per Tak:
- Temporele Score ( $T$ ): 0.549 (Winst van +0.206 ten opzichte van de beste baseline).
- Spatiële Score ( $S$ ): 0.468 (Lichte regressie van -0.020, toegeschreven aan tracking-fouten in specifieke edge cases zoals laat binnenkomende voertuigen).
- Classificatie Score ( $C$ ): 0.503 (Winst van +0.070).

De auteurs merken op dat de lichte regressie in de spatiële score een trade-off is die geaccepteerd wordt om significante verbeteringen in de temporele en classificatie-nauwkeurigheid te verkrijgen, die moeilijker te bereiken zijn zonder de voorgestelde pipeline.

5. Betekenis en Claims

Het artikel claimt dat de primaire betekenis ervan ligt in het aantonen dat complexe gezamenlijke voorspellings-taken in surveillance video kunnen worden opgelost zonder real-world trainingsdata door gebruik te maken van de brede priors van grote VLM's, mits deze worden gestuurd door een gestructureerde, meerfasige inferentie-pipeline.

Belangrijke leerpunten benadrukt door de auteurs:

Noodzaak van Structuur: Een single-pass VLM call faalt op alle drie de assen vanwege temporele sparsiteit en spatiële ambiguïteit. De coarse-to-fine structuur is essentieel.
Waarde van Expliciete Geometrie: Het verstrekken van genormaliseerde coördinaattekst naast visuele overlays is cruciaal voor het herstellen van precieze locaties uit lage-resolutie pixels.
Robuustheid Engineering: Het succes van het systeem is deels te danken aan engineering safeguards (fallbacks, retry-mechanismen) die voorkomen dat single-point failures de score van de gehele clip ongeldig maken.
Beperkingen: De auteurs erkennen de computationele kosten (twee VLM calls + detector/tracker per clip) en het empirische karakter van sommige ontwerpkeuzes door het gebrek aan real-world validatie-labels. Ze suggereren dat toekomstig werk lichtere temporele pre-filters en dedicated single-vehicle detectoren zou kunnen verkennen om specifieke foutmodi (bijv. t-boon misclassificaties) verder te verminderen.