💻 computer science

Two-Pass Zero-Shot Temporal-Spatial Grounding of Rare Traffic Events in Surveillance Video

Dit artikel introduceert een zero-shot, no-fine-tuning pipeline die gebruikmaakt van een tweestaps ruw-naar-fijn strategie en gespecialiseerde roltoewijzing voor vision-language modellen om state-of-the-art temporo-spatiale grounding van zeldzame verkeersongevallen in surveillancevideo te bereiken, en presteert 12,7% beter dan bestaande baselines op de ACCIDENT@CVPR 2026-benchmark.

Oorspronkelijke auteurs: Jiantang Huang

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiantang Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een rechercheur bent die een misdrijf moet oplossen dat plaatsvond op een drukke stadsplein, maar je hebt slechts één korrelig beveiligingscamera-beeld van 30 seconden. Je taak is om drie specifieke dingen te vinden: precies wanneer het ongeluk plaatsvond, precies waar op het scherm het gebeurde, en welk type ongeluk het was (bijvoorbeeld een achtervolging versus een zijwaartse aanrijding).

Het probleem? Je kunt geen team van menselijke experts inhuren om elke video te bekijken, en je mag geen echte ongelukvideo's "bestuderen" om te leren hoe je ze herkent (vanwege privacywetten). Je moet dit oplossen met alleen "kant-en-klare" AI-tools die niet specifiek zijn getraind op ongevallen.

Dit artikel presenteert een slimme, tweestapsstrategie om deze puzzel op te lossen met twee verschillende soorten AI-"rechercheurs".

Het Probleem: De "One-Shot"-Fout

Als je een standaard AI vraagt om de hele 30-seconden video te bekijken en tegelijkertijd het tijdstip, de locatie en het type ongeluk te raden, raakt het vaak in de war. Het is alsof je iemand vraagt om een hele film te bekijken en je het exacte seconde te vertellen waarop een specifieke acteur niest, terwijl je ze ook vraagt om het exacte punt op het scherm aan te wijzen en het type niesen te benoemen. Ze zouden misschien de juiste film raden, maar de timing 20 seconden verkeerd schatten of de nies met een hoest verwarren.

De auteurs ontdekten dat eerdere AI-pogingen vaak enorme foutmarges hadden (zoals het raden dat het ongeluk 21 seconden na het werkelijke moment plaatsvond) of het type ongeluk volledig verkeerd identificeerden.

De Oplossing: Het "Twee-Pass"-Rechercheursteam

De auteurs creëerden een processtroom die twee verschillende AI-modellen gebruikt die in een specifieke volgorde samenwerken, zoals een senior rechercheur en een specialist.

Pass 1: De "Wide-Angle"-Scan (De Generalist)

Eerst gebruiken ze een krachtige AI (genaamd Qwen3-VL) om de video te bekijken met een lage snelheid (1 beeld per seconde).

De Analogie: Stel je een rechercheur voor die snel door een misdaadplein loopt en de hele kamer bekijkt. Ze stoppen niet om elk vingerafdruk te onderzoeken. Ze krijgen gewoon een "buikgevoel" over waar de actie plaatsvond en ongeveer wanneer het gebeurde.
De Output: Deze AI geeft een "grove" schatting: "Het ongeluk vond waarschijnlijk rond seconde 15 plaats, in de buurt van het midden van het scherm, en het lijkt op een ongeval met één auto."
Het Veiligheidsnet: Als de AI in de war raakt of de API (de internetverbinding met de AI) faalt, heeft het systeem een back-upplan met simpele natuurkunderegels (zoals het volgen van autobeweging) om een beste schatting te maken, zodat het nooit een video leeg laat.

Pass 2: De "Zoom-In"-Verfijning (De Specialist)

Vervolgens neemt het systeem die ruwe schatting en maakt een klein, hoogwaardig "in-gezoomd" fragment van slechts de 6 seconden rond het vermoedelijke tijdstip van het ongeluk.

De Analogie: Nu doet de rechercheur een vergrootglas op en bekijkt die 6 seconden in slow motion. Ze zoeken naar het exacte moment van impact en de precieze plek waar de auto's elkaar raakten.
De Veiligheidswachters: Het systeem heeft twee "veiligheidscontroles".
1. Tijdcontrole: Als de ingezoomde AI zegt: "Ik zie geen ongeluk in dit specifieke 6-seconden venster," of als het een tijd raadt die precies aan de rand van het venster ligt (wat meestal betekent dat het raadt), negeert het systeem de nieuwe schatting en blijft bij de oorspronkelijke "buikgevoel"-schatting van Pass 1.
2. Ruimtecontrole: Als de ingezoomde AI naar een punt wijst dat precies aan de rand van het scherm ligt (wat vaak een fout is), negeert het systeem dit en gebruikt het de oorspronkelijke locatie van Pass 1.

De "Specialist" voor Ongelukstypes

Tot slot beseft het systeem dat de eerste AI niet erg goed is in het benoemen van het type ongeluk (bijvoorbeeld het verwarren van een "zijwaartse aanrijding" met een "achtervolging").

De Analogie: Daarom geven ze het korte, ingezoomde fragment aan een tweede, andere AI-expert (genaamd Gemini 3.1) die een specialist is in het identificeren van ongelukstypes. Deze expert kijkt alleen naar het moment van het ongeluk en zegt: "Dit is zeker een zijwaartse aanrijding."

De Resultaten: De Wedstrijd Verslaan

De auteurs testten dit "Twee-Pass"-team op een echte benchmark met meer dan 2.000 echte CCTV-video's.

De Score: Ze behaalden een score van 0,539.
De Vergelijking: Dit was aanzienlijk beter dan de vorige beste pogingen (die rond de 0,412 scoorden) en veel beter dan het gebruik van slechts één AI-model.
De Kosten: Het hele proces kostte ongeveer 20 dollar om op alle 2.000 video's te draaien (ongeveer 1 cent per video), wat bewijst dat je geen supercomputer nodig hebt om goede resultaten te behalen.

Wat Ze Vonden (De "Foutanalyse")

Het artikel geeft ook toe waar het systeem nog steeds moeite mee heeft, als een eerlijke rechercheur die hun beperkingen rapporteert:

Late Bias: De AI neigt om te raden dat het ongeluk iets na het werkelijke moment plaatsvond (ongeveer 1,5 seconde te laat). Het ziet vaak de puinresten na de impact in plaats van het moment van impact.
Verwarrende Types: Het systeem is nog steeds slecht in het onderscheid maken tussen een "frontale" botsing en een "T-botsing", of tussen een "zijwaartse aanrijding" en een "achtervolging". Het verwart deze ongeveer 40-80% van de tijd.
Video Lengte: Hoe langer de video, hoe moeilijker het is voor de AI om het exacte moment te vinden, net zoals het moeilijker is om een naald te vinden in een uur durend hooiberg dan in een van 10 minuten.

Samenvatting

Kortom, dit artikel laat zien dat je geen nieuwe AI van scratch hoeft te trainen om zeldzame verkeersongevallen te vinden. In plaats daarvan kun je een slimme "Twee-Pass"-strategie gebruiken: Eerst breed scannen, vervolgens zorgvuldig inzoomen, en een andere expert gebruiken voor het benoemen van het ongelukstype. Deze aanpak, gecombineerd met simpele veiligheidscontroles om slechte schattingen te voorkomen, creëert een systeem dat veel nauwkeuriger is dan eerdere methoden, terwijl de kosten laag blijven en de privacyregels worden gerespecteerd.

Technische Samenvatting: Twee-Pass Zero-Shot Temporaal-Ruimtelijke Grounding van Zeldzame Verkeersgebeurtenissen

Probleemstelling
Het artikel adresseert de uitdaging van het grounden van verkeersongevallen in echte CCTV-beelden, met name gericht op de gezamenlijke lokalisatie van tijd, ruimtelijke coördinaten en botsingstype. Dit wordt geformuleerd als een "zeldzame-gebeurtenis"-probleem waarbij de hoeveelheid gelabelde ongevalbeelden die nodig is voor moderne supervised learning, niet beschikbaar is. Bovendien verhinderen privacy- en aansprakelijkheidskwesties vaak het trainen op echte incidentgegevens. Het werk richt zich op de ACCIDENT@CVPR 2026-benchmark, die 2.211 synthetische CARLA-video's biedt voor ontwikkeling, maar het trainen op de 2.027 echte CCTV-testclips strikt verbiedt. De evaluatiemeta is ACCS, het harmonisch gemiddelde van scores voor temporele (T), ruimtelijke (S) en botsingstype (C) nauwkeurigheid, wat systemen met zwakke componenten in een enkele subtaak bestraft.

Methodologie
De auteurs stellen een pipeline zonder fine-tuning voor die bevroren Vision-Language Models (VLM's) benut via een twee-pass decompositie en toewijzing van specialistrollen. Het systeem opereert zonder training op echte ongevalsgegevens, en vertrouwt in plaats daarvan op de native capaciteiten van vooraf getrainde modellen.

Grof-naar-fijn Twee-Pass Decompositie:
- Pass 1 (Grof Grounding): De volledige video wordt gesampled met 1 fps (tot 30 frames) en verwerkt door Qwen3-VL-Plus. Het model wordt geprompt om een grof tuple $(t_1, x_1, y_1, c_1)$ te outputten dat de impacttijd, locatie en het type vertegenwoordigt. Om temporele uitlijning te ondersteunen, worden frames gesequenced met expliciete [Frame op t.ts]-tags, waardoor het model tijdslokalisatie kan behandelen als een frame-naamgevingstaak in plaats van continue regressie.
- Pass 2 (Fijn Verfijnen): Een $\pm 3$ seconden venster rond de grove tijdschatting $t_1$ wordt geëxtraheerd en gesampled met 5 fps (tot 30 frames met 1024px resolutie). Qwen3-VL-Plus evalueert dit venster opnieuw om de tijd ( $t_2$ ) en locatie ( $x_2, y_2$ ) te verfijnen met 0,1s precisie.
- Zekerheidspoorten: Twee deterministische poorten bepalen of de verfijnde Pass 2-schattingen worden geaccepteerd of dat wordt teruggegrepen naar de robuuste Pass 1-schattingen:
  - Temporele Poort: Als Pass 2 een negatieve tijd retourneert of een tijd nabij de venstergrens (wat lage zekerheid aangeeft), keert het systeem terug naar $t_1$ .
  - Ruimtelijke Poort: Als Pass 2-coördinaten "edge-clamped" zijn (dicht bij de 0 of 1000 grenzen van het genormaliseerde rooster), keert het systeem terug naar $(x_1, y_1)$ .
Toewijzing van Specialistrollen:
- Inzichtelijkmakend dat een enkel VLM niet in alle subtaken kan excelleren, splitst de pipeline de verantwoordelijkheden. Qwen3-VL-Plus behandelt de temporele en ruimtelijke grounding (T+S).
- Gemini 3.1 Flash-Lite krijgt de specifieke rol van botsingstypen-classificatie (C). Een 5-seconden clip gecentreerd rond de finale tijdschatting wordt bijgesneden (2,5x inzoomen rond het Pass 1-midden) en aan Gemini doorgegeven met een closed-world prompt die de vijf botsingstypen opsomt. Deze specialisatie verbetert de type-nauwkeurigheid aanzienlijk in vergelijking met het gebruik van één enkel model voor alle taken.
Fallback-mechanisme:
- In gevallen van API-fouten (waargenomen bij ~17% van de video's), grijpt het systeem terug naar een bevroren detectorpipeline (YOLO26x + ByteTrack) gecombineerd met regelgebaseerde fysische scoring. Dit zorgt ervoor dat geen enkele video onbewerkt blijft.

Belangrijkste Bijdragen

Pipeline zonder Fine-tuning: Een methode die gezamenlijke T+S+C-outputs uit bevroren VLM's losmaakt, waardoor de behoefte aan gelabelde echte ongevalsgegevens wordt vermeden.
Twee-Pass Decompositie met Poorten: Een strategie die hoog-saliente buurten verfijnt terwijl deterministische zekerheidscontroles worden gebruikt om foutpropagatie vanuit de tweede pass te voorkomen.
Gesplitste Specialistrollen: Het aantonen dat het toewijzen van type-classificatie aan een tweede, gespecialiseerd VLM (Gemini) de type-nauwkeurigheid verhoogt van 0,474 naar 0,591, een kritieke verbetering voor de harmonisch-gemiddelde score.
Systematische Foutanalyse: Het artikel biedt een gedetailleerde diagnose van faalmodi, waaronder een +1,55s late bias in temporele grounding, lengte-afhankelijke degradatie en een physics-VLM oracle-analyse.

Resultaten
Op de ACCIDENT@CVPR 2026-testset (2.027 video's) bereikt de voorgestelde pipeline een ACCS van 0,539 (95% CI [0,525, 0,553]).

Vergelijkende Prestaties: Dit vertegenwoordigt een +0,127 verbetering ten opzichte van de beste-baselines-oracle van de benchmarkpaper (0,412) en een +0,143 verbetering ten opzichte van de sterkste single-VLM-baseline, Molmo-7B (0,396).
Subtaak Opdeling: De methode bereikt T=0,50, S=0,54 en C=0,59. Opmerkelijk is dat de type-nauwkeurigheid (C) de hoogst gerapporteerde is, terwijl de ruimtelijke nauwkeurigheid iets achterblijft bij de beste single-VLM-baseline.
Kostenefficiëntie: De volledige run kost ongeveer $20 voor de gehele testset (ongeveer $0,01 per video), met gebruik van maximaal drie API-calls per video.
Foutdiagnose: De analyse onthult een gemiddelde temporele late bias van +1,55s (het model identificeert vaak het post-collisie wrak in plaats van het contactmoment) en aanzienlijke verwarring tussen "frontale" en "T-botsingen".

Betekenis en Claims
Het artikel beweert dat het dichten van de kloof tussen geautomatiseerde systemen en menselijke prestaties (Menselijke ACCS = 0,843) in grounding van zeldzame gebeurtenissen zonder supervised training vereist dat men voorbij handgemaakte primitieven en single-shot prompting gaat. De auteurs betogen dat hun aanpak de levensvatbaarheid demonstreert van training-vrije, zero-shot VLM-pipelines voor veiligheidskritieke taken waar datatekorten en privacy de primaire beperkingen zijn.

De auteurs blijven bescheiden over de huidige staat van het systeem, en merken op dat de resterende temporele ambiguïteit (mediaan 1,1s fout) en specifieke typeverwarringen (frontaal/zijdelingse botsing) nog niet acceptabel zijn voor volledig geautomatiseerde first-notice-of-loss (FNOL)-systemen zonder mens-in-de-lus-poorten. Zij concluderen dat toekomstige verbeteringen zich moeten richten op adaptieve sampling en physics-VLM-fusie in plaats van simpelweg het schalen van de modelgrootte. Het werk stelt vast dat gespecialiseerde roltoewijzing en grof-naar-fijn verfijning effectieve hefbomen zijn voor het verbeteren van zero-shot grounding in complexe, echte surveillance-scenario's.