Metadata-Aware Multi-Prompt Reasoning for Zero-Shot Accident Understanding

Technische Samenvatting: Metadata-bewuste Multi-Prompt Redenering voor Zero-Shot Ongevallenbegrip

Probleemstelling
Het artikel behandelt de uitdaging van zero-shot ongevallenbegrip in surveillancevideo's. In tegenstelling tot standaard gebeurtenisdetectie vereist deze taak dat een model gelijktijdig drie afzonderlijke componenten identificeert zonder toegang tot gelabelde real-world trainingsdata:

1. Wanneer: De precieze temporele gebeurtenis van de impact.
2. Wat: De specifieke categorie van het ongeval (bijv. achteroprijden, T-boon, frontale botsing).
3. Waar: De ruimtelijke coördinaten van het fysieke punt van impact binnen het videokader.

De auteurs merken op dat echte CCTV-beelden aanzienlijke moeilijkheden presenteren, waaronder korte impactduur, visueel vergelijkbare ongevalscategorieën en de neiging van modellen om zich te concentreren op prominente objecten in plaats van op de werkelijke interactie tussen weggebruikers. Bestaande Vision-Language Models (VLM's) worstelen vaak wanneer ze gevraagd worden om deze complexe, veelzijdige taak via een enkele end-to-end query op te lossen, wat leidt tot instabiele voorspellingen.

Methodologie
De voorgestelde oplossing is een driefasen-pipeline die het probleem deelt op in Wanneer, Wat en Waar, waarbij gebruik wordt gemaakt van open-weight modellen zonder fine-tuning.

1. Temporele Detectie (Wanneer):

   • Mechanisme: Het systeem gebruikt Meta's Perception Encoder (PE), een contrastief vision-language model, om gesamplede frames (op 8 FPS) te scoren op basis van hun semantische uitlijning met de tekstquery "traffic accident".
   • Proces: Frames worden gerangschikt op basis van cosinus-gelijkenis. De top-$K$ frames worden geselecteerd, en een temporeel venster wordt gedefinieerd door de tijdstempels van de vroegste en laatste geselecteerde pieken te verbreden met een vaste offset ($\delta = 2$ seconden).
   • Output: De voorspelde ongevalstijd is het middelpunt van dit uitgebreide venster.

2. Metadata-bewuste Multi-Prompt Classificatie (Wat):

   • Mechanisme: Een generatieve VLM (Qwen-3.5-VL 9B) wordt bevraagd met vijf complementaire prompts over de geselecteerde sleutelframes en metadata (scène-indeling, weer, tijdstip van de dag).
   • Prompt-perspectieven: De vijf prompts dekken: (1) baseline directe classificatie, (2) bewegingsanalyse, (3) geometrische contactredenering, (4) contrastieve eliminatie, en (5) een tiebreaker.
   • Adjudicatie: Outputs worden geaggregeerd via een procedure voor stemmen met aandacht voor onzekerheid. Als de stemverdeling ambigu is (lage marge of hoge entropie), escaleert het systeem naar een tweestapsresolutie: een gestructureerde tiebreaker-prompt gevolgd door, indien nodig, een gerichte paargewijze adjudicatie tussen de top twee kandidaten, geconditioneerd op de impactgeometrie.

3. Ruimtelijke Impact Lokalisatie (Waar):

   • Mechanisme: Een open-vocabulary detector (OWL-v2) wordt gebruikt om de impact te lokaliseren.
   • Conditionering: In plaats van generieke queries, wordt de detector geprompt met zinnen die geconditioneerd zijn op zowel het voorspelde ongevalstype (uit Fase 2) als de scène-indeling (uit metadata). Bijvoorbeeld: "car crashing into back of another car on a highway."
   • Aggregatie: Detecties over sleutelframes worden gepoold. Het uiteindelijke impactpunt wordt berekend als het score-gewogen zwaartepunt van de top-$K$ bounding box-centra, en de impactregio is de unie van deze boxen. Deze aggregatie dwingt temporele consistentie af door vluchtige fout-positieven minder zwaar mee te tellen.

Belangrijkste Bijdragen

• Gedecomponereerd Framework: Een driefasen "Wanneer-Wat-Waar" pipeline voor zero-shot ongevallenbegrip vanuit CCTV, waarbij elke fase onafhankelijk upgradebaar is.
• Multi-Prompt Redenering: Een vijf-prompt classificatieschema met entropie-gestuurde paargewijze adjudicatie die ambigue stemmen oplost zonder dat er gelabelde kalibratiedata nodig zijn.
• Type-geconditioneerde Lokalisatie: Een strategie die de ruimtelijke detector conditioneert op het voorspelde ongevalstype en de scènecontext, wat de auteurs stellen dat de foreground-bias in bestaande pointing-modellen vermindert.
• Efficiëntie: Het systeem werkt op een enkele 24 GB GPU met uitsluitend open-weight modellen en vereist geen fine-tuning.

Resultaten
De methode werd geëvalueerd op de ACCIDENT@CVPR 2026 benchmark, die synthetische CARLA-data gebruikt voor ontwikkeling en echte fixed-view CCTV-clips voor testen. De evaluatiemetriek is het harmonisch gemiddelde van temporele nauwkeurigheid ($T$), ruimtelijke nauwkeurigheid ($S$) en classificatienauwkeurigheid ($C$).

• Prestaties: De voorgestelde pipeline behaalde een Private Leaderboard score van 0.4015, wat aanzienlijk beter is dan de regelgebaseerde baselines (Baseline A: 0.2734; Baseline B: 0.3188).
• Componentanalyse:
  • Ruimtelijke Lokalisatie: Leverde de grootste prestatiewinst op. Het gebruik van OWL-v2 met type/scène-conditionering verbeterde de score met 0.053 ten opzichte van een center-of-frame baseline.
  • Temporele Detectie: Het $\delta$-verbreedde venster verbeterde de score met 0.039 ten opzichte van het gebruiken van een enkel top-gelijkenis frame.
  • Classificatie: Het multi-prompt ensemble met adjudicatie zorgde voor een consistente, zij het kleinere, verbetering (0.0054) ten opzichte van een single-prompt setting.
• Foutanalyse: Residuele fouten werden primair toegeschreven aan verre botsingen waarbij de detector de impact miste of een voertuig op de voorgrond selecteerde, evenals aan ongunstige omstandigheden zoals regen, nacht of obstructie.

Betekenis en Claims
Het artikel claimt dat het opdelen van zero-shot video-begrip in temporele lokalisatie, semantische classificatie en ruimtelijke grounding meer betrouwbare redenering met Vision-Language Models mogelijk maakt dan directe, single-step prompting. De auteurs benadrukken dat het expliciet conditioneren van de ruimtelijke detector op het voorspelde ongevalstype de foreground-object bias vermindert, een veelvoorkomende foutmodus in pointing-modellen. Het werk demonstreert dat een modulaire, perception-first pipeline robuuste zero-shot prestaties kan leveren op uitdagende surveillancebeelden zonder de noodzaak van domeinspecifieke fine-tuning.