Technische Samenvatting: PaSBench-Video

Probleemstelling

Huidige Multimodale Large Language Models (MLLM's) bezitten weliswaar video-begripsvermogen, maar missen het vermogen om te fungeren als proactieve veiligheidsmonitoren. Hoewel ongelukken vaak worden voorafgegaan door visueel herkenbare waarschuwingssignalen, schieten bestaande benchmarks tekort in het evalueren van het cruciale venster tussen het eerste zichtbare teken van gevaar en het moment waarop schade optreedt. Huidige veiligheidsbenchmarks lijden onder drie primaire beperkingen:

1. Statische Inputs: Ze vertrouwen op statische afbeeldingen of beeldsequenties in plaats van continue videostreams.
2. Gebrek aan Temporele Kalibratie: Ze maken geen onderscheid tussen voortijdige waarschuwingen (uitgegeven voordat het risico zichtbaar is) en late waarschuwingen (uitgegeven nadat de schade is opgetreden).
3. Afwezigheid van False-Positive Meting: Ze laten evaluatie op benigne (onschuldige) scènes weg, waardoor het kritieke probleem van frequente valse alarmen, wat het gebruikersvertrouwen ondermijnt en leidt tot alarmmoeheid, wordt genegeerd.

Consequent is er geen gecontroleerde testomgeving om te bepalen of MLLM's een videostream causaal kunnen observeren, het precieze moment kunnen identificeren waarop een risico actiegericht wordt, een tijdige waarschuwing kunnen geven en stil kunnen blijven bij veilige scènes.

Methodologie

Dataset Constructie: PaSBench-Video

De auteurs introduceren PaSBench-Video, een benchmark bestaande uit 740 video's over vier domeinen: rijden, gezondheidszorg, dagelijks leven (smart home) en industriële productie.

• Risico-verdeling (481 video's): Handmatig geverifieerde clips die evoluerende veiligheidsrisico's bevatten. Elke video is geannoteerd met frame-niveau grenzen:
  • Risico-start ($r$): Het vroegste frame waar visueel bewijs een actiegerichte waarschuwing ondersteunt.
  • Ongeluk ($a$): Het frame waar het nadelige evenement begint.
  • Risicobron & Vermijdingsactie: Specifieke gevarendragers en aanbevolen interventies.
• Geen-Risico-verdeling (259 video's): Benigne clips van normaal rijgedrag, surveillance en monitoring thuis, uitsluitend gebruikt om de false-positive ratio te meten.
• Databronnen: Omvat real-world datasets (bijv. DADA-2000, Nexar, OOPS) en synthetische data gegenereerd via Kling v3 Omni voor scenario's in de gezondheidszorg en industrie waar real-world data met een specifieke annotatiegranulariteit niet beschikbaar was.
• Filtering: Een rigoureuze twee-fasen filter (model-gebaseerd met gebruik van Qwen3.5 en Gemini-3.1-Pro, gevolgd door menselijke beoordeling) zorgt ervoor dat clips voorspelbaar zijn (risico afleidbaar uit het verleden/huidige frames), vermijdbaar zijn (interventie mogelijk), niet-intentioneel zijn (geen ingestudeerde stunts) en visueel gegrond zijn.

Evaluatieprotocol

De benchmark hanteert een streaming evaluatieprotocol:

• Causale Observatie: Modellen ontvangen alleen het verleden en de huidige frames binnen een sliding window (vensters van 3 seconden, 0,3s stride).
• Taak: Het model moet beslissen of het een gestructureerde waarschuwing geeft (identificatie van risicobron en actie) of stil blijft.
• Metrieken: Een hiërarchie van progressief strengere metrieken geparametriseerd door interventie-leidtijd $\tau$ (standaard 1,0s):
  1. Any-Det@$\tau$: Detectie van elke waarschuwing vóór het ongeluk.
  2. Any-Hit@$\tau$: Detectie van een waarschuwing binnen het geldige risicovenster $[r, a-\tau]$.
  3. First-Hit@$\tau$: De eerste waarschuwing van de video valt binnen $[r, a-\tau]$.
  4. First-Act@$\tau$: De eerste waarschuwing is correct getimed en identificeert correct de risicobron en de inhoud.
• False-Positive Rate: Gemeten als het fractie van de no-risk video's die $\ge K$ waarschuwingen triggert.

Experimentele Opstelling

De auteurs hebben 13 MLLM's getest, inclusief open-weight modellen (Qwen3.5, Gemma) en propriëtaire modellen (Gemini, Claude, GPT). Alle modellen werden geëvalueerd met identieke prompts, temperatuur 0, en frame sampling.

Belangrijkste Resultaten

1. Lage Prestaties en Kwalitatieve Falen

Geen enkel model overschreed 20,0% op de strengste metriek (First-Act@1). Dit geeft aan dat minder dan één op de vijf video's een correct getimede waarschuwing ontvangt die ook de risicobron correct identificeert. De kloof tussen detectie (Any-Det) en een actiegerichte waarschuwing (First-Act) is enorm; bijvoorbeeld detecteert Gemini 3.1 Pro het risico in 93,6% van de video's, maar behaalt een First-Act score van slechts 20,0%.

2. Nauwe Koppeling tussen Recall en False Positives

Er is een sterke positieve correlatie (Pearson $\rho=0,64$) tussen recall en false-positive ratio's. Modellen kunnen de detectie niet verbeteren zonder proportioneel meer valse alarmen te genereren. Dit suggereert dat huidige modellen functioneren als gevoeligheidsdrempel-detectoren in plaats van systemen die werkelijke risico-redenering uitvoeren. Het verhogen van de gevoeligheid verschuift waarschuwingen van "gemist" naar "te vroeg", maar verhoogt niet het aandeel "geldige" waarschuwingen.

3. Domeinafhankelijke Prestaties

Prestaties variëren sterk op basis van de visuele onderscheidbaarheid van het domein:

• Dagelijks Leven: Modellen bereiken een gematigde recall bij lage false-positive ratio's omdat risico's vaak inherent anomaal zijn (bijv. een vallend persoon, open vuur).
• Rijden: Modellen presteren slecht en geven willekeurig signalen af. Routinematige scènes (samenvoegen, kruisen) en scènes vlak voor een botsing zien er visueel vergelijkbaar uit, waardoor modellen waarschuwingen triggeren voordat het risico daadwerkelijk zichtbaar is (90% van de fouten bij hoge-gevoeligheidsmodellen waren "te vroeg").

4. Foutmodi

Zelfs wanneer de timing correct is, falen modellen vaak in het identificeren van de risicobron:

• Verkeerd Risico-object (36,9%): Het identificeren van de juiste entiteitklasse maar de verkeerde specifieke instantie (bijv. een bus voorspellen in plaats van een sedan).
• Entiteit-type Wissel (33,9%): Het hallucineren van een andere categorie agent (bijv. een voetganger voorspellen terwijl het gevaar een voertuig is).
• Deze fouten duiden op een afhankelijkheid van scène-niveau activiteitskenmerken in plaats van causale redenering over of een activiteit zal escaleren tot schade.

5. Deployment Beperkingen

Naast capaciteitsverschillen belemmeren engineering-beperkingen directe implementatie:

• Latentie: Zelfs de snelste modellen (GPT-5.4 mini) hebben een mediane latentie (~3,5s) die de 0,3s window stride met een orde van grootte overschrijdt.
• Kosten: Continue monitoringkosten voor top-tier propriëtaire modellen overstijgen $2.000/dag per camera, terwijl open-weight modellen lijden onder prohibitieve latentie.

Betekenis en Claims

Het artikel claimt dat PaSBench-Video de eerste gecontroleerde testomgeving biedt voor het evalueren van proactieve video-veiligheidswaarschuwingen die algoritmische vooruitgang isoleert van infrastructurele verbeteringen. Door snelheid te elimineren als drukfactor en modellen te beperken tot causale observatie, onthult de benchmark dat huidige MLLM's vertrouwen op oppervlakkige activiteitskenmerken in plaats van te redeneren over opkomend gevaar.

De auteurs benadrukken dat de taak van proactieve waarschuwing nog niet klaar is voor deployment vanwege zowel engineering-beperkingen (latentie, kosten) als onvoldoende capaciteit (lage recall, hoge false-positives). Ze argumenteren echter dat het benchmarken van deze capaciteit nu "tijdig en noodzakelijk" is om algoritmische vooruitgang te sturen richting echte temporele risico-redenering, bewegend van eenvoudige activiteitsdetectie naar risico-anticipatie. De dataset wordt vrijgegeven om dit onderzoek te faciliteren, met het expliciete doel om modellen te ontwikkelen die het verschil kunnen zien tussen routinematige activiteit en onmiddellijk gevaar.