Technische Samenvatting: SENSE-VAD

Probleemstelling

Autonome voertuigen (AV's) hebben aanzienlijke vooruitgang geboekt in het detecteren van kinematische gevaren (bijv. afwijkingen van de rijstrook, stilstaande obstakels), maar blijven structureel blind voor een cruciale klasse van veiligheidskritische scenario's: sociaal complexe anomalieën. Dit zijn situaties waarin het gevaar niet is gecodeerd in bewegingsstatistieken of uiterlijk alleen, maar in de inter-agent relaties en de sociale context. Voorbeelden zijn een kind dat wegrent van een verzorger, een persoon die door een ander wordt gedragen, of een achtervolger die een voetganger achtervolgt. In deze scenario's kunnen individuele agenten normale bewegingstrajecten vertonen, terwijl de relationele configuratie een anomalie vormt die directe interventie van de AV vereist.

Huidige Video Anomaly Detection (VAD) datasets voor autonoom rijden (bijv. DADA, DoTA, CADP) richten zich primair op voertuiggecentreerde ongelukken, kinematische uitschieters of enkelvoudige object-anomalieën. Ze missen het egocentrische perspectief, de fijnmazige sociaal-relationele annotaties en de diversiteit aan subtiele gedragscues die nodig zijn om deze "long tail" van veiligheidskritische gebeurtenissen aan te pakken. Bovendien vertrouwen bestaande methoden vaak op bewegingsreconstructie of uiterlijk-gebaseerde signalen, wat faalt wanneer de beweging zelf statistisch plausibel is, maar sociaal afwijkend.

Methodologie

Dataset Constructie: SENSE-VAD

De auteurs introduceren SENSE-VAD, de eerste synthetische video-anomaliedetectie-benchmark voor autonoom rijden die expliciet is ontworpen rond sociaal complexe anomalieën.

• Generatieplatform: De dataset wordt gegenereerd met behulp van de CARLA-simulator over drie versies (0.9.12, 0.9.15 en 0.10.0) draaiend op Unreal Engine 4 en 5. De selectie van de versie is scenario-specifiek om verschillende eisen aan de controle van agenten te voldoen (bijv. skeletcontrole voor draagscènes in 0.9.15, dierlijke locomotie in 0.10.0).
• Anomalie Taxonomie: De dataset definieert 15 anomalieklassen binnen zes conceptuele categorieën:
  1. Kindveiligheid: (bijv. Kind dat wegrent van verzorger, ontvoering, kind-occlusie).
  2. Groepsgedrag: (bijv. Politieachtervolging, chaos in een menigte).
  3. Individueel Gedrag: (bijv. Abnormaal menselijk gedrag, Persoon die gedragen wordt).
  4. Persoon–Object Interactie: (bijv. Tasdiefstal, Onbeheerde tas, Object laten vallen).
  5. Fietser Interactie: (bijv. Fietser gevaar, Fietser–tas achterlaten, Fietser–voertuig botsing).
  6. Voertuig & Agent: (bijv. Voertuig–voetganger botsing, Hond die eigenaar verlaat).
• Ontwerpprincipe: Een kernaspect is de scheiding van sociale anomalie van bewegingsstatistiek-anomalie. Veel scenario's bevatten bewegingen die in isolatie normaal lijken (bijv. een kind dat rent), maar anomalie zijn vanwege de relationele context (bijv. rennend weg van een verzorger richting de weg).
• Data Compositie:
  • Synthetische Clips: 65 anomalie-clips (21 training, 44 test) met per-frame binaire labels. Elke anomalieklasse is gekoppeld aan een "gedragsmatig overeenkomende" normale clip (bijv. een kind dat rustig naast een verzorger loopt) om te voorkomen dat modellen specifieke visuele artefacten van de simulator leren.
  • Real-World Probes: De testset bevat real-world normale en abnormale clips (bijv. personen die zich onvoorspelbaar gedragen in het openbaar) om sim-to-real transfer te evalueren.
  • Totale Schaal: 540.888 frames over 108 clips, opgenomen op 800×600 resolutie met een egocentrisch dashboardcamera-perspectief.

Evaluatieprotocol

De auteurs benchmarken 11 state-of-the-art VAD-methoden die vier supervisieregimes vertegenwoordigen:

1. Semi-gesuperviseerd: Getraind op alleen normale data (bijv. Future Frame Prediction).
2. Zwak-gesuperviseerd: Getraind met video-niveau anomalie-labels (bijv. VadCLIP, VERA, REWARD).
3. Ongesuperviseerd: Geen labels gebruikt (bijv. NP-VAD, CLAP).
4. Training-vrij: Redeneren van foundation modellen met behulp van LLM's/VLM's (bijv. LAVAD, AnomalyRuler, VADTree).

Daarnaast is er een VLM Probing Study uitgevoerd met Qwen3-VL-4B-Instruct met gestructureerde vragen (Perceptie, Predictie, Planning, Veiligheid) om te bepalen of fouten voortkomen uit beperkingen in objectdetectie of een gebrek aan sociaal redeneren.

Belangrijkste Resultaten

Benchmark Prestaties

• Algehele Falen: Geen enkele methode overschreed 57,2% AUC op de testset. De best presterende methode was de ongesuperviseerde NP-VAD (57,15%), gevolgd door CLAP (56,12%).
• Kinematische Methoden Inverteerd: Methoden die vertrouwen op bewegingsvoorspelling of afstand van nominale distributies (bijv. FFP, REWARD, BN-WVAD) presteerden onder het toevalsniveau (37–44% AUC). Dit bevestigt dat sociaal complexe anomalieën kinematisch ordinair zijn en dus niet te onderscheiden zijn van normale beweging via standaard statistische kenmerken.
• Foundation Modellen: Training-vrije methoden die gebruikmaken van VLM's/LLM's (bijv. LAVAD, AnomalyRuler) clusterden nabij toevalprestaties (39–49% AUC).
• Supervisie Hiërarchie Omkering: In tegen tegenstelling tot typische VAD-benchmarks presteerden ongesuperviseerde methoden beter dan gesuperviseerde methoden, wat suggereert dat label-geïnduceerde bias in gesuperviseerde modellen hen actief misleidt bij sociale anomalieën.

VLM Probing Bevindingen

De probing-studie onthulde dat het falen van VLM's representationeel is, niet perceptueel:

• Objectdetectie vs. Sociale Context: Het model detecteerde agenten succesvol (hoge recall in Perceptie-vragen) maar slaagde er niet in de relationele context te registreren die de scène anomalie maakte.
• Veiligheidsvraag Falen: Het model antwoordde "gevaarlijk" op 100% van de frames (zowel normale als abnormale), wat wijst op een dominantie van taal-priors boven visuele gronding.
• Redeneerbreuk: Wanneer gevraagd werd om te plannen of te voorspellen, was het model zelfs minder geneigd om de anomalie te markeren op abnormale frames dan om valse alarmen te geven op normale frames. De anomalie werd niet doorgegeven aan het besluitvormingsproces van het model.

Betekenis en Claims

Het artikel claimt dat sociaal complexe anomalieën een duidelijke en momenteel onopgeloste uitdaging vormen voor de perceptie van autonome voertuigen.

1. Gap Identificatie: Huidige AV-perceptiesystemen zijn geoptimaliseerd voor uiterlijk- en trajectsignalen, waardoor ze blind zijn voor anomalieën die worden gedefinieerd door de relaties tussen agenten.
2. Dataset Bijdrage: SENSE-VAD vult dit gat door de eerste egocentrische, per-frame gelabelde benchmark te bieden die specifiek gericht is op sociale anomalieën, waarbij ze onderscheid maakt van bewegingsgebaseerde uitschieters.
3. Methodologische Inzicht: De resultaten tonen aan dat verfijningen aan bestaande kinematische of uiterlijk-gebaseerde modellen onvoldoende zijn. Betrouwbare detectie vereist expliciet redeneren over de sociale relaties tussen agenten.
4. Toekomstige Richting: De auteurs stellen dat toekomstige AV-perceptiesystemen verder moeten gaan dan zero-shot foundation model queries en in plaats daarvan protocollen moeten gebruiken die directe sociale-context supervisie bieden, mogelijk door gebruik te maken van scene-graph of object-gecentreerde modellen om relationele structuren te representeren.

Het artikel concludeert dat hoewel SENSE-VAD synthetisch is, de ontwerpprincipes en de inclusie van real-world probes een noodzakelijke basis vormen voor het ontwikkelen van AV's die sociale anomalieën kunnen anticiperen in plaats van enkel te reageren op kinematische gevaren.