💻 computer science

GridVAD: Open-Set Video Anomaly Detection via Spatial Reasoning over Stratified Frame Grids

GridVAD is een trainingsvrije pipeline voor open-set video-anomaliedetectie die Vision-Language Models gebruikt om anomalie-voorstellen te genereren, die vervolgens worden gefilterd en geprojecteerd tot pixel-niveau maskers via ruimtelijke modules, waardoor het presteert zonder domeinspecifieke training.

Oorspronkelijke auteurs: Mohamed Eltahir, Ahmed O. Ibrahim, Obada Siralkhatim, Tabarak Abdallah, Sondos Mohamed

Gepubliceerd 2026-03-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC0 1.0

Oorspronkelijke auteurs: Mohamed Eltahir, Ahmed O. Ibrahim, Obada Siralkhatim, Tabarak Abdallah, Sondos Mohamed

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een beveiligingscamera hebt die 24 uur per dag een drukke straat filmt. Je wilt dat de camera automatisch meldt als er iets vreemds gebeurt: een auto die op de stoep rijdt, iemand die rent in een verboden zone, of een valpartij.

Het probleem is dat "vreemd" heel subjectief is. Wat normaal is in een park, is verdacht in een fabriek. Traditionele systemen moeten eerst leren wat "normaal" is, maar ze falen vaak als ze iets zien dat ze nooit hebben geleerd.

Hier komt GridVAD in beeld. Het is een slimme, nieuwe manier om video's te analyseren zonder dat je de computer eerst jarenlang hoeft te laten studeren.

De Grote Verandering: Van "Rechter" naar "Verslaggever"

Tot nu toe probeerden slimme AI-systemen (zoals Vision-Language Models) direct te oordelen: "Is dit een anomalie? Ja of Nee?".
Dit werkt vaak slecht. De AI wordt dan als een nerveuze verslaggever die overal paniek zaait. Hij ziet een schaduw en schreeuwt: "Moord!" of hij ziet een hond en roept: "Terrorist!". Hij is te onzeker en maakt veel fouten.

GridVAD verandert de rol van de AI. In plaats van een rechter die een vonnis velt, maakt GridVAD er een verslaggever van.

De oude manier: De AI zegt: "Dit is verdacht!" (en hoopt dat het klopt).
De nieuwe manier (GridVAD): De AI zegt: "Ik zie hier iets vreemds: een man die op een skateboard rijdt in een voetgangersgebied." Hij beschrijft alleen wat hij ziet, zonder direct te zeggen of het een alarm is.

Hoe werkt het? (De Drie Stappen)

GridVAD werkt in drie stappen, alsof je een detective-team hebt:

1. De "Stratified Grid" (Het Pechen van de Video)

Stel je voor dat je een lange video hebt. In plaats van elke seconde apart te bekijken (wat te veel werk is), knipt GridVAD de video in stukjes.
Het neemt een stukje video en maakt er een mosaïek van. Het plakt 9 verschillende momenten uit dat stukje video naast elkaar op één groot plaatje.

Analogie: Het is alsof je een filmrolle niet frame-voor-frame bekijkt, maar 9 willekeurige frames uit die rolle plakt op één groot vel papier. Zo ziet de AI in één oogopslag wat er in die tijdspanne gebeurt, zonder de hele video te hoeven lezen.

2. De "Verslaggever" (De AI beschrijft)

De AI kijkt naar dit mosaïek en zegt: "Hé, ik zie een auto die tegen de verkeerde kant van de weg op rijdt."
Maar AI's kunnen hallucineren (dromen). Soms zegt hij: "Ik zie een draak!" terwijl er niets is.
Om dit op te lossen, doet GridVAD dit 5 keer met hetzelfde video-stukje, maar met net andere willekeurige frames.

Als de AI 5 keer zegt: "Ik zie een auto die verkeerd rijdt", dan is het waarschijnlijk echt.
Als hij 4 keer zegt "niets" en 1 keer "een draak", dan is de draak een hallucinatie.
Dit noemen ze Zelf-Consistentie. Alleen wat meerdere keren terugkomt, wordt echt.

3. De "Detective" (Locatie en Bewijs)

Nu we weten wat er gebeurt (een auto rijdt verkeerd), moeten we weten waar en hoe lang.

Stap A (Grounding DINO): Een tweede, zeer precieze AI kijkt naar de video en zegt: "Ja, daar is die auto! Hier is de rand van de auto." Hij trekt een kader om het object.
Stap B (SAM2): Een derde AI neemt dat kader en volgt de auto door de hele video. Hij tekent een masker (een witte vorm) precies om de auto heen, frame per frame. Zo weet je precies welke pixels "verdacht" zijn.

Waarom is dit zo slim?

Geen training nodig: Je hoeft de computer niet te leren wat "verkeerd" is. Hij gebruikt zijn algemene kennis van de wereld. Als je zegt "ik wil een auto op de stoep detecteren", begrijpt hij dat direct.
Efficiëntie: Omdat de AI de video in grote stukken bekijkt (het mosaïek) in plaats van elke seconde apart, is het veel sneller en goedkoper dan andere methoden. Het is alsof je een boek in één keer doorbladert om de hoofdstukken te snappen, in plaats van elk woord te lezen.
Betrouwbaarheid: Door de "5 keer check" (Self-Consistency) worden de gekke dromen van de AI eruit gefilterd. Je krijgt alleen de meldingen die echt consistent zijn.

Het Resultaat

Op testvideo's (zoals een drukke wandelpad) werkt GridVAD beter dan systemen die speciaal voor die situatie zijn getraind. Het maakt minder fouten en tekent de verdachte objecten veel scherper af.

Kort samengevat:
GridVAD is als een slimme, onafhankelijke verslaggever die een video bekijkt, beschrijft wat hij vreemd vindt, en dan twee specialisten inschakelt om precies te tekenen waar het gebeurt. Door alles een paar keer te checken, zorgt hij ervoor dat we niet paniekzaaien om niets, maar wel alert zijn op echt gevaar.

Probleemstelling

Video-anomaliedetectie (VAD) is een inherent onbalans en "open-set" probleem: anomalieën zijn zeldzaam, divers en sterk afhankelijk van de context. Bestaande methoden die Vision-Language Models (VLM's) direct gebruiken om frames te scoren op basis van een anomalie-kans, blijken kwetsbaar. Omdat VLM's getraind zijn op internet-data waar anomalieën niet systematisch gelabeld zijn, zijn hun scores niet gekalibreerd. Dit leidt tot een ruisig signaal met veel gemiste detecties of "hallucinaties" (valse alarmen). De auteurs betogen dat het probleem niet de VLM zelf is, maar hoe deze wordt gebruikt: VLM's zijn uitstekend in het beschrijven van visuele inhoud, maar slecht in het maken van gekalibreerde binaire beslissingen over wat een anomalie is in een bewakingscontext.

Methodologie: GridVAD

GridVAD introduceert een trainingsvrije pijplijn die het VLM herpositioneert van een directe detector naar een "anomalie-voorsteller" (proposer). De methode volgt het principe "voorstellen - verankeren - propageren" (propose-ground-propagate) en bestaat uit vier fasen:

Gelaagde Grid Sampling (Stratified Grid Sampling):
In plaats van frames één voor één te verwerken, wordt een videoclip opgedeeld in een ruimtelijk raster van $K$ tijdsbalken (bijv. $3 \times 3 = 9$ balken). Voor elke onafhankelijke steekproef ( $M$ keer) wordt willekeurig één frame uit elke tijdsbalk geselecteerd en samengevoegd tot één enkel "grid-afbeelding". Dit zet het tijdsdetectieprobleem om in een enkele pass van beeldbegrip, waarbij de VLM de volledige temporale context in één keer ziet.
Open-Set Anomalie Voorstellen (VLM):
De VLM (Qwen3-VL) analyseert het grid en genereert vrije tekstuele beschrijvingen van mogelijke anomalieën, inclusief hun tijdsinterval, zonder vooraf gedefinieerde categorieën. De VLM hoeft geen "ja/nee"-beslissing te nemen, maar beschrijft alleen wat er ongebruikelijk is.
Zelf-Consistentie Consolidatie (SCC):
Dit is een cruciale stap om hallucinaties te filteren. Omdat de VLM als een stochastische sensor wordt behandeld, worden $M$ onafhankelijke steekproeven genomen. Een tweede LLM-call (alleen tekst) consolideert de voorstellen uit deze $M$ steekproeven. Alleen voorstellen die semantisch overeenkomen en in meerdere steekproeven voorkomen (boven een drempelwaarde $\tau$ ), worden behouden. Eenmalige hallucinaties worden verworpen. Dit creëert een betrouwbaar detectiesignaal zonder extra training.
Ruimtelijke Verankering en Propagatie:
- Verankering (Grounding): De overgebleven tekstuele beschrijvingen worden doorgegeven aan Grounding DINO, een zero-shot objectdetector, om een bounding box te vinden in het meest informatieve frame.
- Propagatie: SAM2 (Segment Anything Model 2) gebruikt deze box als startpunt om een dicht pixel-masker door het hele tijdsinterval van de anomalie te propageren.

Belangrijkste Bijdragen

Ontwerpprincipe "VLM-as-Proposer": De auteurs tonen aan dat het scheiden van het "beschrijven" (VLM) en het "lokaliseren" (gespecialiseerde modellen) leidt tot betrouwbare pixel-niveau detectie zonder taak-specifieke training.
Self-Consistency Consolidation (SCC): Een lichtgewicht mechanisme dat hallucinaties filtert door statistische steun over meerdere steekproeven te eisen. Dit biedt een controleerbare afweging tussen precisie en recall.
Gelaagde Grid Representatie: Een strategie die de VLM-begroting per clip vastzet op $M+1$ calls, ongeacht de videolengte. Dit is aanzienlijk efficiënter dan het verwerken van elk frame afzonderlijk.

Resultaten

De methode is geëvalueerd op de benchmarks UCSD Ped2 en ShanghaiTech Campus:

UCSD Ped2: GridVAD behaalde de hoogste Pixel-AUROC (77,59) van alle vergeleken methoden, zelfs hoger dan TAO (75,11), dat gedeeltelijk is gefinetuned. Dit is opmerkelijk omdat GridVAD volledig "zero-shot" is (geen training op de dataset).
Object-niveau: GridVAD presteerde minder goed op object-niveau-metrics (RBDC/TBDC) vergeleken met TAO. De auteurs verklaren dit door de "proposal-recall bottleneck": als de VLM een anomalie niet voorstelt, wordt deze niet gedetecteerd. Echter, de pixel-niveau kwaliteit (precisie) is superieur.
Efficiëntie: GridVAD is 2,7 keer efficiënter in termen van VLM-calls vergeleken met uniforme per-frame querying, terwijl het ook dichte segmentatiemasks produceert.
Ablatiestudies: De studie toont aan dat SCC de pixel-niveau metrics aanzienlijk verbetert (minder ruis) ten koste van een kleine daling in object-niveau recall, wat een bewuste afweging is voor hogere precisie.

Betekenis en Conclusie

GridVAD bewijst dat Vision-Language Models zeer effectief kunnen zijn voor open-set video-anomaliedetectie, mits ze niet worden gebruikt als directe classifiers maar als generatoren van hypotheses. Door de VLM te combineren met gespecialiseerde modellen voor ruimtelijke en temporale logica (Grounding DINO en SAM2), en door hallucinaties te filteren via zelf-consistentie, wordt een robuust, trainingsvrij systeem gecreëerd. Dit benadert de prestaties van gespecialiseerde, getrainde systemen op pixel-niveau, maar behoudt de flexibiliteit om ongeziene anomalieën te detecteren zonder dataset-specifieke finetuning. De belangrijkste beperking blijft de afhankelijkheid van de VLM om de anomalie eerst te "zien" en te beschrijven; verbetering van de voorstel-recall is de volgende stap voor verdere optimalisatie.