Are Multimodal LLMs Ready for Surveillance? A Reality Check on Zero-Shot Anomaly Detection in the Wild

Dit onderzoek toont aan dat multimodale grote taalmodellen, hoewel veelbelovend voor videobewaking, in zero-shot settings een sterke conservatieve bias vertonen die leidt tot een instorting van de recall, maar dat deze beperkingen aanzienlijk kunnen worden verminderd door specifieke instructies te gebruiken.

De kern

Titel: Zijn slimme camera's met een 'spraakgeest' klaar voor de bewaking? Een eerlijke check.

Stel je voor dat je een nieuwe, super-intelligente bewakingscamera hebt. Deze camera is niet alleen een lens, maar heeft een spraakgeest (een Multimodal Large Language Model of MLLM) in zijn hoofd. Hij kan niet alleen kijken, maar ook praten en redeneren over wat hij ziet.

De onderzoekers van deze paper wilden weten: Kan zo'n slimme 'spraakgeest' echt betrouwbaar zijn om gevaar te zien in een drukke stad, of blijft hij maar in zijn stoel zitten en doet hij alsof er niets aan de hand is?

Hier is de uitleg, vertaald naar alledaags taal met een paar leuke vergelijkingen:

1. Het Probleem: De "Niet-het-worstelende" Camera

Vroeger waren bewakingscamera's als een automatische alarmbel. Als iemand een raam brak, ging het alarm af. Maar die systemen waren dom; ze zagen alleen beweging, niet intentie.

De nieuwe systemen met "spraakgeest" zijn als een slimme detective die je een filmpje laat zien en vraagt: "Zie jij hier iets raars?"

• De verwachting: De detective kijkt naar het filmpje, denkt na over de context (is het een park of een bank?), en schreeuwt: "Aandacht! Die man rent weg met een tas!"
• De realiteit: De onderzoekers ontdekten dat deze detectives in het begin extreem bang zijn om fouten te maken. Ze zijn zo voorzichtig dat ze bijna nooit iets melden.

2. De "Bang-om-fouten-maken" Bias

Stel je voor dat je een detective hebt die zo bang is om onschuldig iemand te beschuldigen, dat hij liever niets ziet dan dat hij een fout maakt.

• Als er echt iets mis is (bijvoorbeeld iemand die steelt), zegt de detective: "Nee, dat ziet er normaal uit."
• Als er niets mis is, zegt hij: "Ja, dat is normaal."

Dit noemen de onderzoekers een "conservatieve bias". De camera is zo'n 100% zeker als hij zegt dat er niets mis is, maar hij mist 95% van de echte misdaden. In de bewaking is dat een ramp: je wilt liever een vals alarm hebben dan een echte inbraak missen!

3. De Oplossing: De "Specifieke Instructie"

De onderzoekers probeerden de detective te helpen door hem duidelijkere instructies te geven.

• Slecht advies: "Kijk naar dit filmpje. Is er iets raars?" (De detective denkt: "Wat is raars? Een rennende hond? Een vallende bal? Ik weet het niet, ik zeg maar nee.")
• Goed advies: "Kijk specifiek naar mensen die stelen, vechten of wegrennen. Als je dat ziet, schreeuw 'JA'!"

Het resultaat was verbluffend:
Zodra ze de detective vertelden waar hij precies naar moest kijken (bijvoorbeeld: "let op diefstal"), ging zijn prestatie van 0 naar een 6. Hij begon plotseling wel dingen te zien!

• De les: De camera zag het beeld al prima, maar hij had geen moed om te zeggen dat het "raar" was, tenzij je hem heel duidelijk vertelde wat "raar" betekent.

4. De "Korte vs. Lange" Film

Ze keken ook of het helpt om kortere of langere stukjes video te tonen (1 seconde vs. 3 seconden).

• Vergelijking: Is het makkelijker om een dief te zien als je een flits van 1 seconde ziet, of een kleine scène van 3 seconden?
• Het resultaat: Bij de ene dataset (ShanghaiTech) hielp een langer filmpje (3 sec) de detective om de context te begrijpen. Bij de andere, complexere dataset (CHAD) hielp het niet echt. Soms was zelfs een kort filmpje beter, omdat een lang filmpje te veel "ruis" (achtergrondgeluid en onbelangrijke details) bevatte.

5. De Conclusie: Niet Klaar voor de Straat

De grote boodschap van dit papier is:
De technologie is er, maar ze is nog niet klaar voor de echte wereld.

De "spraakgeest" camera's zijn geweldig in het begrijpen van films en verhalen, maar in de bewaking zijn ze nog te luie en te voorzichtig. Ze zijn als een slaapverwekkende bewaker die alleen wakker wordt als je heel hard schreeuwt en precies vertelt wat hij moet doen.

Wat moet er gebeuren?
Om deze systemen echt bruikbaar te maken, moeten we niet alleen betere camera's bouwen, maar vooral beter leren hoe we ze moeten instrueren. We moeten hen leren om niet bang te zijn om een waarschuwing te geven, zelfs als ze niet 100% zeker zijn.

Kort samengevat:
De slimme camera's zijn als een geniale, maar extreem verlegen student. Als je ze vraagt "Is er iets mis?", zeggen ze "Nee". Maar als je zegt "Kijk specifiek naar diefstal", worden ze plotseling een topdetective. De kunst is om de juiste vragen te stellen.

Technische samenvatting

Probleemstelling

Multimodale Large Language Models (MLLM's) hebben indrukwekkende vaardigheden getoond in het begrijpen van video's, maar hun betrouwbaarheid voor Video Anomaly Detection (VAD) in real-world surveillance-scenario's is nog onvoldoende onderzocht. Bestaande VAD-systemen vertrouwen vaak op reconstructie-fouten of pose-gebaseerde cues, wat beperkingen oplevert in interpretatie en schaalbaarheid.

De kernuitdaging ligt in de kloof tussen gecontroleerde benchmarks en de realiteit van surveillance:

• Contextuele Ambiguïteit: Wat "abnormaal" is, hangt sterk af van de context (bijv. rennen is normaal in een park, maar verdacht in een beveiligd gebied).
• Beslissingskloof: Veel bestaande methoden gebruiken rangschikkingsmetrieken (zoals AUC-ROC) die nuttig zijn voor offline analyse, maar geen directe, actievere beslissingsgrenzen bieden voor live systemen.
• Conservatisme: Er is een onopgeloste vraag of algemene MLLM's, zonder specifieke training, betrouwbare beslissingen kunnen nemen in een open wereld met ruis en zeldzame gebeurtenissen.

Methodologie

De auteurs introduceren een raamwerk dat MLLM's direct integreert in een VAD-pijplijn als prompt-gestuurde beslismodules. In plaats van anomaly detection te zien als een reconstructiefout, wordt het omgezet naar een binaire classificatietaken onder zwakke temporele supervisie.

Belangrijke methodologische stappen:

1. Data Voorbereiding: Video's worden opgesplitst in niet-overlappende clips van vaste duur (1s, 2s en 3s). Een clip wordt als abnormaal gemarkeerd als deze ten minste één abnormaal frame bevat ("any-anomaly rule").
2. Prompt Engineering: De auteurs onderzoeken de invloed van prompt-specificiteit. Ze gebruiken een set van prompts variërend van:
   • Een menselijk geschreven basisprompt.
   • Prompts gegenereerd door LLM's (ChatGPT, Gemini) met verschillende niveaus van detail: kort (minimaal), medium (gestructureerd) en lang (compleet met definities).
   • Class-specifieke instructies: Een cruciale variabele waarbij de prompt expliciet instructies bevat over welke categorieën van anomalieën gezocht moeten worden (bijv. "zoek naar ongebruikelijk menselijk gedrag").
3. Model: De evaluatie is uitgevoerd met Gemini 2.5 Flash Lite als primaire MLLM, omdat deze native video-analyse ondersteunt zonder handmatige frame-voorbewerking, wat essentieel is voor het behoud van temporele continuïteit.
4. Evaluatie: De prestaties worden gemeten op twee benchmarks: ShanghaiTech en CHAD (Charlotte Anomaly Dataset). De focus ligt op Precision, Recall en F1-score, waarbij de beslissingsdrempel expliciet wordt getest.

Belangrijkste Bijdragen

1. Implementatie-gerichte VAD Formulering: Het paper presenteert VAD als een prompt-gestuurde binaire beslissingstaken, gericht op de vereisten van live systemen in plaats van alleen offline rangschikking.
2. Gestuurde Analyse van Prompting: Een gecontroleerde studie over hoe de specificiteit en het niveau van instructies (kort vs. lang, generiek vs. class-aware) de beslissingen van MLLM's beïnvloeden in surveillance-omgevingen.
3. Temporele Context Onderzoek: Evaluatie van hoe cliplengtes (1s tot 3s) de gevoeligheid en stabiliteit van het model beïnvloeden, met praktische richtlijnen voor configuratie.

Resultaten

De experimentele resultaten tonen een duidelijke prestatiekloof en belangrijke inzichten:

• Conservatieve Bias in Zero-Shot: Zonder specifieke instructies vertonen MLLM's een extreme conservatieve bias. Ze zijn zeer precies (hoge Precision, vaak 100%) maar missen bijna alle anomalieën (zeer lage Recall, vaak <5%). Ze neigen sterk naar de "normaal"-klasse.
• Impact van Class-Specifieke Instructies: Het toevoegen van class-specifieke context aan de prompt is de meest effectieve strategie.
  • Op het ShanghaiTech-dataset steeg de piek F1-score van 0,09 (zonder class-instructies) naar 0,64 (met class-instructies, specifiek met "GPT instant medium + class").
  • De Recall verbeterde dramatisch (bijv. van 4,69% naar 39,60% bij Gemini fast medium), wat aantoont dat de beperking niet in visuele waarneming ligt, maar in de categorische zekerheid om een anomalie te signaleren.
• Invloed van Promptlengte: Langere, gedetailleerdere prompts ("long") leiden niet per se tot betere resultaten. In veel gevallen presteerden "medium" prompts beter, wat suggereert dat te veel detail semantische ruis kan introduceren.
• Invloed van Cliplengte:
  • Bij ShanghaiTech (lagere resolutie) hielpen langere clips (3s) over het algemeen de prestaties te verbeteren (+0,17 F1-score voor Gemini pro long).
  • Bij CHAD (hogere resolutie, complexer) waren de verbeteringen marginaal of zelfs negatief. Dit suggereert dat bij hogere kwaliteit video's het simpelweg uitbreiden van het temporele venster de onderliggende semantische verwarring niet oplost.
• Dataset Complexiteit: Ondanks de hogere kwaliteit van CHAD, bleven de maximale F1-scores lager (0,48) dan op ShanghaiTech (0,64), wat aangeeft dat hogere visuele fideliteit de uitdagingen van video-interpretatie in complexe scenario's niet oplost.

Betekenis en Conclusie

Het paper concludeert dat MLLM's weliswaar een sterke basis vormen voor algemeen video-begrip, maar nog niet operationeel betrouwbaar zijn voor real-world surveillance zonder aanpassingen.

• De Kernproblematiek: Het grootste falen van huidige MLLM's is geen gebrek aan "zicht", maar een gebrek aan "intentie" of categorische zekerheid. Zonder expliciete instructies blijven ze passief en veilig (geen alarm).
• Toekomstrichting: Voor succesvolle inzet in surveillance moet de focus verschuiven van het verhogen van data-kwaliteit naar het verbeteren van besliskalibratie en recall-georiënteerde prompting.
• Praktische Implicatie: De studie biedt een fundament voor het ontwikkelen van systemen die beter omgaan met open-wereld onzekerheid, waarbij de juiste prompt-engineering en temporele context cruciaal zijn om de balans tussen False Positives en False Negatives te beheersen.

Kortom: MLLM's zijn potentieel krachtige tools voor surveillance, maar vereisen zorgvuldige "tuning" via prompts om van een passieve observator te veranderen in een actieve, betrouwbare anomalie-detecteur.