QVAD: A Question-Centric Agentic Framework for Efficient and Training-Free Video Anomaly Detection

Probleemstelling

Video-anomaliedetectie (VAD) is een fundamentele uitdaging in computervisie, voornamelijk vanwege de "open-set" aard van anomalieën (onvoorspelbare en onbekende gebeurtenissen). Traditionele methoden zijn vaak kwetsbaar en vereisen uitgebreide domeinspecifieke supervisie of kostbare hertraining om te generaliseren naar nieuwe omgevingen.

Recente "training-free" benaderingen die gebruikmaken van Vision-Language Models (VLM's) en Large Language Models (LLM's) tonen veelbelovende resultaten, maar hebben twee grote nadelen:

1. Statische Prompts: Ze vertrouwen op statische vragen (bijv. "Is er een anomalie?"), wat leidt tot ambiguïteit bij complexe temporele dynamieken.
2. Resource-intensief: Om deze ambiguïteit op te vangen, vertrouwen ze op enorme foundation-modellen met miljarden parameters. Dit maakt implementatie op randapparatuur (edge devices) met beperkt geheugen onmogelijk.

De auteurs stellen dat de bottleneck niet de modelcapaciteit is, maar de statische aard van het onderzoek.

Methodologie: Het QVAD Framework

QVAD (Question-Centric Agentic Framework) introduceert een dynamisch, agentisch systeem dat VAD behandelt als een meervoudige dialoog tussen een visuele perceptiemodule (VLM) en een redenerende agent (LLM). In plaats van één statische prompt, wordt het proces een iteratief gesprek waarbij de prompt dynamisch wordt aangepast op basis van visuele context.

De kerncomponenten zijn:

1. Twee-staps Spatio-temporele Abstraktie:

   • Om de rekenlast te verlagen, wordt video verwerkt in vensters (bijv. 128 frames).
   • Stap 1: Uniforme tijdelijke dekking (selectie van 32 frames).
   • Stap 2: Bewegingsbewuste salientie-selectie. Op basis van grijswaarde-verschillen tussen frames worden de 8 meest dynamische frames geselecteerd (inclusief de eerste en laatste frame voor context). Dit zorgt ervoor dat de VLM zich richt op de meest relevante bewegingen.

2. Iteratieve Agentische Redenering (De Dialoog):

   • Initialisatie: De VLM genereert een eerste beschrijving van de scène.
   • Redenering: De LLM-agent beoordeelt de kans op een anomalie. Als de kans onder een drempelwaarde ($\theta$) ligt, formuleert de agent een verduidelijkende vraag om ambiguïteit op te lossen (bijv. "Wordt de zittende persoon fysiek vastgehouden?").
   • Gerichte Antwoorden: De VLM antwoordt specifiek op deze vraag, gefocust op de relevante visuele regio's.
   • Herhaling: Dit proces herhaalt zich totdat de zekerheid hoog genoeg is of een maximum aantal beurten (turns) is bereikt. Dit stelt het model in staat om onderscheid te maken tussen subtiel gedrag (bijv. "rennen voor sport" vs. "vluchten").

3. Vectorgeheugen Module:

   • Om lange-termijn context te behouden zonder de contextvenster van het model te overbelasten, gebruikt QVAD een vectorgeheugen.
   • Eerdere observaties en dialogen worden ingebed in een vectorruimte. Tijdens de dialoog zoekt de agent relevant verleden context op via semantische zoekopdrachten, wat essentieel is voor het detecteren van complexe, langdurige anomalieën.

4. Post-processing:

   • Frame-level scores worden gegenereerd door overlappingen te aggregeren (max-pooling) en vervolgens te gladstrijken met meervoudige Gaussische filters om temporele consistentie te garanderen.

Belangrijkste Bijdragen

• Dynamische Vraagverfijning: Een mechanisme waarbij een LLM-agent prompts "on-the-fly" aanpast tijdens de inferentie, waardoor informatie wordt gemaximaliseerd in onzekere scènes zonder parameter-updates.
• Efficiënte Implementatie: QVAD demonstreert dat kleine foundation-modellen (bijv. 1.7B - 4B parameters) state-of-the-art prestaties kunnen leveren wanneer ze worden gekoppeld aan een agentische lus. Dit democratiseert toegang tot geavanceerde VAD.
• Generalisatie naar Open-Set Scenarios: Het framework generaliseert succesvol naar contextafhankelijke anomalieën in unieke omgevingen (zoals ComplexVAD), waar statische methoden vaak falen.

Resultaten

QVAD is getest op vier benchmarks: UCF-Crime, XD-Violence, UBNormal en ComplexVAD.

• Prestaties:
  • UCF-Crime: 84,28% AUC (vergelijkbaar met zwaardere modellen zoals Panda en VADTree, maar beter dan LAVAD).
  • XD-Violence: 68,53% AP.
  • UBNormal: 79,6% AUC (nieuw state-of-the-art, significant beter dan Panda en LAVAD).
  • ComplexVAD: 68,02% AUC, wat de capaciteit toont om context over lange tijdsvensters te behouden.
• Efficiëntie:
  • QVAD werkt met een totaal van ongeveer 8 miljard parameters (bijv. Qwen3-4B LLM + Qwen3-4B VLM), terwijl concurrenten vaak modellen van 20B tot 80B+ gebruiken.
  • Geheugenverbruik: Met een "Memory-Optimized Pipeline" (sequentieel laden van modellen) kan QVAD draaien met slechts 4,20 GB GPU-geheugen.
  • Snelheid: Bereikt ongeveer 5,98 FPS op een NVIDIA RTX 5090.
  • Edge Deployment: Door het lage geheugenverbruik is het framework geschikt voor implementatie op consumer-grade edge-apparaten zoals de NVIDIA Jetson Orin Nano, waar concurrenten niet kunnen draaien.

Betekenis en Impact

De paper toont aan dat de schaalbaarheid van VAD niet noodzakelijkerwijs afhankelijk is van het vergroten van modelgroottes, maar van het verbeteren van de interactiekwaliteit. Door de "prompt-updating" mechanisme te gebruiken, kunnen kleinere, lichtgewicht modellen presteren die eerder alleen voorbehouden waren aan enorme foundation-modellen.

Dit heeft grote implicaties voor de praktische toepasbaarheid van video-anomaliedetectie in de echte wereld:

1. Kosteneffectiviteit: Verlaagt de hardwarekosten aanzienlijk.
2. Privacy en Lokale Verwerking: Maakt lokale verwerking op randapparatuur mogelijk, wat data-privacy verbetert en afhankelijkheid van de cloud elimineert.
3. Toekomstbestendigheid: Het framework is compatibel met toekomstige optimalisaties zoals KV-cache-beheer, wat de latency verder kan verlagen.

Kortom, QVAD biedt een robuuste, training-free oplossing die de kloof tussen academische prestaties en praktische, schaalbare implementatie in beveiligingssystemen overbrugt.