💻 computer science

Benchmark AUC Is Not Deployable Reliability: A Cross-Dataset Audit of Off-the-Shelf Features for Surveillance Video Anomaly Detection

Dit artikel toont aan dat standaardmodellen voor video-anomaliedetectie, ondanks het behalen van hoge benchmark AUC-scores in scenario's met dezelfde dataset, volledig falen in scenario's met verschillende datasets door niet beter te presteren dan bij toeval, wat een kritieke kloof onthult tussen laboratoriumprestaties en de betrouwbaarheid die nodig is voor inzetbaarheid in de echte wereld.

Oorspronkelijke auteurs: Mohammadreza Rashidi

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mohammadreza Rashidi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De "Perfecte Student" die de klas niet kan verlaten

Stel je een student voor die heel hard studeert voor een specifieke wiskundetoets. Ze heeft elk probleem in het tekstboek uit haar hoofd geleerd, begrijpt het handschrift van de leraar en weet precies hoe het klaslokaal eruitziet. Op de dag van de toets haalt ze een perfect cijfer. Iedereen zegt: "Wauw, deze student is een genie in wiskunde!"

Deze paper vraagt zich af: Wat gebeurt er als we diezelfde student in een ander klaslokaal zetten, met een andere leraar en een ander tekstboek?

De onderzoekers ontdekten dat de student niet alleen een lager cijfer haalt; ze haalt een cijfer dat niet beter is dan wanneer ze simpelweg had gegokt door een muntje op te gooien. Sterker nog, soms doen ze het zelfs slechter dan een willekeurige gok.

De Realiteit: Camerabewaking

In de wereld van AI-beveiliging is het de bedoeling dat camera's leren wat "normaal" is (mensen die lopen, auto's die rijden) en automatisch iets "verdachts" signaleren (een persoon die rent, een fiets op het voetpad).

Jarenlang beweren onderzoekers dat deze AI-systemen geweldig zijn. Ze wijzen naar hoge scores (de zogenaamde AUC) die rond de 0,85 of 0,90 liggen van de 1,0. Maar er is een addertje onder het gras: Ze hebben de AI alleen getest op exact dezelfde camera en in dezelfde scène waarvoor het getraind is.

Het is alsof je een brandmelder test in de keuken waar hij is geïnstalleerd, om vervolgens te beweren dat hij ook werkt in een bos, een fabriek of een ruimteschip.

Wat de Onderzoekers Deden (De "Audit")

In plaats van een nieuwe, slimmere AI te bouwen, gedroegen de onderzoekers zich als auditors. Ze namen bestaande, krachtige AI-"hersenen" (genaamd backbones, zoals DINOv2 of CLIP) en testten deze in een harde realiteit:

Training: Ze leerden de AI wat "normaal" is met beelden van één specifieke plek (bijv. een universiteitscampus).
Testen: Vervolgens vroegen ze de AI om "verdacht" gedrag te herkennen in beelden van volledig andere locaties (bijv. een drukke straat of een andere campus).

Dit deden ze met vier verschillende datasets van echte video's en vier verschillende soorten AI-"hersenen".

De Schokkende Resultaten

1. De "Muntje Opwerpen" Ineenstorting
Wanneer de AI werd getest op de plek waar hij op getraind was, deed hij het goed (gemiddelde score van 0,70). Maar zodra ze de AI naar een nieuwe locatie verplaatsten, zakte de score naar 0,499.

Wat dit betekent: Een score van 0,50 is een willekeurige gok. Een score van 0,499 is eigenlijk slechter dan een muntje opgooien. De AI raakte zo in de war door de nieuwe omgeving dat hij normale dingen als verdacht begon te markeren en daardoor werkelijke dreigingen miste.

2. De "Slimste" AI Faalde het Hardst
Je zou denken dat de meest geavanceerde, krachtige AI (DINOv2) beter met nieuwe plekken om zou gaan. De paper vond het tegenovergestelde.

De Analogie: DINOv2 was als een student die de textuur van de muren in het klaslokaal en de kleur van het shirt van de leraar uit haar hoofd had geleerd. Wanneer ze een nieuwe kamer binnenliep met andere muren, raakte de student in paniek omdat hun "geheugen" te specifiek was. De simpelere AI-modellen konden iets beter overbrengen, maar faalden nog steeds spectaculair.

3. De "Vals Alarm" Nachtmerrie
De paper keek naar wat dit betekent voor een echte beveiligingsbeambte. Zelfs als de AI werd ingesteld om 90% van de boeven te vangen, zou hij ongeveer 31.931 keer per uur "ALARM!" schreeuwen.

De Analogie: Stel je een rookmelder voor die negen keer per seconde afgaat. Een menselijke bewaker kan niet elke melding controleren. Het systeem wordt nutteloze ruis.

Waarom Gebeurde Dit?

De onderzoekers testten twee verschillende manieren om "verdachtheid" te meten (de één gebaseerd op het vinden van de dichtstbijzijnde match, de ander op statistische gemiddelden). Beide faalden op exact dezelfde manier.

Dit bewijst dat het probleem niet de wiskunde is die de score controleert. Het probleem zijn de "ogen" van de AI.

De AI leerde de specifieke camera en de specifieke verlichting van de trainingsruimte te herkennen, en niet het algemene concept van "verdacht gedrag". De AI leerde de scène, niet het concept.

De Kern van de Zaak

De paper concludeert dat de hoge scores die we zien in nieuwsberichten en wetenschappelijke papers labresultaten zijn, geen resultaten uit de echte wereld.

De Bewering: "Onze AI detecteert verdacht gedrag met 90% nauwkeurigheid!"
De Realiteit: "Onze AI detecteert verdacht gedrag met 90% nauwkeurigheid alleen als je de camera nooit naar een ander gebouw verplaatst, de verlichting verandert of naar een andere straat kijkt."

Totdat AI een nieuwe camera aankan zonder vanaf nul opnieuw getraind te worden, zijn deze systemen niet klaar voor gebruik in de echte wereld. De paper waarschuwt dat vertrouwen op deze huidige benchmark-cijfers is als het vertrouwen op een kaart die alleen in je eigen achtertuin werkt.

Technische Samenvatting: Benchmark AUC is geen betrouwbare indicator voor inzetbaarheid

Probleemstelling
Het vakgebied van Video Anomaly Detection (VAD) voor surveillance leunt zwaar op hoge frame-niveau ROC-AUC scores die gerapporteerd worden op standaard benchmarks (bijv. UCSD Ped1/2, CUHK Avenue, ShanghaiTech). Deze scores zijn echter afgeleid van een "dezelfde-dataset"-setting waarbij modellen getraind en getest worden op dezelfde camera, scène en condities. Het artikel betoogt dat deze aanname niet standhoudt in de echte wereld, waar een model dat gekalibreerd is op de ene scène, anomalieën moet detecteren op een volledig andere camera of omgeving. De centrale vraag is: Hoeveel van de gerapporteerde prestaties blijft er over wanneer de aanname van een gedeelde scène wordt losgelaten?

Methodologie
De auteurs voeren een cross-dataset audit uit met behulp van een doelbewust eenvoudige, ongesuperviseerde en reproduceerbare framework om het generalisatievermogen van off-the-shelf features te isoleren.

Modelarchitectuur: De studie maakt gebruik van bevroren, vooraf getrainde embeddings van vier verschillende backbones: CLIP ViT-B/32, DINOv2 ViT-S/14, ResNet-50 en EfficientNet-B0. Er vindt geen fine-tuning plaats.
Anomalie-scoring: Een "normaliteitsmodel" wordt uitsluitend geconstrueerd uit de normale (anomalievrije) trainingsframes van een bron-dataset. Anomalie-scores voor testframes worden gegenereerd met behulp van een k-nearest neighbor (kNN)-afstand (specifiek, $1 - \text{gemiddelde cosinus-gelijkenis}$ tot de $k=5$ dichtstbijzijnde normale trainings-embeddings).
Audit-protocol: De auteurs evalueren elke combinatie van de vier backbones en vier datasets (UCSD Ped1, UCSD Ped2, CUHK Avenue, ShanghaiTech). Dit resulteert in 64 evaluaties: 16 "dezelfde-dataset" (diagonaal) en 48 "cross-dataset" (off-diagonaal) paren.
Metrieken: De primaire metriek is frame-niveau ROC-AUC. Daarnaast rapporteren de auteurs de Equal Error Rate (EER) en de operationele valse alarm-ratio (alarmen per uur) bij een vaste recall van 0,9 (uitgaande van 10 fps).
Controlexperiment: Om te garanderen dat de fout niet specifiek is voor de kNN-scorer, hebben de auteurs de embeddings opnieuw geëvalueerd met een PaDiM-stijl Mahalanobis-afstand detector (een parametrische, globale Gaussische model) op drie van de datasets.

Belangrijkste Resultaten
De audit onthult een catastrofale instorting van de prestaties wanneer men overgaat van gekalibreerde (dezelfde-dataset) naar inzetbare (cross-dataset) settings:

Instorting naar toeval:
- Same-dataset AUC: Gemiddeld 0,704 over alle backbones.
- Cross-dataset AUC: Gemiddeld 0,499, wat statistisch niet te onderscheiden is van willekeurige kans (0,5).
- In verschillende cross-dataset paren valt de prestatie onder het niveau van toeval (bijv. 0,340), wat aangeeft dat het model actieve misclassificatie vertoont door normale frames uit een nieuwe scène als anomalieën te bestempelen.
De "sterkste" backbone faalt het meest:
- DINOv2, die de hoogste same-dataset AUC bereikt (tot 0,901 op Ped2), lijdt het grootste prestatieverlies (gat van 0,235) en de laagste cross-dataset gemiddelde (0,490).
- De auteurs concluderen dat representaties die fijne scène-details vastleggen (camera/scène-specifieke verschijning), precies de representaties zijn die falen in generalisatie, omdat ze de "camera" leren in plaats van het "concept van anomalie".
Operationele haalbaarheid:
- Zelfs bij een gunstig werkpunt (90% recall) is de mediane valse alarm-ratio prohibitief.
- Cross-dataset: ~~31.931 valse alarmen per uur (~~9 per seconde).
- Same-dataset: ~~26.406 valse alarmen per uur (~~7 per seconde).
- De auteurs stellen dat dergelijke volumes menselijke triage onmogelijk maken, waardoor de videostroom ongeacht de AUC-score in ruis verandert.
Robuustheid van de bevinding:
- Het vervangen van de kNN-scorer door de Mahalanobis-detector reproduceert de instorting bijna exact (cross-dataset gat van 0,208 vs. 0,202 voor kNN). Dit bevestigt dat de fout ligt in de bevroren feature-representatie (de encoder), en niet in de anomalie-scoring mechanisme.
- De transfer is directioneel en asymmetrisch: Een model getraind op een drukke scène (bijv. ShanghaiTech) en getest op een rustige scène (bijv. UCSD) presteert anders dan het omgekeerde, waarbij geen enkele metriek de transferabiliteit samenvat.

Betekenis en Claims
Het artikel stelt geen nieuwe detector of methode voor om het gat te dichten. In plaats daarvan dient het als een kritische audit van de huidige staat van het vakgebied:

Benchmark versus Realiteit: De hoge AUC-scores die in de literatuur worden aangehaald, beschrijven een "gekalibreerde laboratoriumsetting" en overschatten de inzetbare betrouwbaarheid aanzienlijk. Een detector die gekalibreerd is op de ene scène, is niet beter dan een muntworp op een andere scène.
Misleidende Metrieken: De correlatie tussen same-dataset AUC en de basisfrequentie van anomalieën in de testset suggereert dat benchmark-scores "detecteerbaarheid" verwarren met "dataset-constructie".
Representatie-limieten: In het regime van bevroren, off-the-shelf features is er een trade-off tussen in-domain representatiekwaliteit en cross-scène transfer. Betere backbones lossen het cross-scène gat niet op; ze vergroten het vaak juist.
Oproep tot Operationele Metrieken: De auteurs stellen dat haalbaarheid wordt bepaald door het werkpunt (valse alarm-ratio), niet door de AUC. Zij beweren dat toekomstige rapportages cross-dataset cijfers en operationele valse alarm-ratio's moeten bevatten voordat claims van inzetbaarheid kunnen worden gemaakt.

Het artikel concludeert dat huidige VAD-benchmarks niet de uitdagingen van real-world surveillance reflecteren en dat het vakgebied de focus moet verleggen van het maximaliseren van same-dataset AUC naar het bereiken van scène-invariante of domein-adaptieve normaliteitsmodellering.