Frame-Level Evaluation in Weakly Supervised Video Anomaly Detection Mostly Measures Video-Level Ranking

In de wereld van computer vision is er een constante race gaande om machines te leren videofeeds te observeren en problemen te signaleren. Stel je een beveiligingscamera voor die een drukke straat, een treinstation of een fabrieksvloer scant. Het doel is dat de software opmerkt wanneer er iets misgaat — een vechtpartij die uitbreekt, een persoon die valt, of een voertuig dat de verkeerde kant op rijdt — en precies bepaalt wanneer en waar dit gebeurt. Jarenlang hebben onderzoekers deze systemen getraind met een methode genaamd zwakke supervisie (weak supervision). In plaats van de computer elke seconde van een video te laten zien en het exacte moment waarop een gebeurtenis plaatsvindt te labelen, vertellen ze de computer simpelweg of de gehele video een anomalie bevat of niet. Het is een praktische afkorting, vergelijkbaar met een leraar die een leerling vertelt "dit essay bevat een fout" zonder aan te wijzen in welke specifieke zin de fout zit. Om te zien of deze systemen werken, gebruiken wetenschappers een standaardtest die elke enkele frame van elke video in een database rangschikt, van de meest verdachte tot de meest normale, en controleert hoe goed het systeem de slechte momenten van de goede scheidt.

Twee onderzoekers van de SungKyunKwan Universiteit in Zuid-Korea, Inpyo Song en Jangwon Lee, besloten deze standaardtest nader te bekijken. Ze stelden een simpele maar diepgaande vraag: wanneer een computer een hoge score haalt op deze ranglijsttest, weet het systeem dan daadwerkelijk wanneer het probleem optrad, of is het gewoon goed in het raden welke video's problemen bevatten? Hun onderzoek, gepubliceerd in een recente studie, onthult een schokkende waarheid over hoe deze systemen worden geëvalueerd. Ze ontdekten dat de standaardtest zo zwaar leunt op het vergelijken van verschillende video's met elkaar, dat een computer een bijna perfecte score kan behalen zonder ooit een specifiek moment van gevaar binnen een video te hebben geïdentificeerd. Het is alsof een student een geschiedenisexamen kan halen door correct te raden welke tekstboeken fouten bevatten, zonder ooit een enkele pagina te hebben gelezen om de typefout te vinden.

De onderzoekers begonnen met het ontleden van de wiskunde achter de standaard ranglijstscore. Ze realiseerden zich dat deze score is opgebouwd uit twee verschillende soorten vergelijkingen. Het eerste type vergelijkt een slecht moment in één video met een goed moment in dezelfde video; dit is de test van ware lokalisatie, waarbij wordt gecontroleerd of het systeem het verschil begrijpt tussen een veilige seconde en een gevaarlijke seconde binnen dezelfde opname. Het tweede type vergelijkt een slecht moment in één video met een goed moment in een volledig andere video. Dit is de test van video-niveau sortering, waarbij wordt gecontroleerd of het systeem kan onderscheiden dat Video A gevaarlijker is dan Video B. Toen ze telden hoeveel van deze vergelijkingen daadwerkelijk binnen dezelfde video plaatsvonden, was het aantal schokkend klein. Over drie belangrijke datasets die in het vakgebied worden gebruikt, was minder dan 0,4 procent van de vergelijkingen tussen frames van dezelfde video. De overgrote meerderheid van de score komt voort uit het vergelijken van frames over verschillende video's heen.

Deze onbalans creëert wat de auteurs "temporele dilatatie" noemen. Naarmate het aantal video's in een testset groeit, krimpt de kans dat het systeem wordt getest op zijn vermogen om het exacte moment van een gebeurtenis te vinden razendsnel. Het systeem wordt vooral beloond voor het toekennen van een hoge algemene score aan een video die een anomalie bevat en een lage score aan een video die dat niet bevat. Om te bewijzen dat dit het geval was, voerden de onderzoekers een reeks gecontroleerde experimenten uit. Ze trainden eenvoudige computermodellen om niets meer te doen dan een enkele, constante score toe te kennen aan elk frame van een video op basis van het feit of die video als gevaarlijk of veilig werd gelabeld. Deze modellen hadden geen vermogen om een gebeurtenis in de tijd te onderscheiden; de score voor de eerste seconde van een video was identiek aan de score voor de laatste seconde. Ondanks dat ze nul vermogen hadden om een gebeurtenis in de tijd te lokaliseren, behaalden deze eenvoudige modellen nog steeds zeer hoge scores op de standaardtest, variërend van 81 tot 97 procent, afhankelijk van de dataset.

De onderzoekers namen vervolgens de outputs van de meest geavanceerde, complexe systemen die momenteel beschikbaar zijn en voerden een "video-gemiddelde vervanging" uit. Ze namen de gedetailleerde, seconde per seconde scores die deze complexe systemen produceerden en vervingen elke individuele score door het gemiddelde van de score voor de gehele video. Dit proces wist alle fijnmazige tijdsinformatie en liet alleen de algemene videobeoordeling over. Als de standaardtest werkelijk de vaardigheid zou meten om het exacte moment van een anomalie te vinden, zou deze verandering de scores moeten doen instorten. In plaats daarvan bewogen de scores nauwelijks. In 69 van de 72 gecontroleerde runs behield het systeem meer dan 90 procent van zijn oorspronkelijke score, zelfs nadat alle tijdsdetails waren verwijderd. Hetzelfde patroon hield stand bij de officiële resultaten die door de auteurs van andere leidende methoden werden gepubliceerd. Zelfs toen de onderzoekers de volgorde van de frames binnen een video door elkaar haalden — waardoor de tijdlijn werd door elkaar gehusseld terwijl de set scores hetzelfde bleef — bleef de rangprestatie grotendeels intact.

De bevindingen suggereren dat de huidige standaard voor de evaluatie van deze systemen niet meet wat onderzoekers denken dat het meet. Een hoge score op de gepoolde ranglijsttest bewijst niet dat een systeem in staat is om een gebeurtenis te lokaliseren; het bewijst primair dat het systeem video's kan rangschikken op basis van hun algemene risico. De onderzoekers stellen dat dit onderscheid diepgaand van belang is voor praktische toepassingen. Als een beveiligingsbeambte een melding krijgt dat een video een anomalie bevat, moet hij weten wanneer hij moet kijken, en niet alleen welke video hij moet bekijken. Het huidige evaluatieprotocol beloont het vermogen om de juiste video te kiezen, maar faalt in het verifiëren van het vermogen om het juiste moment te vinden. De auteurs stellen voor dat het vakgebied de manier waarop resultaten worden gerapporteerd moet veranderen. Ze bevelen aan dat onderzoekers altijd een aparte score rapporteren die meet hoe goed het systeem frames binnen een enkele video ordent, naast de standaard video-niveau rangschikking. Ze suggereren ook dat het ontwerp van toekomstige tests ervoor moet zorgen dat het aantal video's de belangrijkheid van het vinden van het exacte moment van een gebeurtenis niet verwatert.

Dit werk beweert niet dat de huidige systemen nutteloos zijn of dat ze niet kunnen leren om gebeurtenissen te lokaliseren. Het laat simpelweg zien dat het scorebord waarop ze spelen hen niet dwingt om dat te doen. De hoge scores die in de afgelopen jaren zijn gezien, zijn grotendeels een reflectie van het vermogen van het systeem om video's te sorteren, een vaardigheid die nuttig is maar wezenlijk verschilt van het vermogen om de tijd te pinpointen. Door deze twee vaardigheden in het evaluatieproces van elkaar te scheiden, kan het vakgebied ervoor zorgen dat toekomstige systemen niet alleen goed zijn in het raden welke video's gevaarlijk zijn, maar ook echt in staat zijn om de klok in de gaten te houden en de exacte seconde te vinden waarop er iets misgaat. De weg vooruit vereist een verschuiving in de focus, weg van een enkel, geaggregeerd getal dat deze verschillen maskeert, naar een duidelijker beeld dat de precisie van tijd evenzeer waardeert als de identificatie van de gebeurtenis zelf.