FineVAU: A Novel Human-Aligned Benchmark for Fine-Grained Video Anomaly Understanding

Dit paper introduceert FineVAU, een nieuw benchmark met het menselijk perceptie-gerichte FVScore-maatstaf en het FineW3-dataset, om de beperkingen van huidige Large Vision-Language Models bij het begrijpen van fijne, ruimtelijke en temporele details in videonanomalieën te evalueren.

De kern

Stel je voor dat je een beveiligingscamera bekijkt in een drukke winkelstraat. Je ziet een man die een tas van een ander pakt en wegrent. Voor een mens is dit duidelijk: "Diefstal!" Maar voor een kunstmatige intelligentie (AI) is het vaak een wirwar van bewegende beelden.

Deze paper, getiteld FineVAU, gaat over een nieuw hulpmiddel om te testen hoe goed deze AI's eigenlijk zijn in het begrijpen van zulke vreemde of verdachte gebeurtenissen in video's.

Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen:

1. Het Probleem: De "Taalkundige" vs. De "Ooggetuige"

Vroeger keken onderzoekers naar AI's die video's beschreven en gebruikten ze oude meetlatjes (zoals BLEU of ROUGE).

• De analogie: Stel je voor dat je een verslag schrijft over een brand. Als je zegt "Er was vuur" en de AI zegt "Er was een grote, oranje gloed", dan scoort de oude meetlat laag omdat de woorden niet exact hetzelfde zijn. Maar voor een mens is het verhaal hetzelfde!
• Het nieuwe probleem: Nu gebruiken we slimme AI's (LLM's) om te beoordelen. Maar die kijken vaak alleen naar hoe mooi de zinnen klinken. Ze vinden het niet erg als de AI een verhaal vertelt dat grammaticaal perfect is, maar feitelijk onzin (bijvoorbeeld: "De brandweer kwam met een vliegtuig" terwijl er geen vliegtuig was). Ze oordelen op taal, niet op waarheid.

2. De Oplossing: FineVAU (De "Drie-Vragen-Methode")

De auteurs van deze paper zeggen: "Laten we stoppen met tellen hoeveel woorden overeenkomen. Laten we kijken of de AI de essentie van het verdachte moment begrijpt."

Ze hebben een nieuwe test ontwikkeld genaamd FineVAU. Ze vragen de AI om een video te analyseren door drie simpele vragen te beantwoorden, net zoals een mens dat zou doen:

1. Wat? (Wat gebeurt er? Bijv. "Iemand steekt vuur aan").
2. Wie? (Wie is erbij betrokken? Bijv. "Een man met een rode jas en een baard").
3. Waar? (Waar gebeurt het? Bijv. "In een juwelier op een drukke hoek").

Dit noemen ze de What-Who-Where-methode.

3. De Nieuwe Score: FV-Score

Hoe meten ze of de AI het goed heeft? Ze gebruiken een nieuwe score, de FV-Score.

• De analogie: Stel je voor dat je een detective bent. Je krijgt een verslag van een getuige. In plaats van te kijken of de getuige mooie zinnen gebruikt, check je een checklist:
  • Heeft hij de dader genoemd? (Ja/Nee/Deels).
  • Heeft hij de kleding beschreven? (Ja/Nee/Deels).
  • Heeft hij de locatie goed? (Ja/Nee/Deels).
• Als de AI zegt "Er was een gevecht" maar vergeet te zeggen dat het een man met een mes was, dan krijgt hij een lagere score. De nieuwe meetlat straft het vergeten van belangrijke details af, zelfs als de zinnetjes mooi klinken.

4. De Nieuwe Dataset: FineW³

Om deze test te doen, hadden ze een enorme verzameling video's nodig met supergedetailleerde aantekeningen. Ze hebben een automatische robot (een AI) ingezet om oude video's opnieuw te bekijken en er duizenden kleine details uit te halen: "Kleur van de schoenen", "Tijdstip van de dag", "Dichtheid van de menigte".
Dit is als het maken van een super-detaillere kaart van een stad, waar je niet alleen de straten ziet, maar ook welke kleur de lantaarnpalen hebben en hoe hard het waait.

5. Wat hebben ze ontdekt? (De verrassende resultaten)

Toen ze de slimste AI's van vandaag de dag (zoals Qwen, LLaVA, etc.) op deze nieuwe test lieten, kwamen ze tot een schokkende ontdekking:

• Sterk in statische dingen: De AI's zijn heel goed in het zien van de omgeving. Ze kunnen perfect zeggen: "Dit is een supermarkt" of "Het is nacht". Dit is als het lezen van een statische foto.
• Zwak in beweging en details: Zodra er iets gebeurt dat klein en snel is, gaan ze in de war.
  • Vergelijking: Een AI kan perfect zien dat er een auto staat, maar als die auto plotseling een klein voorwerp uit het raam gooit, ziet de AI het vaak niet of denkt hij dat het een normaal gebaar is.
• De "Normaalheid"-bias: De AI's zijn zo gewend aan normale dingen, dat ze verdachte situaties vaak als "normaal" interpreteren. Een gevecht wordt soms beschreven als "een gesprek". Ze hallucineren dat alles rustig is, terwijl er chaos is.

Conclusie

Deze paper zegt eigenlijk: "Onze AI's zijn goede fotomakers, maar slechte detectives." Ze kunnen de achtergrond beschrijven, maar missen de subtiele, snelle details die nodig zijn om echt gevaar te zien.

Met FineVAU en de FV-Score hebben de onderzoekers nu een nieuwe, eerlijke meetlat. Hiermee kunnen ze AI's trainen om niet alleen te kijken, maar echt te begrijpen wat er misgaat in een video, zodat ze in de toekomst beter kunnen helpen bij beveiliging en veiligheid.

Technische samenvatting

Probleemstelling

Video Anomaly Understanding (VAU) is een opkomend taakveld dat zich richt op het beschrijven van ongebruikelijke gebeurtenissen in video's. Ondanks de groeiende interesse in Large Vision-Language Models (LVLMs) voor deze taak, blijft de evaluatie een open uitdaging. Bestaande benchmarks en evaluatiemethoden hebben twee fundamentele tekortkomingen:

1. N-gram gebaseerde metrics (bijv. BLEU, ROUGE-L): Deze meten alleen lexicale overlap en falen om de rijke, vrij-vormige en visueel verankerde aard van LVLM-antwoorden te vangen. Ze straffen feitelijk correcte maar lexicaal afwijkende antwoorden af.
2. LLM-gebaseerde evaluatie: Bestaande methoden focussen vaak op taalvloeibaarheid en algemene coherentie in plaats van feitelijke relevantie. Dit leidt tot subjectieve beoordelingen die slecht gecorreleerd zijn met de menselijke perceptie van anomalieën.

Er is dus een dringende behoefte aan een evaluatieframework dat de feitelijke juistheid en de fijnmazige visuele details van anomalieën meet, in plaats van alleen de taalstructuur.

Methodologie

Het paper introduceert FineVAU, een nieuw benchmark-ecosysteem dat de evaluatie van VAU herformuleert als een drievoudig probleem, gebaseerd op de kerncomponenten van menselijke anomalie-perceptie:

1. Wat (Events): De acties, interacties en toestandsveranderingen in de video.
2. Wie (Entities): De betrokken actoren of objecten en hun visuele attributen (kleding, leeftijd, geslacht, etc.).
3. Waar (Location): De fysieke omgeving, tijdstip, belichting en andere scenische details.

1. FV-Score (De Evaluatiemetric)

In plaats van een holistische score, introduceert de auteurs FV-Score, een nieuwe, mens-gealigneerde metric.

• Werking: De metric deconstructeert het antwoord van een LVLM en evalueert de aanwezigheid van kritieke visuele elementen per dimensie.
• Scoring:
  • Voor Wie en Waar wordt een binaire schaal gebruikt (0 = afwezig/fout, 1 = aanwezig/correct).
  • Voor Wat wordt een ternaire schaal gebruikt (0 = fout, 0.5 = gedeeltelijk/kleine fouten, 1 = accuraat/compleet).
• Implementatie: Een geavanceerde LLM (Gemini-2.5-Flash) fungeert als "judge" (FineVAU-Judge) die de antwoorden vergelijkt met een gestructureerde ground truth, gebruikmakend van een specifiek prompt om semantische lidmaatschap te beoordelen.

2. FineW³ (Het Dataset)

Om deze structuur mogelijk te maken, hebben de auteurs FineW³ ontwikkeld, een dataset die bestaande menselijke annotaties (van o.a. UCF-Crime) verrijkt met fijnmazige visuele informatie.

• Pipeline: Een volledig geautomatiseerd, twee-staps proces met LVLM-ondersteuning:
  1. Event Decompositie & Entity Linking: Complexe zinnen worden opgesplitst in atomaire gebeurtenissen en gekoppeld aan unieke entiteits-ID's.
  2. Entity Grounding & Scene Description: Entiteiten krijgen rijke visuele attributen toegevoegd, en locaties worden gedetailleerd beschreven (licht, menigtedichtheid, etc.).
• Statistieken: De dataset bevat 1.544 video's met in totaal 17.813 gebeurtenissen (waarvan 4.420 abnormaal), 59.392 entiteiten en 7.669 locatie-attributen.

Belangrijkste Bijdragen

1. FineVAU Benchmark: Een nieuw evaluatiekader dat de focus verlegt naar fijnmazig, mens-gealigneerd begrip van anomalieën via de dimensies Wat, Wie en Waar.
2. FV-Score: Een interpreteerbare, actievere metric die de prestaties van LVLMs meet op basis van het detecteren van kern-elementen, wat leidt tot een sterkere correlatie met menselijke oordelen dan bestaande methoden.
3. FineW³ Dataset: Een hoogwaardige dataset die bestaande annotaties schaalbaar uitbreidt met gestructureerde, verifieerbare visuele informatie.
4. Empirische Inzichten: Uitgebreide experimenten die kritieke beperkingen van huidige state-of-the-art LVLMs blootleggen.

Resultaten

De auteurs hebben vijf state-of-the-art LVLMs (o.a. Qwen2.5-VL, InternVL3, LLaVA-OneVision) geëvalueerd op FineVAU. De resultaten tonen duidelijke patronen:

• Superieure Menselijke Correlatie: FV-Score bereikt de hoogste correlatie met menselijke beoordelingen (Pearson Correlatie: 0,61; Kendall's Tau: 0,56), wat significant beter is dan traditionele N-gram metrics (zoals ROUGE-L) en andere LLM-judges.
• Sterk in Statische Informatie: Modellen presteren goed in het identificeren van statische elementen zoals de locatie (gemiddeld 61,3% nauwkeurigheid) en grote objecten.
• Zwak in Fijnmazige Ruimtelijke en Temporele Begrip: Modellen worstelen enorm met het detecteren van specifieke gebeurtenissen (gemiddeld slechts 12,2% nauwkeurigheid) en fijne attributen van objecten. Ze falen vaak in het begrijpen van subtiele, kortdurende anomalieën.
• Bias naar Normaliteit: LVLMs vertonen een sterke bias naar "normale" gebeurtenissen. Ze neigen ernaar om abnormale gebeurtenissen te interpreteren als normaal gedrag (hallucinaties), terwijl ze zelden normale situaties als abnormaal bestempelen.
• Prestatieverschillen: InternVL3 presteerde het beste over alle dimensies, maar zelfs de beste modellen hebben moeite met complexe, subtiele anomalieën zoals winkeldiefstal (die kleine, plotselinge bewegingen vereist) in vergelijking met opvallende gebeurtenissen zoals brandstichting of gevechten.

Betekenis en Toekomstperspectief

FineVAU markeert een paradigmaverschuiving in de evaluatie van Video Anomaly Understanding. Het paper demonstreert dat huidige LVLMs, ondanks hun sterke prestaties in algemene visuele taken, fundamenteel tekortschieten in het begrijpen van de complexe, dynamische en vaak subtiele aard van anomalieën in video's.

De belangrijkste implicaties zijn:

• Evaluatie: Bestaande metrics zijn onvoldoende; FV-Score biedt een robuustere, interpreteerbare maatstaf die dichter bij menselijke waarneming ligt.
• Onderzoek: De bevindingen wijzen op de noodzaak van gerichte training om hallucinaties te verminderen en het vermogen tot fijnmazig ruimtelijk-temporeel redeneren te verbeteren.
• Toepassing: Voor veiligheidskritische toepassingen (zoals surveillance) is het cruciaal dat modellen niet alleen "wat er gebeurt" kunnen beschrijven, maar ook de juiste actoren, locaties en subtiele gedragingen correct identificeren. FineVAU en FineW³ vormen de basis voor de volgende generatie robuuste VAU-modellen.