ForeSea: AI Forensic Search with Multi-modal Queries for Video Surveillance

Dit artikel introduceert ForeSea, een AI-systeem voor forensisch videosearch dat multimodale query's (afbeelding en tekst) verwerkt via een drie-staps-pijplijn, en presenteert ForeSeaQA, het eerste benchmark-dataset voor het evalueren van dergelijke complexe zoekopdrachten met nauwkeurige temporele gronding.

De kern

Stel je voor dat je een detective bent die moet oplossen wie er een diefstal heeft gepleegd. Je hebt echter geen getuigen, maar wel duizenden uren aan bewakingsbeelden van camera's in een hele stad. Je moet in die enorme berg beelden zoeken naar één specifieke persoon die een rood jack draagt en op een fiets zit, en je moet precies weten op welk tijdstip dat gebeurde.

Vroeger was dit een nachtmerrie. Agenten moesten urenlang naar schermen staren, of ze moesten zoeken op tekst (zoals "fiets"), maar dat werkte niet als je een foto van de dader had.

De auteurs van dit paper, ForeSea, hebben een slimme AI-oplossing bedacht om dit probleem op te lossen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Nee, in de hooiberg"-situatie

Stel je voor dat je een naald in een hooiberg moet vinden. De meeste bestaande systemen kijken naar het hele hooi (alle video's) en proberen te raden waar de naald zit. Ze zijn vaak traag, vergeten details, en kunnen niet goed omgaan met een combinatie van een foto én een vraag (bijvoorbeeld: "Wanneer zag je deze persoon op de foto fietsen?").

2. De Oplossing: ForeSea (De Slimme Hulp)

ForeSea is als een super-efficiënte assistent die in drie stappen werkt:

• Stap 1: De Wachtende Agent (Tracking)
  In plaats van naar het hele hooi te kijken, laat ForeSea eerst een slimme agent (een tracker) de beelden scannen. Deze agent zegt: "Ik zie hier een groep mensen, maar ik zie daar een specifieke persoon die beweegt." Hij knipt alle beelden weg waar die persoon niet in zit.

  • Analogie: Het is alsof je in plaats van de hele stad te doorzoeken, alleen de straten bekijkt waar die specifieke persoon is gezien. Je verwijdert 90% van het onnodige rommel.

• Stap 2: De Slimme Kaart (Multimodale Zoek)
  Nu heeft ForeSea alleen nog de stukjes video waar die persoon in voorkomt. Hij maakt een "geheugenkaart" van deze stukjes. Het bijzondere is dat hij niet alleen tekst begrijpt, maar ook beelden.

  • Analogie: Stel je een bibliotheek voor. Normaal zoek je alleen op de titel van een boek (tekst). ForeSea kan ook op de kaft van het boek (de foto) zoeken. Als je een foto van een rood jack laat zien, vindt hij direct de boeken over dat jack, zelfs als de tekst er niet over spreekt.

• Stap 3: De Detective (De AI die antwoordt)
  Als jij nu vraagt: "Wanneer zat deze persoon op de fiets?", pakt ForeSea de beste 3 of 4 video-fragmenten van zijn kaart en geeft die aan een slimme AI (een VideoLLM). Die AI kijkt alleen naar die korte fragmenten, begrijpt de foto én de vraag, en geeft je het exacte antwoord met het tijdstip.

  • Analogie: In plaats van dat de detective uren naar de hele stad kijkt, krijgt hij een mapje met alleen de relevante foto's en kan hij direct zeggen: "Het was om 10:35 uur bij het station."

3. De Nieuwe Test: ForeSeaQA

Omdat er nog nooit een goede test was om te zien of een AI dit echt goed kan, hebben de onderzoekers een nieuwe test gemaakt genaamd ForeSeaQA.

• Dit is als een examen voor detectives.
• De vragen zijn moeilijk: ze vragen niet alleen "Wie deed wat?", maar ook "Wanneer gebeurde het precies?" en ze gebruiken soms een foto als hint.
• De test bevat duizenden vragen over lange bewakingsvideo's.

4. Waarom is dit zo goed?

De resultaten zijn indrukwekkend:

• Snelheid: Omdat ForeSea alleen naar de relevante stukjes kijkt, is hij veel sneller dan systemen die de hele video moeten verwerken.
• Nauwkeurigheid: Hij vindt de persoon en het tijdstip veel beter dan de huidige state-of-the-art systemen.
• Flexibiliteit: Hij kan zowel met tekst ("Zoek de man in het blauw") als met foto's ("Zoek deze persoon") werken.

Samenvatting in één zin

ForeSea is als een slimme rechercheur die eerst alle onbelangrijke beelden weggooit, daarna zoekt op basis van zowel foto's als tekst, en je vervolgens precies vertelt wie er wanneer iets heeft gedaan, zonder dat jij urenlang naar schermen hoeft te staren.

Het is een grote stap voorwaarts voor de toekomst van veiligheidscontrole en forensisch onderzoek, waar tijd en precisie alles zijn.

Technische samenvatting

Probleemstelling

Bestaande surveillance-systemen worstelen nog steeds met het vinden van specifieke doelen (mensen, objecten, gebeurtenissen) in lange video-opnames van meerdere camera's. Traditionele methoden, zoals objectdetectie en tracking-pipelines, zijn rekenkundig efficiënt maar beperkt in hun vermogen om complexe activiteiten te analyseren of onverwachte anomalieën te detecteren. Ze vereisen vaak zware handmatige filtering door mensen.

Recente benaderingen die gebruikmaken van CLIP-modellen en Retrieval-Augmented Generation (RAG) hebben natuurlijke taalzoekopdrachten mogelijk gemaakt, maar deze hebben drie grote tekortkomingen:

1. Beperkte zoekmogelijkheden: Ze ondersteunen vaak alleen tekstuele queries en kunnen geen multimodale queries (bijv. een foto van een persoon gecombineerd met een tekstvraag) natief verwerken.
2. Gebrek aan temporeel inzicht: Tekstgebaseerde Large Language Models (LLMs) begrijpen de temporale relaties tussen beelden niet goed en kunnen de tijdsduur van gebeurtenissen niet nauwkeurig lokaliseren.
3. Geen redenering over resultaten: Er is vaak geen reflectie op de zoekresultaten, wat leidt tot foutieve antwoorden als het zoekmodel een fout maakt.

Bovendien ontbreekt er een geschikte benchmark om deze specifieke setting (video zoeken met multimodale queries en tijdsgebonden antwoorden) te evalueren.

Methodologie: ForeSea

Om deze gaten te dichten, stellen de auteurs ForeSea voor, een AI-systeem voor forensisch zoeken dat een plug-and-play pipeline van drie fasen gebruikt. Het systeem is ontworpen om te werken met lange surveillancevideo's en complexe multimodale queries.

De architectuur bestaat uit de volgende componenten:

1. Tracking-module (Filtering):

   • Het systeem gebruikt een tracking-module (gebaseerd op ByteTrack en YOLO) om lange video's te verwerken.
   • In plaats van de volledige video te analyseren, worden alleen relevante frames geëxtraheerd en gesegmenteerd in korte clips die rond specifieke personen zijn gecentreerd. Dit verkleint de zoekruimte drastisch.

2. Multimodale Embedding-module (Indexering):

   • De gegenereerde clips worden geïndexeerd in een uniforme beeld-tekst embedding-ruimte met behulp van een multimodale encoder (gebaseerd op VISTA/GCL).
   • Dit stelt het systeem in staat om zowel tekstuele queries als multimodale queries (beeld + tekst) direct te vergelijken met de video-embeddings, zonder informatieverlies door conversie naar alleen tekst.

3. VideoLLM Redenering (Inferentie):

   • Tijdens de inferentie worden de top-K meest relevante clips (bijv. K=3) opgehaald uit de database.
   • Deze clips worden, samen met de originele query en verrijkte informatie (zoals bounding box-coördinaten), doorgegeven aan een Video Large Language Model (VideoLLM), specifiek VideoLLaMA3.
   • Het VideoLLM genereert een samenvatting van de gebeurtenissen en levert een antwoord dat is verankerd in specifieke tijdstippen (temporale grounding).

Key Contributions

1. ForeSeaQA Benchmark:

   • De auteurs introduceerden ForeSeaQA, de eerste benchmark specifiek ontworpen voor video-Vraag-en-Antwoord (QA) met multimodale queries in het surveillance-domein.
   • De dataset bevat lange surveillancevideo's (gebaseerd op UCF-Crime) met diverse multimodale vragen en nauwkeurige tijdsannotaties.
   • De benchmark omvat zes sub-taken: zoeken, activiteit, gebeurtenis, temporeel, tellen en anomalie detectie.
   • Het evalueert zowel meerkeuze-accuraatheid als temporele localisatie (IoU) onder zowel tekst-only als multimodale query-omstandigheden.

2. Het ForeSea Systeem:

   • Een eenvoudig maar krachtig Video-RAG-framework dat person-centric retrieval combineert met multimodale embedding en VideoLLM-redenering.
   • Het systeem is de eerste die complexe multimodale queries (beeld + tekst) succesvol verwerkt en antwoorden retourneert die zijn gelinkt aan tijdsgegevens en visueel bewijs.

Resultaten

De prestaties van ForeSea zijn geëvalueerd op de ForeSeaQA-benchmark en vergeleken met state-of-the-art VideoLLMs en bestaande RAG-baselines (zoals VideoRAG en T*).

• Prestatieverbetering: ForeSea verbeterde de nauwkeurigheid met 3,5% en de temporele Intersection-over-Union (IoU) met 11,0% ten opzichte van eerdere VideoRAG-modellen.
• Top Prestaties: ForeSea behaalde de beste algehele nauwkeurigheid (66,0%) en temporele localisatie (13,6%) van alle geëvalueerde methoden. Het scoorde ook het hoogst op de multimodale query-taken (ForeSeaQAMM) met 65,4% nauwkeurigheid.
• Efficiëntie: Ondanks het uitvoeren van zoekopdrachten, is ForeSea aanzienlijk sneller dan andere RAG-baselines (totale latentie van 2,6 seconden versus 5,2–7,6 seconden). Dit komt doordat het systeem slechts een klein aantal relevante frames doorstuurt naar het VideoLLM, in plaats van de volledige video.
• Generalisatie: Het systeem generaliseert goed naar open-domein lange video-benchmarks (zoals VideoMME en MLVU), waarbij het prestaties behaalt die vergelijkbaar zijn met of beter zijn dan de state-of-the-art, terwijl het slechts de helft van het aantal invoerframes gebruikt.

Significantie

Dit werk markeert een belangrijke stap voorwaarts in de praktische AI-forensische analyse:

• Realistische Zaken: Het adresseert de echte behoefte aan multimodale zoekopdrachten (bijv. "Wanneer deed deze persoon [foto] mee aan de vechtpartij?"), wat tot nu toe onderbelicht was in de academische literatuur.
• Temporele Grounding: Het bewijst dat person-centric retrieval een sterke inductieve bias is voor het nauwkeurig lokaliseren van gebeurtenissen in lange video's, een probleem waar bestaande modellen vaak in falen.
• Efficiëntie en Schaalbaarheid: Door de zoekruimte te beperken tot relevante person-centric clips, wordt de rekenlast voor de zware VideoLLM-component drastisch verlaagd zonder in te leveren op nauwkeurigheid.
• Nieuwe Standaard: Met de introductie van ForeSeaQA biedt de gemeenschap nu een gestandaardiseerde manier om systemen te evalueren op hun vermogen tot complex redeneren en tijdsgebonden zoeken in surveillancevideo's.

Kortom, ForeSea biedt een robuust framework dat de kloof overbrugt tussen ruwe surveillancedata en bruikbare, forensisch onderbouwde inzichten, met name in scenario's waar menselijke analyse te traag of te duur is.