ForeSea: AI Forensic Search with Multi-modal Queries for Video Surveillance

Die Arbeit stellt ForeSeaQA, ein neues Benchmark-Datenset für multimodale Video-Frage-Antwort-Aufgaben mit Zeitstempeln, und ForeSea, ein darauf aufbauendes dreistufiges KI-System zur forensischen Video-Suche, vor, das bestehende Methoden in Bezug auf Genauigkeit und zeitliche Verortung deutlich verbessert.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Detektiv, der in einem riesigen, endlosen Lagerhaus nach einem bestimmten Dieb suchen muss. Das Lagerhaus ist voller Kameras, die seit Tagen ununterbrochen filmen. Die Aufgabe: Finden Sie den Dieb, sehen Sie, wann er ein Fahrrad gestohlen hat, und zeigen Sie genau den Moment im Film.

Das Problem: Wenn Sie versuchen, alle Stunden an Filmmaterial manuell anzusehen, werden Sie wahnsinnig. Und wenn Sie einen Computer fragen: „Zeig mir den Dieb!", antworten die bisherigen KI-Systeme oft mit: „Ich habe den Dieb gesehen, aber ich weiß nicht genau, wann" oder sie zeigen Ihnen völlig falsche Szenen.

Hier kommt ForeSea ins Spiel. Die Forscher von Qualcomm haben eine neue KI-Lösung entwickelt, die wie ein super-schneller, smarter Assistent funktioniert.

1. Das Problem: Die Nadel im Heuhaufen

Bisherige Systeme waren wie jemand, der versucht, eine Nadel in einem riesigen Heuhaufen zu finden, indem er den ganzen Haufen durchsucht, ohne zu wissen, wo die Nadel sein könnte.

• Das alte Problem: Die KIs konnten nur mit Textfragen arbeiten („Zeig mir jemanden in rotem Hemd"). Wenn Sie aber ein Foto des Diebs haben und fragen: „Zeig mir diesen Mann, wie er rennt", waren die alten Systeme oft überfordert.
• Die Folge: Sie bekamen viele falsche Treffer und keine genauen Zeitangaben.

2. Die Lösung: ForeSea (Der intelligente Such-Assistent)

ForeSea ist wie ein Team aus drei Spezialisten, die zusammenarbeiten, um die Suche zu vereinfachen:

• Schritt 1: Der Wächter (Tracking)
  Statt das ganze Lagerhaus zu scannen, schaut sich dieser Wächter nur die Personen an. Er ignoriert alles andere (Bäume, Autos, leere Gänge). Er schneidet den riesigen Film in kleine, handliche Clips heraus, die nur den gesuchten Menschen zeigen.

  • Analogie: Statt den ganzen Ozean zu durchsuchen, fängt der Wächter nur die Fische, die aussehen wie der gesuchte Dieb, und ignoriert das Wasser.

• Schritt 2: Der Bibliothekar (Multimodale Suche)
  Dieser Bibliothekar ordnet die kleinen Clips nicht nur nach Text, sondern versteht auch Bilder. Sie können ihm ein Foto des Diebs zeigen und fragen: „Wann hat er gestohlen?" Der Bibliothekar versteht beides gleichzeitig und findet den passenden Clip sofort.

  • Analogie: Früher musste man in einem Buch nach dem Wort „Dieb" suchen. Jetzt können Sie dem Bibliothekar ein Foto zeigen und sagen: „Suche jemanden, der so aussieht."

• Schritt 3: Der Detektiv (Video-LLM)
  Sobald die besten 3 Clips gefunden sind, gibt der Bibliothekar sie dem Detektiv. Der Detektiv schaut sich nur diese 3 kurzen Clips an, analysiert sie und sagt: „Ja, hier ist er! Um 10:35 Uhr hat er das Fahrrad genommen."

  • Der Clou: Weil der Detektiv nur 3 kurze Clips sieht und nicht 10 Stunden Film, ist er viel schneller und macht weniger Fehler.

3. Der neue Test: ForeSeaQA

Um zu beweisen, dass ihr System wirklich gut ist, haben die Forscher einen neuen Test entwickelt, den sie ForeSeaQA nennen.

• Was ist das? Ein riesiger Test mit vielen Fragen, bei denen man sowohl ein Foto als auch eine Textfrage stellen muss (z. B. ein Foto einer Person + „Was macht diese Person gerade?").
• Warum ist das wichtig? Bisher gab es keinen richtigen Test für diese Art von „Foto + Frage"-Suche in Überwachungskameras. ForeSeaQA ist wie der erste echte „Meister-Test" für Detektive, die mit Fotos arbeiten.

4. Das Ergebnis: Schneller und genauer

Die Ergebnisse sind beeindruckend:

• Genauigkeit: ForeSea findet die richtigen Antworten und Zeitpunkte viel besser als alle vorherigen Systeme.
• Geschwindigkeit: Da es nicht den ganzen Film durchsucht, sondern nur die relevanten Teile, ist es doppelt so schnell wie andere moderne KIs.
• Flexibilität: Es funktioniert nicht nur in Überwachungskameras, sondern kann auch bei langen Dokumentarfilmen oder anderen Videos helfen.

Zusammenfassung in einem Satz

ForeSea ist wie ein KI-Detektiv, der nicht den ganzen Ozean durchsucht, sondern erst die richtigen Fische fängt, sie genau betrachtet und dann sofort sagt: „Hier ist der Dieb, genau um diese Uhrzeit!" – und das alles, während Sie ihm ein Foto zeigen können.

Technische Zusammenfassung

1. Problemstellung

Überwachungsvideoanalysen stehen vor der Herausforderung, spezifische Ziele (Personen, Objekte, Ereignisse) über lange Zeiträume hinweg und über mehrere Kameras hinweg zu finden. Bestehende Systeme leiden unter folgenden Mängeln:

• Mangelnde Multimodalität: Aktuelle Ansätze basieren oft auf rein textbasierten Abfragen (z. B. CLIP + RAG) und können keine Referenzbilder als Suchkriterium nutzen, was in der realen forensischen Praxis (z. B. „Wann ist diese Person, die auf dem Foto zu sehen ist, in den Kampf eingestiegen?") jedoch essenziell ist.
• Fehlende zeitliche Präzision: Modelle liefern oft korrekte Antworten, können aber die genauen Zeitintervalle (Temporal Grounding) nicht lokalisieren.
• Ineffizienz: Das Verarbeiten ganzer Videostreams durch große Multimodale Modelle (VideoLLMs) ist rechenintensiv und führt zu hohen Latenzen.
• Fehlende Benchmarks: Es gab bisher keine geeigneten Evaluierungsstandards für multimodale, zeitlich verankerte Video-Frage-Antwort-Aufgaben (Video QA) im Überwachungskontext.

2. Methodik: Das ForeSea-Framework

Das Paper stellt ForeSea vor, ein dreistufiges, „Plug-and-Play"-System für die forensische Suche, das Retrieval-Augmented Generation (RAG) mit einer personenzentrierten Strategie kombiniert.

A. Benchmark: ForeSeaQA

Um das Problem zu adressieren, wurde ForeSeaQA entwickelt, der erste Benchmark für multimodale, zeitlich verankerte Video QA im Überwachungsbereich.

• Datenherkunft: Basierend auf dem UCF-Crime-Dataset.
• Aufbau: Ein halbautomatischer Data-Engine-Prozess extrahiert Personen-Entitäten aus dichten Untertiteln, verankert diese visuell (Erstellen von Query-Bildern) und generiert QA-Paare mit präzisen Zeitstempeln.
• Aufgaben: Der Benchmark umfasst sechs Unteraufgaben: Suche (Search), Aktivität (Activity), Ereignis (Event), Zeitliche Relation (Temporal), Zählen (Counting) und Anomalie (Anomaly).
• Besonderheit: Jede Frage kann textbasiert oder multimodal (Bild + Text) sein und erfordert sowohl eine korrekte Antwort als auch eine zeitliche Lokalisierung.

B. Systemarchitektur von ForeSea

Das System besteht aus drei Hauptkomponenten:

1. Tracking-Modul (Filterung):
   • Verwendet einen Person-Tracker (z. B. ByteTrack mit YOLO), um lange Videos in kurze, personen-zentrierte Clips zu segmentieren.
   • Dies reduziert den Suchraum drastisch, indem irrelevante Hintergrundbilder entfernt werden.
2. Multimodaler Embedding-Modul (Indizierung):
   • Ein multimodaler Encoder (basierend auf VISTA/GCL) kodiert die Clips in einen einheitlichen Bild-Text-Embedding-Raum.
   • Dies ermöglicht die Suche sowohl mit reinen Texten als auch mit Bild-Text-Kombinationen (z. B. ein Foto der Person + die Frage).
   • Im Gegensatz zu textbasierten Projektionen (wie bei CLIP) geht hier keine Information durch Modality-Übersetzung verloren.
3. VideoLLM (Inferenz & Antwortgenerierung):
   • Das System ruft die Top-K (z. B. K=3) relevantesten Clips aus der Datenbank ab.
   • Diese Clips werden zusammen mit der ursprünglichen Abfrage und zusätzlichen räumlichen Hinweisen (z. B. Bounding-Box-Koordinaten als Text) an ein VideoLLM (z. B. VideoLLaMA3) übergeben.
   • Das LLM generiert eine zusammenfassende Antwort und lokalisiert die Ereignisse zeitlich präzise.

3. Wichtige Beiträge

1. ForeSeaQA Benchmark: Der erste Datensatz, der multimodale Abfragen (Bild+Text) mit präziser zeitlicher Verankerung im Überwachungskontext kombiniert. Er deckt sechs komplexe Unteraufgaben ab und erfordert sowohl Multiple-Choice-Genauigkeit als auch IoU (Intersection over Union) für die Zeitlokalisierung.
2. ForeSea-System: Ein effizientes Video-RAG-Framework, das durch eine personenzentrierte Indizierung („Person-Centric Retrieval") als starke induktive Verzerrung (Inductive Bias) für forensische Suchen fungiert.
3. Multimodale Retrieval-Strategie: Die direkte Suche in einem einheitlichen multimodalen Embedding-Raum statt der Umwandlung aller Modalitäten in Text, was die Genauigkeit bei Bild-Abfragen signifikant verbessert.

4. Ergebnisse

Die Evaluation auf ForeSeaQA und anderen Benchmarks zeigt folgende Ergebnisse:

• Genauigkeit & Lokalisierung: ForeSea erreicht die beste Gesamtkorrektheit (66,0 %) und die höchste zeitliche IoU (13,6 %) unter allen getesteten Methoden (einschließlich großer VideoLLMs und bestehender RAG-Modelle).
• Vorteil bei Multimodalität: Während andere Modelle bei multimodalen Abfragen (Bild+Text) stark an Genauigkeit verlieren (z. B. VideoLLaMA3: -6 Punkte), bleibt ForeSea robust (>65 %).
• Effizienz: ForeSea ist deutlich schneller als vergleichbare RAG-Systeme (Gesamt-Latenz: 2,6 s vs. 5,2–7,6 s bei Baselines), da es nur relevante Clips statt des gesamten Videos an das LLM sendet.
• Generalisierung: Das System generalisiert erfolgreich auf offene Domänen-Benchmarks (VideoMME, MLVU, LongVideoBench) und erreicht dort State-of-the-Art-Ergebnisse mit nur der Hälfte der Eingabeframes.
• Ablationsstudien:
  • Die reine personenzentrierte Suche verbessert die Leistung bereits ohne räumliche Hinweise.
  • Das Hinzufügen von Bounding-Box-Koordinaten als Text (statt nur Bild-Crops) ist der effektivste Weg, um räumliches Verständnis zu verbessern.
  • Ein Top-K von 3 Clips bietet den besten Kompromiss zwischen Genauigkeit und zeitlicher Präzision.

5. Bedeutung und Ausblick

Das Paper markiert einen bedeutenden Schritt in der praktischen KI-gestützten forensischen Analyse.

• Praktische Relevanz: Es löst das Problem, dass Überwachungsanalysten oft manuell durch Stunden von Videoaufnahmen scrollen müssen, indem es eine präzise, multimodale Suchmaschine bereitstellt.
• Technischer Fortschritt: Es demonstriert, dass die Kombination aus spezialisiertem Retrieval (Personen-Tracking) und generativen Modellen (VideoLLM) überlegen ist gegenüber reinen End-to-End-Ansätzen oder rein textbasierten RAG-Systemen.
• Zukunft: ForeSeaQA etabliert einen neuen Standard für die Evaluierung von Video-Verständnismodellen in Szenarien, die sowohl multimodale Eingaben als auch präzise zeitliche reasoning erfordern.

Zusammenfassend bietet ForeSea einen robusten Rahmen, der nicht nur die Genauigkeit forensischer Suchen erhöht, sondern auch die Latenz senkt und die Fähigkeit zur Beantwortung komplexer, bildgestützter Fragen in langen Videos demonstriert.