ForeSea: AI Forensic Search with Multi-modal Queries for Video Surveillance

Il paper introduce ForeSea, un sistema di ricerca forense AI basato su un pipeline a tre stadi, e ForeSeaQA, il primo benchmark per la valutazione di query multimodali (immagine e testo) con grounding temporale preciso in video di sorveglianza, dimostrando miglioramenti significativi rispetto ai modelli VideoRAG esistenti.

L'essenziale

Immagina di dover cercare un ago in un pagliaio, ma il "pagliaio" è un video di sorveglianza di 10 ore girato da 50 telecamere diverse, e l'"ago" è una persona specifica che sta facendo qualcosa di sospetto.

Fino a oggi, i sistemi di sicurezza erano come guardie del corpo stanche: dovevano guardare tutto il video, minuto per minuto, o affidarsi a descrizioni scritte molto generiche ("cerca un uomo con la giacca rossa"). Se la descrizione era sbagliata o se l'uomo cambiava giacca, la ricerca falliva.

ForeSea è come un investigatore privato super-intelligente che ha appena ricevuto un aggiornamento miracoloso. Ecco come funziona, passo dopo passo:

1. Il Problema: La "Caccia all'Ago" Impossibile

Oggi, se un investigatore deve rispondere a una domanda complessa come "Quando questa persona (mostrando una foto) ha iniziato a litigare con l'altro?", i computer attuali si perdono.

• Non capiscono bene le foto insieme alle domande scritte.
• Si perdono nel tempo (non sanno quando esattamente è successo).
• Spesso inventano cose che non sono mai accadute (allucinazioni).

2. La Soluzione: ForeSea (Il Detective AI)

Gli autori hanno creato due cose fondamentali: un nuovo gioco di addestramento (chiamato ForeSeaQA) e un nuovo sistema di ricerca (chiamato ForeSea).

Immagina il sistema ForeSea come un processo in tre atti:

Attore 1: Il "Filtro Magico" (Tracking)

Invece di guardare l'intero video (la folla, i palazzi, le auto), il sistema usa un "occhio" intelligente che segue solo le persone.

• L'analogia: È come se avessi un filtro su Instagram che cancella tutto tranne la persona che stai cercando. Il sistema taglia via tutto il video inutile e ti dà solo piccoli spezzone dove appare quella persona specifica. Questo riduce il "pagliaio" a un solo "fagotto di paglia".

Attore 2: L'Archivista Multilingue (Embedding)

Ora che abbiamo solo i pezzi con la persona, il sistema li archivia. Ma non li archivia solo per "testo" (es. "uomo rosso").

• L'analogia: Immagina un archivista che capisce sia le parole che le immagini. Se gli chiedi "Cerca la foto di questo tizio che beve caffè", lui capisce che la foto e la parola "caffè" sono la stessa cosa. Mette in ordine i video in base a ciò che vedi e a ciò che dici, non solo a ciò che è scritto.

Attore 3: Il Detective Finale (VideoLLM)

Infine, prende i pochi spezzone più promettenti (i "Top-K") e li passa a un'intelligenza artificiale molto potente (un "cervello" che vede i video).

• L'analogia: Invece di far leggere al detective 10 ore di filmato, gli dai solo i 3 minuti più importanti. Il detective legge questi 3 minuti, guarda la foto che gli hai dato, e ti risponde: "Sì, l'ho visto alle 10:35 mentre beveva il caffè, ecco il video".

3. Il Nuovo "Campo di Addestramento": ForeSeaQA

Per insegnare a questi detective a essere bravi, gli autori hanno creato un nuovo banco di prova (un benchmark) chiamato ForeSeaQA.

• Prima, i test chiedevano solo: "C'è una persona che corre?".
• Ora, il test chiede: "Ecco una foto di Maria. Quando ha iniziato a correre e con chi?".
  È come passare da un quiz a risposta multipla semplice a un'interrogazione orale complessa dove devi collegare un'immagine a un momento preciso della storia.

Perché è una grande novità?

1. Parla sia con le immagini che con le parole: Puoi mostrare una foto e fare una domanda. Il sistema capisce il contesto completo.
2. È preciso nel tempo: Non dice solo "è successo", ma "è successo esattamente tra le 10:30 e le 10:35".
3. È veloce: Poiché filtra prima il video, non deve analizzare tutto. È come cercare un libro in una biblioteca: invece di leggere ogni libro, vai direttamente allo scaffale giusto grazie al filtro intelligente.

In sintesi

ForeSea trasforma la ricerca video da un compito noioso e impreciso (guardare ore di filmati a caso) in un'operazione chirurgica. È come avere un assistente che, invece di dirti "c'è qualcuno nella stanza", ti dice: "Ecco la persona che cerchi, è entrata alle 14:00, ha parlato con il signor Rossi alle 14:05 ed è uscita alle 14:10. Ecco il video di quel momento esatto".

È un passo enorme verso un'IA forense che funziona davvero nella vita reale, aiutando gli investigatori a trovare la verità in mezzo a montagne di dati video.

Sommario tecnico

1. Il Problema

Nonostante decenni di ricerca, i sistemi di sorveglianza video faticano ancora a trovare target specifici all'interno di lunghe registrazioni provenienti da più telecamere. Le sfide principali includono:

• Limitazioni dei metodi esistenti: Le pipeline di tracciamento tradizionali richiedono un filtraggio manuale pesante e catturano solo attributi superficiali. I modelli basati su CLIP e i sistemi di Retrieval-Augmented Generation (VideoRAG) attuali si basano principalmente su query testuali, non gestiscono nativamente query multimodali (es. un'immagine di una persona + una domanda testuale) e falliscono nel ragionamento temporale.
• Mancanza di benchmark adeguati: Non esisteva un benchmark specifico per valutare la ricerca video basata su query multimodali con un grounding temporale preciso (identificare quando e dove avviene un evento).
• Complessità delle indagini reali: Gli analisti forensi necessitano di rispondere a domande complesse come "Quando questa persona entra nel combattimento?", richiedendo l'integrazione di un'immagine di riferimento, testo e comprensione temporale del video.

2. Metodologia: ForeSea

Gli autori propongono ForeSea, un sistema di ricerca forense AI basato su un pipeline RAG (Retrieval-Augmented Generation) a 3 stadi, progettato per essere "plug-and-play" e focalizzato sulla persona.

Architettura del Sistema

Il sistema opera in due fasi principali: costruzione del database e risposta alle query.

1. Costruzione del Database (Fase di Indicizzazione):

   • Modulo di Tracciamento: Utilizza un tracker (ByteTrack con rilevatore YOLO) per segmentare i video lunghi in clip centrate sulla persona. Questo riduce drasticamente lo spazio di ricerca eliminando i fotogrammi irrilevanti.
   • Embedding Multimodale: Ogni clip centrata sulla persona viene codificata in un vettore di embedding unificato utilizzando un encoder multimodale (basato su VISTA/GCL). Questo spazio di embedding unificato permette di cercare contemporaneamente con testo, immagini o combinazioni di entrambi.
   • Metadati: Ogni clip viene associata a metadati precisi (ID telecamera, timestamp, coordinate del bounding box).

2. Risposta alle Query (Fase di Inferenza):

   • Ricerca: Data una query multimodale (es. immagine della persona + domanda), il sistema genera un embedding di query e recupera le top-K clip più rilevanti dal database.
   • Ragionamento (VideoLLM): Le clip recuperate vengono inviate a un Video Large Language Model (VideoLLM), arricchite con le coordinate del bounding box e i timestamp. Il modello genera una risposta testuale con un grounding temporale preciso (inizio e fine dell'evento) e un riepilogo degli eventi chiave.

3. Contributi Chiave

A. ForeSeaQA: Il Nuovo Benchmark

Per colmare il divario nella valutazione, gli autori introducono ForeSeaQA, il primo benchmark per il Video QA (Video Question Answering) nel dominio della sorveglianza con query multimodali e grounding temporale.

• Origine dei dati: Derivato dal dataset UCF-Crime, elaborato tramite un motore dati semi-automatizzato che estrae entità umane, le lega visivamente e genera coppie domanda-risposta.
• Struttura: Comprende 1.041 domande curate su 6 sottocompiti: Ricerca (Search), Attività (Activity), Evento (Event), Temporale (Temporal), Conteggio (Counting) e Anomalia (Anomaly).
• Caratteristiche uniche:
  • Supporta query multimodali (immagine + testo) che riflettono i flussi di lavoro forensi reali.
  • Richiede la generazione simultanea della risposta corretta e dell'intervallo temporale (timestamp) dell'evidenza.
  • Include annotazioni temporali precise verificate manualmente.

B. Il Framework ForeSea

Un sistema semplice ma potente che combina:

1. Tracciamento delle persone per ridurre il rumore di fondo.
2. Indicizzazione multimodale per ricerche flessibili.
3. Ragionamento su clip recuperate per una localizzazione temporale precisa.

4. Risultati Sperimentali

Il sistema è stato valutato su ForeSeaQA e su benchmark open-domain (VideoMME, MLVU, LongVideoBench).

• Performance su ForeSeaQA:

  • Accuratezza: ForeSea raggiunge il 66.0% di accuratezza complessiva e il 65.4% sulle query multimodali (ForeSeaQAMM), superando tutti i modelli VideoLLM nativi e le basi RAG esistenti (es. VideoRAG, T*).
  • Localizzazione Temporale (IoU): Ottiene un IoU di 13.6%, un miglioramento significativo rispetto ai baselines (che oscillano tra il 2.8% e il 10.9%). Questo dimostra che la ricerca centrata sulla persona è un forte bias induttivo per il grounding temporale.
  • Robustezza: ForeSea mantiene prestazioni elevate sia con query testuali che multimodali, mentre altri modelli subiscono un calo significativo di accuratezza quando viene introdotta l'immagine di riferimento.

• Efficienza:

  • ForeSea è più veloce dei baselines RAG (2.6 secondi totali vs 5.2-7.6 secondi) perché recupera solo le clip rilevanti invece di elaborare l'intero video.
  • Utilizza la metà dei fotogrammi di input rispetto ai metodi open-domain, mantenendo prestazioni competitive.

• Generalizzazione:

  • Il sistema si generalizza bene ai benchmark open-domain (VideoMME, MLVU), superando o eguagliando i metodi state-of-the-art, dimostrando che l'approccio di recupero selettivo è utile anche al di fuori della sorveglianza.

5. Significato e Impatto

Il lavoro di ForeSea rappresenta un passo avanti significativo nell'analisi forense video automatizzata:

1. Superamento del limite testuale: Dimostra che l'integrazione nativa di immagini e testo nelle query è essenziale per compiti forensi reali, superando i limiti dei sistemi basati solo sul testo.
2. Nuovo Standard di Valutazione: ForeSeaQA fornisce il primo strumento rigoroso per valutare la capacità dei modelli di ragionare su video lunghi con evidenze temporali precise e multimodali.
3. Efficienza e Scalabilità: L'architettura proposta dimostra che è possibile ottenere alta accuratezza e bassa latenza riducendo il carico computazionale attraverso una ricerca intelligente e centrata sull'oggetto (persona), piuttosto che elaborare l'intero flusso video.

In sintesi, ForeSea offre un framework robusto e un nuovo benchmark che spingono i confini della comprensione video, rendendo l'analisi forense automatizzata più precisa, veloce e aderente alle esigenze reali degli investigatori.