Frequency-domain Event-based Imaging for Selective Surveillance

Sintesi Tecnica: Imaging basato su Eventi nel Dominio della Frequenza per la Sorveglianza Selettiva

Enunciazione del Problema
I sistemi di sorveglianza esistenti subiscono un significativo degrado delle prestazioni nel rilevamento di bersagli in condizioni di movimento rapido, basso contrasto, sfondi complessi o turbolenza ottica. Le tradizionali pipeline di Riconoscimento Automatico dei Bersagli (ATR) faticano a distinguere piccoli Sistemi Aerei Senza Equipaggio (UAS) da elementi di confusione come gli uccelli. Sebbene le Camere basate su Eventi (EBC) offrano un'alta risoluzione temporale e un ampio intervallo dinamico codificando le variazioni di radianza a livello di pixel, la loro output asincrono e sparso presenta delle sfide. I metodi attuali spesso ricostruiscono fotogrammi simili a immagini di intensità, perdendo l'efficienza guidata dal contrasto dei dati a eventi, oppure si affidano a clustering spaziale/temporale che presuppone che gli oggetti condividano strutture simili. Inoltre, le prestazioni delle EBC sono sensibili alle soglie di contrasto definite dall'utente e richiedono una calibrazione precisa del rumore. È necessario disporre di algoritmi che sfruttino la ricca struttura temporale dei flussi di eventi per discriminare oggetti artificiali basandosi sulla loro periodicità intrinseca (ad esempio, rotazione del rotore, vibrazione meccanica) senza richiedere un'estesa calibrazione del sensore o una ricostruzione di fotogrammi completi.

Metodologia: Il Framework FRIES
Per colmare queste lacune, gli autori introducono Frequency Rate Information for Event-Space (FRIES), un framework di elaborazione neuromorfico progettato per discriminare bersagli artificiali rilevando la periodicità negli eventi a livello di pixel. Il framework opera in quattro fasi distinte:

1. Filtraggio Temporale (Time Gating): Il flusso di eventi grezzo viene separato per polarità per prevenire la cancellazione ai bordi oscillanti. Gli eventi sono raggruppati in intervalli fissi (10 ms). Viene applicata una porta temporale a ciascun pixel, trattenendo solo gli eventi in cui l'intervallo inter-evento rientra in un intervallo specifico ($t_{min}$ a $t_{max}$). Questo sopprime il rumore ad alta frequenza del sensore e il movimento di fondo a bassa frequenza, preservando la banda di frequenza di interesse (ad esempio, 50–500 Hz per i rotori dei droni).
2. Rilevamento e Clustering: Gli eventi trattenuti sono aggregati in una mappa di attività bidimensionale pixel per pixel. Per evitare un'analisi spettrale computazionalmente costosa su tutto il campo visivo, viene applicata una soglia adattiva basata sul punteggio di attività mediana della mappa. Questo presuppone che i bersagli siano sparsi e producano tassi di eventi più elevati rispetto allo sfondo. La mappa sogliata viene sottocampionata e il DBSCAN (Density-Based Spatial Clustering of Applications with Noise) raggruppa i pixel ad alta attività contigui spazialmente in Regioni di Interesse (ROI).
3. Analisi Spettrale: Per ciascuna ROI, gli eventi vengono recuperati dal flusso non filtrato e organizzati in serie temporali per pixel. Viene applicata una Trasformata di Fourier Discreta (DFT) per generare una mappa di Densità Spettrale di Potenza (PSD). La frequenza dominante per ciascuna ROI viene assegnata in base al picco di frequenza più comune tra i suoi pixel costituenti, assicurando che l'etichetta rifletta il driver coerente dell'attività piuttosto che il rumore transitorio.
4. Visualizzazione della Superficie di Tempo Risonante (RTS): Per abilitare la sorveglianza selettiva, la RTS visualizza gli eventi in arrivo in tempo reale. Pesa gli eventi in base alla loro coerenza di fase con la frequenza dominante estratta. Gli eventi in fase con la frequenza del bersaglio sono massimamente ponderati, mentre gli eventi fuori fase (clutter/rumore) sono soppressi o penalizzati. Ciò crea una superficie selettiva in frequenza che evidenzia le sorgenti meccaniche risonanti.

Contributi Chiave

• Primitiva di Rilevamento nel Dominio della Frequenza: Il documento introduce un meccanismo di rilevamento guidato da firme spettrali piuttosto che da tendenze puramente spaziali o temporali, sfruttando l'alta risoluzione temporale unica delle EBC.
• Elaborazione Adattiva e Senza Calibrazione: Utilizzando soglie adattive basate sulla mediana e filtraggio temporale, il sistema opera in modo robusto su diversi sensori e ambienti senza richiedere un ritaratura manuale o una conoscenza precisa dei modelli di rumore specifici della scena.
• Superficie di Tempo Risonante (RTS): Uno strumento di visualizzazione innovativo che filtra e struttura i flussi di eventi basandosi sulla coerenza di fase, consentendo il potenziamento selettivo dei contenuti sincronizzati e la soppressione del clutter non sincronizzato.
• Pipeline a Quattro Fasi: Un framework completo (Filtraggio, Clustering, Analisi Spettrale, Visualizzazione) che riduce il carico computazionale limitando l'analisi spettrale completa alle ROI candidate.

Risultati Sperimentali
Il framework FRIES è stato valutato utilizzando una camera basata su eventi Prophesee EVK4 in due scenari:

1. Esperimento Controllato in Ambiente Interno: Il sistema ha recuperato con successo la frequenza di rotazione di un chopper meccanico (110 Hz) e ha identificato frequenze distinte per i rotori dei droni (129–451 Hz) contro uno sfondo in movimento e disordinato (un albero dinamico). La visualizzazione RTS ha isolato efficacemente il chopper e specifici rotori del drone dallo sfondo, mentre le superfici temporali standard offuscavano questi bersagli.
2. Esperimento Non Controllato in Ambiente Esterno: È stato rilevato un drone in hovering contro una linea di alberi spinta dal vento. FRIES ha estratto una frequenza dominante di ~75 Hz per il drone, distinguendolo dalla vegetazione di fondo a frequenza più bassa (2–27 Hz). La fase di filtraggio temporale ha ridotto significativamente i falsi positivi causati dal movimento di fondo. Tuttavia, i risultati esterni sono stati descritti come "inconcludenti" per quanto riguarda l'affidabilità operativa, mostrando un mix di rilevamenti veri e falsi positivi sporadici. Il sistema ha dimostrato la capacità di separare il movimento periodico artificiale dal clutter naturale, ma ha evidenziato la necessità di ulteriori sintonizzazioni in ambienti dinamici.

Significato e Affermazioni
Gli autori posizionano FRIES e RTS come un promettente front-end per la sorveglianza selettiva all'interno delle pipeline neuromorfe. Il lavoro afferma che l'elaborazione di eventi nel dominio della frequenza offre una capacità complementare alle tradizionali fotocamere a fotogrammi, in particolare per la discriminazione dei bersagli attraverso l'analisi spettrale dove il contrasto spaziale è basso.

Il documento conclude con modestia che, sebbene i risultati preliminari stabiliscano la fattibilità dell'approccio, l'attuale prototipo non è ancora pronto per il dispiegamento operativo in ambienti non controllati. Gli autori riconoscono che il sistema richiede ulteriori sviluppi per affrontare la latenza (tramite clustering incrementale e operatori spettrali ricorsivi), migliorare la robustezza contro le texture dense e abilitare il tracciamento multi-bersaglio. Sottolineano che le EBC dovrebbero essere considerate un prezioso complemento, piuttosto che una sostituzione, delle fotocamere convenzionali, offrendo una via per rilevare bersagli a contrasto debole che altrimenti richiederebbero sistemi convenzionali con frame rate estremamente elevati.