Frequency-domain Event-based Imaging for Selective Surveillance

Resumo Técnico: Imageamento Baseado em Eventos no Domínio da Frequência para Vigilância Seletiva

Declaração do Problema
Os sistemas de vigilância existentes enfrentam degradação significativa de desempenho na detecção de alvos sob condições de movimento rápido, baixo contraste, fundos complexos ou turbulência óptica. Os pipelines tradicionais de Reconhecimento Automático de Alvos (ATR) lutam para distinguir pequenos Sistemas Aéreos Não Tripulados (UAS) de confundidores como pássaros. Embora as Câmeras Baseadas em Eventos (EBCs) ofereçam alta resolução temporal e faixa dinâmica ao codificar mudanças de radiância em nível de pixel, sua saída assíncrona e esparsa apresenta desafios. Os métodos atuais frequentemente reconstroem quadros semelhantes a intensidade, perdendo a eficiência orientada ao contraste dos dados de eventos, ou dependem de agrupamento espacial/temporal que assume que objetos compartilham estruturas semelhantes. Além disso, o desempenho da EBC é sensível a limiares de contraste definidos pelo usuário e requer calibração precisa de ruído. Há uma necessidade de algoritmos que aproveitem a rica estrutura temporal dos fluxos de eventos para discriminar objetos artificiais com base em sua periodicidade inerente (por exemplo, rotação de rotor, vibração mecânica) sem exigir calibração extensiva do sensor ou reconstituição de quadros completos.

Metodologia: O Framework FRIES
Para abordar essas lacunas, os autores introduzem a Informação de Taxa de Frequência para Espaço de Eventos (FRIES), um framework de processamento neuromórfico projetado para discriminar alvos artificiais detectando periodicidade em eventos em nível de pixel. O framework opera em quatro etapas distintas:

1. Portão Temporal (Time Gating): O fluxo de eventos bruto é separado por polaridade para evitar cancelamento em bordas oscilantes. Os eventos são agrupados em intervalos fixos (10 ms). Um portão temporal é aplicado a cada pixel, retendo apenas eventos onde o intervalo inter-evento cai dentro de uma faixa específica ($t_{min}$ a $t_{max}$). Isso suprime ruído de sensor de alta frequência e movimento de fundo de baixa frequência, preservando a faixa de frequência de interesse (por exemplo, 50–500 Hz para rotores de drones).
2. Detecção e Agrupamento: Os eventos retidos são agregados em um mapa de atividade 2D pixel a pixel. Para evitar análise espectral computacionalmente cara em todo o campo de visão, um limiar adaptativo é aplicado com base na pontuação de atividade mediana do mapa. Isso assume que os alvos são esparsos e produzem taxas de eventos mais altas do que o fundo. O mapa limiarizado é subamostrado, e o DBSCAN (Agrupamento Espacial Baseado em Densidade para Aplicações com Ruído) agrupa pixels de alta atividade espacialmente contíguos em Regiões de Interesse (ROIs).
3. Análise Espectral: Para cada ROI, os eventos são recuperados do fluxo não filtrado e organizados em séries temporais por pixel. Uma Transformada Discreta de Fourier (DFT) é aplicada para gerar um mapa de Densidade Espectral de Potência (PSD). A frequência dominante para cada ROI é atribuída com base no pico de frequência mais comum entre seus pixels constituintes, garantindo que o rótulo reflita o motor consistente da atividade em vez de ruído transitório.
4. Visualização de Superfície de Tempo Ressonante (RTS): Para permitir vigilância seletiva, a RTS visualiza eventos entrantes em tempo real. Ela pondera eventos com base em sua coerência de fase com a frequência dominante extraída. Eventos em fase com a frequência do alvo são ponderados maximamente, enquanto eventos fora de fase (desordem/ruído) são suprimidos ou penalizados. Isso cria uma superfície seletiva em frequência que destaca fontes mecânicas ressonantes.

Principais Contribuições

• Primitiva de Detecção no Domínio da Frequência: O artigo introduz um mecanismo de detecção impulsionado por assinaturas espectrais em vez de tendências puramente espaciais ou temporais, aproveitando a única alta resolução temporal das EBCs.
• Processamento Adaptativo e Livre de Calibração: Ao usar limiares adaptativos baseados na mediana e portão temporal, o sistema opera de forma robusta em diferentes sensores e ambientes sem exigir reajuste manual ou conhecimento preciso de modelos de ruído específicos da cena.
• Superfície de Tempo Ressonante (RTS): Uma ferramenta de visualização inovadora que filtra e estrutura fluxos de eventos com base na coerência de fase, permitindo o aprimoramento seletivo de conteúdo em sincronia e a supressão de desordem fora de sincronia.
• Pipeline de Quatro Etapas: Um framework completo (Filtrar, Agrupar, Análise Espectral, Visualizar) que reduz a carga computacional ao restringir a análise espectral completa a ROIs candidatas.

Resultados Experimentais
O framework FRIES foi avaliado usando uma câmera baseada em eventos Prophesee EVK4 em dois cenários:

1. Experimento Controlado em Ambiente Interno: O sistema recuperou com sucesso a frequência de rotação de um cortador mecânico (110 Hz) e identificou frequências distintas para rotores de drones (129–451 Hz) contra um fundo em movimento e desordenado (uma árvore dinâmica). A visualização RTS isolou efetivamente o cortador e rotores específicos de drones do fundo, enquanto superfícies de tempo padrão borraram esses alvos.
2. Experimento Não Controlado em Ambiente Externo: Um drone pairante foi detectado contra uma linha de árvores impulsionada pelo vento. O FRIES extraiu uma frequência dominante de ~75 Hz para o drone, distinguindo-o da folhagem de fundo de frequência mais baixa (2–27 Hz). A etapa de portão temporal reduziu significativamente os falsos positivos causados pelo movimento de fundo. No entanto, os resultados externos foram descritos como "inconclusivos" quanto à confiabilidade operacional, mostrando uma mistura de detecções verdadeiras e falsos positivos esporádicos. O sistema demonstrou a capacidade de separar movimento periódico artificial de desordem natural, mas destacou a necessidade de mais ajustes em ambientes dinâmicos.

Significado e Alegações
Os autores posicionam o FRIES e a RTS como um front-end promissor para vigilância seletiva dentro de pipelines neuromórficos. O trabalho alega que o processamento de eventos no domínio da frequência oferece uma capacidade complementar às câmeras de quadro convencionais, particularmente para discriminar alvos através de análise espectral onde o contraste espacial é baixo.

O artigo conclui modestamente que, embora os resultados preliminares estabeleçam a viabilidade da abordagem, o protótipo atual ainda não está pronto para implantação operacional em ambientes não controlados. Os autores reconhecem que o sistema requer desenvolvimento adicional para abordar a latência (via agrupamento incremental e operadores espectrais recursivos), melhorar a robustez contra texturas densas e permitir o rastreamento de múltiplos alvos. Eles enfatizam que as EBCs devem ser vistas como um complemento valioso a, e não um substituto para, câmeras convencionais, oferecendo um caminho para detectar alvos de contraste tênue que, de outra forma, exigiriam sistemas convencionais de taxa de quadros extremamente alta.