ODD-SEC: Onboard Drone Detection with a Spinning Event Camera

O artigo apresenta o ODD-SEC, um sistema de detecção de drones em tempo real projetado para plataformas móveis que utiliza uma câmera de eventos giratória para oferecer visão de 360 graus e estimativa de direção, superando as limitações de iluminação e movimento das câmeras tradicionais por meio de uma nova representação de eventos e uma rede neural leve.

O essencial

Imagine que você precisa vigiar um parque inteiro para encontrar um pequeno drone que está voando rápido, mas você só tem uma câmera normal. O problema? Câmeras comuns são como olhos humanos: elas têm um campo de visão limitado. Se o drone sair da sua frente, você perde o rastro. Além disso, se o sol estiver muito forte ou se estiver escuro, a câmera "cega".

Agora, imagine que você é um guarda-costas que precisa proteger um VIP que está andando em um cachorro robô (um quadrúpede). O VIP está se movendo, e o guarda precisa olhar para todos os lados ao mesmo tempo, sem piscar, mesmo com o sol no olho ou à noite.

É exatamente isso que o sistema ODD-SEC faz. Vamos descomplicar como ele funciona usando analogias do dia a dia:

1. O "Olho" que Nunca Dorme (Câmera de Eventos)

Câmeras normais tiram fotos (quadros) 30 ou 60 vezes por segundo. Se algo se move muito rápido, a foto fica borrada. Se a luz muda bruscamente (do sol forte para a sombra), a foto fica escura ou branca demais.

O ODD-SEC usa uma Câmera de Eventos. Pense nela não como uma câmera de fotos, mas como um exército de formigas.

• Cada "formiga" (pixel) só grita "Ei, mudou algo aqui!" quando vê uma mudança de luz.
• Se a luz não muda, elas ficam em silêncio.
• Isso significa que elas são super-rápidas (milissegundos) e não se importam se está escuro ou se o sol está cegando. Elas só veem o movimento. É como se o sistema ignorasse o fundo estático e só se importasse com o que está se mexendo.

2. O "Moinho de Vento" (A Câmera Giratória)

O maior problema das câmeras de eventos é que elas têm um campo de visão estreito (como um cano de esgoto). Se o drone voar para o lado, você não o vê.

A solução do ODD-SEC é genial e simples: eles montaram a câmera em um motor que gira.

• Imagine um farol de navio ou um moinho de vento. A câmera gira 360 graus o tempo todo.
• Assim, ela cobre todo o horizonte ao redor do robô. Não importa para onde o drone voe, ele vai entrar no campo de visão da câmera giratória.

3. O "Quebra-Cabeça" Inteligente (O Algoritmo)

Aqui está o desafio: se a câmera está girando e o robô está andando, a imagem fica uma bagunça total. Seria como tentar ler um jornal enquanto você corre em um carrossel giratório.

A maioria dos sistemas tentaria "parar" o movimento (compensar a rotação), o que é difícil e lento. O ODD-SEC faz algo diferente:

• Em vez de tentar consertar a imagem, ele pega o fluxo de dados e o divide em fatias de tempo (como fatias de um bolo).
• Ele usa uma Inteligência Artificial (Rede Neural) treinada para entender que, mesmo que a imagem esteja girando, o padrão de movimento do drone é único.
• É como se o cérebro do sistema dissesse: "Ah, aquela mancha que se moveu de um jeito específico nas últimas fatias de tempo? Aquilo é um drone, não é apenas o vento ou o chão passando."

4. O "GPS" de Direção (Estimativa de Ângulo)

O sistema não apenas diz "tem um drone lá". Ele calcula exatamente onde ele está em relação ao robô.

• Como a câmera gira, o sistema sabe exatamente em qual ângulo ela estava no momento em que "viu" o drone.
• Ele combina isso com a posição do robô e entrega uma coordenada precisa (como um radar), dizendo: "O drone está a 45 graus à direita e 10 graus para cima".

Por que isso é incrível?

• Funciona em qualquer lugar: O robô pode estar correndo, pulando ou andando em terrenos difíceis. O sistema continua funcionando.
• Resistência à luz: Funciona no meio do dia, com sol forte, ou à noite, sem precisar de holofotes.
• Tempo Real: Tudo isso acontece em um computador pequeno (do tamanho de um livro) acoplado ao robô. Não precisa de internet ou de um servidor gigante.

Resumo da Ópera:
O ODD-SEC é como colocar um farol giratório super-rápido e inteligente em cima de um robô. Em vez de tirar fotos, ele "ouve" as mudanças de luz ao redor de 360 graus, usa um cérebro de IA para separar o drone do movimento do próprio robô e aponta exatamente onde o intruso está, mesmo que o robô esteja correndo e o sol esteja brilhando no olho.

Os pesquisadores testaram isso ao ar livre, com um robô de quatro patas andando, e conseguiram detectar drones com uma precisão incrível (erro de menos de 2 graus), provando que é uma tecnologia pronta para proteger espaços reais.

Resumo técnico

Título: ODD-SEC: Detecção de Drones a Bordo com uma Câmera de Eventos Giratória

1. O Problema

A proliferação de drones exige um equilíbrio entre inovação e regulação, tornando a detecção de drones crucial para segurança e privacidade.

• Limitações das Câmeras Convencionais: Soluções passivas baseadas em câmeras de quadro (frame-based) são limitadas em cenários de alvos de movimento rápido ou iluminação adversa devido ao seu princípio de funcionamento (exposição temporal fixa).
• Limitações das Câmeras de Eventos Estáticas: Embora as câmeras de eventos ofereçam alta dinâmica (HDR) e latência microsegunda, a maioria das soluções existentes assume uma câmera estática. Isso limita severamente sua aplicabilidade em plataformas móveis (como robôs quadrúpedes ou veículos terrestres não tripulados), onde o movimento do próprio veículo (ego-motion) causa desalinhamento espacial e falhas de rastreamento.
• Campo de Visão (FoV): Câmeras de eventos possuem um FoV limitado. Drones com trajetórias imprevisíveis podem facilmente sair do campo de visão, resultando em falha de detecção.

2. Metodologia

O sistema proposto, ODD-SEC, integra hardware e algoritmos para detecção em tempo real em plataformas móveis.

A. Configuração de Hardware

• Câmera Giratória: Um sensor de eventos (DVXplorer) é montado em uma plataforma giratória acionada por um motor de passo. Isso permite uma cobertura horizontal de 360°, superando as limitações de FoV.
• Sincronização: Um interruptor fotoelétrico define o "ponto zero" a cada rotação, fornecendo um sinal de sincronização para alinhamento angular preciso.
• Processamento a Bordo: A unidade de computação (Jetson Orin NX) gira junto com a câmera, eliminando a necessidade de anéis deslizantes (slip rings) ou transmissão sem fio de alta largura de banda. O sistema é totalmente autônomo e alimentado por bateria.

B. Design do Algoritmo
O pipeline de processamento consiste em quatro etapas principais:

1. Representação Espaço-Temporal Multi-fatiada (MSR):
   • Para evitar o embaçamento espacial causado pela rotação contínua, os eventos brutos são divididos em $N$ sub-intervalos temporais uniformes dentro de uma janela fixa ($\Delta T$).
   • Isso cria uma representação sequencial de "fatias" que preserva as pistas temporais finas e desacopla a cinemática do alvo do embaçamento induzido pela rotação.
2. Módulo de Fusão Temporal (TFM) na Rede Neural:
   • Baseado no YOLOX, a rede utiliza um módulo de fusão temporal (TFM) para processar as fatias MSR.
   • O TFM emprega um mecanismo de Comutação de Canal de Recursos (FCG) para ponderar adaptativamente os canais de características, amplificando os sinais do alvo e suprimindo ruído de fundo causado pelo movimento do portador.
   • Um Codificador de Contexto de Movimento gera um Vetor de Contexto Temporal (TCV), permitindo que a rede aprenda correlações espaço-temporais sem necessidade de compensação de movimento óptico ou IMU complexa.
3. Perda Sensível à Escala (Scale-Aware Loss):
   • Devido às variações extremas de escala (drones próximos vs. distantes), a perda padrão de IoU é substituída pela EIoU (Efficient IoU). Isso desacopla os termos de penalidade para distância do ponto central, largura e altura, garantindo precisão em regressão de caixas delimitadoras em diversas distâncias.
4. Estimativa de Azimute (Bearing Estimation):
   • Utilizando a matriz intrínseca da câmera e o ângulo instantâneo da plataforma giratória (calculado via velocidade angular e tempo), o sistema projeta o centroide da detecção 2D para um sistema de coordenadas 3D, calculando o vetor de direção (azimute e elevação) do drone em relação ao sistema.

3. Contribuições Principais

1. Sistema de Detecção 360° em Movimento: Um design inovador que utiliza uma câmera de eventos giratória montada em plataforma, expandindo efetivamente o FoV e permitindo detecção omnidirecional em portadores móveis.
2. Representação de Eventos sem Compensação de Movimento: Uma nova representação de imagem (MSR) combinada com uma arquitetura de rede neural leve (YOLOX com TFM) que lida com grandes volumes de dados e desfoque de movimento sem exigir compensação de ego-motion complexa.
3. Validação em Cenário Real: Implementação e teste bem-sucedidos em um robô quadrúpede (Unitree Go2-W) com computação a bordo (Jetson Orin NX), demonstrando capacidade de implantação prática.
4. Código Open-Source: A pipeline completa será disponibilizada para pesquisa futura.

4. Resultados Experimentais

Os testes foram realizados em ambientes externos sob diversas condições de iluminação e movimento.

• Desempenho de Detecção:
  • O sistema demonstrou robustez em condições de baixa luz e alto brilho (contraste extremo), superando limitações de câmeras convencionais.
  • Métricas: Em condições padrão, alcançou uma Precisão Média (AP) de 62,19%. A adição do Módulo de Fusão Temporal aumentou a AP para 64,92%.
• Precisão de Localização (Azimute):
  • Erro Angular Médio: O sistema alcançou um erro angular médio inferior a 2° (especificamente ~1,91°) em condições desafiadoras.
  • Cenários Móveis: Mesmo com a vibração e movimento do robô quadrúpede, o erro médio permaneceu em torno de 2,0°, com picos ocasionais acima de 4°, validando a eficácia do método sem compensação de movimento explícita.
• Eficiência Computacional:
  • O sistema opera em tempo real no Jetson Orin NX, atingindo uma taxa de quadros de aproximadamente 22 Hz (vs. 30 Hz em laptop desktop).
  • O tempo de inferência é otimizado via TensorRT (FP16), com o gargalo computacional sendo a construção de entrada e a inferência da rede.

5. Significado e Impacto

O ODD-SEC representa um avanço significativo na vigilância autônoma e segurança de espaços aéreos.

• Superação de Limitações Físicas: Ao girar a câmera, o sistema contorna a limitação fundamental de FoV das câmeras de eventos, permitindo a detecção de alvos em qualquer direção horizontal.
• Viabilidade em Plataformas Móveis: Diferente de trabalhos anteriores que exigiam câmeras estáticas, o ODD-SEC prova que a detecção de drones baseada em eventos é viável em robôs móveis dinâmicos, eliminando a necessidade de algoritmos complexos de compensação de movimento que muitas vezes falham em cenários reais.
• Aplicabilidade Prática: A capacidade de operar em tempo real com hardware embarcado de baixo consumo (Jetson Orin NX) e alta robustez a condições de iluminação torna o sistema pronto para aplicações de vigilância no mundo real, como proteção de infraestruturas e monitoramento de fronteiras.

Em resumo, o trabalho apresenta uma solução integrada de hardware e software que transforma as limitações do movimento em uma vantagem (cobertura 360°), oferecendo uma nova abordagem para a detecção de drones em ambientes dinâmicos e não controlados.