No Dense Tensors Needed: Fully Sparse Object Detection on Event-Camera Voxel Grids

1. Problema e Motivação

As câmeras de eventos (sensores neuromórficos) capturam mudanças de brilho de forma assíncrona, oferecendo alta dinâmica, baixa latência e eficiência energética. Elas são ideais para detectar drones pequenos e rápidos, especialmente em condições de baixa luz ou alto contraste, onde câmeras RGB convencionais falham.

No entanto, a maioria dos detectores baseados em eventos converte o fluxo de eventos esparsos em tensores densos (quadros de imagem tradicionais) antes de processá-los. Essa conversão:

• Descarta a principal vantagem do sensor: a extrema esparsidade (geralmente <1% dos pixels do grid estão ativos).
• Impõe um custo computacional e de memória desproporcional, processando posições vazias que não contêm informação.
• Impede a escalabilidade para resoluções mais altas sem aumentar linearmente o custo.

O artigo questiona: É possível processar dados de eventos nativamente no domínio esparso, do início ao fim, sem nunca criar tensores densos?

2. Metodologia: SparseVoxelDet

Os autores propõem o SparseVoxelDet, o primeiro detector de objetos totalmente esparsos para câmeras de eventos. A arquitetura opera exclusivamente em posições de voxels ocupados através de convoluções 3D esparsas.

Pipeline de Processamento:

1. Voxelização de Eventos:

   • O fluxo de eventos assíncronos é convertido em um grid 3D esparsos (Tempo × Altura × Largura).
   • Utiliza uma representação de 6 canais por voxel: contagem de eventos (positivos/negativos), recência (decadência exponencial) e variância temporal.
   • Apenas voxels com eventos são armazenados como pares (coordenadas, características), evitando a alocação de memória para o grid completo.

2. Backbone (SparseSEResNet):

   • Uma rede residual 3D esparsa baseada em convoluções Submanifold (SubMConv).
   • Utiliza conexões residuais elementares e atenção Squeeze-and-Excitation (SE) nas últimas etapas.
   • Extrai características em múltiplas escalas (strides 4, 8 e 16) operando apenas nos voxels ativos.

3. Rede de Pirâmide de Características Esparsa (SparseFPN):

   • Adapta o conceito FPN para o domínio esparso.
   • Funde características de diferentes escalas usando conexões laterais esparsas e convoluções transpostas esparsas (para upsampling).
   • Mantém a esparsidade, propagando contexto apenas para posições relevantes.

4. Compressão Temporal e Cabeça de Detecção:

   • A dimensão temporal é comprimida via max-pooling ao longo do eixo do tempo para cada posição (x, y), resultando em um mapa de características 2D esparso.
   • A cabeça de detecção segue o formato anchor-free (FCOS), utilizando um MLP compartilhado para prever classificação, regressão de caixa (LTRB) e "centerness" em cada voxel ativo.
   • Nenhum mapa de características denso é alocado em nenhuma etapa do pipeline.

3. Contribuições Principais

1. Arquitetura Totalmente Esparsa: O primeiro detector de eventos que mantém a representação esparsa do input até a saída, eliminando a conversão para tensores densos.
2. Eficiência Extrema:
   • Processa apenas ~14.900 voxels ativos por quadro (em 640x640), o que é 28x menos posições espaciais do que os métodos densos (YOLOv11).
   • Compressão de Memória GPU: 858x em comparação com o tensor 3D denso equivalente.
   • Redução de Armazenamento: 3.670x em disco.
   • Escalabilidade: O custo computacional escala com a atividade da cena (número de eventos), não com a resolução do sensor. Ao aumentar a resolução de 640² para 1280x720, o número de voxels ativos aumenta apenas 9%, enquanto o custo denso aumentaria 2,25x.
3. Análise Forense de Erros: Uma decomposição sistemática dos erros de detecção no benchmark FRED, identificando que a maior parte das falhas não é falta de detecção, mas imprecisão na regressão da caixa.

4. Resultados Experimentais

Os testes foram realizados no benchmark FRED (629.832 quadros anotados para detecção de drones).

• Desempenho de Precisão (mAP@50):
  • SparseVoxelDet: 83,38%
  • YOLOv11 (Dense, Baseline): 87,68%
  • A diferença é de apenas 4,3 pontos percentuais, alcançada sem conversão densa.
• Análise de Sensibilidade ao IoU:
  • Ao relaxar o limiar de IoU de 0,50 para 0,40, o mAP do SparseVoxelDet sobe para 89,26%.
  • Isso indica que o modelo detecta o drone com alta confiabilidade, mas as caixas delimitadoras são ligeiramente mais "frouxas" do que as do baseline denso.
• Recall:
  • O modelo atinge 91,9% de recall no limiar padrão (IoU ≥ 0,50) e 95,4% no limiar relaxado (IoU ≥ 0,40).
• Análise de Falhas:
  • 71% das falsas negativas são "quase-acertos" de localização (IoU entre 0 e 0,5), onde o modelo vê o objeto, mas a caixa não é precisa o suficiente.
  • Apenas 29% são falhas completas de detecção.
  • A principal limitação é a regressão de caixa, causada pela falta de contexto espacial denso (os eventos formam contornos, não áreas preenchidas).

5. Significado e Conclusão

O trabalho demonstra que o processamento nativo esparso é um paradigma viável e superior para a detecção de objetos em câmeras de eventos.

• Viabilidade Prática: Permite a execução de detectores de alta resolução em plataformas com recursos limitados (edge computing), onde a memória e o custo de transferência de dados seriam proibitivos para métodos densos.
• Alinhamento Sensor-Modelo: A arquitetura alinha-se perfeitamente com a natureza dos sensores neuromórficos (sinais esparsos e assíncronos), evitando o desperdício de processar "silêncio" (pixels sem eventos).
• Futuro: O estudo identifica que o gargalo não é a detecção, mas a precisão da caixa. Soluções futuras podem focar em melhorar a regressão de caixa em representações esparsas (ex: fusão temporal aprendível, cabeças de detecção multi-escala) sem sacrificar a eficiência.

Em resumo, o SparseVoxelDet prova que é possível obter alta precisão na detecção de drones mantendo a eficiência computacional e de memória inerente aos sensores de eventos, superando a necessidade de conversões densas que anulam as vantagens desses sensores.