Adaptive Event Stream Slicing for Open-Vocabulary Event-Based Object Detection via Vision-Language Knowledge Distillation

Título: Recorte Adaptativo de Fluxo de Eventos para Detecção de Objetos Baseada em Eventos de Vocabulário Aberto via Destilação de Conhecimento Visão-Linguagem

1. Problema e Motivação

As câmeras de eventos (event cameras) oferecem vantagens significativas para a detecção de objetos, como alta velocidade de resposta, baixa latência e robustez a borrões de movimento. No entanto, elas carecem inerentemente de informações de textura e cor, o que torna a detecção de vocabulário aberto (capacidade de detectar objetos nunca vistos durante o treinamento) extremamente desafiadora.

Os principais desafios identificados são:

• Limitação de Generalização: Métodos existentes são treinados em categorias pré-definidas e falham ao generalizar para objetos novos em cenários do mundo real.
• Lacuna de Modalidade (Modality Gap): Modelos de Visão-Linguagem (VLMs) como o CLIP, que permitem detecção de vocabulário aberto em imagens RGB, não podem ser aplicados diretamente a fluxos de eventos devido à diferença fundamental na representação de dados (imagens estáticas vs. fluxos assíncronos e esparsos).
• Segmentação Ineficiente: Métodos atuais de recorte de fluxo de eventos utilizam estratégias fixas (número fixo de eventos ou intervalo de tempo fixo). Isso causa perda de informação em movimentos lentos ou redundância excessiva em movimentos rápidos, ignorando a importância do momento temporal ideal para o recorte.
• Falta de Dados: Não existem grandes conjuntos de dados "evento-texto" para treinar VLMs do zero para câmeras de eventos.

2. Metodologia Proposta

Os autores propõem um framework inovador que combina redes neurais de spiking (SNN) para processamento temporal e destilação de conhecimento para transferência de semântica.

A. Recorte Adaptativo de Fluxo de Eventos (Adaptive Event Slicing)

Em vez de usar recortes fixos, o sistema utiliza uma Rede Neural de Spiking (SNN) para determinar dinamicamente o momento ótimo de segmentação do fluxo de eventos.

• Mecanismo: Neurônios de spiking atuam como gatilhos dinâmicos. Quando um neurônio dispara (spike), ele define o fim de um grupo de eventos para processamento.
• Funções de Perda para Otimização do Recorte:
  1. Perda Orientada por Potencial de Membrana (Mem-Loss): Garante que o potencial de membrana atinja o limiar de disparo no passo de tempo alvo ($n^*$).
  2. Perda de Restrição Linear Incremental (Linear Incremental Constraint Loss): Impõe que o potencial de membrana cresça monotonicamente até o alvo, evitando disparos prematuros (efeito "hill") que poderiam cortar eventos importantes.
  3. Perda de Feedback Auto-supervisionado (SSF-Loss): Ajusta o potencial de membrana com base no desempenho da detecção de objetos a jusante. Se um recorte específico piorar a detecção, o sistema aprende a evitar disparos naquele momento; se melhorar, reforça o disparo.

B. Destilação de Conhecimento Visão-Linguagem (Vision-Language Knowledge Distillation)

Para superar a lacuna de modalidade entre eventos e imagens, o framework utiliza o CLIP como modelo "professor" (teacher) e o detector baseado em eventos como modelo "aluno" (student).

• Fluxo de Treinamento:
  1. O fluxo de eventos é processado pela SNN para extrair características.
  2. Regiões de interesse (RoIs) são mapeadas tanto no fluxo de eventos quanto em quadros de imagem reconstruídos (ou reais, se disponíveis).
  3. O encoder de imagem do CLIP (congelado) processa as regiões da imagem para gerar embeddings ricos semanticamente.
  4. Destilação: Uma perda de contraste (Contrastive Loss) alinha os embeddings das regiões de eventos com os embeddings das regiões de imagem do CLIP.
  5. Atenção Espacial: Um mecanismo de atenção espacial é introduzido para focar nas regiões-chave dos dados de eventos, suprimindo ruído e melhorando a transferência de conhecimento.
• Classificação: Para a classificação, o encoder de texto do CLIP gera embeddings para descrições de categorias (ex: "Uma foto de um carro"). A similaridade cossena entre o embedding da região do evento e os embeddings de texto permite a detecção de vocabulário aberto.

C. Arquitetura de Detecção

O detector utiliza uma abordagem de duas etapas (baseada em Mask R-CNN) com um módulo de proposta agnóstico à categoria. Isso significa que a regressão de caixas e a previsão de máscaras não dependem de rótulos de classe específicos, permitindo que o modelo generalize para categorias nunca vistas.

3. Contribuições Principais

1. Primeiro Framework de Detecção de Vocabulário Aberto para Eventos: Introdução de um sistema capaz de detectar objetos baseados em descrições textuais diretamente a partir de dados de câmeras de eventos.
2. Destilação de Conhecimento CLIP-Evento: Desenvolvimento de um método eficaz para transferir conhecimento semântico rico de modelos treinados em imagens (CLIP) para dados de eventos, superando a lacuna de modalidade sem necessidade de grandes datasets evento-texto.
3. Recorte Adaptativo via SNN: Proposta de um esquema de feedback auto-supervisionado que ajusta dinamicamente os pontos de corte do fluxo de eventos, extraindo características temporais discriminativas e superando as limitações das estratégias de recorte fixo.

4. Resultados Experimentais

O modelo foi avaliado em conjuntos de dados públicos (NCAR, GEN1 e DSEC) e comparado com o estado da arte (SOTA).

• Desempenho em Vocabulário Aberto (DSEC):
  • O modelo foi treinado apenas em "Carros" e "Pedestres" (categorias base).
  • Ao testar na categoria não vista "Veículos Grandes" (Large Vehicle), o modelo alcançou 42,4% de precisão, superando modelos que foram treinados explicitamente com essa categoria.
  • Comparado a detectores de vocabulário aberto baseados em imagens (ViLD, RegionCLIP, YOLO-World) aplicados a eventos, a abordagem proposta superou significativamente todos os concorrentes (ex: 54,5% mAP para carros vs. ~39% dos melhores concorrentes).
• Reconhecimento Zero-Shot (NCAR):
  • Treinado no DSEC, o modelo foi aplicado diretamente ao dataset NCAR (carros vs. fundo) sem ajuste, alcançando 95,7% de precisão, superando métodos baseados em SNN e CNN tradicionais.
• Detecção Zero-Shot (GEN1):
  • Aplicado ao dataset GEN1, alcançou 65,7% mAP50, superando métodos anteriores como CREST (63,2%) e SFOD (50,9%).
• Estudo de Ablação:
  • A remoção da destilação de conhecimento causou uma queda drástica no desempenho, confirmando a importância da transferência de conhecimento visual.
  • A remoção do recorte adaptativo (SNN) também reduziu a precisão, validando a eficácia da segmentação dinâmica.

5. Significância e Conclusão

Este trabalho representa um avanço fundamental na visão baseada em eventos, resolvendo o problema crítico da generalização para objetos não vistos. Ao integrar a eficiência temporal das SNNs com o poder semântico dos VLMs (CLIP), os autores criaram um sistema robusto que:

• Funciona em cenários dinâmicos e de alta velocidade onde câmeras tradicionais falham.
• Elimina a dependência de grandes datasets anotados de eventos para novas categorias.
• Demonstra que a reconstrução de quadros a partir de eventos pode ser usada para treinamento, mas a inferência final depende apenas do fluxo de eventos, mantendo a eficiência energética e de latência.

Em suma, o framework proposto estabelece um novo paradigma para a detecção de objetos em tempo real e de vocabulário aberto utilizando sensores bio-inspirados.