Resumo Técnico: Aprimorando o Rastreamento de Objetos via Colaboração Espaço-Temporal em Redes de Quadros-Eventos

Declaração do Problema

O rastreamento visual de objetos enfrenta desafios significativos em cenários caracterizados por movimento de alta velocidade, condições de iluminação extremas (baixa iluminação ou sobre-exposição) e desordem de fundo (clutter). Rastreadores convencionais baseados em aprendizado profundo que dependem de câmeras baseadas em quadros (RGB) frequentemente degradam nesses ambientes devido à faixa dinâmica limitada, suscetibilidade ao desfoque de movimento (motion blur) e taxas de amostragem temporal fixa e baixa. Embora câmeras de eventos bioinspiradas ofereçam alta resolução temporal (nível de microssegundos), alta faixa dinâmica (até 140 dB) e imunidade ao desfoque de movimento, elas têm dificuldade em capturar objetos estáticos ou de movimento lento e carecem de informações de textura refinadas.

Métodos existentes de fusão RGB-Evento (RGB-E) tentam combinar essas modalidades, mas sofrem de duas limitações primárias:

1. Negligência da Dinâmica Temporal: Muitas abordagens falham em aproveitar totalmente a alta resolução temporal dos dados de eventos, convertendo frequentemente fluxos de eventos assíncronos em pseudo-quadros síncronos, descartando assim estruturas temporais refinadas.
2. Fusão Rasa: Os métodos atuais dependem tipicamente de uma fusão simples ao nível de características (ex: concatenação ou atenção básica), falhando em estabelecer relações sinérgicas profundas e de alto nível entre a semântica de aparência RGB e a dinâmica de movimento baseada em eventos.

Metodologia

Os autores propõem a Rede de Colaboração Espaço-Temporal (STC-Net), um framework projetado para integrar profundamente a aparência espacial de quadros RGB e a dinâmica de alta resolução temporal de fluxos de eventos. A arquitetura segue uma estrutura baseada em DiMP com pesos compartilhados para os ramos de template e busca, incorporando duas inovações principais:

1. Módulo de Neurônio de Disparo Adaptativo (ASN)

Para processar fluxos de eventos brutos preservando sua resolução temporal, os autores introduzem um módulo ASN baseado em uma única camada de neurônios de disparo. Diferente dos neurônios Leaky Integrate-and-Fire (LIF) padrão com parâmetros fixos, o ASN ajusta dinamicamente seu comportamento com base nas características de entrada:

• Limiar de Disparo Adaptativo ($V_{th}$): O limiar é computado com base na densidade de eventos, variância do padrão de movimento local e mudanças temporais entre quadros. Isso permite que o neurônio eleve o limiar para clusters densos relacionados ao movimento (prevenindo a sobre-ativação) e o reduza para sinais esparsos (prevenindo detecções perdidas).
• Decaimento de Membrana Adaptativo ($\beta$): Em vez de uma constante de tempo fixa, o fator de decaimento é aprendido via um mecanismo de atenção de canal. Isso permite que a rede equilibre de forma ideal a integração temporal e o esquecimento, adaptando-se a diferentes velocidades de movimento.
• Pesagem de Vizinhança Espacial: Um kernel 3×3 agrega informações de vizinhança local, capturando correlações temporais entre eventos adjacentes para detectar robustamente padrões de movimento que o processamento por pixel poderia perder.

2. Módulo de Fusão de Características Espaço-Temporais de Alta Ordem (HSTF)

Para superar as limitações da fusão rasa, o módulo HSTF facilita a interação cross-modal profunda através das dimensões de frequência, espacial e de canal:

• Interação no Domínio da Frequência: As características RGB e de eventos são transformadas para o domínio da frequência via Fast Fourier Transform (FFT) 2D. A multiplicação elemento a elemento estabelece correlações cross-modais de primeira ordem eficientes, capturando relações espaciais globais sem o custo computacional de uma multiplicação de matriz tradicional.
• Modulação de Multi-Contexto (MCM): Um mecanismo de orientação bidirecional utiliza kernels multiescala (1, 3 e 5) para modular as características. Cada modalidade fornece informações contextuais para enfatizar seletivamente regiões informativas na modalidade complementar.
• Interação de Canal de Alta Ordem (HCI): Estendendo o mecanismo Squeeze-and-Excitation, este bloco modela recursivamente interdependências complexas entre canais de características usando conexões residuais.
• Pesagem Adaptativa (AW): Um mecanismo aprendível equilibra as contribuições das características RGB e de eventos antes da concatenação final.

Principais Contribuições

O artigo delineia quatro contribuições primárias:

1. Framework STC-Net: Um framework de rastreamento que integra profundamente a aparência espacial e a dinâmica de alta resolução temporal através de uma abordagem de duas frentes.
2. Neurônio de Disparo Adaptativo (ASN): Um módulo que ajusta dinamicamente os limiares de disparo e as constantes de tempo de membrana para filtrar ruídos e realçar eventos relacionados ao movimento, preservando efetivamente a dinâmica temporal de alta resolução.
3. Fusão de Características Espaço-Temporais de Alta Ordem (HSTF): Um módulo que permite a interação cross-modal profunda nas dimensões de frequência, espacial e de canal, facilitando a fusão complementar de semântica RGB e dinâmica de eventos.
4. Desempenho de Estado da Arte: Experimentos extensos em benchmarks públicos demonstrando desempenho superior sobre rastreadores existentes, validados por estudos de ablação.

Resultados Experimentais

O STC-Net foi avaliado em dois benchmarks públicos de rastreamento RGB-Evento: FE108 e VisEvent.

• Dataset FE108: O STC-Net alcançou uma Taxa de Precisão Representativa (RPR) de 89,0% e uma Taxa de Sucesso Representativa (RSR) de 57,8%.
  • Superou o anterior estado da arte em rastreamento RGB-Evento (AFNet) em 3,7% em RPR e 2,0% em RSR.
  • Superou significativamente rastreadores baseados em quadros (ex: DiMP18, ATOM) e abordagens puramente baseadas em eventos, destacando o valor da fusão multimodal.
• Dataset VisEvent: O STC-Net alcançou 64,0% de RPR e 46,8% de RSR, superando o segundo colocado em 3,1% e 1,0%, respectivamente, demonstrando robustez em ambientes externos diversos e desafiadores.

Estudos de Ablação:

• Modalidades de Entrada: O rastreamento apenas de eventos (83,0% RPR) superou o apenas RGB (74,7% RPR) no FE108, confirmando a utilidade dos dados de eventos em iluminação desafiadora. A fusão simples (Variante C) melhorou em relação às bases unimodais, mas o STC-Net completo (Variante E) alcançou as pontuações mais altas.
• Módulo ASN: Adicionar o módulo ASN ao pipeline de fusão (Variante D vs. C) melhorou o RPR em 4,3%, validando a eficácia da filtragem adaptativa de ruído e coerência temporal.
• Módulo HSTF: Substituir a concatenação simples pelo HSTF (Variante E vs. D) rendeu um ganho adicional de 3,0% em RPR, confirmando que interações de alta ordem são superiores à combinação básica de características.

Significância

O artigo afirma que o STC-Net oferece uma abordagem eficaz para aproveitar as forças complementares das modalidades de quadro e evento para rastreamento de objetos confiável. Ao abordar as limitações específicas dos métodos existentes — nomeadamente a perda de resolução temporal no processamento de eventos e a superficialidade das estratégias de fusão atuais — o método proposto atinge o estado da arte em cenários desafiadores. O trabalho demonstra que a interação cross-modal profunda e estruturada, combinada com o processamento adaptativo inspirado biologicamente de fluxos de eventos, é crítica para o rastreamento visual robusto em condições dinâmicas e adversas.