Resumo Técnico: Plasticidade Dependente do Tempo de Espiões Inspirada no Cérebro para Visão de Câmera de Eventos Confiável e Eficiente em Rótulos

Declaração do Problema

A implantação de detectores de objetos para câmeras de eventos enfrenta dois gargalos principais: o alto custo dos orçamentos de anotação por quadro necessários para treinar modelos densos baseados em gradiente e a dependência de hardware da classe GPU para inferência. Embora redes densas (por exemplo, RVT, HMNet, ReYOLOv8) alcancem alta precisão, elas consomem grandes conjuntos de dados e recursos computacionais. Por outro lado, detectores existentes de redes neurais de espíkes (SNN) de ponta a ponta frequentemente exigem milhões de sinapses, implantações multi-chip (Loihi-2, SpiNNaker) e treinamento com gradiente substituto em GPUs, falhando em escapar das pegadas de rótulos e computação que visam substituir. Há uma necessidade de uma arquitetura de detecção que opere com supervisão mínima, execute em substratos neuromórficos de núcleo único (ou CPUs padrão) e se adapte a mudanças de distribuição sem retreinamento.

Metodologia

Os autores propõem um pipeline híbrido combinando seis canais clássicos de detecção apenas com eventos com três módulos locais, livres de gradiente, de Plasticidade Dependente do Tempo de Espiões (STDP). O sistema opera sem retropropagação ou gradientes substitutos.

1. Pipeline de Detecção de Seis Canais

A camada base consiste em seis canais clássicos de processamento de eventos alimentados em uma união de distinção de IoU:

• Agrupador de bacia de densidade: Uma alternativa no domínio de eventos ao DBSCAN.
• Rastreador K-médias de múltiplas hipóteses: Mantém os 5 principais candidatos por quadro.
• Canal de agrupamento temporal: Calcula diferenças de imagem de eventos agrupadas.
• Analisador de frequência de rotor: Detecta harmônicos de rotor de drones via FFT.
• Filtro de assimetria de polaridade: Repondera candidatos com base no desequilíbrio de eventos ON/OFF.
• Resscore consciente de sombra: Uma etapa de reponderação linear treinada uma vez em um conjunto de calibração compacto.

2. Três Módulos Locais STDP

Três módulos de plasticidade distintos operam em diferentes níveis do pipeline:

• Portão de Coorte de Sequência (Nível de Sequência):

  • Função: Seleciona uma das seis receitas de processamento por sequência com base em uma impressão digital estatística de eventos de 17 dimensões.
  • Arquitetura: Uma rede Leaky Integrate-and-Fire (LIF) 17→32→12 com inibição Winner-Take-All (WTA) rígida.
  • Plasticidade: Treinada via STDP simétrica baseada em pares. Converte pesos amplos de projeção aleatória em pesos atratores esparsos.
  • Implantação: Uma vez treinado, os pesos de "Quem" (roteamento) são congelados. O portão cabe em um único núcleo neuromórfico (384 sinapses plásticas) e executa em uma única thread de CPU.

• Portão de Confiabilidade de Candidato R-STDP (Nível de Candidato):

  • Função: Modula as confidências de âncora e admite candidatos de "resgate" temporalmente coerentes.
  • Arquitetura: Uma camada oculta WTA de 64 unidades projetando para seis estados de confiabilidade (por exemplo, extensão do objeto, duplicata, borda de fundo).
  • Plasticidade: Usa STDP modulada por recompensa. Os rótulos de treinamento são usados apenas para gerar sinais de recompensa durante o treinamento; a inferência é livre de rótulos.
  • Resultado: Admite candidatos não âncora apenas se tiverem suporte de canal local e persistirem através dos quadros.

• Tubo STDP (Nível de Tubo):

  • Função: Liga detecções por quadro em tubos de eventos curtos para aprender confiabilidade a partir da continuidade temporal e evidências cruzadas de canais.
  • Arquitetura: Mapeamento WTA/STDP limitado que mapeia características do tubo (idade, resíduo de movimento, isolamento, etc.) para seis estados.
  • Resultado: Reduz falsos alarmes filtrando detecções espúrias que carecem de coerência temporal.

Principais Contribuições e Resultados

1. Níveis de Detecção Eficientes em Rótulos (Benchmark FRED)

O artigo demonstra três níveis distintos de supervisão no benchmark de drones FRED, mostrando uma compensação entre bits de implantação armazenados e precisão:

• Sem Rótulos Estritos (0 bits): O detector de união de cinco canais alcança 53,8% mAP@30.
• Calibração Compacta (~26 bits): Adicionar um termo de confiança consciente de suporte (limiar de distinção de IoU e pesos de sombra) eleva o desempenho para 76,9% mAP@30.
• Portão de Candidato STDP (≥3.072 bits): Adicionar o portão de confiabilidade R-STDP alcança 78,60 ± 0,42% mAP@30 (média sobre 10 sementes).
• Nota: Esses resultados ocupam um ponto de operação diferente no espaço custo de supervisão/precisão em comparação com bases densas como YOLOv11 (que requer rótulos por quadro e inferência em GPU).

2. Adaptação à Deriva e Apertamento de Variância

• Adaptação à Deriva: Sob mudanças de distribuição na ordem de aquisição, o portão de coorte de sequência treinado com STDP supera o k-médias em streaming em +2,03 ± 0,58 pontos percentuais (pp) no mAP@30 da média do fluxo. Um controle "sem deriva" (divisão aleatória 50/50) elimina essa vantagem (−0,44 ± 1,97 pp), confirmando que o mecanismo rastreia especificamente a deriva.
• Redução de Variância: O portão STDP reduz o desvio padrão do desempenho entre sementes aleatórias em 6,6× (de σ = 0,607 pp para 0,092 pp).
• Equivalência de Modelo Único: Esse apertamento de variância permite que um único portão treinado corresponda ao limite de variância da média de amostra analítica de um ensemble de inicialização aleatória de 44 sementes.

3. Desempenho EV-UAV

No benchmark EV-UAV (alvos pequenos, sensor DAVIS346):

• O módulo Tubo STDP (configuração K=5) reduz falsos alarmes de 662,34 para 340,21 × 10⁻⁴ enquanto mantém uma probabilidade de detecção (Pd) de ≥88,44%.
• Isso melhora o mAP@30 de 50,97% para 57,03% e o IoU de eventos de 31,18% para 44,48%.

4. Viabilidade de Implantação Neuromórfica

• Porta de Hardware: O portão de sequência foi portado para o simulador Intel Lava (referência Loihi-2) com quantização de ponto fixo de 8 bits. Alcançou 89,4% de concordância de coorte top-2 em comparação com a simulação fp32.
• Eficiência: O portão executa em uma única thread de CPU (~20 ms de tempo de computação por quadro, excluindo I/O) e não requer GPU. A contagem total de sinapses é de ~656 (384 plásticas + ~272 fixas), cabendo dentro da capacidade por núcleo atual do Loihi-2.

Significado e Alegações

O artigo alega que detectores densos treinados com gradiente não podem entregar essa combinação específica de eficiência de baixo rótulo, implantação de núcleo único e adaptação à deriva por construção devido à sua dependência de multiplicações de matrizes densas e regras de gradiente global.

O significado central reside em demonstrar que regras locais de STDP podem:

1. Fechar a lacuna entre detecção sem rótulos e eficiente em rótulos sem exigir grandes conjuntos de dados ou treinamento em GPU.
2. Estabilizar o desempenho de modelo único ao nível de grandes ensembles, reduzindo o risco de implantação associado à inicialização aleatória.
3. Adaptar-se a mudanças de distribuição (deriva) em tempo real usando apenas plasticidade local, uma capacidade ausente em modelos padrão de aprendizado profundo estáticos.
4. Operar em substratos neuromórficos de consumo (ou CPUs padrão) com potencial de latência de microssegundos e projeções de potência na escala de watts, cumprindo a promessa da visão neuromórfica para percepção de drones.

Os autores enfatizam que esses resultados são derivados de benchmarks específicos (FRED, EV-UAV) e que a definição de "eficiente em rótulos" é operacional, referindo-se a uma pegada de implantação da ordem de $10^3$ bits, significativamente menor que orçamentos de caixas delimitadoras por quadro.