Resumo Técnico: Neural Events: Discrete Asynchronous Autoencoders for Event-Based Vision

Declaração do Problema

Câmeras de eventos oferecem fidelidade temporal excepcional ao capturar cenas como um fluxo contínuo de eventos de resolução de microssegundos, onde cada evento sinaliza uma mudança de brilho localizada. No entanto, eventos individuais carregam valor semântico mínimo, exigindo que algoritmos subsequentes integrem torrentes massivas de dados de baixa informação. As arquiteturas atuais enfrentam um compromisso fundamental:

• Abordagens síncronas (ex: CNNs, Transformers) agregam eventos em mapas de características densos. Embora eficazes, elas perdem a natureza orientada a eventos dos dados, levando a um processamento, armazenamento e latência desperdiçados.
• Abordagens assíncronas (ex: Redes Neurais de Spikes, Redes Neurais de Grafos) preservam a esparsidade e o tempo, mas lutam com a escalabilidade. SNNs são limitadas pelo processamento sequencial lento, enquanto GNNs incorrem em um overhead de memória massivo devido à construção de grafos dinâmicos, resultando frequentemente em um desempenho de tarefa inferior comparado a métodos densos.

O desafio central é representar padrões de eventos de uma forma que seja escalável, preserve a precisão de tempo e esparsidade, e reduza o throughput de dados sem sacrificar a riqueza semântica.

Metodologia

O artigo propõe um framework para re-tokenizar fluxos de eventos brutos em um conjunto compacto de "eventos neurais". Estes são representações esparsas no espaço e no tempo, semanticamente ricas, que resumem grupos de eventos brutos em códigos discretos.

1. Definição de Evento Neural

Um evento neural $n_i$ é definido por uma localização de patch $p_i$, um timestamp $\tau_i$ e uma característica discreta $z_i$ selecionada de um codebook aprendido $Q$. O mapeamento $\phi$ reduz o número de eventos ($N' \ll N$) e o domínio espacial ($|\Omega'| \ll |\Omega|$).

2. Codificador Assíncrono Discreto

A geração de eventos neurais ocorre por patch e envolve quatro estágios:

• Embedding de Entrada: Eventos brutos são projetados em um espaço vetorial contínuo usando embeddings espaciais e temporais (incorporando codificações posicionais seno/cosseno para o tempo).
• Transformer Linear (RWKV-7): Um modelo recorrente de atenção linear processa a sequência de eventos dentro de cada patch. Ele atualiza um estado de memória localizado $S_m$ para produzir um vetor de logit contínuo $o_i$. Esta arquitetura evita a complexidade quadrática de Transformers padrão e os gargalos sequenciais de LSTMs.
• Quantização: Os logits contínuos são mapeados para um conjunto finito de códigos discretos de um codebook aprendido usando um operador Gumbel Softmax (Estimador de Passagem Direta/Straight-Through Estimator). Isso converte potenciais analógicos em tokens discretos, análogo ao spiking em SNNs, mas com menor complexidade de treinamento.
• Retokenização (Gatilho): Um evento neural é disparado apenas quando o código atribuído muda do estado anterior ($z_{im} \neq z_{im-1}$). Isso atua como um compressor semântico de muitos-para-um assíncrono, descartando eventos redundantes onde o código permanece constante.

3. Aprendizado de Representação (Pré-treinamento)

Para estabilizar as atribuições de código e evitar o "chatter" (mudanças frequentes nas fronteiras de decisão), os autores empregam uma estratégia de pré-treinamento não supervisionado combinando três objetivos:

• Perda de Reconstrução ($L_R$): Os códigos discretos são agregados por patch e decodificados para reconstruir uma representação de superfície temporal dos eventos originais.
• Perda de Alinhamento de Taxa ($L_{RA}$): Incentiva a similaridade em representações latentes para eventos com taxas de inter-evento similares, alinhando os logits à dinâmica de taxa de eventos.
• Perda de Endireitamento Latente ($L_{LS}$): Minimiza a diferença angular na velocidade dos logits subsequentes, suavizando trajetórias no simplex de probabilidade para reduzir flips de código desnecessários.

Principais Contribuições

1. Codificador Discreto Assíncrono: Uma arquitetura inovadora que aprende eventos neurais a partir de fluxos brutos, produzindo saídas que são semanticamente ricas, esparsas no espaço e no tempo, e ocupam um espaço latente discreto compacto.
2. Mecanismo Único de Tokenização: Uma estratégia de gatilho que emite um evento neural apenas após um flip de código. Isso generaliza a amostragem baseada em nível para o simplex de probabilidade, filtrando efetivamente informações redundantes.
3. Estratégia de Pré-treinamento Estabilizadora: Uma combinação de objetivos de reconstrução, alinhamento de taxa e endireitamento latente que estabiliza a atribuição do codebook, evita spikes redundantes e permite alta redução da taxa de eventos.

Resultados Experimentais

O método foi avaliado em tarefas de detecção de objetos (DSEC, Gen1) e classificação (N-Caltech101).

• Redução da Taxa de Eventos: O framework reduz a taxa de eventos por um fator de 2.0 enquanto adiciona apenas um único bit de informação extra por evento (o índice do código discreto).
• Desempenho:
  • Detecção de Objetos: No dataset Gen1, o método proposto (TokSwinT) alcançou 49.9 mAP, superando abordagens síncronas (GET, 47.9 mAP) e assíncronas-para-síncronas (EVA-L, 47.7 mAP) de estado da arte. No DSEC, parear o tokenizador com um backbone assíncrono (TokDAGr) melhorou o desempenho do modelo base em 9.0 mAP.
  • Classificação de Objetos: No N-Caltech101, o método alcançou 86.5% de acurácia, performando de forma equivalente ou superior aos baselines síncronos, assíncronos e A2S existentes.
• Eficiência:
  • O codificador requer apenas 140 KFLOPS por evento, o que é 17× menor que o codificador EVA-L de estado da arte.
  • O método reduz significativamente a carga computacional e o consumo de energia (µJ/ev) em comparação com ambos os baselines síncronos e assíncronos.

Significância e Alegações

O artigo afirma que os eventos neurais oferecem uma solução escalável para os gargalos de largura de banda e memória das atuais visões baseadas em eventos. Ao comprimir fluxos brutos em tokens discretos, o método retém a dinâmica espaço-temporal crítica necessária para percepção de alto desempenho enquanto reduz drasticamente a carga computacional para redes subsequentes.

Os autores enfatizam que esta abordagem permite o uso de redes subsequentes menores e mais eficientes e facilita o deployment em hardware de borda (edge) com restrição de memória. Embora reconhecendo uma lacuna de desempenho em comparação com métodos baseados em frames síncronos fortemente parametrizados em tarefas complexas, o trabalho demonstra que a codificação assíncrona discreta pode alcançar resultados de estado da arte com requisitos de recursos significativamente menores. O artigo conclui que esta direção é fundamental para permitir o deployment de ultra-baixo consumo de energia em dispositivos de borda e abre as portas para formas mais gerais de aprendizado de representação de eventos além das câmeras de eventos tradicionais.