💻 computer science

Neural Events: Discrete Asynchronous Autoencoders for Event-Based Vision

本文提出了一种框架，通过可学习的自动编码器将原始事件相机流重新标记为高度压缩的离散“神经事件”，在实现目标检测和分类性能达到最先进水平的同时，将数据吞吐量降低了一倍。

原作者： Roberto Pellerito, Daniel Gehrig, Shintaro Shiba, Davide Scaramuzza

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Roberto Pellerito, Daniel Gehrig, Shintaro Shiba, Davide Scaramuzza

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图观看一部电影，但摄像机发送给你的不是稳定的帧流，而是一股混乱、高速的单个音符流。每个音符只说：“这里变亮了！”或“那里变暗了！”这就是**事件相机（Event Cameras）**的工作方式。它们极其快速且高效，能以微秒级的精度捕捉场景中的变化。然而，为了让计算机理解正在发生什么（比如识别出一辆汽车或一个人），它必须每秒读取数百万个这样微小、低价值的音符。这就像试图通过同时聆听一千个人说的每一个音节来理解一场对话——既令人崩溃又极其浪费。

这篇论文提出了一种被称为 Neural Events（神经事件） 的巧妙解决方案。你可以把它想象成一个聪明的翻译官，坐在混乱的相机与计算机大脑之间。

问题所在：噪音太多，意义太少

目前的方法尝试通过两种方式处理这种数据洪流，但这两种方式都有缺陷：

“同步”方法（The "Sync" Approach）： 它们试图将这些音符捆绑成固定时间的块（就像电影中的帧）。这会丢失超快速的时间信息，并且在处理空白空间时浪费能量。
“异步”方法（The "Async" Approach）： 它们试图在每个音符到达时立即处理它。虽然这保留了时间信息，但计算机在构建音符之间复杂的连接图谱时会变得不堪重负，既缓慢又耗费内存。

解决方案：“智能总结者”

作者创建了一个系统，充当这个音符流的高效编辑。其工作原理如下，使用一个简单的类比：

1. 将场景划分为不同的社区
想象相机的视野是一个巨大的城市。该系统并没有逐一观察每一个街角，而是将城市划分为许多小的社区（补丁/patches）。

2. 本地翻译官（编码器）
在每个社区内部，都有一个微型且极速的翻译官（一个“离散异步编码器”）。随着原始音符（事件）涌入一个社区，这个翻译官会逐一阅读它们。

它并不记录每一个单独的音符，而是为当前的情况分配一个秘密代码。
你可以将这个代码想象成一个心情环或交通灯。只要社区的“情绪”保持不变（例如，“一辆汽车正在平稳移动”），翻译官就会保持相同的代码。它不需要为每一次微小的变化都发送一条新消息。

3. “翻转”触发机制
这就是神奇之处：只有当代码发生翻转时，翻译官才会发送一个神经事件（一条新消息）。

如果代码从“红色”变为“绿色”，那就是一个信号！这意味着该社区发生了重要的事情。
如果代码在 1,000 个原始音符中一直保持为“红色”，那么翻译官会忽略掉那 999 个冗余的音符，只发送那一个“红色”信号。
这就像一名保安，只有在门真的被打开时才报警，而不是每次有影子掠过地板时就打电话。

4. 结果：压缩后的流
最终的结果是一个微小的“神经事件”流。每一个事件都携带了一个时间戳、一个位置以及一个丰富的、高层级的代码，用以总结正在发生的情况。

压缩： 论文声称，这种方法将数据量减少了 2 倍（减半了流量），同时实际上让信息对计算机而言变得更好理解了。
效率： 该系统非常高效，处理相同数量的数据时，其消耗的计算能力比目前最先进的方法少了 17 倍。

为什么这很重要

作者在寻找汽车和识别物体等任务上测试了这个“智能总结者”。他们发现，使用这些压缩后的“神经事件”进行训练的计算机，其表现与使用原始、杂乱数据或旧有的、笨拙方法的计算机一样好，甚至更好。

简而言之： 这篇论文介绍了一种将混乱的原始感官数据流转化为干净、简洁且高度信息化之“智能信号流”的方法。它让计算机能够通过事件相机观察世界，而不会被噪音淹没，从而使得在小型、电池供电的设备上运行这些强大的系统成为可能。

技术摘要：神经事件：用于事件驱动视觉的离散异步自动编码器

问题陈述

事件相机通过捕捉场景中微秒级分辨率的连续事件流（每个事件代表局部的亮度变化）提供了卓越的时间保真度。然而，单个事件携带的语义价值极低，需要下游算法对海量的低信息量数据进行整合。目前的架构面临着一个根本性的权衡：

同步方法（如 CNN、Transformer）将事件聚合为稠密特征图。虽然有效，但它们丢失了数据的事件驱动特性，导致处理、存储和延迟的浪费。
异步方法（如脉冲神经网络 SNN、图神经网络 GNN）保留了稀疏性和时序性，但在可扩展性方面表现不佳。SNN 受限于缓慢的顺序处理，而 GNN 由于动态图构建会产生巨大的内存开销，通常导致其任务性能低于稠密方法。

核心挑战在于：如何表示事件模式，使其既能实现可扩展性，又能保留精确的时序与稀疏性，同时在不牺牲语义丰富度的前提下降低数据吞吐量。

方法论

本文提出了一个框架，将原始事件流重新标记（re-tokenize）为一组紧凑的“神经事件”。这些是语义丰富的时空稀疏表示，通过将原始事件组总结为离散代码来实现。

1. 神经事件定义

一个神经事件 $n_i$ 由补丁位置 $p_i$ 、时间戳 $\tau_i$ 和从学习到的码本 $Q$ 中选择的离散特征 $z_i$ 定义。映射 $\phi$ 减少了事件数量 ( $N' \ll N$ ) 以及空间域的大小 ( $|\Omega'| \ll |\Omega|$ )。

2. 离散异步编码器

神经事件的生成是基于补丁（patch-wise）进行的，包含四个阶段：

输入嵌入（Input Embedding）： 使用空间和时间嵌入（结合正弦/余弦位置编码）将原始事件投影到连续向量空间。
线性 Transformer (RWKV-7)： 线性注意力循环模型处理每个补丁内的事件序列。它更新局部记忆状态 $S_m$ 以输出连续的对数几率（logit）向量 $o_i$ 。该架构避免了标准 Transformer 的二次方复杂度以及 LSTM 的顺序瓶颈。
量化（Quantization）： 使用 Gumbel Softmax 算子（直通估计器）将连续的对数几率映射到学习到的码本中的有限离散代码集。这类似于 SNN 中的脉冲发放，但具有更低的训练复杂度。
重标记（触发机制/Retokenization）： 仅当分配的代码发生变化（即 $z_{im} \neq z_{im-1}$ ）时，才会触发一个神经事件。这是一种异步的、多对一的语义压缩方式，丢弃了代码保持不变时的冗余事件。

3. 表示学习（预训练）

为了稳定代码分配并防止“抖动”（即在决策边界处频繁翻转），作者采用了一种结合三种目标的无监督预训练策略：

重构损失 ( $L_R$ )： 将离散代码按补丁进行聚合，并通过解码重构原始事件的时间表面（time-surface）表示。
速率对齐损失 ( $L_{RA}$ )： 鼓励具有相似事件速率的事件在潜在表示上保持相似，使对数几率与事件速率动力学对齐。
潜在平滑损失 ( $L_{LS}$ )： 最小化后续对数几率在角度上的差异，平滑概率单纯形（probability simplex）中的轨迹，以减少不必要的代码翻转。

核心贡献

异步离散编码器： 一种新型架构，能够从原始流中学习神经事件，生成语义丰富、时空稀疏且占据紧凑离散潜在空间的输出。
独特的标记机制： 一种触发策略，仅在代码翻转时发射神经事件。它将基于水平的采样推广到概率单纯形，有效地过滤了冗余信息。
稳定的预训练策略： 结合了重构、速率对齐和潜在平滑目标，从而稳定了码本分配，防止了冗余脉冲，并实现了高效率的事件速率缩减。

实验结果

该方法在目标检测（DSEC, Gen1）和分类（N-Caltech101）任务上进行了评估。

事件速率缩减： 该框架在仅增加每个事件一个比特额外信息（离散代码索引）的情况下，将事件速率降低了 2.0 倍。
性能表现：
- 目标检测： 在 Gen1 数据集上，所提方法（TokSwinT）达到了 49.9 mAP，超越了最先进的同步（GET, 47.9 mAP）和异步转同步（EVA-L, 47.7 mAP）方法。在 DSEC 上，将该标记器与异步骨干网络（TokDAGr）结合使用，使基础模型的性能提升了 9.0 mAP。
- 目标分类： 在 N-Caltech101 上，该方法达到了 86.5% 的准确率，表现与现有的同步、异步及 A2S 基准方法持平或更好。
效率：
- 该编码器每事件仅需 140 KFLOPS，比最先进的 EVA-L 编码器低 17 倍。
- 与同步和异步基准相比，该方法显著降低了计算负载和能耗（µJ/ev）。

重要性与主张

论文声称，神经事件为当前事件驱动视觉的带宽和内存瓶颈提供了一种可扩展的解决方案。通过将原始流压缩为离散标记，该方法在大幅降低下游网络计算负载的同时，保留了高感知性能所需的关键时空动力学。

作者强调，这种方法能够支持更小、更高效的下游网络，并有利于在内存受限的边缘硬件上部署。尽管在复杂任务上与高度参数化的同步帧基方法相比仍存在性能差距，但这项工作证明了离散异步编码可以在显著降低资源需求的前提下，实现最先进的性能。论文结论指出，这一方向是实现边缘设备超低功耗部署的关键，并为超越传统事件相机的更通用的事件表示学习开辟了道路。