💻 computer science

Event2Vec: Processing Neuromorphic Events Directly by Representations in Vector Space

本文介绍了 Event2Vec，这是一种受词向量（word-to-vector）启发的创新表示方法，能够使高吞吐量 Transformer 架构直接处理稀疏且异步的神经形态事件，从而有效解决了数据稀疏性与 GPU 效率之间的权衡问题，同时以高参数效率和低延迟实现了最先进的性能。

原作者： Wei Fang, Priyadarshini Panda

发布于 2026-02-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Wei Fang, Priyadarshini Panda

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图理解一场对话，但你听到的不是语速平稳、句式完整的说话声，而是一阵混乱的低语流。有些人低语得很快，有些人则很慢，而且他们只有在发生有趣的事情时才会开口。这正是**神经形态事件相机（neuromorphic event cameras）**的工作方式。与传统的相机（像翻页书一样拍摄连续的静态照片）不同，事件相机仅在像素检测到亮度变化时才会“说话”。它们速度极快，功耗极低，并且能在极端光照条件下成像，但其数据是杂乱、稀疏且异步的。

问题在于，我们目前的 AI “大脑”（深度学习模型）就像一群只知道阅读整齐有序书籍的图书管理员。它们很难理解这种混乱的低语流。

旧有的方法：两种有缺陷的方案

在这篇论文发表之前，研究人员尝试过两种修复方法，但两者都存在明显的弊端：

“马赛克”法（The "Mosaic" Approach）： 他们试图将这些低语拼接在一起，组成一个完整的“句子”（即密集的图像帧），以便 AI 阅读。
- 缺陷： 这就像试图通过每秒钟看一张模糊的房间照片来理解一场节奏极快的对话。你会丢失速度和低语发生的精确时机。
“专家”法（The "Specialist" Approach）： 他们构建了专门为处理杂乱数据设计的定制 AI 模型（例如脉冲神经网络 Spiking Neural Networks）。
- 缺陷： 这些模型就像是在用自行车跑马拉松。虽然可行，但它们无法利用现代计算机中那种超快、强大的引擎（GPU），因此效率低下且速度缓慢。

新的想法：Event2Vec（“翻译官”）

本文的作者提出了一个精妙的比喻：如果我们把这些事件的低语看作句子中的单词呢？

想象这样一个句子：“你好吗？”

每个单词都有一个唯一的 ID（类似于字典中的编号）。
每个单词都有一个位置（第 1 个，第 2 个，第 3 个）。
一个单词的含义取决于它周围的单词。

作者意识到，**事件（events）**的工作原理也是一样的：

一个事件有一个唯一的 ID（它的传感器位置以及它是变亮了还是变暗了）。
一个事件有一个位置（它的精确时间戳）。
一个事件的含义取决于在时间和空间上与其相邻的其他事件。

他们创建了一个名为 Event2Vec（事件转向量）的系统。他们并没有强行将数据转化为照片，也没有构建一个缓慢的定制引擎，而是将每一个单独的事件转化为一个数学上的“向量”（一组数字），就像现代 AI 将单词转化为数字以理解语言一样。

它是如何工作的（神奇的成分）

为了让这种转换完美运行，他们加入了两个特殊的成分：

“邻里”地图（空间嵌入 - Spatial Embedding）： 在字典中，“猫”和“蝙”这两个词的数字可能挨在一起，看起来很随机，因此 AI 必须学习它们之间的相似性。但在图像中，相邻的像素始终是相关的。作者构建了一张特殊的地图，告诉 AI：“嘿，这两个像素是邻居，所以它们的数字应该相似。”这有助于 AI 更快地理解形状和边缘。
“节奏”追踪器（时间嵌入 - Temporal Embedding）： AI 不仅仅是观察事件发生的时间，它还会观察事件之间的间隔。这就像是在聆听鼓点的节奏，而不是仅仅盯着时钟看时间。这有助于 AI 理解速度和运动。

结果：快速、微小且精准

论文在三个不同的任务上测试了这种新方法：手势识别、手语阅读和唇语识别。以下是他们的发现：

速度： 因为它使用的是与现代 AI（Transformer）相同的语言，它可以充分利用计算机芯片的性能。它的数据处理速度比之前的顶尖方法快 4 到 60 倍。
效率： 该模型非常小巧。在某些情况下，它使用的参数量（内存大小）比其他顶尖模型少 800 倍，同时仍能出色完成任务。
鲁棒性： 即使在相机分辨率较低或事件（低语）非常稀少的情况下，它依然有效。它仍能判断正在发生什么，而其他方法在数据过于稀疏时会失效。
具备实时处理能力： 它的速度足以在小型、电池供电的设备（如机器人或无人机）上运行，而不需要庞大的服务器集群。

大局观

论文声称，Event2Vec 解决了一个长期的冲突：它让我们既能保留事件相机数据原始、快速且稀疏的特性，又能使用我们现有的超快、强大的 AI 架构。这就像是终于为那些混乱的低语提供了一本字典和一本语法书，让它们能够被世界上最聪明的计算机瞬间理解。

该系统的代码已向他人开放使用，这标志着处理视觉信息的一种既高效又强大的新方式。

技术摘要：Event2Vec

问题陈述

神经形态事件相机（Neuromorphic event cameras）与传统的基于帧的相机相比，具有更优越的时间分辨率、功率效率和动态范围。然而，其输出的数据本质上是异步、稀疏且不规则的，通常以地址事件表示（Address-Event Representation, AER）的形式编码为四元组 $(x, y, t, p)$ 。这种格式与现代深度学习架构存在根本性的不兼容，因为后者是为稠密、同步且规则结构的张量而设计的。

现有解决方案面临着一种权衡：

稠密表示（Dense Representations）： 将事件转换为稠密帧（例如，事件帧、体素网格）允许使用标准的 CNN 和 Transformer，但这牺牲了原始数据的异步、稀疏和高时间分辨率特性。
不规则模型（Irregular Models）： 利用脉冲神经网络（SNN）、稀疏卷积或图神经网络（GNN）可以保留稀疏性，但往往无法充分利用 GPU 的大规模并行处理能力，从而导致较低的吞吐量和较高的延迟。

核心挑战在于如何直接使用高吞吐量、GPU 加速的架构（如 Transformer）来处理稀疏、不规则的事件数据，而不将其转换为稠密的中间表示。

方法论：Event2Vec

受自然语言处理（NLP）中单词与视觉事件之间类比的启发，作者提出了 Event2Vec，这是一种将事件直接嵌入到向量空间中的方法。

1. 概念类比

论文在 NLP Token 与神经形态事件之间建立了平行关系：

索引（Index）： 单词的词汇表索引对应于事件的空间地址 $(x, y, p)$ 。
位置（Position）： 单词在句子中的顺序位置对应于事件的时间戳 $t$ 。
上下文（Context）： 正如单词的含义取决于周围的文本一样，事件的重要性也源于其时空上下文。

2. 向量表示

Event2Vec 的核心是通过加法融合将事件元组 $(x, y, t, p)$ 嵌入到 $D$ 维向量 $v$ 中：
$v = v_s + v_t = \text{Embed}_s(x, y, p) + \text{Embed}_t(t)$

空间嵌入 ( $\text{Embed}_s$ )： 不同于将索引视为非语义标识符的标准 NLP 查找表，作者提出了一种参数化空间嵌入。一个连续且可微的神经网络 $\phi$ 生成嵌入矩阵。这确保了空间相邻坐标的事件会产生语义相似的向量，从而捕捉对视觉数据至关重要的“邻域语义”。
时间嵌入 ( $\text{Embed}_t$ )： 不同于使用绝对时间戳或正弦编码（旨在处理均匀间隔），时间模块处理连续事件之间的一阶时间差 ( $\Delta t$ )。这是通过一层卷积层实现的。这种方法提供了时间平移不变性、上下文一致性，并起到了一种时间预处理的作用，使网络能够学习局部事件密度和速度。

3. 采样与聚合

为了处理变长的事件流并满足批处理需求：

随机采样（Random Sampling）： 用于较简单的任务，具有极高的计算效率。
K-Means++ 聚类： 对于复杂任务（如 DVS-Lip），将事件聚合为 $L$ 个具有代表性的簇。作者引入了一种 基于 GPU 的批量 K-Means++ 算法 以最小化推理延迟。簇的强度（聚合的原始事件数量）通过对数权重因子 $(\log \rho + 1)$ 来调节嵌入向量。

4. 网络架构

Event2Vec 表示被输入到 基于 Transformer 的骨干网络（具体使用了遗忘 Transformer 或门控线性注意力机制）中，随后连接分类头。该架构包括：

Event2Vec 模块： 生成时空嵌入。
骨干网络（Backbone）： 带有自注意力机制的堆叠 Transformer 块。作者将遗忘 Transformer 扩展为参数共享的双向形式，以增强学习能力。
分类头（Classification Head）： 平均池化后接线性层。

核心贡献

直接稀疏处理： Event2Vec 实现了直接使用稠密、规则的 Transformer 架构来处理稀疏、异步的事件流，解决了数据稀疏性与 GPU 效率之间的冲突。
新颖的嵌入方式： 引入了参数化空间嵌入以捕捉邻域语义，以及基于卷积的 $\Delta t$ 时间嵌入以处理非均匀时间戳。
高效聚类： 使用 GPU 加速的批量 K-Means++ 算法来聚合事件，平衡了信息保留与低延迟。
范式转移： 证明了事件数据可以被视为一种序列化语言，为利用大型语言模型（LLM）架构进行神经形态视觉任务打开了大门。

实验结果

该方法在三个基准数据集上进行了评估：DVS Gesture、ASL-DVS 和 DVS-Lip。

准确率： Event2Vec 达到了具有竞争力的或最先进的准确率。值得注意的是，它在 ASL-DVS 上达到了 99.91%，在 DVS-Lip 上达到了 75.88%（使用聚类事件），超越了多种稠密帧和不规则模型基准。
参数效率： 该模型比先前的 SOTA 方法显著更小。例如，在 ASL-DVS 数据集上，Event2Vec 模型使用的参数量比竞争对手的 GNN & Transformer 模型少 815.93 倍。
吞吐量与延迟： Event2Vec 完全利用了 GPU 并行性。训练吞吐量比以往工作高出达 11.96 倍，推理吞吐量高出达 62.67 倍。总推理延迟降低至先前 SOTA 方法的仅 11.12%。
鲁棒性： 该模型展示了对低事件计数和降低空间分辨率（低至 1x1）的强大鲁棒性，保持了显著高于随机猜测的准确率。
消融实验： 证实了参数化空间嵌入与卷积时间嵌入的结合产生了最高的准确率，验证了邻域语义中归纳偏置（Inductive Biases）的必要性。

重要意义

论文声称 Event2Vec 通过首次成功地将稀疏、不规则的事件数据集成到高吞吐量的 Transformer 架构中，引入了一种新的范式。这一突破解决了长期存在的维持数据稀疏性与最大化 GPU 效率之间的权衡问题。

其重要性不仅在于其性能指标（参数效率、低延迟、高吞吐量）使其适用于实时、资源受限的边缘设备，还在于其在概念对齐上——即将事件流与 NLP 范式联系起来。通过将事件视为一种序列化语言，这项工作表明可以将为大型语言模型开发的复杂架构应用于神经形态视觉任务。