💻 computer science

SpikeCLR: Contrastive Self-Supervised Learning for Few-Shot Event-Based Vision using Spiking Neural Networks

本文提出了 SpikeCLR，一种针对脉冲神经网络的对比自监督学习框架，通过利用事件数据特有的时空增强策略，在标签稀缺的少样本场景下显著提升了基于事件视觉的表征学习与分类性能。

原作者： Maxime Vaillant, Axel Carlier, Lai Xing Ng, Christophe Hurter, Benoit R. Cottereau

发布于 2026-03-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Maxime Vaillant, Axel Carlier, Lai Xing Ng, Christophe Hurter, Benoit R. Cottereau

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 SpikeCLR 的新方法，旨在解决“事件相机”（一种像人眼一样工作的新型摄像头）在缺乏大量标注数据时难以训练的问题。

为了让你更容易理解，我们可以把这篇论文的核心内容想象成教一个“超级节能的机器人”如何看世界。

1. 背景：为什么需要“事件相机”和“脉冲神经网络”？

传统相机 vs. 事件相机：
- 传统相机就像在拍视频，不管画面有没有变化，它都每秒拍 30 张完整的照片。这很浪费，因为如果画面静止，它拍了一堆没用的空照片。
- 事件相机（DVS）就像人眼。它只记录“变化”。如果画面不动，它什么都不发；如果有一只鸟飞过，它只记录鸟飞过的轨迹。这种相机反应极快（微秒级），省电，而且在强光或黑暗中也能看清。
脉冲神经网络（SNN）：
- 为了处理这种“只记录变化”的数据，科学家设计了脉冲神经网络。它不像普通电脑那样一直计算，而是像神经元一样，只有收到信号时才“放电”（发出脉冲）。这就像摩斯密码，只有需要传递信息时才敲击，平时保持安静，因此极其省电，非常适合装在电池很小的无人机或机器人上。

2. 问题：没有“老师”教，机器人学不会

虽然这种“事件相机 + 脉冲网络”的组合很完美，但有个大麻烦：没有足够的“教材”。

标注数据太贵：要训练 AI，通常需要人类给成千上万张图片贴上标签（比如“这是猫”、“那是车”）。但对于事件相机，数据是稀疏的、奇怪的“点阵”，人类很难去标注，而且现有的数据集非常少。
现状：如果没有足够的标签，机器人就学不会识别物体。这就好比你想教一个学生认字，但只给他看 5 个汉字，他肯定学不会。

3. 解决方案：SpikeCLR（自学成才）

作者提出了 SpikeCLR，这是一种**“自监督学习”**的方法。

核心思想：不需要人类老师给标签，让机器人自己从没标签的原始数据里找规律。
怎么做到的？（类比：玩“找不同”游戏）
想象你给机器人看一张“事件照片”（比如一只猫跑过的轨迹）。
1. 制造两个版本：SpikeCLR 会把这张照片“变”成两个稍微不同的版本。
  - 比如：把猫的位置稍微挪一下（空间变换）；
  - 比如：把猫跑过的轨迹变亮或变暗（极性/强度变换）；
  - 比如：只截取猫跑过的前半段或后半段（时间变换）。
2. 对比学习：让机器人去猜，“这两个版本是不是同一只猫？”
  - 如果是同一只猫的不同样子，机器人就要努力把它们在脑子里认作“同类”。
  - 如果是两只不同的猫，机器人就要把它们区分开。
3. 结果：通过这种成千上万次的“找不同”游戏，机器人不需要知道“这是猫”，它自己就学会了**“猫跑动的轨迹有什么特征”。这就叫学习鲁棒的视觉表征**。

4. 关键创新：针对“事件数据”的独家秘籍

普通的 AI 学习方法直接用在事件相机上效果不好，因为事件数据太特殊了（只有黑白点，没有颜色）。SpikeCLR 发明了一套专属的“变魔术”技巧：

空间变换：像切图一样，把事件点的位置挪一挪，让机器人学会“猫在左边还是右边不重要”。
极性变换：事件相机记录的是“变亮”还是“变暗”。SpikeCLR 会故意把“变亮”和“变暗”的强度调一调，让机器人学会“不管光线怎么变，它都是那只猫”。
时间变换：这是最重要的！因为事件相机记录的是动态。SpikeCLR 会随机截取不同的时间段，让机器人明白“猫跑动的节奏”比“具体的某一刻”更重要。
- 比喻：就像你听一首歌，哪怕只听到前 5 秒，或者把音量调大调小，你依然能认出这是同一首歌。

5. 实验结果：少即是多

作者在各种测试（比如识别手势、数字、物体）中验证了 SpikeCLR：

少样本学习（Few-Shot）：这是最厉害的地方。如果只给机器人1 张或10 张带标签的图片，SpikeCLR 预训练过的模型，比那些从零开始学习的模型要聪明得多。
- 比喻：普通学生看 1 张猫的照片可能认不出，但 SpikeCLR 训练过的学生，因为之前自己“自学”过成千上万张猫的照片（虽然没标签），所以看一眼就能认出。
跨数据集迁移：在一个数据集上学到的知识，可以很好地用到另一个数据集上。
数据量越大越好：预训练用的无标签数据越多，机器人学得越扎实。

总结

这篇论文就像是在说：

“我们发明了一种新方法（SpikeCLR），让那些像人眼一样省电的‘事件相机’和‘脉冲大脑’，能够在没有老师教的情况下，通过自己玩‘找不同’的游戏，学会如何看懂世界。特别是在只有很少的标签（比如只有几张图）的情况下，这种方法比传统方法强得多，让未来的微型机器人和无人机能更聪明、更省电地工作。”

一句话概括：SpikeCLR 让事件相机 AI 学会了“自学成才”，在数据稀缺的情况下也能成为识别高手。

SpikeCLR 技术总结：基于脉冲神经网络的少样本事件视觉对比自监督学习

1. 研究背景与问题 (Problem)

事件相机与脉冲神经网络的优势：
事件相机（Event-based Vision Sensors/DVS）通过异步测量像素亮度的对数变化，生成稀疏的事件流，具有微秒级时间分辨率、高动态范围（>120 dB）和低功耗特性。脉冲神经网络（SNNs）模拟生物神经元的离散脉冲机制，天然适合处理此类异步数据，能在神经形态硬件上实现高效能计算。

核心瓶颈：
尽管潜力巨大，但 SNN 在事件视觉领域的部署受到大规模标注数据稀缺的严重限制。

标注成本高： 事件数据标注困难且昂贵。
数据规模小： 现有基准数据集远小于传统帧式图像数据集。
合成数据局限： 许多数据集是通过移动相机重录静态图像生成的，无法完全反映真实动态场景。
少样本挑战： 在实际应用中（如新传感器适配、新领域迁移），往往只有极少量的标注样本（Few-shot），导致传统监督学习难以训练出鲁棒的模型。

现有方法的不足：
现有的自监督学习（SSL）方法（如 SimCLR）主要针对传统帧式图像和人工神经网络（ANN），尚未有效解决事件数据的稀疏性、极性（Polarity）特性以及 SNN 中不可微的脉冲操作带来的训练挑战。

2. 方法论 (Methodology)

本文提出了 SpikeCLR，一个专为 SNN 设计的对比自监督学习框架，旨在从无标签事件数据中学习鲁棒的视觉表征。

2.1 数据表示与网络架构

输入表示： 将异步事件流转换为基于网格的表示。具体做法是将事件流划分为 $T$ 个连续的时间片，并在每个时间片内聚合正负极性事件，生成双通道（正/负）的事件直方图序列，形成时空张量 $x \in \mathbb{R}^{T \times 2 \times H \times W}$ 。
骨干网络 (Backbone)： 采用 SEW-ResNet-18 作为主要 SNN 骨干。该网络通过脉冲元素级（Spiking Element-Wise, SEW）操作将传统 ResNet-18 适配到脉冲域。同时也验证了分离卷积变体和 Spiking VGG9 的通用性。
训练机制： 由于脉冲生成函数（Heaviside 阶跃函数）不可微，采用**代理梯度（Surrogate Gradient）**方法在反向传播中近似梯度，结合时间展开（BPTT）进行训练。

2.2 对比学习框架 (Contrastive Learning)

基于 SimCLR 架构，但针对事件数据进行了关键适配：

数据增强 (Augmentations)： 设计了针对事件特性的三类增强策略，以构建正样本对：
- 空间变换 (Spatial)： 随机裁剪、水平翻转、循环平移（Rolling）。保持物体身份不变，改变视点。
- 极性/强度变换 (Polarity/Intensity)： 全局缩放（类似亮度调整）和通道均值偏移（类似对比度调整）。模拟传感器增益或阈值变化，保持极性语义。
- 时间变换 (Temporal)： 从事件流中随机采样不同的时间窗口（Temporal Crop）。捕捉运动的不同相位，增强对时间采样的不变性。
对比目标 (NT-Xent Loss)：
- 输入经过增强生成两个视图 $x_1, x_2$ ，通过编码器 $f(\cdot)$ 和投影头 $g(\cdot)$ 得到嵌入 $z_1, z_2$ 。
- 时间聚合策略： SNN 输出随时间变化的嵌入序列。SpikeCLR 默认采用时间平均（Time-averaging）将序列压缩为单个向量，然后计算批次内的对比损失。
- 损失函数最大化同一样本不同视图的相似度，最小化与其他样本的相似度。

2.3 评估协议

预训练阶段： 在无标签数据上进行对比预训练。
下游评估：
- 线性探测 (Linear Probing, LP)： 冻结骨干网络，仅训练线性分类器，评估特征的可分离性。
- 微调 (Fine-tuning, FT)： 端到端微调整个网络。
场景： 重点评估少样本 (Few-shot) 场景（每类 1, 10, 20, 50 个样本）和半监督场景。

3. 主要贡献 (Key Contributions)

SpikeCLR 框架： 首次提出并系统评估了基于 SNN 的对比自监督学习框架，利用代理梯度训练实现了脉冲域的有效学习。
事件专用增强策略： 设计了一套包含空间、时间和极性变换的增强家族。研究发现，时间和极性增强对于事件数据表征学习至关重要，其效果优于传统的空间增强。
少样本性能突破： 证明了在标签极度稀缺的情况下（Few-shot），SpikeCLR 预训练 + 微调的策略显著优于从头开始的监督学习，解决了事件数据标注难的核心痛点。
跨数据集迁移能力： 验证了学习到的表征在不同事件数据集（如 CIFAR10-DVS 到 DVS-Gesture）之间具有良好的迁移性，表明模型学习到了通用的时空特征。

4. 实验结果 (Results)

实验在四个主流事件数据集上进行：CIFAR10-DVS, N-Caltech101, N-MNIST, DVS-Gesture。

少样本性能 (Few-Shot Performance)：
- 在 CIFAR10-DVS 上，SpikeCLR 在 1-shot 设置下，微调后的准确率比从头监督学习高出约 8.3% (20.2% vs 11.9%)。
- 随着标签数量增加，SpikeCLR 始终保持优势，直到标签量达到全量数据时差距缩小。
- 在 DVS-Gesture（动态手势）数据集上同样取得了显著提升，证明了其在真实动态场景下的有效性。
消融实验 (Ablation Study)：
- 增强组合： 单独使用时间增强效果最好，但空间 + 时间组合在 1-shot 下表现最佳（20.3%），全量增强（空间 + 时间 + 极性）在 9-shot 和 45-shot 下达到最高准确率（48.3%）。
- 对比损失计算： 尝试了“时间平均后计算损失”与“每个时间步独立计算损失后平均”两种策略。后者（Temporal NT-Xent）在下游任务中表现更好（+1.0% ~ +2.1%），表明强制每个时间步都具有判别性提供了更强的学习信号。
- 数据量影响： 在 N-MNIST 上，增加无标签预训练数据量（从 10K 到 60K）能持续提升少样本性能，证明了方法的扩展性。
跨域迁移 (Transfer Learning)：
- 在静态图像衍生数据集（CIFAR10-DVS）上预训练，迁移到动态数据集（DVS-Gesture），在少样本设置下显著优于从头训练，证明了学习到的特征具有跨域泛化能力。

5. 意义与影响 (Significance)

解决数据瓶颈： SpikeCLR 为事件视觉领域提供了一种高效利用无标签数据的方法，极大地降低了对昂贵标注数据的依赖，使得在资源受限的嵌入式系统和神经形态硬件上部署高性能 SNN 成为可能。
推动 SNN 发展： 成功将对比自监督学习引入脉冲神经网络领域，解决了 SNN 训练中的梯度传播和表征学习难题，为 SNN 在复杂视觉任务中的应用奠定了基础。
指导增强策略设计： 揭示了事件数据中“时间”和“极性”不变性的重要性，为未来事件视觉算法的设计提供了新的视角（即不能简单照搬传统图像增强策略）。
实际应用价值： 在少样本、半监督及跨域迁移场景下的优异表现，使其特别适用于机器人导航、高速运动捕捉、自动驾驶等标注数据难以获取的实际应用场景。

局限性： 当前方法仍依赖较大的批次大小（Batch Size）来提供足够的负样本，这在处理长序列事件数据时可能成为显存瓶颈。未来可探索非对比式方法（如 SimSiam, BYOL）以缓解此问题。