🤖 machine learning

Active Spiking Perception: The Membrane Potential as a Belief State for Anytime 3D Point Cloud Recognition

本文引入了主动脉冲感知（Active Spiking Perception, ASP），这是一个将脉冲神经网络的膜电位重新利用为动态信念状态的新型框架，旨在迭代地选择具有信息量的 3D 点云块并触发提前退出，从而在脉冲和非脉冲架构中均实现具有线性计算成本和竞争性准确度的认证式随时识别（certified anytime recognition）。

原作者： Akarsh Jain, Arya Pawa, Ayush Debnath, Smera Rawal, Sayeed Shafayet Chowdhury

发布于 2026-08-21

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Akarsh Jain, Arya Pawa, Ayush Debnath, Smera Rawal, Sayeed Shafayet Chowdhury

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在三维视觉的世界里，计算机经常难以像人类那样观察世界。当一个人观察一个复杂的物体（如椅子或汽车）时，他们并不会用同等的注意力去扫描每一个角落。相反，他们的眼睛会快速地从一个重要的细节跳到另一个细节，忽略掉空白空间，只专注于识别物体所必需的关键部分。这种选择下一步看哪里能力的被称为“主动感知”（active perception）。几十年来，人工智能系统一直试图通过同时处理整个三维形状来模仿这种能力，将物体的每一部分都视为同等重要。这种方法虽然有效，但在能源和计算能力方面的开销极其昂贵，尤其是对于那些需要依靠电池运行或使用旨在模仿大脑效率的专用硬件的设备而言。挑战在于，如何教会计算机具备选择性，即决定应该检查三维形状的哪些部分，以及何时它已经观察得足够多以做出自信的判断，且不牺牲准确性。

一个研究团队开发出了一种名为“主动脉冲感知”（Active Spiking Perception）的新方法，教导计算机自主做出这些决策。该方法不再强迫系统按照固定的、机械的顺序扫描三维物体，而是让计算机的内部状态来引导其注意力。该系统使用一种行为类似于生物神经元的类型人工神经元，只有在收集到足够的证据时才会发出微小的电信号。研究人员发现，这种神经元内部的电压水平（随着计算机观察更多物体而累积）就像是一个关于该物体是什么的“持续信念”。通过读取这个内部电压，系统可以决定接下来观察三维形状的哪个未探索部分。如果电压上升到足以表明对答案有强烈信心，系统就会完全停止观察，从而节省时间和能源。

研究人员在包括飞机、椅子和桌子在内的标准三维形状集上测试了这一想法。他们发现，该系统只需观察可用数据的一小部分，就能实现高精度的物体识别。在一次针对物体进行更细致划分的详细实验中，系统学会了跳过近一半的可用数据块，但其表现仍与观察全部数据的系统旗鼓相当。然而，研究人员谨慎地指出，在他们主要基准测试中使用较粗略的划分时，由于数据块过大，无法实现显著的跳过，因此系统处理了几乎整个物体。这种方法不仅仅是关于跳过部分，更是关于跳过“正确”的部分。系统学会了优先观察物体中最具信息量的部分，就像人类在看屋顶之前会先瞥一眼汽车轮子一样。这种根据已观察到的内容来调整观察策略的能力，使得该系统比以往的方法更高效，因为以往的方法无论答案变得多么显而易见，都被迫必须处理整个物体。

为了确保这种效率不会以牺牲可靠性为代价，研究人员在系统中构建了一个数学保证。他们证明了系统决定停止观察的时刻并非随机猜测，而是一个经过统计认证的点，其出错风险是已知且受控的。这意味着，对于系统做出的每一次预测，都有一个可衡量的置信水平与之相连。如果系统不确定，它就会继续观察；如果它确定了，它就会停止。这创造了一个灵活的接口，用户可以根据需求，在牺牲少量准确性以换取大量节能，或反之亦然。

该团队还测试了这一想法是否能应用于更复杂的任务之外。他们将同样的机制应用于更复杂的任务，例如识别三维物体的不同部分或识别杂乱房间中的物体。在这些测试中，该系统再次展示了其有效地集中注意力的能力，取得了与规模更大、更耗能的系统相竞争的结果。有趣的是，他们发现相同的决策逻辑即使应用于标准的图像识别也同样有效，这表明利用内部状态来引导注意力的原则是一种强大的工具，并不局限于某种特定的人工智能类型。

然而，研究人员对其工作的局限性保持了诚实的态度。他们指出，尽管该系统非常高效，但尚未达到完美。在某些特定情况下，例如识别房间内非常细微的结构元素时，系统表现挣扎，因为收集到的微小数据量不足以将物体与周围环境区分开来。他们还发现，系统的节能效果很大程度上取决于其运行的特定硬件；在某些类型的专用芯片上，节能效果非常显著，而在另一些芯片上，收益则较小。此外，研究人员承认，虽然他们的系统提供了一个“随时（anytime）”的认证接口，但其原始准确率在面对更强大的脉冲基准模型（特别是使用更大的骨干网络时）仍稍显落后。研究人员强调，他们的目标不是声称找到了最终解决方案，而是为了证明计算机可以通过倾听自身的内部信号来成为一个更好的观察者。

这项工作的最显著发现是它提供的视角转变。长期以来，神经网络的内部状态仅被视为数据的临时存储空间，即在最终计算完成前持有信息的一种方式。而这项研究表明，这种内部状态可以作为一个控制器，一个引导系统下一步看向哪里的向导。通过将计算机的内部电压视为对世界的“信念”，研究人员创造了一个不仅更快，而且在收集信息方面更加聪明的系统。这是迈向这样一种机器的一步：它们不仅处理数据，而且能主动寻求所需的信息，以理解周围的世界。

技术摘要：主动脉冲感知 (Active Spiking Perception, ASP)

问题陈述

三维点云理解对于需要高精度、快速且高能效推理的具身应用至关重要，尤其是在受限硬件上。虽然从 PointNet 到 Point Transformer，准确率有所提升，但这也带来了随之增加的浮点运算量。脉冲神经网络 (SNN) 提供了一个潜在的解决方案，它通过将密集的乘累加 (MAC) 操作替换为稀疏的、事件驱动的仅累加操作，从而高效地映射到神经形态硬件。

然而，现有的脉冲 3D 模型继承了其人工神经网络 (ANN) 前身的局限性：它们将整个点云划分成局部区域，并在每个时间步以固定的、与输入无关的顺序扫描这些区域。这种方法浪费了脉冲计算中独特的时域资源——演化的膜电位。在固定顺序的扫描中，判别性结构被忽略（均匀分配），并且一旦证据具有决定性，后续区域的计算会在不增加价值的情况下消耗能量。目前的自适应方法（例如早期退出、Token 剪枝）要么在编码之后决定丢弃什么，要么跨深度进行操作，但没有一个解决在脉冲 3D 设置中，如何基于网络的内部状态来决定下一步看哪里的问题。

方法论：主动脉冲感知 (ASP)

ASP 将 3D 识别重新定义为一个迭代的、序列决策过程。ASP 不采用固定扫描，而是由网络自身的内部状态驱动，决定下一个观察哪个空间块以及何时停止。

核心组件

膜电位作为置信状态 (Belief State)：
Leaky Integrate-and-Fire (LIF) 膜电位不仅被视为激活载体，还被视为类别的运行置信状态（对数后验）。从理论上讲，漏积分过程被证明是理想累加器下贝叶斯滤波器的递归对数后验更新。这一状态通过 SNN 基底“免费”地维持。
切片选择策略 (Slice-Selection Policy, SSP)：
一种轻量级策略，通过对未访问的块进行评分来确定下一个观察对象。
- 输入： 当前膜状态 ( $b_t$ ) 和预计算的、无参数的几何描述符 ( $g_m$ )（质心、方差、径向范围、距离点云中心的距离）。
- 机制： 双线性评分函数 $q_{t,m} = w^\top \tanh(W_u b_{t-1} + W_g g_m)$ 对候选对象进行排名。
- 训练： 使用直通 Gumbel-Softmax 松弛化，以允许在训练期间进行可微选择，并在推理时切换到确定性的 $\arg\max$ 。
- 开销： 增加约 2% 的骨干网络参数。
认证早期退出 (Certified Early Exit)：
系统采用置信度间隔规则来停止观察。
- 规则： 当前两个类别概率之间的间隔 ( $\Delta_t = p^{(1)}_t - p^{(2)}_t$ ) 超过校准阈值 $\theta$ 时停止。
- 校准： 该阈值并非手动调优，而是使用分拆共形 (split-conformal) 程序进行校准，以保证分布无关的选择风险水平（例如，以 $1-\delta$ 的置信度实现 $\le \alpha^*$ 的风险）。这提供了一个认证的“随时 (anytime)”接口，其中每个中间预测都携带已知的风险界限。
流式等价性 (Streaming Equivalence)：
论文证明，对于 Token 本地门控（即门控仅取决于当前输入），在精确算术下，流式状态前向传递与前缀重计算是完全等价的。在量化条件下，误差呈几何级数有界，这确保了只要硬件精度满足特定间隔条件，其“仅累加”的高效性就不会受到冗余重计算的影响。

核心贡献

首次提出主动 3D 感知公式： ASP 是第一个将 3D 点云理解框架化为原生于脉冲骨干网络的、主动的、序列化观察过程的方法。
切片选择策略： 一种利用膜状态和离线几何信息对未访问区域进行评分的机制，且参数开销极小（~2%）。
理论保证：
- 贝叶斯充分性： 证明了膜电位是模型预测的充分统计量，并近似于贝叶斯滤波器。
- 分布无关风险控制： 确立了退出规则可以在不产生多重测试惩罚的情况下，获得认证的选择风险，即使在连续观察的过程中也是如此。
- 精确流式处理： 证明了在 Token 局部性下，流式状态更新在功能上与重计算相同，且在量化下具有有界的漂移。
能量核算： 将脉冲稀疏性与早期退出分离，提供了一个依赖于硬件参数（模拟 vs. 脉冲成本）而非单一工艺节点的分析模型。
泛化性： 证明该策略并非脉冲特有。相同的机制（用注视代替块选择）可以迁移到非脉冲的 foveated transformer 中，证明了该控制器是一个通用的自适应观察策略。

实验结果

3D 分类 (ModelNet40/10)

性能： ASP 在 ModelNet40 上达到 90.62%，在 ModelNet10 上达到 93.28%。
对比： 在 ModelNet40 上，ASP 比最强的脉冲基准 (SPM) 低 1.7 个百分点，但使用了显著更大的骨干网络（18.75M vs. 5.5M 参数）。在容量匹配（5.5M）时，差距缩小至 0.32 个百分点。
效率： 在校准的工作点，ASP 平均处理 3.84 个块（总共 4 个）。虽然较大的骨干网络比较小的基准产生更高的绝对能量消耗，但该机制提供了一个认证的随时接口，其成本是一个用户可设的调节旋钮。
M=16 研究： 在更细粒度的划分（16 个块）中，学习到的策略比随机或固定顺序选择得更好。相比于 $k=1$ 时的随机选择，膜电位选择的块带来了 +3.67 的提升。该策略在约 6.81 个块（预算的 43%）后停止，同时表现优于固定顺序遍历。

密集预测 (分割)

ShapeNetPart： 实现 83.21 的实例 mIoU。
S3DIS Area 5： 实现 48.50 mIoU。据作者所知，这是首个在 S3DIS Area 5 上报告的脉冲结果。
局限性： 其中一类（“梁/Beam”）得分为 0.0 mIoU。作者将其归因于裁剪尺寸（256 个点）使得“梁”与天花板（平面水平面）难以区分，这是一个几何可辨识性问题，而非学习失败。他们预测包含梁-墙连接处的多尺度裁剪可以解决此问题。

视觉注视扩展 (Foveated Image Extension)

应用于 ImageNet-100 上的非脉冲 Transformer。
结果： 相比于密集控制组（84.10%），foveated 模型在 2.13 次注视下达到了 79.58% 的准确率。
能量： 与容量匹配的密集控制组相比，实现了 2.83× 至 1.35× 的能量节省。
发现： 准确率差距（4.52 个百分点）表明，对于这种特定架构，自适应观察并未完全在准确率上获得回报，其收益主要在于多尺度 Token 化而非注视策略本身。

意义与主张

本文声称实现了一种概念转变：SNN 的时域状态（膜电位）不仅是激活的载体，还是自适应观察的控制器。

认证的随时接口： 与基准模型不同，ASP 在任何停止时间都能提供带有访问区域轨迹和分布无关风险水平的预测。
机制 vs. 架构： 研究表明该策略独立于脉冲骨干网络，在密集 ANN 中同样有效。
对效率的审慎态度： 作者明确指出，在点云任务中，当前实现（使用前缀重计算）尚未达到“自适应计算”的含义（即降低总 MAC 数低于固定次数的单次通过）；其优势主要在于脉冲稀疏性和随时接口。真正的自适应计算（减少工作量）在 $M=16$ 以及缺乏前缀重计算结构的图像领域得到了展示。
局限性：
- 当使用较大的骨干网络时，准确率仍落后于最强的脉冲基准。
- 每个样本的能量受骨干网络规模支配；该机制控制的是比例，而非绝对基准。
- 虽然证明了流式等效性，但尚未在点云模型中实现（仅在图像模型中实现）。
- S3DIS 中“梁”类的失败是一个已知的几何限制。

论文得出结论，其持久的贡献在于其框架构建：SNN 的时域状态可以作为贝叶斯滤波器和“下一步看哪里”的控制器，从而实现认证的、自适应的推理。