🤖 machine learning

Bayesian 3D Steerable CNNs: Enabling Equivariance and Uncertainty Quantification Simultaneously

本文引入了一种贝叶斯可控卷积神经网络（Bayesian Steerable-CNN）框架，该框架在保持精确的 SE(3) 等变性的同时，通过变分推理实现同步的不确定性量化，从而实现了对分布偏移的卓越鲁棒性以及通过不确定性引导预测带来的性能提升。

原作者： Abhishek Keripale, Ponkrshnan Thiagarajan, Susanta Ghosh

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Abhishek Keripale, Ponkrshnan Thiagarajan, Susanta Ghosh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人仅仅通过观察，就能识别出 3D 物体，比如椅子、床或马桶。棘手之处在于，这些物体可以向任何方向旋转。一个普通的机器人可能会感到困惑，如果一把椅子被转到了侧面，它会认为这是一个完全不同的物体。

为了解决这个问题，科学家们使用了一种被称为**可操纵卷积神经网络（Steerable CNNs）**的技术。把它们想象成一组特殊的“智能透镜”，能够理解旋转。无论你如何旋转物体，机器人都能将其视为同一个东西。这就像拥有一张会自动随你旋转的地图，让你永远不会迷失方向。

然而，这些智能透镜有一个问题：它们是确定性的（deterministic）。这意味着它们就像一个僵化的机器人，即使出错也会给出单一的答案并表现出 100% 的信心，它们没有“我不确定”的概念。在现实世界中，尤其是在面对嘈杂或混乱的数据时，知道自己“有多确定”与得到正确答案本身一样重要。

核心理念：“自信且谦逊”的机器人

本文作者创造了一个新版本的智能透镜，称之为贝叶斯 3D 可操纵卷积神经网络（Bayesian 3D Steerable CNNs）。他们成功地让机器人同时拥有了两种超能力：

旋转感知能力： 它仍然理解旋转后的椅子还是椅子。
不确定性感知能力： 它现在可以表达：“我挺确定这是一把椅子”，或者“我很困惑，这可能是一把椅子，也可能是一个奇怪的桌子”。

他们是怎么做到的？（厨房类比）

要理解他们的技巧，请想象一个制作蛋糕的食谱（即识别物体的“卷积核”）。

旧方法（确定性）： 食谱是刻在石头上的。“加入恰好 2 杯面粉。”如果你遵循它，每次都会得到同样的蛋糕。
问题所在： 如果食材不好（噪声数据），蛋糕可能会失败，但食谱本身并不知道。
新方法（贝叶斯）： 食谱不再写“2 杯”，而是写道：“根据概率，加入 1.8 到 2.2 杯面粉之间的量。”
- 作者保持了食谱的结构（“可操纵基底”）是刚性的，因此它仍然理解旋转。
- 但他们让其中的分量（系数）变得灵活且具有随机性。
- 每当机器人观察一个物体时，它都会采样一个略有不同的食谱版本。有时它多加一点面粉，有时少加一点。

通过这样做，机器人不仅仅给出一个答案；它会给你一组答案的分布。如果所有不同版本的食谱都达成一致，机器人就是自信的。如果它们给出的结果各不相同，机器人就知道自己是不确定的。

他们发现了什么？

研究人员在一个名为 ModelNet10 的 3D 模型数据集（包括浴缸、书桌和沙发等）上测试了这个新机器人。结果如下：

预测能力不减： 这个带有“不确定性”的新机器人，在识别物体方面的表现与旧的“僵化”机器人一样出色。
更擅长处理噪声： 当他们在图像中加入“静电”或“噪声”（比如让图片变得模糊颗粒感很重）时，僵化的机器人开始迅速失效。然而，新机器人表现得非常强韧。即使在噪声非常高的情况下，它也能保持准确度，比旧机器人高出约 6%。这就像拥有灵活食谱的机器人即使面对糟糕的食材也能烤出像样的蛋糕，而僵化的机器人则会烧焦蛋糕。
它知道自己何时出错： 最令人兴奋的部分是，机器人的“不确定性得分”是非常有意义的。当机器人说“我不确定”时，它通常对自己的不确定感判断正确；当它说“我 100% 确定”时，它通常也是正确的。
- 他们发现了一个清晰的模式：机器人的不确定性越高，它犯错的可能性就越大。这证明机器人并不是在随机猜测，它实际上理解了自己的局限性。
校准（Calibration）： 机器人的信心与现实完美匹配。如果它说有 90% 的把握，那么它在 90% 的情况下都是正确的。

权衡

这其中存在一个小代价。因为机器人必须记录所有这些不同的“食谱变体”（概率），而不是仅仅一个固定的食谱，所以它需要使用两倍的内存，并且思考时间也会稍长一些。这就像是随身携带一本包含各种变体的食谱，而不是一张简单的索引卡。

总结

本文介绍了一种让 3D 物体识别系统既具备旋转免疫力（无论物体如何转向都能正常工作）又具备谦逊感（知道自己何时不确定）的方法。通过将系统的内部数学逻辑视为一系列可能性的范围，而非一个单一的固定数值，他们创造了一个对混乱数据更具鲁棒性、且能提供可靠置信度评分的模型，同时并未破坏使这些系统发挥作用的对称性规则。

技术摘要：贝叶斯 3D 可转向 CNN (Bayesian 3D Steerable CNNs)

问题陈述
可转向卷积神经网络（Steerable-CNNs）已成为 3D 数据处理的一种强大范式，通过将卷积核参数化为可转向基函数的线性组合，保证了 SE(3) 等变性。这种架构约束确保了输入的变换（例如通过 3D 旋转）会产生相应的输出变换，从而显著减少了假设空间，并在形状识别和分子性质预测等领域提高了泛化能力。然而，现有的 Steerable-CNNs 完全是确定性的。它们仅产生单点估计，而不具备相关的置信度度量，这使得它们不适用于对不确定性量化（UQ）至关重要的安全关键型应用（如医学成像、自主系统）。

开发贝叶斯 Steerable-CNN 的一个主要挑战在于，在网络权重中天真地引入随机性通常会破坏等变性属性。如果卷积核是随机采样的，它们通常会违反“交织器”（intertwiner）或可转向性约束，这意味着即使其均值是等变的，生成的随机实现也可能不再是等变的。

方法论
作者提出了一种 贝叶斯 Steerable-CNN 框架，该框架通过在可转向基函数的标量系数而非卷积核矩阵上放置后验分布，解决了这一冲突。

随机等变卷积核： 卷积核 $K(x)$ 被定义为预先计算的确定性可转向基函数 $\{\kappa_b(x)\}$ （源自 Wigner D-矩阵对于 SO(3)）的线性组合：
$K(x; w) = \sum_{b=1}^{B} w_b \kappa_b(x)$
基函数 $\kappa_b$ 是固定的，并且通过构造满足可转向性约束。系数 $w = (w_1, \dots, w_B)$ 被视为随机变量。
保持等变性： 论文证明（命题 1），如果基函数满足可转向性约束，那么它们的任何线性组合——无论系数是确定性的还是从概率分布中采样的——都保持等变。这使得无需对架构进行修改即可实现随机卷积核的等变性。
变分推理： 模型采用了 Bayes-by-Backpropagation 方法。假设系数服从参数化为均值 $\mu$ 和对数方差 $\rho$ 的均值场高斯变分后验 $q(w|\theta)$ 。模型通过最大化证据下界（ELBO）进行训练，该 ELBO 由一个交叉熵损失项和一个将后验正则化为高斯先验的 KL 散度项组成。
不确定性分解： 在推理阶段，模型执行 $N$ $N$ 次随机前向传播。总预测不确定性被分解为：
- 偶然不确定性（Aleatoric Uncertainty）： 数据中的固有噪声（通过单个预测的平均熵捕获）。
- 认知不确定性（Epistemic Uncertainty）： 由于数据有限导致的模型不确定性（通过 $N$ 个样本间预测值的方差捕获）。

核心贡献

新颖的贝叶斯公式化： 首次将随机推理与可转向卷积相结合，获得了卷积基系数的后验分布，同时保持了精确的 SE(3)-等变性。
理论证明： 提供了一个形式化证明，表明系数空间中的随机性不会违反交织器约束，确保了每个采样的卷积核保持等变。
可分解的不确定性： 提供了一个能够为 3D 等变模型提供校准且可分解的不确定性估计（认知 vs 偶然）的框架。

实验结果
模型在使用了基于 escnn 库构建的架构的 ModelNet10 数据集（3D CAD 模型）上进行了评估。

分类性能： 贝叶斯模型的测试准确率达到了 86.34%，与确定性对应模型相当。
校准度： 模型表现出极佳的校准性能，期望校准误差（ECE）为 0.0263，表明预测的置信度分数与经验准确率高度吻合。
对分布偏移的鲁棒性： 在加性高斯噪声下，贝叶斯模型表现出比确定性基线更强的鲁棒性。在高噪声水平（ $\epsilon_{noise} = 0.9$ ）下，贝叶斯模型保持了 81.83% 的准确率，优于确定性模型的 75.66%，提升了 6.17%。
不确定性的效用：
- 选择性预测： 通过过滤掉高不确定性的样本，模型在 84% 的测试数据集（不确定性低于特定阈值的样本）上实现了 ~4% 的准确率增益。
- 语义含义： 研究发现认知不确定性与预测误差之间存在显著的负 Spearman 秩相关（-0.3989），证实了较高的不确定性能可靠地预测较高的分类误差。
- 不确定性收敛： 在训练期间，总不确定性稳步下降，而认知不确定性始终保持在较低水平，这表明模型对其学习到的权重分布变得更加自信。

意义与主张
本文声称将贝叶斯不确定性量化与等变 CNN 的归纳偏置相统一。作者强调，这是第一项成功将随机推理与可转向卷积集成到单一判别模型中的工作。其意义在于为 3D 领域实现风险感知决策：模型不仅遵循几何对称性，还能提供原则性的、可分解的置信度估计。这使得从业者能够区分数据固有的歧义性（偶然不确定性）与模型知识的缺乏（认知不确定性），从而促进有针对性的模型改进以及在安全敏感型应用中的安全部署。该框架在实现这些收益的同时，并未牺牲使 Steerable-CNNs 在 3D 数据上有效的等变性保证。

核心理念：“自信且谦逊”的机器人

他们是怎么做到的？（厨房类比）

他们发现了什么？

权衡

总结

技术摘要：贝叶斯 3D 可转向 CNN (Bayesian 3D Steerable CNNs)

类似论文