技术摘要：基于贝叶斯方法的具有不确定几何的任务特定下一最佳视图选择

问题陈述

本文解决了点云三维重建背景下的**下一最佳视图（NBV）**选择问题。传统的 NBV 方法通常旨在均匀地降低整个场景的几何不确定性，或最大化空间覆盖率（例如通过最远点采样）。然而，在许多现实世界的应用中——如机器人技术、医学成像或地理空间分析——目标并非实现全局完美的重建，而是以最小的扫描工作量确定关于物体的特定事实（例如其类别标签、特定语义部分或物理属性）。

核心挑战在于选择一系列相机视点，以优化任务特定的效用（例如分类准确率或寻找热扩散模拟中的最冷点），而非最小化全局几何误差。现有方法在局部判别性特征至关重要但空间稀疏的场景中往往失效，因为它们会在冗余或无关区域浪费扫描资源。

方法论

作者提出了一种框架，将任务特定的 NBV 选择构建为一个贝叶斯决策问题。该方法将随机表面重建与贝叶斯决策理论相结合，以推理哪种视图能为特定下游任务提供最有用的信息。

1. 概率表面重建

该框架依赖于随机泊松表面重建（具体为几何随机泊松重建 [Holalkere 等人，2025]）来建模未知几何结构。

• 先验与后验：在隐式表面空间上放置先验分布 $p(f)$。给定当前观测值 $\mathcal{D}_t$，计算后验分布 $p(f|\mathcal{D}_t)$。
• 不确定性量化：与确定性方法不同，这种概率公式提供了可能表面的分布，使系统能够量化未观测区域的不确定性。
• 采样：该方法利用路径条件生成随机样本 $\hat{f} \sim p(f|\mathcal{D}_t)$，代表与当前数据一致的可能几何结构。

2. 贝叶斯决策框架

下一视图 $\theta_{t+1}$ 的选择被表述为对采集函数 $\alpha$ 的优化，该函数源于期望效用改进的概念。

• 效用函数 ($u$)：定义一个特定任务的函数 $u: \mathcal{D} \to \mathbb{R}$，用于衡量点云对于特定任务的“好坏”（例如分类置信度、部件发现数量或物理模拟精度）。
• 采集函数：算法选择能最大化期望效用改进的视图：
  $$\theta_{t+1} = \arg\max_{\theta} \mathbb{E} \left[ \max \left( 0, u(\mathcal{D}_t \cup \text{scan}(\theta; \hat{f})) - u(\mathcal{D}_t) \right) \right]$$
  此处，期望值通过对表面后验分布进行蒙特卡洛采样来近似。算法模拟在角度 $\theta$ 处对采样表面 $\hat{f}$ 进行扫描会得到什么结果，计算由此产生的效用，并将其与当前效用进行比较。

3. 任务特定的效用函数

本文针对三种不同的下游任务定义了特定的效用和采集函数：

• 3D 分类：
  • 期望熵减少：最小化分类器输出分布的香农熵。
  • 期望交叉熵：最大化分类器预测分布的期望偏移，鼓励探索那些挑战当前（可能错误的）高置信度预测的视图。
• 语义分割/部件发现：
  • 使用基于分割网络 softmax 概率的软计数效用。双曲正切（$\tanh$）饱和函数确保一旦某个语义部分被充分发现（超过阈值 $N_{target}$），该部分的效用增益就会达到平台期。这迫使算法关注未发现的或代表性不足的部分。
• 物理信息扫描（热扩散）：
  • 效用定义为模拟热扩散过程中最低温度的负值（$u_H = -\min(\mathbf{u}(T))$）。采集函数寻求能最大化期望最低观测温度降低的视图，从而有效地针对热汇或热隔离区域。

4. 优化策略

为了最大化采集函数，作者实施了两种策略：

• 离散候选搜索：在有限的候选相机池（例如在包围球上均匀采样）上评估采集函数。
• 多起点基于梯度的优化：使用自动微分在连续相机参数空间（2 自由度或 6 自由度）上优化采集函数，从多个随机点初始化以避免局部最优。

主要贡献

1. 任务特定的 NBV 框架：作者引入了首个专门针对下游任务（分类、分割、物理模拟）而非通用几何重建进行优化的 NBV 选择框架。
2. 贝叶斯决策理论公式：他们利用贝叶斯决策理论形式化了 NBV 问题，利用随机表面重建来模拟未来扫描并计算期望效用改进。
3. 灵活的效用设计：该框架在下游任务方面与模型无关，允许插入任何效用函数。本文通过为分类、分割和偏微分方程引导的模拟推导特定的采集函数证明了这一点。
4. 局部特征发现的优越性能：该方法被证明在特定局部特征对任务至关重要的场景中，优于任务无关的基线（最远点采样、全局不确定性减少）。

实验结果

该框架在多个数据集（ModelNet10、Synthetic Pyramid、Truck-ModelNet10、ShapeNet）上的三个任务中进行了评估：

• 3D 分类：

  • 在需要全局特征的数据集（标准 ModelNet10）上，所提出的方法表现与基线相当。
  • 在需要局部判别性特征的数据集上（具有基础图案的 Synthetic Pyramid；需要区分货物与卡车货箱的 Truck-ModelNet10），所提出的方法显著优于基线。它通过关注信息丰富的区域（例如卡车货箱）而非均匀扫描整个物体，以更少的视图（例如在第 2 步时）实现了正确分类。
  • 交叉熵采集函数被证明比熵减少更稳健，防止系统陷入过度自信的错误预测中。

• 语义分割（部件发现）：

  • 与 FPS 和不确定性减少基线相比，该方法始终能用更少的视图发现物体的所有语义部件。
  • 定性结果表明，该方法成功针对了细粒度组件（例如摩托车前灯或手提包提手），而这些组件往往因为对总表面积贡献很小而被几何基线遗漏。

• 物理模拟（热扩散）：

  • 在寻找物体上最冷点的任务中，该方法成功识别了热隔离区域（例如桌子底部），而几何基线未能扫描这些区域。
  • 这导致更准确的温度场模拟，并能以更少的视图精确识别热极值。

意义与主张

本文主张，通过将目标从“ everywhere 减少不确定性”转变为“在关键处减少不确定性”，所提出的框架能够以更少的视图实现更优越的任务性能。

作者强调，他们的方法弥合了几何采集与下游功能之间的差距。通过将扫描过程视为贝叶斯决策问题，系统可以自适应地优先考虑对特定应用至关重要的区域（例如语义部分或物理属性），同时忽略冗余区域。这对于扫描成本高昂或时间受限的应用尤为重要，因为它最小化了实现特定功能目标所需的扫描次数。

这项工作被视为面向任务感知主动视觉的基础性步骤，作者指出，虽然他们专注于物体级扫描，但该框架在未来工作中可推广到场景级设置和非基于相机的扫描模式（例如功能性磁共振成像 fMRI）。