Which Reconstruction Model Should a Robot Use? Routing Image-to-3D Models for Cost-Aware Robotic Manipulation

1. 研究背景与问题定义 (Problem)

核心挑战：
机器人操作任务（如灵巧操作、避障规划）对 3D 网格重建的质量要求各不相同。

• 灵巧操作需要细粒度的表面细节。
• 避障规划可以容忍较粗糙的表示。
  现有的重建方法（如 Image-to-3D 模型）在质量、推理速度、内存占用等方面存在显著的权衡（Trade-off）。不同的模型在不同物体类别和输入视角下表现各异，没有单一模型能主导所有场景。

现有方法的局限性：

1. 固定选择： 现有工作通常固定使用某一个 Image-to-3D 模型，无法根据具体输入选择最优模型。
2. 成本维度单一： 传统的模型路由（Model Routing）研究多集中在大语言模型（LLM），通常只处理单一的成本标量（如延迟）。而机器人应用需要处理多维度的成本约束（如延迟、内存、货币成本等）。
3. 混合方法处理困难： 重建方法分为两类：
   • 视角依赖型 (Viewpoint-dependent)： 如 Image-to-3D 模型，质量高度依赖输入视角。
   • 视角无关型 (View-invariant)： 如结构光扫描，质量取决于物体属性和硬件配置，而非初始视角。
     现有的路由框架难以在不重新训练的情况下动态添加或移除视角无关的方法。

目标：
设计一个路由框架，在推理阶段根据输入图像、任务需求（质量要求）和可用预算（成本约束），动态选择最合适的 3D 重建模型，以最大化效用（质量 - 成本比）。

---

2. 方法论：SCOUT 框架 (Methodology)

作者提出了 SCOUT (Score-Conditioned Optimal Utility Targeting)，一个新颖的路由框架。其核心思想是将重建分数解耦为两个独立组件，以解决上述挑战。

2.1 问题形式化

• 输入：图像 $x$，成本系数向量 $c \in \mathbb{R}^k$（代表不同模型的延迟、内存等成本）。
• 目标：选择模型 $m^*$ 以最大化 $s(x, m) - c(m)$，其中 $s$ 是重建质量分数。
• 区别：与 LLM 路由不同，3D 重建的成本主要取决于模型本身（$c(m)$），而非输入内容；且需要支持任意维度的成本向量。

2.2 核心创新：分数解耦 (Score Decoupling)

SCOUT 将预测的分数分解为两部分：

1. 相对性能分布 ($\hat{p}$)： 捕捉视角依赖型模型之间的相对表现。这通过一个学习到的概率分布来实现，该分布仅关注模型间的相对优劣，消除了输入图像整体难度的影响。
2. 整体难度估计 ($\hat{z}$)： 捕捉输入图像的整体难度（标量分区函数估计）。这是一个全局偏移量，用于将相对分数还原为绝对分数，以便与视角无关模型的分数进行比较。

2.3 具体流程

1. 预处理与平滑： 对视角依赖模型的分数进行基于语义标签的平滑处理，以减少噪声，训练更稳健的相对性能预测器。
2. 学习相对分布 ($\hat{p}$)：
   • 使用神经网络将图像映射到概率分布 $\hat{p}$。
   • 训练目标是最小化 KL 散度（而非直接回归绝对分数），因为 KL 散度能更好地处理“简单图像所有模型都好，困难图像所有模型都差”的情况，专注于模型间的相对排序。
3. 学习难度估计 ($\hat{z}$)：
   • 训练第二个监督模型（Ridge 回归）来预测分区函数 $z$。
   • 利用代理目标 $\tilde{z}_j = e^{s_j/T} / \hat{p}_j$ 进行训练。
   • 加权组合： 提出了一种基于方差的加权策略，将多个模型的代理 $z$ 估计值组合成最终的 $\hat{z}$，以最小化估计误差。
4. 效用优化 (Utility Optimization)：
   • 在推理时，根据公式 $\hat{s}(x, m_j) = T \cdot \ln(\hat{p}_j \cdot \hat{z})$ 恢复视角依赖模型的绝对分数。
   • 视角无关模型的分数 $s_{inv}$ 直接作为固定值或基于物体属性估计。
   • 最终选择：$\hat{m} = \arg\max_j (\hat{s}(x, m_j) - c_j)$。

2.4 关键优势

• 可扩展性 (Scalability)： 由于 $\hat{p}$ 仅针对视角依赖模型训练，视角无关方法（如新添加的扫描仪配置）可以在不重新训练网络的情况下直接加入或移除。
• 灵活性 (Flexibility)： 支持推理时任意调整成本系数向量 $c$，无需重新训练。

---

3. 主要贡献 (Key Contributions)

1. 首个 3D 重建模型路由框架： 提出了 SCOUT，首次将模型路由概念引入 3D 重建领域，能够同时处理视角依赖和视角无关的方法，并适应任意成本约束。
2. 理论支撑的分区函数代理： 提出了一种理论证明最优的加权方案，用于从学习到的相对分布中恢复绝对分数，解决了混合模型池中的分数对齐问题。
3. 解耦机制： 成功将“图像难度”与“模型相对性能”解耦，使得系统能够动态扩展视角无关方法而无需重训。
4. 实证验证： 在多个数据集和机器人任务（抓取、灵巧操作）上验证了有效性。

---

4. 实验结果 (Results)

4.1 数据集与基准

• 数据集： Google Scanned Objects (GSO), BigBIRD, YCB。
• 模型池： 4 种 Image-to-3D 模型 (Hunyuan3D, InstantMesh, TripoSR, TRELLIS) + 1 种视角无关近似方法。
• 指标： 密度感知 Chamfer 距离 (DCD), IoU, Eval3D 几何指标等。
• 基线： 来自 LLM 路由文献的方法 (ZOOTER, RouterDC, MLP, kNN, LR 等)。

4.2 性能表现

• 路由性能： 在 GSO 和 BigBIRD+YCB 数据集上，SCOUT 在所有成本子空间（包括仅视角依赖、仅视角无关、混合成本）中，一致地优于所有基线方法。
  • 在 GSO 数据集上，SCOUT 的遗憾值 (Regret) 比次优基线降低了约 4-5%。
  • 在混合成本空间（C）中，优势更为明显，因为这里的决策更加敏感。
• 成本适应性： SCOUT 在延迟、内存及延迟×内存的权衡曲线上均取得了最高的平均质量改进 (AIQ)。
• 消融实验： 证明了“解耦”机制和“加权代理”策略的有效性。如果不解耦（即像 ZOOTER 那样处理所有模型），随着视角无关方法数量的增加，性能会显著下降。

4.3 机器人操作实验

• 抓取提案 (Grasp Proposals)： SCOUT 选择的模型生成的抓取提案，其碰撞率最低，且与真实网格的 IoU 最高。
• 灵巧操作 (Dexterous Manipulation)： 在仿真中，SCOUT 选出的模型显著提高了灵巧抓取的成功率（平均提升约 6-8%）。
• 真实世界 (Real-world)： 在 Franka Panda 机器人上进行的真实抓取实验中，SCOUT 的成功率（4.6/5）高于任何单一固定模型（最高为 4.4/5）。
  • 案例： 对于困难视角（如正视图），SCOUT 倾向于选择质量高但慢的 Hunyuan3D；对于简单视角，则选择低延迟的 TRELLIS。

---

5. 意义与结论 (Significance & Conclusion)

科学意义：

• 填补了 3D 感知与机器人操作之间的空白，证明了动态模型选择比固定模型策略更能适应复杂的机器人任务。
• 提出了一种通用的解耦范式，解决了多模态、多成本约束下的模型路由难题，不仅适用于 3D 重建，对未来的多模态感知系统也有借鉴意义。

实际价值：

• 资源优化： 允许机器人在有限的计算资源（边缘设备）下，根据任务紧急程度（成本）动态调整感知精度。
• 系统灵活性： 机器人系统可以在部署后轻松集成新的传感器或重建算法，而无需重新训练整个路由网络。
• 任务适应性： 实现了从“感知”到“操作”的端到端优化，直接提升了机器人抓取和操作的鲁棒性。

局限与未来工作：

• 目前视角无关方法在实验中是用固定分数近似的，未来需在实际扫描硬件上验证。
• 模型池规模目前较小，未来需扩展到更多模型。
• 未来可探索将路由器集成到闭环控制系统中，利用操作反馈进一步优化路由决策。

总结：
SCOUT 是一个高效、灵活且可扩展的框架，它通过解耦图像难度和模型相对性能，成功解决了机器人操作中 3D 重建模型的选择难题，显著提升了机器人在不同成本和任务要求下的操作性能。