🤖 AI

Focusable Monocular Depth Estimation

本文提出了可聚焦单目深度估计（FDE）这一区域感知任务及相应的 FocusDepth 框架，该框架利用提示条件多尺度特征融合，在保持全局场景几何结构的同时优先提升目标区域的精度，并经由新的 FDE-Bench 基准验证。

原作者： Yuxin Du, Tao Lin, Zile Zhong, Runting Li, Xiyao Chen, Jiting Liu, Chenglin Liu, Ying-Cong Chen, Yuqian Fu, Bo Zhao

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuxin Du, Tao Lin, Zile Zhong, Runting Li, Xiyao Chen, Jiting Liu, Chenglin Liu, Ying-Cong Chen, Yuqian Fu, Bo Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在看一张繁忙厨房台面的照片。上面有一个咖啡杯、一台笔记本电脑、一根香蕉和一叠文件。

旧方法（标准深度估计）：
当前的 AI 模型就像一位非常礼貌但略显分心的导游。当被问及“所有东西离得有多远？”时，它们会审视整张图片，并为每一个像素给出一个单一、统一的答案。它们对咖啡杯和它身后的墙壁给予完全同等的关注。虽然它们在猜测房间的三维形状方面通常表现不错，但往往会让特定物体的边缘变得有些模糊，或者因为试图同时对整张图片保持“公平”，而忽略了咖啡杯的确切距离。

新想法（可聚焦深度估计 - FDE）：
这篇论文的作者提出：“如果我们能告诉 AI，‘嘿，我现在真的很在意这个咖啡杯。请暂时忽略房间的其他部分，确保你完美地计算出这个杯子的距离，同时保持房间其他部分看起来正常’，会怎么样？”

他们将此称为可聚焦单目深度估计（FDE）。这就像给 AI 戴上了一副“智能眼镜”，让它能将其注意力聚焦在你指向的特定物体上，同时仍能记住整个房间的布局。

他们是如何构建的（“FocusDepth"工具）

为了实现这一目标，他们构建了一个名为FocusDepth的新系统。你可以把它想象成一个两人协作团队：

建筑师（Depth Anything）： 这是一个超级聪明的 AI，已经看过数百万张照片。它了解世界的整体形状（即“全局几何”）。它非常擅长理解房间，但它不知道你对哪个物体感兴趣。
定位器（Segment Anything Model 3）： 这是一个非常擅长听从指令的 AI。如果你说“看那个咖啡杯”，或者在它周围画一个框，这个 AI 就能确切知道那个物体在哪里。

魔法粘合剂（MSSA）：
棘手之处在于如何让这两者协同工作而不致混淆。如果简单地将它们强行拼凑在一起，“定位器”可能会意外地告诉“建筑师”忘掉墙壁，或者“建筑师”可能会忽略咖啡杯。

作者创建了一种特殊的连接器，称为多尺度空间对齐融合（MSSA）。

类比： 想象“建筑师”正在绘制整个城市的地图。“定位器”拿着一支红色记号笔说：“标出图书馆！”
问题： 如果定位器只是大喊“图书馆！”而不指明位置，建筑师可能会标错建筑物，或者把整张地图都涂成红色。
解决方案（MSSA）： 这种连接器确保红色标记被精确地放置在地图上的图书馆位置，且处于正确的缩放级别，而不会弄脏城市地图的其他部分。它允许系统将“聚焦于杯子”的指令仅注入到杯子所在的位置，从而锐化边缘并准确获取距离，同时让背景墙壁保持建筑师原本绘制的样子。

试驾（FDE-Bench）

为了证明这行之有效，团队不能仅使用旧测试，因为旧测试只检查 AI 是否搞对了整张图片。他们需要一种能检查 AI 是否搞对了特定物体的测试。

他们建立了一个名为FDE-Bench的新测试平台。

设置： 他们收集了数千张图像，并将其与特定目标（如“红色的杯子”或“机械臂”）以及正确的 3D 距离数据配对。
规则： 该测试不仅仅问“这张图片是 3D 的吗？”，而是提出三个具体问题：
1. 前景： 目标物体的距离是否准确？
2. 边界： 目标物体的边缘是否锐利清晰（不模糊）？
3. 全局： 在聚焦目标时，AI 是否搞乱了房间的其他部分？

他们的发现

当他们用新系统（FocusDepth）与旧的、标准的系统进行对比测试时：

更锐利的边缘： 当 AI 被指示聚焦于某个物体时，该物体的边缘变得更加清晰。它不再看起来像一个模糊的团块。
更高的准确性： 特定目标物体的距离比以前准确得多。
无附带损害： 至关重要的是，虽然 AI 在目标物体上的表现更好，但它并没有破坏图像的其他部分。背景在几何上依然保持一致。

他们还测试了如果给 AI 一个“错误”的指令（比如当你意指杯子时却指向香蕉）会发生什么。该系统仍然比旧标准表现更好，但显然，当指令正确时，结果最佳。

结论

这篇论文介绍了一种计算机感知深度的新方法。它不再同等地对待图像的每一部分，而是允许计算机聚焦于你选择的特定物体，使该物体的 3D 形状和边缘更加清晰，同时保持场景其余部分的自然外观。他们通过构建一个专门用于测量这种“聚焦”能力的新测试套件，证明了这一方法的有效性。

技术摘要：可聚焦单目深度估计

问题定义

当前的单目深度基础模型（如 Depth Anything、UniDepth、Metric3D）在跨域恢复稠密场景几何方面表现卓越。然而，它们主要采用均匀、逐像素的目标函数进行优化，平等对待所有图像区域。这种“以图像为中心”的方法无法区分用户指定或任务相关的目标区域与周围上下文。在机器人和具身智能等应用中，目标物体附近的精确深度和清晰的边界过渡至关重要，而均匀的全局优化往往导致前景精度被低估和边界模糊，即使全局场景几何保持连贯。

为填补这一空白，作者提出了可聚焦单目深度估计（FDE）。FDE 将深度估计任务从均匀稠密预测重构为以目标为条件的推理。给定输入图像和用户指定的目标区域（通过边界框或文本提示），模型需满足以下要求：

优先保证前景目标区域的深度精度。
保持目标边界处清晰的深度过渡。
维持整幅图像的全局场景几何连贯性。

方法：FocusDepth

为解决 FDE 任务，作者提出了FocusDepth，这是一个基于提示条件的单目相对深度估计框架。其核心直觉在于结合可提示分割（Segment Anything Model 3，简称 SAM3）与稠密几何基础模型（Depth Anything 系列，简称 DAs）的互补先验。

架构概述

FocusDepth 包含两个主要分支：

几何深度分支：利用预训练的 DAs（DA2 或 DA3）提取多尺度几何令牌（ $X_g$ ），表征全局场景结构。
提示条件分支：利用 SAM3 处理输入图像和用户提示（边界框或文本），生成提示条件令牌特征（ $X_p$ ）以识别目标区域。

核心模块：多尺度空间对齐融合（MSSA）

核心创新是MSSA模块，它在不破坏预训练几何先验的前提下，将提示条件线索注入几何表示中。MSSA 在几何编码器的每个尺度上运行，涉及三个关键步骤：

尺度级空间对齐：由于两个分支在同一 ViT 补丁网格上处理图像，令牌在空间上呈一一对应关系。提示令牌被投影到特定尺度的几何令牌空间，并与几何令牌拼接。
路由条件融合：轻量级混合专家（MoE）层处理拼接后的令牌。路由器计算输入依赖的专家输出组合，使模型能够根据空间位置应用不同的校正，而无需针对特定区域（前景与背景）进行显式监督。
门控融合输出：为防止提示线索覆盖全局几何，可学习门控（ $G_s$ ）控制注入过程。最终特征为路由特征与原始几何令牌的加权和： $Y_s = G_s \odot F_s + (1 - G_s) \odot X_g^s$ 。这确保了提示条件的校正被选择性应用，同时保留全局先验。

学习目标与训练

模型采用区域感知损失函数进行训练，根据真实掩码将图像划分为三个区域：前景、边界和全局。总损失（ $L$ ）为这些区域上计算的深度损失（ $L_{fg}, L_{bd}, L_{glb}$ ）之和，加上辅助分割损失（ $L_{seg}$ ）。

训练遵循两阶段策略以确保稳定性：

第一阶段：仅优化 MSSA 模块，冻结所有预训练骨干网络，使 MSSA 在不干扰几何先验的情况下学习对齐。
第二阶段：在冻结编码器的同时，优化深度解码器、SAM3 提示引导 Transformer 和辅助分割解码器，连同 MSSA 一起进行优化。

基准测试：FDE-Bench

为评估 FDE，作者建立了FDE-Bench，这是一个将现有 RGB-D 数据集转换为标准化图像–目标–深度三元组的基准套件。

数据集：构建自 NYU v2、TUM RGB-D、YCB-Video、RLBench 和 RoboTwin，涵盖室内场景、桌面物体和具身操作环境。
规模：包含 25.29 万个训练三元组和 7.25 万个验证三元组，跨越 972 个目标类别。
评估指标：与报告全图误差的标准基准不同，FDE-Bench 在三个互补区域评估性能：
- 前景：目标局部深度质量。
- 边界：深度过渡的锐度。
- 全局：全图几何一致性。
  报告的指标包括 $\delta_1$ 和 AbsRel，按目标逐个计算，以避免被包含大量目标的图像主导。

实验结果

在 FDE-Bench 上进行的实验将 FocusDepth 与零样本基础模型（UniDepth、Metric3D、DA2、DA3）及全局微调基线（DA2-ft、DA3-ft）进行了比较。

性能提升：FocusDepth 始终优于全局微调基线，特别是在以目标为中心的区域。例如，在带有边界框提示的 RLBench 上，与 DA3-ft 相比，FocusDepth(DA3) 将边界 AbsRel 从 0.073 降低至 0.049，前景 AbsRel 从 0.095 降低至 0.056，同时全局 AbsRel 也从 0.042 提升至 0.030。
提示鲁棒性：关于提示正确性的研究表明，虽然正确的提示能产生最佳结果，但即使提示错误或为空，其表现仍优于无提示基线，这表明提示条件分支即使在缺乏完美引导的情况下，也能提供有用的局部和全局线索。
定性分析：可视化结果显示，与标准微调相比，FocusDepth 在指定区域产生了更清晰的目标边界和更低的深度误差，且未在背景中引入伪影。

消融研究

在 RLBench 上的消融研究突出了特定设计选择的重要性：

空间对齐：破坏提示令牌与几何令牌之间的空间对应关系（打乱）会导致最显著的退化，使全局 AbsRel 最高增加 13.8%。这证实了空间对齐是关键设计因素。
特定尺度与路由融合：移除特定尺度融合或将 MoE 路由器替换为单一 MLP，会一致性地降低前景和边界精度，表明尺度感知和条件融合的必要性。
门控注入：移除门控机制会导致一致性的性能下降，证实了其在平衡提示校正与预训练几何先验方面的作用。
训练策略：单阶段训练方法削弱了局部细化能力，验证了两阶段策略在分离跨模型对齐与下游适应方面的有效性。

意义与主张

本文主张建立FDE作为区域优先深度估计的具体任务定义，超越均匀以图像为中心目标的局限性。作者断言，FocusDepth通过 MSSA 成功将基于提示的目标证据转移到稠密几何表示中，实现了空间对齐和门控条件细化。

其意义在于证明可以在不损害全局场景几何连贯性的前提下，提高局部目标精度和边界保真度。作者将 FDE 定位为需要与特定物体进行精确交互的应用（如机器人操作）的必要步骤，在这些场景中，标准深度模型可能无法优先处理相关几何。文章最后指出了局限性，例如需要更大规模的联合训练以及对下游任务应用的进一步探索，这些留待未来工作完成。