SeeClear：基于生成性不透明化技术的可靠透明物体深度估计

1. 研究背景与问题定义

核心问题：单目深度估计（Monocular Depth Estimation）在处理透明物体（如玻璃、透明塑料）时面临巨大挑战。

• 原因：透明物体的折射（Refraction）和透射（Transmission）效应违反了传统深度网络所依赖的光度假设（Photometric Assumptions），导致现有的最先进（SOTA）深度估计模型在透明区域产生不稳定或错误的深度预测。
• 现有方法的局限：
  • 针对透明物体的微调方法（如 Depth4ToM, DKT 等）通常依赖于大规模成对的透明 RGB-深度数据，这些数据在现实中难以获取。
  • 这些方法通常针对特定骨干网络进行微调，当基础深度模型（Foundation Depth Models）更新时，需要重新训练，缺乏通用性和兼容性。
  • 现有的通用深度模型在透明物体上往往将表面预测为半透明或背景，导致几何结构丢失。

目标：提出一种即插即用（Plug-and-Play）的框架，能够在不修改或不重新训练现有基础深度模型的前提下，实现对透明物体的稳定、准确深度估计。

2. 方法论 (Methodology)

作者提出了 SeeClear，这是一个两阶段的框架，核心思想是将“透明物体深度估计”问题重构为“生成性不透明化（Generative Opacification）”问题。

2.1 整体流程

1. 透明区域定位：利用分割模型（如 Trans4Trans + SAM 3）获取透明物体的掩码（Mask）。
2. 生成性不透明化：基于扩散模型（Diffusion Model），将透明区域的折射外观转换为几何一致的**不透明（Opaque）**外观。
3. 掩码细化与合成：使用掩码细化模块（Mask Refinement Module, MRM）生成平滑的混合掩码，将生成的不透明区域与原始背景进行 Alpha 混合。
4. 深度估计：将合成后的图像输入到现成的单目深度估计模型（如 Depth Anything V3, MoGe-2）中，直接输出深度图。

2.2 核心模块详解

A. 生成性不透明化 (Generative Opacification)

• 模型架构：采用条件潜在扩散模型（Conditional Latent Diffusion Model）。
• 输入条件：
  • 原始透明图像 $I_{tr}$。
  • 透明物体掩码 $M_{seg}$（提供空间引导，确保几何形状保留）。
  • 语义条件：使用 CLIP 图像编码器的类别 Token（Class Token）作为条件，确保生成的物体保持原有的语义身份（如杯子还是杯子），同时去除折射纹理。
• 训练目标：
  • 去噪损失 ($L_{LDM}$)：标准的 DDPM 损失，在潜在空间监督去噪过程。
  • 感知损失 ($L_{LPIPS}$)：在像素空间计算，利用 VGG 特征监督生成图像与真实不透明图像在纹理和结构上的一致性，避免 VAE 压缩带来的细节丢失。
• 推理：使用 UniPC 求解器，仅需 10 步即可生成高质量的不透明图像。

B. 掩码细化模块 (Mask Refinement Module, MRM)

• 目的：解决直接拼接导致的边缘伪影（Halo）和颜色漂移问题。
• 机制：一个轻量级的全卷积网络，输入为生成的不透明图像、原始透明图像和增强后的掩码，输出一个软混合掩码（Soft Blending Mask）。
• 作用：在推理阶段二值化后，用于精确控制生成区域与原始背景的融合，确保场景上下文（Context）不被破坏。

C. 数据集构建 (SeeClear-396k)

• 为了训练生成模型，作者构建了包含 396,000 对透明 - 不透明渲染图像的大规模合成数据集。
• 特点：
  • 包含 11 种日常透明物体和 10 个室内场景。
  • 对同一几何结构，分别渲染透明材质（玻璃）和固定颜色的漫反射材质（不透明）。
  • 严格对齐深度、法线、掩码和相机姿态，覆盖多种光照、视角和形状变化。

3. 主要贡献 (Key Contributions)

1. 新框架 SeeClear：提出了一种将透明区域转换为几何一致的不透明图像的框架，使得现有的通用深度模型无需微调即可处理透明物体。
2. 即插即用适配器：设计了一个包含掩码预测头的适配器，利用扩散模型进行外观转换，兼容各种基础深度骨干网络。
3. 大规模数据集：构建了 SeeClear-396k，为透明到不透明的外观转换提供了高质量的成对监督数据。
4. 性能突破：在合成和真实世界数据集上，该方法显著优于现有的专门针对透明物体的深度估计方法和通用深度模型，且无需针对特定数据集进行训练。

4. 实验结果 (Experimental Results)

4.1 定量评估

• 数据集：ClearGrasp（真实世界 RGB-D）和 TransPhy3D（合成物理渲染）。
• 对比基线：包括专门针对透明物体的模型（Depth4ToM, DKT, MODEST, D4RD）和通用深度模型（Depth Anything V3, MoGe-2, Marigold 等）。
• 关键发现：
  • 零样本（Zero-shot）表现：SeeClear 结合 Depth Anything V3 或 MoGe-2，在透明物体区域（ToM）及全图（All）上，RMSE 等指标均显著优于未微调的基线模型。
  • 超越微调模型：在 ClearGrasp 的透明区域，SeeClear 在零样本设置下，RMSE 从 24.03mm (DA3) 降至 21.45mm，甚至优于在测试集上微调过的 DKT 模型（在 6/8 个指标上）。
  • 通用性提升：对于 MoGe-2，RMSE 从 56.83mm 大幅降低至 26.62mm，$\delta_{<1.025}$ 从 5.63% 提升至 42.75%。

4.2 定性评估

• 视觉效果：SeeClear 生成的深度图在透明物体表面（如玻璃杯、瓶子、窗户）表现出清晰的几何结构和准确的深度，消除了其他方法常见的“半透明”、“模糊边界”或“深度断裂”现象。
• 复杂场景：在处理液体、多层遮挡、透明与不透明物体混合的场景中，SeeClear 能准确恢复物体轮廓和开口（如杯口），而基线模型往往无法识别这些细节。

4.3 消融实验

• 定位方式：使用精确的分割掩码（Mask）优于边界框（BBox）或点热力图，因为后者会导致不透明化区域不准确。
• 语义条件：CLIP 的类别 Token（Class Token）作为条件效果最好，能保持物体语义一致性。
• 损失函数：引入感知损失（LPIPS）比单纯的 L1 或梯度损失更能恢复几何细节。
• 合成策略：使用 MRM 进行 Alpha 混合比直接硬拼接更能避免边缘伪影和背景漂移。

5. 意义与展望 (Significance & Conclusion)

• 技术意义：SeeClear 成功解耦了“外观不透明化”与“深度推理”两个任务。它证明了通过生成式方法修正输入图像的分布（将透明转为不透明），可以激活基础深度模型在透明物体上的潜力，而无需重新训练庞大的深度模型。
• 应用价值：为机器人抓取、避障、物理场景理解等下游任务提供了更可靠的透明物体深度感知方案。
• 未来工作：计划扩展至视频深度估计，处理更复杂的非朗伯体材料（如镜面、多层透明物体），并引入时序一致性约束。

总结：SeeClear 通过“先转换，后估计”的策略，巧妙地解决了透明物体深度估计的难题，为通用深度模型在复杂材质场景下的应用开辟了新路径。