PromptStereo: Zero-Shot Stereo Matching via Structure and Motion Prompts

本文提出了一种名为 PromptStereo 的零样本立体匹配方法，通过设计基于单目深度基础模型解码器的提示循环单元（PRU），将单目结构提示与立体运动提示融入迭代细化过程，在保留单目先验的同时引入绝对立体尺度信息，从而实现了跨数据集的卓越零样本泛化性能。

要点

这篇论文介绍了一种名为 PromptStereo 的新技术，它的核心目标是让计算机像人眼一样，仅仅通过看两张照片（立体图像），就能精准地“看”出物体的远近（深度信息），而且不需要针对特定场景重新训练（即“零样本”能力）。

为了让你更容易理解，我们可以把立体匹配（Stereo Matching）想象成**“盲人摸象”的升级版**，或者更准确地说，是**“双筒望远镜找不同”的游戏**。

以下是用生活化的比喻和通俗语言对这篇论文的解读：

1. 核心问题：以前的“老手”遇到了瓶颈

以前的立体匹配方法（比如 RAFT-Stereo 等）就像是一个经验丰富的老工匠。

• 做法：它通过不断重复“看左图、看右图、对比差异、修正误差”这个过程（迭代）来算出深度。
• 缺点：这个老工匠虽然熟练，但他记性不好，且思维僵化。
  • 他只能处理训练时见过的场景（比如只在实验室练过手，到了野外就懵了）。
  • 他用来“记笔记”和“修正错误”的大脑模块（论文里叫 GRU）太小了，装不下太多复杂的几何知识。一旦遇到光线不好、物体透明或者没有纹理的墙壁，他就容易算错。

2. 新方案：PromptStereo 的“超级大脑”

这篇论文提出了一种新架构，相当于给老工匠换了一个拥有“超级直觉”的导师，并教他一套新的**“提示词”学习方法**。

核心创新一：Prompt Recurrent Unit (PRU) —— 换了一个“博学的大脑”

• 以前的做法：老工匠的大脑（GRU）是专门为了立体匹配从头训练的，里面没有关于“世界长什么样”的通用知识。
• 现在的做法：作者直接借用了单目深度基础模型（Monocular Depth Foundation Models，比如 Depth Anything）的“大脑”作为核心。
  • 比喻：这就好比老工匠不再从零开始学，而是直接聘请了一位见过全世界所有风景的“地理学家”当导师。这位导师脑子里已经装满了关于物体形状、远近的通用知识（先验知识）。
  • 效果：即使没见过的场景（比如从未见过的透明玻璃杯），这位导师也能凭借通用的几何直觉猜个八九不离十。

核心创新二：Structure Prompt & Motion Prompt —— 聪明的“提示词”

既然请来了“地理学家”，怎么把立体图像的信息告诉他呢？以前的方法像是硬把数据塞进他脑子里，容易把原有的知识搞乱。

• 新方法（Prompt）：作者设计了两个“提示词”（Prompts），像便利贴一样贴在导师的笔记上：
  1. 结构提示 (Structure Prompt)：告诉导师“这里有个物体的轮廓，虽然立体图看不太清，但单眼看到的结构是这样的”。
  2. 运动提示 (Motion Prompt)：告诉导师“左右眼看到的差异（视差）是这样的，请结合你的经验修正一下”。
• 比喻：这就像你在做数学题时，老师不直接给你答案，而是在旁边贴个便利贴提示你：“注意，这个图形是三角形的”或者“这里有个直角”。这样既利用了老师的知识，又不会干扰你的解题思路。

核心创新三：Affine-Invariant Fusion —— 先“对齐”再“融合”

在开始修正之前，需要把“立体图算出的距离”和“单眼看到的深度”统一到一个标准上。

• 比喻：就像要把**“米”和“英尺”**换算成同一个单位才能相加。作者发明了一种“仿射不变融合”方法，先把两个不同的深度图“对齐”（不管比例尺和偏移量），然后再把它们融合在一起。这保证了初始的估算不会跑偏太远。

3. 为什么它这么厉害？（实验结果）

• 零样本能力（Zero-Shot）：这是最牛的地方。以前模型在“室内”训练，去“室外”开车就瞎了。PromptStereo 因为借用了“地理学家”的通用知识，在没见过的场景（如雨天、透明物体、反光表面）下表现依然出色。
• 速度快：虽然大脑变聪明了，但作者优化了计算流程，去掉了那些笨重的“重置门”（Reset Gate），让迭代修正变得更直接、更快速。
• 结果：在多个公开测试集上，它的准确率（Bad 2.0 等指标）都刷新了纪录，特别是在那些最难搞的“透明物体”和“反光屏幕”场景下，表现远超之前的冠军模型。

总结

简单来说，PromptStereo 就是做了一件很聪明的事：
它不再让计算机死记硬背特定的场景，而是利用一个已经“见多识广”的单眼深度模型作为底座，然后通过**“提示词”**（结构提示和运动提示）把立体视觉的线索巧妙地引导进去。

这就好比：

以前是让一个刚毕业的学生去修车，遇到没见过的车型就束手无策；
现在是让一个拥有 20 年修车经验的老师傅（基础模型）来修车，再给他递一张**“这张图有点反光，注意看边缘”**的便签（Prompt）。

结果就是：修得更快、更准，而且什么车型都能修！

这篇论文证明了，在立体匹配领域，“提示词引导的迭代修正”（Prompt-guided iterative refinement）是一个非常有前途的新方向。

技术摘要

以下是基于论文《PromptStereo: Zero-Shot Stereo Matching via Structure and Motion Prompts》的详细技术总结：

1. 研究背景与问题 (Problem)

背景：
立体匹配（Stereo Matching）旨在从一对校正后的图像中估计稠密的视差图，是自动驾驶等 3D 场景理解任务的核心。近年来，随着单目深度基础模型（Monocular Depth Foundation Models，如 Depth Anything）的发展，零样本（Zero-Shot）立体匹配取得了显著进展。这些方法利用预训练的单目模型提取鲁棒特征或作为先验，避免了针对特定数据集的复杂特征提取模块设计。

现有问题：
尽管现有方法在特征提取和代价体构建方面利用了单目先验，但迭代细化阶段（Iterative Refinement Stage）的研究相对不足，限制了零样本泛化能力的进一步提升。

• GRU 的局限性： 主流方法（如 RAFT-Stereo）通常使用门控循环单元（GRU）进行迭代细化。然而，GRU 存在以下缺陷：
  1. 缺乏先验继承： GRU 独立于视觉基础模型，需从头训练，无法继承强大的单目深度先验。
  2. 表示能力受限： GRU 将隐藏状态限制在狭窄范围内，难以处理极端的视差变化或复杂的几何结构。
  3. 信息扭曲： GRU 通过直接卷积融合输入和隐藏状态，容易扭曲原始状态信息并压缩外部输入，导致引导信号模糊。

2. 方法论 (Methodology)

作者提出了 PromptStereo，一种基于提示（Prompt）机制的零样本立体匹配框架。其核心是用提示循环单元（Prompt Recurrent Unit, PRU）替代传统的 GRU，并结合仿射不变融合（Affine-Invariant Fusion, AIF）。

2.1 整体架构

PromptStereo 基于 MonSter 架构，包含特征提取、代价体构建、初始视差融合和迭代细化四个阶段。

• 特征提取： 利用冻结的 Depth Anything V2 提取单目相对深度和深度特征；利用预训练的 DINOv2 和特征迁移网络提取立体特征。
• 代价体构建： 遵循 IGEV-Stereo 策略，构建组间相关体积和全对相关体积。

2.2 核心模块

**A. 仿射不变融合 **(Affine-Invariant Fusion, AIF)

• 目的： 解决初始视差（来自代价体）缺乏全局几何一致性，以及单目相对深度存在尺度/平移模糊的问题。
• 机制： 将相对深度 $d_M$ 和初始视差 $d_0$ 进行仿射不变归一化（减去中位数，除以平均绝对偏差），消除尺度差异。
• 融合： 将归一化后的单目深度投影回视差空间，并结合置信度图（Confidence Map）与初始视差进行加权融合，生成更可靠的融合视差 $d_F$ 作为迭代起点。

**B. 提示循环单元 **(Prompt Recurrent Unit, PRU)
PRU 是本文的核心创新，它基于单目深度基础模型（如 DPT）的解码器架构构建，替代了传统的 GRU。

• 架构继承： 直接复用预训练的单目深度解码器层，天然继承了丰富的单目深度先验，具备更强的表示能力和可扩展性。
• 状态初始化： 将左图特征和经初始视差扭曲的右图特征拼接，生成初始隐藏状态，使模型在早期阶段即可学习立体对应关系。
• **提示机制 **(Prompts) 为了在不破坏单目先验的前提下引入立体信息，设计了两种提示：
  1. **结构提示 **(Structure Prompt, SP) 计算归一化后的当前视差与单目相对深度之间的差异（$D = |\hat{d}_k - \hat{d}_M|$）。该差异捕捉了单目与立体预测间的几何不一致区域，作为结构感知线索引导细化。
  2. **运动提示 **(Motion Prompt, MP) 利用局部代价体积（Local Cost Volume）和当前视差，编码立体相关的运动线索（如相关性）。
• 更新策略：
  • 摒弃了 GRU 的复位门（Reset Gate）和更新门（Update Gate）的复杂机制。
  • 采用更简单的残差更新策略：提示信号（SP/MP）仅在最高分辨率层注入，通过残差连接添加到隐藏状态。
  • 利用多分辨率架构，高分辨率隐藏状态用于计算更新门，低分辨率状态作为输入，减少了计算复杂度并提高了推理速度。

3. 主要贡献 (Key Contributions)

1. **提出 Prompt Recurrent Unit **(PRU) 一种基于单目深度基础模型解码器的新型循环单元。它直接继承单目深度先验，相比 GRU 具有更强的表示能力和可扩展性，解决了传统迭代单元难以利用基础模型先验的问题。
2. **设计结构提示 **(SP) 将单目结构线索和立体运动线索以“提示”形式注入 PRU，避免了直接融合导致的状态信息扭曲和引导模糊，实现了清晰的迭代引导。
3. **提出仿射不变融合 **(AIF) 一种简单有效的初始视差融合策略，通过归一化处理解决了单目深度与立体视差间的尺度/平移模糊，提升了初始化的几何一致性。
4. SOTA 性能： 提出的 PromptStereo 在多个数据集（包括 KITTI, Middlebury, ETH3D, DrivingStereo, Booster）上实现了零样本泛化的最先进（State-of-the-Art）性能，同时在推理速度上保持相当或更快。

4. 实验结果 (Results)

• 零样本泛化能力：
  • 在 Scene Flow 训练集上，PromptStereo 在 KITTI、Middlebury 2021 等基准测试中均取得 SOTA 结果。例如，在 Middlebury 2021 上，相比基线 MonSter，Bad 2.0 误差降低了近 50%。
  • 在 Unlimited（无限训练集，混合多个大规模数据集）训练设置下，PromptStereo 表现依然卓越，甚至在 Booster 数据集（包含高反光和透明表面等极端场景）上比第二名 MGStereo 提升了 50% 以上，证明了 PRU 强大的泛化能力。
• 收敛速度与效率：
  • 消融实验表明，PromptStereo 收敛速度显著快于 MonSter。在 Middlebury 2021 上，仅需 16 次迭代即可达到近最优性能，而 MonSter 需要更多迭代。
  • 推理速度方面，PromptStereo 与基线模型相当或更快（例如在 Scene Flow 上推理时间从 0.64s 降至 0.36s）。
• 通用性： 将 PRU 替换到 RAFT-Stereo 和 IGEV-Stereo 中，均能提升精度且保持推理速度不变，证明其作为通用迭代单元的潜力。
• 可视化： 在纹理缺失、反光、透明物体等困难场景下，PromptStereo 能更准确地预测视差，细节保持更好。

5. 意义与影响 (Significance)

• 范式转变： 本文指出，利用基础模型进行零样本立体匹配的关键不仅在于特征提取，更在于迭代细化阶段。通过“提示（Prompt）”机制将基础模型的先验知识有效地引导至迭代过程中，是一个极具前景的方向。
• 架构创新： 打破了 GRU 在立体匹配迭代细化中的垄断地位，证明了基于预训练基础模型解码器的架构在特定任务（立体匹配）中具有更好的适应性和性能。
• 实际应用价值： 在无需针对特定场景重新训练的情况下，PromptStereo 能够适应从室内到室外、从晴天到极端天气的多种场景，为自动驾驶等需要高鲁棒性深度感知的实际应用提供了强有力的解决方案。

总结： PromptStereo 通过引入“结构提示”和“运动提示”，将强大的单目深度先验无缝融入立体匹配的迭代细化过程，成功解决了传统 GRU 架构在零样本泛化中的瓶颈，实现了精度与效率的双重突破。