💻 computer science

Lite Any Stereo V2: Faster and Stronger Efficient Zero-Shot Stereo Matching

本文介绍了 Lite Any Stereo V2 (LAS2)，这是一个超快速立体匹配模型系列，通过采用一种延迟优化的仅 2D 代价聚合架构和一种新颖的三阶段训练策略，在挑战效率与零样本泛化权衡的同时，在资源受限的平台上实现了具有最先进水平的精度以及显著降低的推理延迟。

原作者： Junpeng Jing, Ronglai Zuo, Zhelun Shen, Shangchen Zhou, Rolandos Alexandros Potamias, Stefanos Zafeiriou, Krystian Mikolajczyk, Jiankang Deng

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Junpeng Jing, Ronglai Zuo, Zhelun Shen, Shangchen Zhou, Rolandos Alexandros Potamias, Stefanos Zafeiriou, Krystian Mikolajczyk, Jiankang Deng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一对眼睛（两个摄像头），正试图弄清楚场景中物体距离有多远。这被称为立体匹配（Stereo Matching）。长期以来，最好的“眼睛”都是庞大、沉重且缓慢的——就像一台超级计算机在试图解开一个复杂的谜题。它们虽然准确，但对于机器人或自动驾驶汽车来说太重了，无法随身携带。另一方面，“轻量级”的眼睛虽然跑得快、易于携带，但当它们看到从未练习过的陌生场景时，往往会感到困惑。

这篇论文介绍了 Lite Any Stereo V2 (LAS2)，这是一个全新的“眼睛”家族，它声称自己既速度极快，又异常聪明，即使在没有任何预先练习的情况下观察全新的场景（这种概念称为“零样本/zero-shot”学习）时也是如此。

以下是他们实现这一目标的原理，通过简单的类比进行了拆解：

1. 新蓝图：一个 2D 捷径

之前的快速模型试图通过减少数学运算来提高效率，但它们仍然使用复杂的 3D“脚手架”来构建对深度的理解。作者意识到，在真实的芯片（如手机或汽车中的芯片）上，这种 3D 脚手架实际上运行得很慢，即使其数学逻辑看起来很简单。

类比： 想象你在整理一个图书馆。旧的快速模型就像是试图将书堆成 3D 塔来节省空间，但这需要不停地爬上爬下梯子。LAS2 说：“让我们直接把书平铺在 2D 书架上。”
结果： 通过切换到仅限 2D 的框架，他们移除了沉重的“攀爬”过程。这使得模型在实际硬件上的运行速度显著提升，且没有丧失清晰感知深度的能力。

2. 三阶段训练营

为了让这些轻量级的眼睛足够聪明以应对现实世界，作者不仅仅是向它们喂入数据；他们还让它们经历了一个严格的三阶段训练营：

第一阶段：教室（合成数据）。
模型首先在一个完美的、计算机生成的虚拟世界（类似于电子游戏）中学习，那里的答案是 100% 正确的。这为它打下了坚实的基础。
第二阶段：压力测试（自我蒸馏）。
现在，模型必须学会如何在混乱的环境中保持冷静。老师（模型本身）向学生展示同一张图片，但加入了奇怪的滤镜、模糊效果或颜色变化。目标是教会模型识别物体的“形状”，而不仅仅是特定的颜色或光照。这就像是无论朋友戴着墨镜、帽子还是站在黑暗中，你都能认出对方的脸。
第三阶段：现实世界实习（真实世界的伪标签）。
这是巨大的飞跃。模型被派往现实世界去观察没有标签的照片。由于没有标准答案，一个“超级聪明的老师”（一个庞大、缓慢的 AI）会先猜测答案。
- 过滤器： 但这个超级聪明的老师有时会犯错，尤其是在处理像反光的窗户或天空这类棘手问题时。LAS2 使用了一个过滤器，在学生学习之前，将老师错误的猜测剔除掉。
- 安全网： 如果学生试图从一张非常困难、令人困惑的照片中学习，系统会给学生的想法设置一个“上限（cap）”。这可以防止学生因为一个糟糕的例子就改变自己的判断，从而导致忘记之前学到的所有知识。

3. 结果：既快又强

论文声称，这种新方法创造了一个从小型（S）到大型（H）的模型家族，并且击败了竞争对手：

速度： 在强大的服务器和小型边缘设备（如机器人中使用的 NVIDIA Orin 芯片）上，LAS2 的运行速度比之前的最佳快速模型快 1.6 倍至 2.7 倍。
准确度： 尽管它很快，但在观察从未见过的真实场景时，它比其他快速模型更准确。它甚至接近了那些庞大、缓慢的“超模”模型的准确度，但运行速度要快得多。
视觉质量： 在观察棘手场景（如汽车上的反光或长廊）时，与旧方法相比，LAS2 生成的深度图更加干净，噪点更少。

它做不到什么（局限性）

作者坦诚地说明了其局限性。即便有了这些改进：

差距： 它仍然无法完全达到那些使用巨大“基础（foundation）”知识的庞大、缓慢模型的水平。
数据瓶颈： 它受限于高质量、真实世界立体数据量的不足。目前还没有足够的带有标签的真实世界照片来训练它达到完美。
“不可能”的场景： 与所有当前技术一样，它在处理极其困难的情况时仍然表现挣扎，例如透过镜子观察、观察透明玻璃墙，或者应对刺眼的强光。

总结： LAS2 是一种构建“聪明眼睛”的新方法，它既轻巧到可以装进口袋，又敏锐到可以在从未造访过的地方清晰地观察世界。他们通过简化内部结构，并结合了完美的模拟环境与经过过滤的现实世界猜测来进行教学，实现了这一目标。

技术摘要：Lite Any Stereo V2 (LAS2)

问题陈述

近年来的立体匹配研究取得了显著的进展，特别是通过大规模基础模型和迭代优化流水线实现了极高的精度。然而，这些高性能方法通常依赖于计算昂贵的 3D 代价聚合（cost aggregation）、沉重的骨干网络或额外的单目深度先验，这使得它们难以部署在资源受限的平台（如边缘设备）上。相反，现有的高效立体匹配模型虽然推理速度更快，但通常被认为缺乏强大的零样本泛化能力，往往需要针对特定领域进行微调。本文挑战了“轻量级模型无法在不牺牲效率的情况下实现强零样本泛化”这一假设，旨在弥合高精度与低延迟之间的差距。

方法论

1. 架构设计：仅 2D 代价聚合

作者提出了 Lite Any Stereo V2 (LAS2)，这是一个以实际部署延迟作为主要优化目标（而非仅仅是理论上的乘加运算次数 MACs）而开发的模型系列。

特征提取： 不同于使用会引入显著开销的沉重单目深度先验（如 DepthAnything），LAS2 使用了常规的 ImageNet 预训练骨干网络。具体而言，作者选择了 FasterNet 而非 MobileNet 变体，因为尽管 FasterNet 的 MACs 略高，但它在 GPU 和边缘设备上的实际推理速度表现更优。
代价聚合： 一个关键的架构转变是移除了高精度模型中常见的 3D 代价聚合组件。LAS2 采用了纯 2D 代价聚合框架，使用带有步长残差层和转置卷积的 U-Net 式设计。这种设计避免了 3D 卷积的计算瓶颈，同时保持了几何推理能力。
模型变体：
- LAS2-S/M/L： 前馈变体，具有递增的容量（聚合模块的深度不同），旨在满足不同的效率预算。
- LAS2-H： 一种迭代变体，它使用前馈的 LAS2-M 来生成初始视差和中间表示，随后通过上下文引导的循环更新模块（ConvGRU）进行精细化处理，以实现更高的精度。

2. 训练策略：三阶段流水线

为了在没有真实世界地面真值（ground truth）的情况下实现鲁棒的零样本泛化，作者引入了一个三阶段训练策略：

第一阶段（合成监督）： 模型从一个大型混合合成数据集（约 1.8M 对，包括 SceneFlow、FallingThings、FSD 等）开始从头训练，使用标准的监督视差回归损失。
第二阶段（自蒸馏）： 为了提高对输入扰动的鲁棒性并学习领域不变的表示，采用了自蒸馏策略。一个“教师”模型（在干净数据上训练）通过特征对齐损失来引导“学生”模型（在扰动数据上训练）。作者发现固定教师策略的效果最好。
第三阶段（现实世界知识蒸馏）： 模型在 0.5M 无标签的真实立体图像对上进行微调。伪标签由高容量教师模型（FoundationStereo）生成。为了确保可靠性，作者引入了以下机制：
- 伪标签过滤： 结合左右一致性检查（LR consistency checks）、边缘感知掩码（抑制无纹理区域的伪影）以及天空分割掩码，以过滤掉不可靠的监督信号。
- 误差截断（Error Clamping）： 一种在阈值 ( $\tau_{clamp}$ ) 处截断逐像素视差损失的操作。这可以防止高误差像素（常见于困难的真实场景区域）主导梯度并导致从合成到现实的迁移过程不稳定。

核心贡献

LAS2 模型系列： 一个超快速的立体匹配家族（S, M, L, H），在保持显著更低延迟的同时，实现了高效方法中的最先进（SOTA）精度。
面向部署的架构： 对立体匹配架构进行了系统性的重新设计，优先考虑实际推理延迟而非理论 MACs，引入了 2D 仅有的代价聚合框架，其性能在边缘硬件上优于混合 3D-2D 设计。
三阶段训练策略： 一种结合了合成监督、自蒸馏和现实世界知识蒸馏的新颖流水线，使高效模型能够泛化到各种未见的场景。
可靠性机制： 引入了伪标签过滤和误差截断操作，显著提高了在无标签真实数据上训练的稳定性和有效性。

实验结果

作者在四个真实世界基准测试（KITTI 2012, KITTI 2015, ETH3D, Middlebury）以及一个特定天气的子集（DrivingStereo）上进行了广泛的实验。

精度 vs. 延迟：
- LAS2-M（前馈型）在所有四个基准测试中均一致优于之前的 SOTA 高效方法 LAS，在降低误差的同时，在 H200 上快 1.6 倍，在 Orin 8G 上快 1.9 倍。
- LAS2-H（迭代型）实现了比迭代方法 Fast-FoundationStereo 更强的整体零样本性能，且在 H200 和 Orin 上的推理速度分别快了 1.8 倍和 2.7 倍。
零样本泛化： 与现有的高效基准模型相比，LAS2 模型在处理野外图像时展现出强大的泛化能力，能够生成更干净、伪影更少的视差图（例如在反射、低纹理区域和复杂布局中）。
消融实验： 作者证实了 2D 聚合设计对延迟至关重要，FasterNet 在实际速度上优于 MobileNet，并且三阶段训练策略（特别是第三阶段的过滤和截断）对于性能提升至关重要。
排行榜表现： 在 KITTI 2015 排行榜上，经过微调的 LAS2-M 在提交时达到了所有已发表高效方法中的最佳结果。

意义与主张

本文声称，轻量级立体匹配模型可以在不牺牲部署效率的情况下实现强大的零样本泛化，有效地缩小了轻量级模型与高精度模型之间的性能差距。通过将重点从理论复杂度（MACs）转向实际推理延迟，并采用针对无标签数据的鲁棒训练策略，LAS2 为资源受限硬件上的立体匹配提供了一个实用的、开箱即用的解决方案。作者将 LAS2 定位为实现高质量立体视觉在机器人技术和自动驾驶等对速度和泛化能力均有严苛要求的现实应用场景中的重要一步。

文章也承认了局限性，指出与以往基于先验的高精度方法相比仍存在性能差距，且极具挑战性的场景（如严重的反射、透明表面）仍然是一个开放性难题。然而，文章断言所提出的方法为高效立体匹配提供了一个平衡且可部署的解决方案。