💻 computer science

Towards Robust Driving Perception: A Flexible Scale-Driven Family for Self-Supervised Monocular Depth Estimation

本文介绍了 FlexDepth，这是一个灵活的、由尺度驱动的自监督单目深度估计模型系列，它利用静态-动态解耦训练策略和尺度驱动解码器，在不需要真值或辅助信息的情况下，在资源受限的汽车边缘设备上实现了最先进的性能和实时效率。

原作者： Zhaowen Zhu, Li Zhang, Yujie Chen, Tian Zhang, Yingjie Wang, Mingxia Zhan

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhaowen Zhu, Li Zhang, Yujie Chen, Tian Zhang, Yingjie Wang, Mingxia Zhan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图猜测房间里每样东西的距离，但你只有一个眼睛（单个摄像头），而且没有尺子。这就是**单目深度估计（Monocular Depth Estimation）**所面临的挑战。对于自动驾驶汽车来说，这就像是仅凭一段视频画面，就要在繁忙的高速公路上行驶，却不知道车辆或行人究竟离自己有多远。

长期以来，计算机在处理这类问题时一直很吃力，尤其是在物体移动时。如果一辆车驶过，计算机就会感到困惑，因为它会假设整个世界都是静止的。此外，让这些计算机变得足够聪明以看清世界，通常意味着要让它们变得庞大且缓慢，就像试图在一台微小的智能手机电池上运行一台超级计算机一样。

这篇论文介绍了一个名为 FlexDepth 的全新 AI 模型家族。你可以把 FlexDepth 想象成一套为自动驾驶汽车准备的“智能、可调节眼镜”，它共有五种尺寸，从一副微小的老花镜（Flex-Nano）到一副重型双筒望远镜（Flex-X-Large）。无论尺寸如何变化，它们都被设计得既快速、准确，又能应对现实驾驶中的各种混乱情况。

以下是他们实现这一目标的原理，通过简单的解释说明如下：

1. “尺度驱动”解码器（智能放大器）

想象一下你正在绘制一张城市地图。如果你只是简单地将一张模糊的小草图拉伸变大，建筑物的边缘会看起来很模糊，道路也会看起来歪歪扭扭。传统的 AI 就是这样做的；它尝试用简单的数学方法来放大图像，但这会导致细节模糊。

FlexDepth 使用了一种特殊的工具，称为尺度驱动解码器（Scale-Driven Decoder, SDD）。这个工具并不只是简单地拉伸图像，而是像一个动态建设团队。

对于小型模型（如 Flex-Nano）： 它使用一个轻量、高效的团队，专注于速度，确保汽车不会出现延迟。
对于大型模型（如 Flex-X-Large）： 它会调动一个更精细的团队，额外关注物体的边缘和纹理。
神奇之处： 它不仅仅是在猜测边缘在哪里，它还会主动对图像进行“重采样”，通过观察内容来决定精确放置像素的位置。这使得即使在图像被放大的过程中，汽车和树木的边界依然能保持清晰锐利。

2. “两阶段”训练（静态 vs 动态演练）

对于自动驾驶 AI 来说，最大的难题之一是移动物体。如果一辆车开过，AI 可能会认为整个世界都在移动，或者它会对这辆车离多远产生困惑。

作者通过两阶段训练策略解决了这个问题，这就像是给 AI 学生进行的两个阶段的演练：

第一阶段（基础知识）： AI 学习理解世界以及摄像头的移动方式，就像学生学习交通规则一样。
第二阶段（“找不同”测试）： AI 会看到训练开始时和结束时的同一个场景。
- 静态物体（如建筑物和树木）在两个版本中看起来是一样的。AI 学会了信任这些物体。
- 动态物体（如其他车辆或行人）因为移动而在视觉上发生了变化。AI 会学会说：“等等，这部分发生了变化！我暂时还不能完全信任我对这个移动物体的深度判断。”

通过将“静止”的世界与“移动”的世界分开，AI 学会了忽略干扰性的运动，并专注于获取稳定的背景深度，这实际上也有助于它更好地理解那些移动的物体。

3. 结果：快速、轻量且清晰

论文声称 FlexDepth 是一个可以适配任何车辆的“家族”模型，从廉价的传感器到高端的自动驾驶汽车都能胜任。

微型模型 (Flex-Nano)： 它极其轻量，仅需 0.7 GFLOPs（衡量计算能力的指标）。它可以在移动芯片上以 37.6 帧/秒 的速度运行。这就像是一个动作极快、能在交通流中紧跟节奏且不会感到疲劳的短跑选手。
大型模型 (Flex-X-Large)： 它最为精准，在标准的驾驶测试（KITTI 和 Cityscapes）中击败了几乎所有其他模型，同时仍然比许多“沉重”的竞争对手更快。
无需作弊： 与其他一些需要额外传感器（如流传感器）或预设标签来进行学习的方法不同，FlexDepth 完全通过观察世界如何变化，仅从视频素材中自主学习。

总结

简而言之，这篇论文提出了 FlexDepth，这是一个让自动驾驶汽车能够快速、清晰地“看见”深度的灵活系统。它使用了一个智能、可调节的解码器来保持边缘锐利，并使用了一种两步训练法来防止移动车辆干扰系统。无论汽车需要的是一个微小、快速的处理器，还是一个强大的处理器，FlexDepth 都能通过缩放自身规模，提供清晰、安全的道路视野。

技术摘要：FlexDepth —— 一种面向自监督单目深度估计的可扩展规模驱动型模型家族

1. 问题陈述

自监督单目深度估计（MDE）对于自动驾驶和机器人技术至关重要，因为它不依赖于密集的地面真值深度标签。然而，现有方法在复杂的驾驶环境中面临显著局限性：

尺度与鲁棒性的权衡： 大多数轻量化模型依赖于单尺度设计或简化的解码器，导致在动态场景（如移动车辆、行人）中性能下降，且在物体边界处的结构保真度较差。
动态处理的复杂性： 设计用于处理动态物体的算法往往会引入过高的复杂度、辅助任务（如光流、语义分割）或沉重的骨干网络（如 Vision Transformers），使其不适用于资源受限的边缘设备。
基础模型的局限性： 虽然有监督的基础模型（如 Depth Anything V2）提供了强大的零样本泛化能力，但其对大规模数据集的依赖和沉重的计算需求阻碍了其在实时、基于边缘的汽车场景中的部署。

核心挑战在于：如何在保持数据效率和边缘硬件可部署性的同时，缩小轻量化自监督模型与大型有监督模型之间的鲁棒性差距。

2. 方法论

作者提出了 FlexDepth，这是一个专为动态驾驶场景定制的规模驱动型自监督 MDE 模型家族。该架构包含三个主要创新点：

A. 规模驱动解码器 (Scale-Driven Decoder, SDD)

不同于使用固定流水线（预卷积 $\to$ 上采样 $\to$ 拼接）的传统解码器，FlexDepth 引入了一个能够根据模型规模（Nano, Small, Medium, Large, X-Large）自适应选择组件的解码器。

后卷积设计： 作者移除了预卷积阶段，以防止全局语义信息的不可逆丢失。相反，他们专注于后卷积 ( $C$ $C$ )、上采样 ( $U$ $U$ ) 和预测头 ( $P$ $P$ )。
- 小规模模型 (Nano/Small)： 利用高效瓶颈结构 (High-Efficiency Bottlenecks, HEB) 以确保梯度流稳定性，并采用传统的预测头顺序。
- 大规模模型 (Medium/X-Large)： 利用具有跨阶段局部特征捕获能力的高性能瓶颈结构 (High-Performance Bottlenecks, HPB) 以及反转预测头（先上采样后预测），以利用高通道特征的一致性。
动态上采样 ( $U$ )： 用两阶段过程取代标准的双线性插值：偏移生成与动态重采样。通过一个卷积层根据语义内容预测偏移量 ( $\Delta P$ )，使模型能够从特征图中自适应地采样最优位置，从而获得更清晰的物体边界。

B. 两阶段静态-动态解耦训练

为了解决由于不依赖外部先验而导致的动态物体引起的训练不稳定问题，FlexDepth 采用了两阶段训练策略：

第一阶段（联合优化）： 使用标准的光度重投影损失、最小重投影损失和边缘感知平滑损失，同时训练深度预测网络和 PoseNet（基于 ResNet-18）。
第二阶段（动态精细化）： 利用了这样一个观察结果：与静态背景相比，动态区域在训练初期和后期之间表现出较高的预测不稳定性（方差）。
- 通过比较第一阶段初始轮次和最终轮次的视差图，生成静态-动态解耦掩码 ( $M$ )。
- 一个自适应阈值函数 $g(\phi(f_{si}, f_{sl}))$ 根据特征演变而非固定阈值来确定掩码，从而将动态物体与静态背景区分开来。
- 使用带有掩码正态分布损失和几何深度平滑的掩码对深度网络进行重新训练，从而有效地将动态噪声从静态场景学习中解耦出来。

C. 自监督训练流水线

该模型完全使用基于光度一致性的无标签视频序列进行训练。

损失函数： 结合了光度误差 ( $L_p$ )、最小重投影损失 ( $L_r$ )、边缘感知平滑 ( $L_{smooth}$ )，并在第二阶段加入了掩码正态分布损失 ( $L_m$ ) 和几何深度平滑 ( $L_{GDS}$ )。
无辅助数据： 该方法无需语义标签、光流或伪深度图即可运行。

3. 核心贡献

FlexDepth 家族： 一个可扩展的模型家族（从 Nano 到 X-Large），系统地研究了精度与效率之间的权衡，在保持极低计算开销的同时，实现了跨任意规模的 SOTA 性能。
规模驱动解码器 (SDD)： 一种新型解码器架构，可根据模型大小动态选择瓶颈类型（HEB 或 HPB）和上采样策略，平衡了实时推理与高精度深度映射。
静态-动态解耦训练： 一种两阶段策略，通过从训练不稳定性中提取的自适应掩码将动态物体从静态背景中分离，从而在不增加推理成本或辅助输入的情况下，增强了在动态环境中的鲁棒性。

4. 实验结果

实验在 KITTI、Cityscapes 和 Make3D（用于零样本泛化）数据集上进行。

性能与效率：
- Flex-Nano： 仅需 0.7 GFLOPs，并在移动平台（Snapdragon 8 Elite）上达到 37.6 FPS，在精度上超越了 Lite-Mono 的 Tiny 和 Small 版本，同时更加轻量。
- Flex-X-Large： 在 KITTI 和 Cityscapes 上刷新了 SOTA 记录，其计算量为 24.6 GFLOPs，超越了更重的模型如 MonoVit (59.7 GFLOPs) 和 DSI-MonoViT。
动态场景鲁棒性： 在 Cityscapes 上，尽管没有使用额外的辅助信息，Flex-X-Large 在动态区域的准确度（Abs Rel 0.091）优于依赖辅助线索的方法（如 ProDepth, DSI-MonoViT）。
零样本泛化： 在 KITetti 上训练的模型在 Make3D 数据集上展现出强大的迁移能力，在特定指标上超越了其他自监督方法，并接近大型基础模型的性能。
消融实验： 证实了 SDD 组件（HPB、动态上采样、反转头）以及两阶段训练策略对于性能提升至关重要。移除第二阶段会导致动态场景下的性能严重下降。

5. 重要性与主张

论文声称 FlexDepth 成功弥合了轻量化效率与动态驾驶环境下鲁棒感知之间的差距。

部署可行性： 通过以极低的计算成本（例如 Nano 仅为 0.7 GFLOPs）实现 SOTA 性能，FlexDepth 使可靠的实时感知在资源受限的汽车边缘设备上成为可能。
内在鲁棒性： 该方法证明，通过架构设计和训练策略（静态-动态解耦）而非依赖复杂的辅助流水线或沉重的骨干网络，可以实现对动态场景的鲁棒处理。
对基础模型的补充： 在承认大型基础模型（如 Depth Anything V2）具有卓越零样本能力的同时，作者认为，由于其较低的资源占用和在特定驾驶场景下相当甚至更优的准确度，领域内自监督训练（如 FlexDepth）在边缘部署方面具有实际优势。

局限性： 作者指出，FlexDepth 是专门为驾驶感知设计的，其在具有不规则纹理和近距离遮挡的室内环境中的适用性有限。