⚡ electrical engineering

LiftFormer: Lifting and Frame Theory Based Monocular Depth Estimation Using Depth and Edge Oriented Subspace Representation

本文提出了一种基于提升理论和框架理论的 LiftFormer 模型，通过构建深度导向的几何表示子空间和边缘感知表示子空间，将单目深度估计问题转化为子空间特征表示问题，从而在图像颜色特征与深度值之间建立有效桥梁并提升边缘区域的预测精度，最终在多个数据集上实现了最先进的性能。

原作者： Shuai Li, Huibin Bai, Yanbo Gao, Chong Lv, Hui Yuan, Chuankun Li, Wei Hua, Tian Xie

发布于 2026-04-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shuai Li, Huibin Bai, Yanbo Gao, Chong Lv, Hui Yuan, Chuankun Li, Wei Hua, Tian Xie

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种名为 LiftFormer 的新方法，用来解决计算机视觉中的一个难题：单目深度估计（MDE）。

简单来说，就是让电脑只通过一张普通的 2D 照片，就能“看”出画面中物体的远近和 3D 结构，就像我们人类用一只眼睛也能判断距离一样。

为了让你更容易理解，我们可以把这项技术想象成**“给照片做 3D 翻译”**的过程。

1. 核心难题：从“颜色”到“距离”的跨越

想象一下，你给电脑看一张照片。电脑看到的是一堆颜色（红、绿、蓝）和像素点。但我们需要它输出的是距离（比如：这棵树离我 5 米，那辆车离我 20 米）。

以前的做法：就像让一个只会画画的人直接猜距离。因为颜色和距离之间没有直接的公式，电脑很容易猜错，特别是在物体边缘（比如桌子的边缘），那里距离变化很剧烈，电脑经常把边缘画得模糊或者错位。
LiftFormer 的突破：它不直接猜距离，而是先搞一个**“中间翻译站”**。

2. 核心魔法：两个“翻译站”（子空间）

LiftFormer 的核心思想是利用数学上的“提升理论”和“框架理论”，建立了两个特殊的**“翻译站”**（子空间），把照片信息一步步转换成距离信息。

第一站：DGR 翻译站（把“颜色”变成“连续的距离感”）

比喻：以前的方法像是在**“填格子”**。它把距离分成很多个固定的格子（比如 1 米、2 米、3 米），然后猜物体在哪个格子里。这就像用乐高积木拼圆，边缘总是锯齿状的，不够平滑。
LiftFormer 的做法：它建立了一个**“连续的距离地图”**。
- 它不再把距离看作死板的格子，而是看作一条连续流动的河流。
- 它利用数学上的“框架理论”（你可以想象成一张弹性很好的网），把照片里的颜色特征“提”到这张网上。
- 效果：这张网非常灵活且冗余（有很多重叠的线），即使某条线断了，其他线也能补上。这样，电脑就能生成连续、平滑的距离特征，而不是断断续续的格子。这就好比从用乐高积木拼圆，变成了用橡皮泥捏圆，边缘自然圆润多了。

第二站：ER 翻译站（专门修补“边缘”）

比喻：在照片里，物体的边缘（比如杯子的轮廓、树叶的边界）是最难处理的，因为那里距离变化最快（从桌子表面突然变成空气）。以前的方法在这里经常“晕头转向”，把边缘画得模糊不清。
LiftFormer 的做法：它专门建了一个**“边缘增强器”**。
- 它把刚才生成的距离特征，再“提”升一次，专门关注**“哪里是边缘”**。
- 就像给照片加了一个**“锐化滤镜”**，专门告诉电脑：“注意！这里边缘很陡，要画得锋利一点，不要糊成一团。”
- 效果：物体的轮廓变得非常清晰，不再模糊。

3. 整个流程是怎样的？

想象你在玩一个**“层层递进”的翻译游戏**：

输入：电脑拿到一张普通的 2D 照片。
第一步（SF-DGR 提升）：把照片里的颜色信息，通过第一层“翻译站”，变成连续的距离特征。这时候，距离不再是离散的格子，而是平滑的曲线。
第二步（DF-ER 提升）：把刚才的距离特征，通过第二层“翻译站”，专门强化边缘信息。这时候，物体的轮廓被“锐化”了。
输出：最后，电脑把这些处理好的特征“解码”，生成一张完美的 3D 深度图。

4. 为什么它很厉害？（实验结果）

作者在著名的测试数据集（比如 KITTI，自动驾驶常用的数据集）上做了测试：

更准：它的预测误差比目前最先进的方法（State-of-the-art）都要小。
更清晰：看实验图对比，它的深度图更平滑，没有那种“阶梯状”的锯齿感，而且物体的边缘非常锐利，不会糊在一起。
更通用：不管是在户外（开车场景）还是室内（房间场景），它都表现很好。

总结

LiftFormer 就像是一位高明的翻译官。
它不再生硬地把照片里的颜色“对号入座”成距离，而是先通过**“连续距离网”（DGR）把颜色变成流畅的距离流，再通过“边缘锐化镜”**（ER）把物体的轮廓勾勒得清清楚楚。

这就好比以前是用像素点去拼凑 3D 世界，现在是用流畅的流体去塑造 3D 世界，所以出来的结果既平滑又精准，特别适合自动驾驶和机器人这种需要精准判断距离的领域。

这是一份关于论文《LiftFormer: Lifting and Frame Theory Based Monocular Depth Estimation Using Depth and Edge Oriented Subspace Representation》的详细技术总结。

1. 研究背景与问题 (Problem)

单目深度估计 (MDE) 旨在从单张图像或视频中恢复场景的 3D 结构（深度图）。这是一个高度病态（ill-posed）的问题，因为从 2D 颜色信息推断 3D 几何深度存在巨大的不确定性。

当前主流的深度估计方法面临以下主要挑战：

颜色到几何的映射困难： 直接从图像颜色特征回归深度值（几何量）非常困难，因为两者属于不同的模态，直接映射难以学习。
分类 - 回归方法的局限性： 现有的主流方法（如 AdaBins 及其变体）通常将深度预测转化为“分类 + 回归”任务，即先预测深度分箱（bins）的概率，再回归具体值。然而，当深度分箱与深度特征独立学习且缺乏交互时，会导致特征与分箱中心不匹配，产生次优的预测结果。
边缘预测性能差： 深度图在物体边缘处通常具有剧烈的变化（高频信息）。现有的基于 Transformer 的模型虽然擅长提取全局信息，但对局部归纳偏置（inductive bias）不敏感，导致在物体边缘处的深度预测往往不够准确，出现模糊或错误。

2. 方法论 (Methodology)

本文提出了 LiftFormer，一种基于提升理论 (Lifting Theory) 和框架理论 (Frame Theory) 的单目深度估计框架。其核心思想是将深度预测问题从直接的数值回归，转化为在特定子空间中的特征表示问题。

2.1 整体架构

LiftFormer 采用 U-Net 架构，编码器使用预训练的 Swin Transformer。其创新点在于引入了两个基于子空间变换的“提升（Lifting）”模块：

SF-DGR 提升模块： 图像空间特征 $\to$ 深度导向几何表示 (DGR) 子空间。
DF-ER 提升模块： 深度特征 $\to$ 边缘感知表示 (ER) 子空间。

2.2 核心模块详解

A. 基于 SF-DGR 的子空间变换提升 (Image Spatial Feature to Depth-Oriented Geometric Representation)

理论基础： 利用提升理论，将一维的深度值空间 $Y$ 映射到一个高维的覆盖空间 $Z$ （即 DGR 子空间）。
框架构建： 利用框架理论，构建一个由线性相关向量（基向量）组成的过完备 DGR 子空间。这些基向量对应于深度分箱（depth bins）。
变换过程：
- 将图像空间特征投影到 DGR 子空间，生成与深度分箱中心对应的连续深度特征。
- 通过 DGR 系数预测 (DGR-CP) 模块计算投影系数。为了处理冗余表示，将特征和基向量分组，通过内积计算系数。
- 使用全局共享的 DGR 子空间，确保不同尺度的深度特征在统一的子空间中学习，从而更好地连接编码器和解码器。
作用： 将离散的图像特征转化为连续的深度特征，解决了颜色到几何映射的困难，并实现了从离散分箱预测到连续特征生成的转变。

B. 基于 DF-ER 的子空间变换提升 (Depth Feature to Edge-Aware Representation)

目的： 解决深度图中边缘处预测不准的问题。
子空间构建： 构建一个 边缘感知 (ER) 子空间，仅包含“边缘”和“非边缘”两个基向量。
变换过程：
- 利用 ER 系数预测 (ER-CP) 模块（基于 CNN），从解码器的深度特征中提取边缘信息，预测每个像素属于边缘的概率系数。
- 将深度特征在 ER 子空间中进行表示，增强局部高频信息。
作用： 显式地增强深度特征中的边缘信息，使网络对物体边界更加敏感，从而获得更锐利的深度边缘。

2.3 深度图预测

采用 AdaBins 风格的预测策略，但进行了改进。
使用 分箱中心预测器 (BCP) 和 像素查询初始化器 (PQI) 生成自适应的分箱中心。
最终深度图通过分箱中心值与预测概率的线性组合得到。

3. 主要贡献 (Key Contributions)

理论创新： 首次利用提升理论和框架理论为单目深度估计中的“分箱嵌入（bin embedding）”类表示提供了理论验证。证明了将深度预测转化为子空间特征表示的合理性。
SF-DGR 提升模块： 提出了一种基于全局共享 DGR 子空间的变换方法，将图像空间特征转化为连续变化的深度特征，有效桥接了颜色特征与几何深度之间的鸿沟。
DF-ER 提升模块： 提出了一种基于 ER 子空间的变换方法，专门用于增强深度特征中的边缘信息，显著改善了物体边缘处的深度预测精度。
性能突破： 在 KITTI 和 NYU Depth V2 数据集上达到了最先进（SOTA）的性能，并在消融实验中验证了各模块的有效性。

4. 实验结果 (Results)

实验在 KITTI（室外）和 NYU Depth V2（室内）数据集上进行，并与 PixelFormer、BinsFormer、AdaBins 等 SOTA 方法进行了对比。

KITTI 数据集 (Eigen Split):
- RMSE: LiftFormer 达到 2.038，优于 PixelFormer (2.081) 和 BinsFormer (2.098)。
- Abs Rel: 达到 0.050，优于对比方法。
- 定性分析： 生成的深度图更平滑、清晰，特别是在物体边界处，减少了离散分箱带来的不连续性，纹理区域的深度变化也更自然。
NYU Depth V2 数据集:
- RMSE: 达到 0.313，优于 PixelFormer (0.322) 和 LocalBins。
- 定性分析： 在室内场景中，物体（如椅子）的局部结构更加清晰，噪声更少。
消融实验:
- 验证了 SF-DGR 和 DF-ER 两个模块单独及组合使用的有效性。
- 研究了 DGR 子空间的冗余度（基向量数量），发现适度的冗余（128 个基向量）能提升鲁棒性，过多则会导致性能轻微下降。
- 证明了该模块具有通用性，可适配不同的解码器（Transformer 或 CNN）。

5. 意义与价值 (Significance)

理论指导实践： 该工作不仅提出了一个新的网络架构，更重要的是引入了数学理论（提升理论和框架理论）来指导深度估计任务的建模，为理解“颜色到深度”的映射提供了新的理论视角。
解决边缘痛点： 针对深度估计中普遍存在的边缘模糊问题，提出了一种显式的子空间增强机制，为后续研究处理高频细节提供了新思路。
通用性强： 提出的提升模块可以作为一种即插即用（plug-and-play）的组件，集成到现有的编码器 - 解码器架构中，提升了现有模型的性能。

综上所述，LiftFormer 通过理论驱动的子空间变换，成功地将离散的深度预测问题转化为连续的几何特征表示问题，并显著提升了边缘处的预测精度，是目前单目深度估计领域的一项重要进展。