💻 computer science

X-Lens: Real-Time Metric Depth Estimation with Heterogeneous Cameras

X-Lens 是一个紧凑的实时前馈模型，它通过利用可学习的校准标记（calibration tokens）和经雅可比参数化的畸变偏差（Jacobian-parameterized distortion bias），在全新的大规模合成数据集 OmniScene 上进行训练，从而实现了从异构鱼眼和针孔相机中进行鲁棒的度量深度估计。

原作者： Heng Zhou, Shuhong Liu, Yonghao He, Bohao Zhang, Fa Fu, Chenhui Hou, Xianbao Hou, Lijun Han, Wei Sui

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Heng Zhou, Shuhong Liu, Yonghao He, Bohao Zhang, Fa Fu, Chenhui Hou, Xianbao Hou, Lijun Han, Wei Sui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过一个相机背包来构建一个世界的 3D 地图。大多数机器人和自动驾驶汽车都背着一个混合了多种镜头的背包：其中一些是标准的“针孔”相机（就像你的手机），能清晰地看到远处；另一些是“鱼眼”镜头，能看到周围一切的巨大弧形气泡。

问题在于？这两种镜头使用的几何语言不同：鱼眼镜头会将图像边缘像哈哈镜一样拉伸，而针孔镜头则保持直线。长期以来，计算机很难将这两种视图结合起来，以确定物体在现实世界中到底有多远。它们要么算错数学，要么需要庞大的超级计算机来处理，或者必须将这些弯曲的图像转换成一种会丢失重要细节的奇怪“全景图”。

X-Lens 应运而生——这是一个全新的、微小且超快速的 AI 模型，充当着这些混合相机的“大师级翻译官”。

神奇的翻译官

把 X-Lens 看作是一个紧凑的、拥有 0.04 亿参数的“大脑”（相比于其他动辄超过 10 亿参数的模型，这非常微小）。它并不试图强行让鱼眼和针孔图像看起来一致，而是直接接受它们原本的样子。

它使用了两个聪明的技巧来理清混乱：

可学习的校准标记（Learnable Calibration Tokens）： 想象一下这些是 AI 贴在鱼眼图像上的小便利贴。这些笔记告诉 AI：“嘿，这部分图像之所以被拉伸，是因为镜头的缘故，所以不要太相信它的形状。”这有助于 AI 在不预先挤压图像的情况下，将弯曲的鱼眼视图与笔直的针孔视图对齐。
雅可比畸变偏差（Jacobian Distortion Bias）： 这就像是 AI 的一个特殊指南针。它计算图像中每个微小点处光线是如何弯曲的。通过将这种“弯曲图”输入到 AI 的注意力系统中，模型学会了忽略畸变，转而专注于世界的实际 3D 形状。

结果是，X-Lens 可以观察由六个相机（四个鱼眼，两个针孔）组成的混合组合，并瞬间输出一张具有现实世界比例的密集深度图。它不仅仅是在猜测“近”或“远”；它能告诉你一个物体距离正好是 11.07 米 或 31.64 米。而且，它的速度达到了 41 帧每秒 (FPS)，足以让机器人在实时环境中躲避障碍物。

巨大的练习场：OmniScene

为了教会 X-Lens 如何做这件事，研究人员不能只使用现有的照片，因为目前还缺乏具有完美 3D 测量值的混合相机示例。因此，他们构建了一个庞大的合成世界——OmniScene。

他们创建了 103 个不同的场景（从购物中心到科幻综合体），并使用虚拟的六相机装置生成了 26.6 万帧同步帧。这就像是在飞行员真正接触飞机之前，先在模拟器中进行飞行训练，而这个模拟器已经见识过所有可能的天气状况和跑道。该数据包含 170 万张独立的图像，并带有完美的、无噪声的深度标签。

数据说明了什么

论文将 X-Lens 与该领域最大、最重的模型进行了对比测试。结果如下：

速度： X-Lens 在单块高端 GPU 上可以运行 41 FPS，而最强的竞争对手通常只能达到 5 到 13 FPS。
体积： X-Lens 使用 0.04B 参数。紧随其后的竞争对手 MapAnything 使用 1.23B 参数。这意味着 X-Lens 比基准模型小了 88.9%。
准确度： 在混合相机测试（OmniScene-Full）中，X-Lens 比最强的基准模型降低了 25.4% 的误差（AbsRel）。它还比 MapAnything 在“尺度绝对相对误差”（Scale AbsRel，即如何猜测真实世界大小的能力）方面提升了 68.1%。

X-Lens 不是什么

了解这个模型的局限性非常重要，因为论文对此有明确说明：

它不预测相机设置： X-Lens 需要在开始前被告知相机镜头的精确参数（校准信息）。它无法自行猜测镜头类型或相机位置。
它不是针对“奇特镜头”的万能药： 该模型是针对特定类型的鱼眼和针孔镜头进行训练的。如果喂给它一个视野极其宽广、且与训练数据完全不同的从未见过的极端镜头，论文表明性能可能会略有下降，因为它还没见过那种特定的“哈哈镜”。
它不是一个通用的 3D 重建工具： 不同于一些试图同时猜测相机位姿、镜头类型和 3D 地图的庞大模型，X-Lens 是高度专业化的。它专注于深度和尺度，这也是它如此快速且微小的原因。

核心结论

X-Lens 证明了你不需要一台庞大、缓慢的计算机就能理解混合相机的 3D 空间。通过使用智能的、具备几何感知能力的架构，并在大规模、高质量的合成数据集上进行训练，它在实现极高准确度的同时，依然足够轻量化，可以在边缘设备上运行。这是迈向让机器人能够真正“看见” 3D 世界的一步，而且无需在背包里背着一台超级计算机。

技术摘要：X-Lens

问题陈述

现代具身系统（包括自主机器人和视觉-语言-动作 [VLA] 模型）越来越多地依赖于结合了窄视场角（FOV）针孔相机和宽视场角鱼眼相机的多摄像头装置，以实现全面的空间覆盖。然而，现有的 3D 深度估计和几何基础模型在处理这种异构相机设置时面临显著局限性：

模型不匹配： 大多数方法是基于针孔中心假设或单相机模型构建的，无法处理混合装置中的非均匀投影几何结构和视点相关的畸变。
计算成本： 现有的几何基础模型通常计算量巨大，导致在严格的延迟和内存预算下难以进行实时边缘推理。
数据稀缺： 缺乏包含用于异构（鱼眼 + 针孔）多视图配置的大规模、同步且具有密集度量真值的数据集。
低效性： 当前的方法通常依赖于全景拼接（改变了原生几何结构）或辅助重建目标（增加了优化复杂度）来处理宽视场角输入。

方法论

X-Lens 是一个紧凑的前馈模型，旨在为可变数量的已校准鱼眼和针孔视图提供实时的度量深度估计。它避免了全景拼接和辅助重建目标，专注于直接预测密集深度和全局度量尺度。

1. 公式化与设计

通用射线表示： X-Lens 不依赖于特定的针孔内参矩阵 $K$ ，而是使用通用的反投影映射 $G$ 来抽象相机。该映射将像素坐标映射到共享射线空间中的反投影单位射线，无需更改架构即可兼容针孔和鱼眼（参数化畸变）模型。
分解预测： 模型输出一个三元组：
- $\hat{D}$ ：归一化深度场（尺度不变）。
- $\hat{C}$ ：自校准置信度图。
- $\hat{m}$ ：单个全局度量标量。
- 最终的度量深度重建为 $\hat{D}_m = \hat{m} \cdot \hat{D}$ 。这通过将绝对尺度隔离到一个一维路径中，使得几何损失可以在尺度不变的空间内运行。

2. 异构投影 Transformer

核心架构是一个视觉 Transformer（ViT）骨干网络，具有交替的局部（视图内）和全局（跨视图）层，并由两个关键组件增强：

可学习的校准 Token： 为了防止特定镜头的畸变破坏共享的视觉 Token，模型向序列中注入了层级和相机类型特定的校准 Token ( $\Theta$ )。这些 Token 在其特定的视图内进行局部注意力计算以纠正畸变模式，但在进入下一层之前会被丢弃，以防止其持续存在，从而确保不会干扰全局度量融合。
雅可比参数化畸变偏差： 为了弥合视图间的几何差距，模型在交叉注意力机制中注入了一个偏差项。该偏差项源自反投影映射的雅可比矩阵（局部射线方向和投影畸变）。它调节注意力权重，使其倾向于具有兼容 3D 射线几何和局部投影结构的图像块，而不是仅仅依赖于畸变坐标下的外观相似性。
尺度注意力： 为了确保鲁棒的度量尺度预测，模型丢弃置信度最低的 25% 像素（通常位于鱼眼边界附近），并在剩余的可靠区域上进行置信度加权池化，然后再回归全局尺度 $\hat{m}$ 。

3. 多阶段训练策略

X-Lens 采用渐进式三阶段训练流水线，以隔离镜头特定适配与联合优化：

阶段 1（针孔预训练）： 模型在多视图针孔数据上进行训练，以学习鲁棒的几何先验和尺度感知。此时禁用校准 Token 和畸变偏差。
阶段 2（鱼眼 Token 适配）： 冻结骨干网络，仅使用鱼眼数据更新校准 Token。这使模型能够适应宽视场角畸变，而不会覆盖已建立的针孔先验。
阶段 3（异构联合训练）： 激活雅可比畸变偏差，并在混合了鱼眼-针孔数据（包括新的 OmniScene 数据集）和纯针孔数据的混合数据上进行联合微调，以协调跨视图交互。

4. OmniScene 数据集

为了解决数据稀缺问题，作者引入了 OmniScene，这是一个大规模合成数据集：

规模： 约 266,000 个同步六视图帧（170 万张图像），涵盖 103 个室内外场景。
配置： 一个刚性六相机装置，包含四个鱼眼相机（180° FOV）和两个针孔相机。
质量： 为每一帧提供密集的、无噪声的度量真值（z-深度）、有效性掩码以及校准后的内参/外参。

关键结果

在真实世界（KITKI360, ETH3D, ScanNet++）和合成（OmniScene）数据集上的广泛实验证明了 X-Lens 在准确性和效率方面的优越性：

异构性能： 在 OmniScene-Full 基准测试（6 视图：4 鱼眼 + 2 针孔）中，X-Lens 比最强的基线模型（MapAnything）降低了 25.4% 的 AbsRel，同时减少了 88.9% 的参数量（0.04B vs. 1.23B）。
实时推理： 在 NVIDIA H100 GPU 上，X-Lens 在单鱼眼视图下达到 41 FPS，在全异构 6 视图输入下达到 22 FPS，显著优于大型模型在速度上的表现。
泛化能力： 该模型在未见的各种环境中展示了强大的零样本泛化能力，并在同构的仅针孔和仅鱼眼设置下保持了极具竞争力的性能。
参数效率： 它仅用 0.04B 参数就实现了最先进的度量深度精度，仅为其他几何基础模型（如 VGGT, DepthAnything3）的一小部分。

重要性与主张

论文声称 X-Lens 代表了迈向具身系统实时空间智能的重要一步。其主要贡献包括：

原生异构支持： 它是第一个能够原生支持原始、混合的鱼眼和针孔输入，而无需进行全景拼接或硬件特定立体体积处理的紧凑型模型。
效率-精度权衡： 通过将深度感知与完整的 3D 重建（位姿、内参、点图）解耦，并专注于度量深度和尺度，X-Lens 在高精度和低延迟之间取得了平衡，适用于边缘部署。
数据资源： OmniScene 的发布为训练和评估异构多视图深度感知提供了关键资源，填补了该领域的重大空白。

作者将 X-Lens 定位为不仅仅是一个深度估计器，而是一个具备几何感知能力的视觉编码器，能够连接度量深度建模与诸如机器人规划和交互等实时下游应用。他们也承认了存在的局限性，例如对地面真值校准的依赖，以及在极端、未见镜头配置下的 sim-to-real 差距，并建议未来在时间聚合和更广泛的内参多样性方面开展工作。