🤖 AI

InCaRPose: In-Cabin Relative Camera Pose Estimation Model and Dataset

本文提出了 InCaRPose，一种基于 Transformer 的模型及配套的实车测试数据集，旨在通过纯合成数据训练，在单步推理中实现对汽车舱内高度畸变鱼眼相机的高精度相对位姿估计与绝对尺度标定，从而满足自动驾驶驾驶员监控等实时安全感知需求。

原作者： Felix Stillger, Lukas Hahn, Frederik Hasecke, Tobias Meisen

发布于 2026-04-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Felix Stillger, Lukas Hahn, Frederik Hasecke, Tobias Meisen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 InCaRPose 的新系统，它的核心任务非常具体：让汽车里的摄像头“知道”自己在哪里，以及它相对于另一个摄像头的位置。

想象一下，你坐在一辆自动驾驶汽车里，车里装了好几个摄像头（比如在后视镜上、仪表盘上），用来盯着司机有没有打瞌睡，或者盯着乘客有没有坐好。这些摄像头就像汽车的“眼睛”。

但是，这里有个大问题：

后视镜会动：司机经常手动调节后视镜，或者自动调节，这意味着摄像头的角度和位置随时在变。
鱼眼镜头很怪：为了看清整个车厢，这些摄像头通常用广角甚至鱼眼镜头，拍出来的画面是弯曲变形的。
安全要求极高：如果气囊要弹出，系统必须在几毫秒内知道乘客的确切位置（是离气囊很近，还是离得远？）。如果摄像头“迷路”了，气囊可能弹早了、弹晚了，或者弹错了方向，后果不堪设想。

以前的方法要么太慢，要么需要复杂的校准，要么在鱼眼镜头的扭曲画面下就“晕”了。

InCaRPose 是怎么解决这些问题的呢？

我们可以用三个生动的比喻来理解它的工作原理：

1. 它是“只认感觉，不认地图”的导航员

传统的导航（比如 GPS）需要知道具体的经纬度（绝对位置），这很难，因为每辆车的内部结构都不一样。
InCaRPose 换了一种思路： 它不关心摄像头在车里的绝对坐标，它只关心**“现在的画面”和“标准参考画面”之间差了多远、转了多少度”**。

比喻：想象你在一个陌生的房间里，你不需要知道房间在城市的哪个位置，你只需要看着手里的照片（参考画面），然后转头看现在的景象，就能说出：“我向左转了 30 度，往前走了 2 米”。InCaRPose 就是这样一个聪明的导航员，它通过对比两张图，直接算出摄像头的移动量，而且算出来的是真实的米数（比如 0.5 米），而不是模糊的“大概走了几步”。

2. 它是“受过特训的变形金刚”

汽车里的鱼眼镜头拍出来的画面是弯曲的，就像把世界装进了一个哈哈镜里。普通的电脑视觉算法看到这种图就懵了。
InCaRPose 的秘诀是“只练虚拟，不练现实”。

比喻：研究人员没有拿真车去拍几千张照片（这太贵太慢了），而是用电脑3D 建模，在虚拟世界里造了 8 辆不同的车，把摄像头放在各种奇怪的角度，甚至故意把画面弄得很扭曲，然后让 AI 在这个虚拟世界里“练级”。
神奇之处：这个 AI 在虚拟世界里练得炉火纯青后，直接把它放到真实的汽车里，面对真实的鱼眼镜头和真实的光线，它居然也能完美工作！这就像是一个在模拟器里练了无数次的赛车手，一开上真车就能漂移过弯，完全不需要重新适应。

3. 它是“带着冻结大脑的超级大脑”

现在的 AI 模型通常很大，训练起来很慢，而且需要海量数据。
InCaRPose 做了一个聪明的“偷懒”设计：它借用了别人已经训练好的、非常强大的“大脑”（叫做 DINOv3，一种预训练模型），把这个大脑冻结住（不再改变它的知识），只训练它自己新加的一个“小助手”（解码器）。

比喻：想象你请了一位博学的教授（预训练模型）来教你，但教授的知识已经定型了，你不能让他重新学。于是，你只训练自己的“笔记整理员”（解码器），让他学会如何把教授的知识应用到“汽车摄像头”这个特定场景上。
好处：这样既利用了教授的智慧，又只需要很少的数据就能学会，而且速度极快，能在毫秒级内完成计算，完全满足安全气囊弹出的紧急需求。

总结：它为什么重要？

快：它能在 15 毫秒内算出结果，比眨眼还快，足以应对车祸发生时的瞬间判断。
准：它能算出真实的距离（比如乘客离气囊 0.8 米），这对安全至关重要。
通用：不管是什么车型，不管摄像头装在哪，甚至不管镜头怎么歪，它都能适应。
开源：作者不仅发布了模型，还发布了一个真实的测试数据集（In-Cabin-Pose），让全世界的研究者都能来测试和改进。

一句话总结：
InCaRPose 就像一个在虚拟世界里练成神功、自带“透视眼”、反应极快的汽车摄像头管家，它能瞬间告诉汽车：“嘿，摄像头刚才歪了一下，现在的乘客离危险区还有 0.5 米，快调整气囊策略！”这让未来的自动驾驶汽车在保护乘客安全方面更加可靠。

1. 研究背景与问题定义 (Problem Statement)

核心挑战：
在汽车座舱监控（ICAM）系统中，准确估计摄像头的外参（Extrinsic Calibration）至关重要，特别是在驾驶员监控、眼球追踪和安全气囊部署等安全相关应用中。然而，现有方法在以下方面存在局限：

环境约束： 座舱内空间狭小，且摄像头通常使用广角或鱼眼镜头，导致图像存在严重的畸变。
动态变化： 后视镜等安装位置是动态调整的，导致摄像头外参频繁变化，需要实时或快速的重校准。
现有方法缺陷：
- 传统几何方法（如特征匹配+PnP）在强畸变、遮挡或低纹理（如夜视 NIR 模式）下表现不佳。
- 现有的深度学习相对位姿估计模型通常依赖大规模真实数据训练，且难以处理鱼眼畸变（通常需要先去畸变，这会丢失边缘信息）。
- 大多数模型无法直接输出**绝对度量尺度（Metric Scale）**的平移量，而安全应用（如气囊触发）需要精确的米级距离。
- 现有模型往往针对特定车辆坐标系训练，难以泛化到不同车型。

任务定义：
InCaRPose 旨在解决座舱内相对位姿估计问题。给定一个已校准的参考视图（Reference View）和一个目标视图（Target View），模型直接预测两者之间的相对变换（旋转和平移），且该变换是相对于参考视图的，而非特定的车辆坐标系，从而实现**车辆无关（Vehicle-Agnostic）**的泛化。

2. 方法论 (Methodology)

InCaRPose 提出了一种基于 Transformer 的端到端架构，专为处理高度畸变的鱼眼图像和合成到真实（Sim-to-Real）的泛化而设计。

2.1 网络架构

冻结的骨干网络 (Frozen Backbone)： 使用预训练的视觉 Transformer（ViT），如 DINOv3（也测试了 DINOv2 和 DUNE）。骨干网络被冻结，仅提取特征，不进行微调。这利用了预训练模型强大的跨域特征表示能力，解决了训练数据有限的问题。
Transformer 解码器 (Transformer Decoder)： 采用交叉注意力（Cross-Attention）机制，融合参考视图和目标视图的特征。
- 引入 2D 旋转位置编码 (RoPE) 以增强空间敏感性，无需学习位置 Token。
- 包含自注意力（Self-Attention）以细化特征，交叉注意力以捕捉视图间的几何关系。
预测头 (Prediction Head)： 一个轻量级的多层感知机（MLP），将解码器输出的特征回归为相对位姿（旋转和平移）。
- 双向预测： 模型同时预测 $T_{1 \to 2}$ 和 $T_{2 \to 1}$ ，强制网络学习双向几何一致性，增强监督信号。

2.2 输出表示与损失函数

旋转表示： 比较了多种表示法（旋转向量、欧拉角、旋转矩阵、四元数）。实验表明，四元数 (Quaternion) 配合特定的四元数损失函数表现最佳。
平移表示： 直接回归绝对度量尺度的平移向量（单位：米），而非方向向量。
损失函数： 采用基于四元数的姿态损失（Quaternion-based Pose Loss），结合旋转误差（四元数角度距离）和平移误差（欧氏距离或方向误差）。

2.3 数据处理策略

全视场保留： 针对鱼眼图像，不进行中心裁剪 (Center Cropping)，而是采用零填充 (Zero-padding) 将图像调整为正方形，以保留边缘的关键几何线索。
合成数据训练： 仅在 Blender 中生成的合成座舱数据上训练（约 6500 对图像），包含不同车辆模型、遮挡物和光照变化。
真实数据测试： 仅在真实世界数据上进行测试，不用于训练，以验证 Sim-to-Real 能力。

3. 关键贡献 (Key Contributions)

In-Cabin-Pose 真实世界测试数据集：
- 发布了一个包含高度畸变、广角、近红外（NIR）鱼眼图像的真实座舱测试集。
- 提供了基于 ArUco 标记的度量尺度真值（Ground Truth），覆盖了 6-DoF 的运动变化。
- 解决了现有公开数据集缺乏座舱特定畸变和 NIR 模态的问题。
车辆无关的参考相对位姿表述：
- 将问题重构为“参考视图相对位姿预测”，避免了依赖特定车辆的坐标系（如 ISO 8855 车辆坐标系），使得模型无需针对不同车型重新训练即可部署。
无需去畸变的鲁棒鱼眼处理：
- 模型直接处理原始畸变图像，端到端地预测绝对度量平移。这避免了传统去畸变方法带来的边缘信息丢失和计算开销。
合成到真实的强泛化能力：
- 仅使用少量合成数据（~6500 对）训练，即可在真实座舱环境中实现高精度推理，证明了基于冻结骨干网络（DINOv3）的特征提取在跨域任务中的有效性。
实时性能与度量精度：
- 在消费级 GPU (RTX 4090) 上实现 >45 FPS（Small/Base 版本接近 70 FPS）的实时推理。
- 能够输出米级精度的平移量，满足安全气囊触发等安全关键应用的时间窗口要求（15-50ms 决策窗口）。

4. 实验结果 (Results)

4.1 在 In-Cabin-Pose 数据集上的表现

精度： InCaRPoseLarge224 配置在真实测试集上取得了 中位旋转误差 2.75° 和 中位平移误差 0.07 米 的优异成绩。
对比基线：
- 优于传统的 SIFT 特征匹配（SIFT 无法提供度量尺度）。
- 优于大规模训练的 Reloc3r 模型（Reloc3r 仅预测方向，且依赖已知内参和去畸变图像；InCaRPose 在原始鱼眼图上表现更好）。
- 在旋转精度上显著优于 Reloc3r，在平移方向误差上也具有竞争力。

4.2 在公开数据集上的泛化 (7-Scenes & Cambridge Landmarks)

7-Scenes (室内)： 在 7-Scenes 数据集上，InCaRPoseLarge512 的平均旋转误差为 2.21°，比 Reloc3r512 (6.37°) 提升了 65%。同时，它是少数能同时提供度量平移的模型。
Cambridge Landmarks (室外)： 在室外场景（如 Shop Facade）上性能有所下降，这归因于室外场景特征密度低、尺度变化大以及训练数据主要为室内合成数据。但在部分场景（如 Shop Facade）上，其表现优于 Reloc3r。

4.3 消融实验

骨干网络： DINOv3 优于 DINOv2 和 DUNE。
输出表示： 四元数表示配合专用损失函数效果最好。
分辨率： 增加分辨率（224 -> 512）主要提升旋转精度，对平移精度提升有限。

5. 意义与展望 (Significance & Future Work)

意义：

安全应用落地： 该模型为自动驾驶中的座舱感知提供了关键的实时外参校准能力，特别是在驾驶员状态监测（DMS）和乘客检测（OOS）中，能够确保在毫秒级时间内准确判断乘员位置，优化安全气囊策略。
数据效率： 证明了在受限数据下，利用强大的预训练基础模型（Foundation Models）和冻结骨干网络，可以有效解决特定领域的几何估计问题，降低了数据采集和标注成本。
工程化价值： 无需复杂的去畸变预处理，直接处理原始鱼眼图像，且推理速度快，非常适合车载边缘计算设备部署。

未来工作：

增强模型在部分遮挡环境下的鲁棒性（如乘客被行李遮挡）。
构建专门的测试集以量化复杂动态座舱条件（如多乘客、货物移动）下的性能。

总结：
InCaRPose 是一个针对汽车座舱场景定制的、高效且高精度的相对位姿估计模型。它通过结合冻结的 ViT 骨干网络和 Transformer 解码器，成功解决了鱼眼畸变、度量尺度恢复以及合成到真实泛化的难题，为下一代智能座舱感知系统提供了强有力的技术支撑。代码和数据集已开源。