💻 computer science

DefVINS: Visual-Inertial Odometry for Deformable Scenes

本文提出了首个专为可变形场景设计的视觉惯性里程计系统 DefVINS，该系统通过结合 IMU 锚定的刚性状态与嵌入变形图的非刚性场景形变，并配合首个真实可变形场景基准 VIMandala 及可观测性分析，有效解决了传统方法在可变形环境中的漂移问题。

原作者： Samuel Cerezo, Javier Civera

发布于 2026-03-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Samuel Cerezo, Javier Civera

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 DefVINS 的新系统，它的核心任务是帮助机器人或手机在**“会变形”**的环境里也能精准地知道自己在哪里。

为了让你更容易理解，我们可以把这个问题想象成**“在拥挤且不断变形的舞池里跳舞”**。

1. 以前的困难： rigid（刚性）的假设

传统的导航系统（比如你手机里的地图或自动驾驶汽车）都有一个默认假设：世界是像石头一样硬邦邦的，不会变形的。

比喻：想象你在一个由乐高积木搭成的房间里走路。如果你看到积木没动，你就知道房间没变。
问题：但在现实生活中，世界充满了“软”东西。比如：
- 你走在人群中（衣服在飘动）。
- 你看着一面随风飘扬的旗帜。
- 你看着一块被风吹动的窗帘。
- 甚至是你自己在照镜子时，镜子里的倒影在动。
  如果导航系统还死板地认为“世界是硬的”，它就会被这些飘动的物体骗到，以为自己迷路了，或者把自己定位得越来越偏（就像在梦里走路，越走越远）。

2. DefVINS 的解决方案：给机器人装上“直觉”和“弹性思维”

DefVINS 是第一个专门为这种“会变形”的世界设计的导航系统。它做了两件聪明的事：

A. 双管齐下：IMU（惯性测量单元）+ 视觉

视觉（眼睛）：就像你的眼睛，能看到周围的物体。但在变形场景下，眼睛容易被骗（比如看到衣服飘动，以为自己在后退）。
IMU（内耳前庭）：这是手机或机器人里的小传感器，能感知加速度和旋转。
- 比喻：想象你闭着眼睛在旋转。虽然你看不见，但你的内耳（IMU）能告诉你：“嘿，我在转圈，而且转得很快！”
- 作用：DefVINS 利用 IMU 作为一个**“锚点”**。即使眼睛被飘动的衣服骗了，内耳会大声说：“不对！我没动那么快，是衣服在动！”这样就能把机器人的位置“钉”在真实世界里，防止它飘走。

B. 弹性地图：变形图（Deformation Graph）

以前的系统把世界看作一张硬纸板。
DefVINS 把世界看作一张有弹性的橡胶网。
- 比喻：想象你在一张巨大的橡胶床单上画画。如果床单被拉扯变形了，DefVINS 不会试图把床单强行拉回原样（那是徒劳的），而是实时计算床单被拉成了什么形状。
- 它建立了一个“变形图”，把场景里的关键点连成网。如果网的一角被拉远了，系统就知道：“哦，这里变形了”，而不是“我走错了”。

3. 为什么这很难？（可观测性分析）

论文里还花了很多篇幅讨论一个数学问题：“怎么知道我们没算错？”

比喻：如果你在一个全是镜子的房间里，而且镜子都在晃动，你很难分清是“我在动”还是“镜子在动”。
发现：作者发现，如果没有 IMU（内耳），机器人完全分不清是自己在动还是场景在变形。但一旦加上 IMU，就像在晃动的镜子里加了一个重力秤，机器人就能立刻分清：“哦，重力告诉我我是直立的，所以肯定是镜子（场景）在变形，而不是我飞起来了。”
这就像给机器人装了一个**“防晕车机制”**，让它即使在最混乱的变形环境中也能保持清醒。

4. 实验结果：真的有效吗？

作者做了两个实验：

虚拟世界（Drunkard's Dataset）：在电脑里模拟了各种变形场景（从轻微晃动到剧烈扭曲）。
- 结果：传统的“硬邦邦”导航系统（ORB-SLAM3）在剧烈变形时直接迷路了；而 DefVINS 依然能精准定位，误差减少了 40%-50%。
真实世界（VIMandala 数据集）：作者真的去拍了一块随风飘动的曼陀罗花布（Mandala cloth）。
- 结果：当布料剧烈飘动时，其他系统要么跟丢了，要么画出了一条乱七八糟的路线。DefVINS 却能画出平滑、准确的路线，甚至能画出布料被风吹起时的变形形状。

总结

DefVINS 就像是一个拥有“超能力”的导航员：

它不再死板地认为世界是静止的。
它利用**内耳（IMU）**来稳住自己的方向，不被假象迷惑。
它利用**弹性思维（变形图）**来理解周围环境的扭曲。

这项技术对于未来的增强现实（AR）（比如在飘动的衣服上叠加虚拟游戏）、医疗机器人（在跳动的心脏或呼吸的肺部进行手术）以及人机交互（在人群中精准定位）都至关重要。它让机器第一次真正学会了在“柔软、多变”的真实世界中生存。

1. 研究背景与问题定义 (Problem)

核心挑战：
传统的视觉 - 惯性里程计 (VIO) 和 SLAM 系统（如 VINS-Mono, OKVIS）严重依赖场景刚性假设。然而，在现实世界中（如拍摄人体、衣物、布料等），场景往往具有非刚性变形 (Non-rigid Deformation) 特性。

现有方法的局限性：

刚性模型失效： 当场景发生变形时，刚性模型无法解释视差，导致估计器将非刚性运动误认为是相机运动，从而产生严重的过拟合或姿态漂移 (Pose Drift)。
纯视觉方法的缺陷： 现有的非刚性视觉里程计（如 DefSLAM, NR-SLAM）通常仅依赖视觉线索，缺乏惯性测量单元 (IMU) 的约束。这导致相机运动与场景变形之间存在强耦合，使得问题在数学上病态 (Ill-conditioned)，难以恢复度量尺度和全局一致性。
可观测性未知： 在非刚性场景下，IMU 测量如何约束相机运动、如何改善系统的可观测性，此前缺乏明确的理论分析。

目标：
开发一种能够在非刚性变形环境中稳定、准确工作的视觉 - 惯性里程计系统，同时解决刚性假设失效和纯视觉方法病态的问题。

2. 方法论 (Methodology)

作者提出了 DefVINS，这是首个专为变形场景设计的视觉 - 惯性里程计流水线。其核心思想是将状态分解为刚性部分和非刚性部分，并通过 IMU 进行解耦和锚定。

A. 状态定义 (State Definition)

系统状态向量 $\xi$ 包含：

刚性状态： 关键帧的姿态 ( $R$ )、速度 ( $v$ )、位置 ( $t$ )，以及 IMU 偏置 ( $b_g, b_a$ ) 和重力方向 ( $\hat{g}$ )。
非刚性状态： 嵌入变形图 (Embedded Deformation Graph) 中的节点位置 $\{x_i\}$ 。这些节点代表场景中发生形变的特征点。

B. 优化框架 (Optimization Framework)

系统采用滑动窗口非线性最小二乘优化，代价函数 $L$ 包含以下项：

IMU 预积分残差 ( $L_{imu}$ )： 约束相邻关键帧间的相对运动，提供高频的运动约束，解决尺度、重力和 Roll/Pitch 的可观测性问题。
重投影误差 ( $L_{rep}$ )： 传统的视觉几何约束。
非刚性正则化项 ( $L_{nr}$ )： 这是 DefVINS 的核心创新，包含三个子项：
- 弹性约束 (Elastic Constraint)： 惩罚变形图中相邻节点间距离相对于参考帧的过度拉伸或压缩，保持局部几何结构。
- 粘性约束 (Viscous Constraint)： 鼓励相邻节点在时间上具有相似的位移速度，确保形变的平滑性。
- 光度约束 (Photometric Constraint)： 利用图像亮度一致性（Lucas-Kanade 跟踪），确保节点运动与图像纹理运动一致。

C. 可观测性分析 (Observability Analysis)

论文进行了理论分析，证明：

在刚性场景中，IMU 使尺度、重力方向和 Roll/Pitch 可观测。
在变形场景中，非刚性自由度会与相机运动耦合，导致病态。
IMU 的关键作用： IMU 测量通过锚定刚性动力学，限制了全局轨迹的漂移，从而解耦了相机运动与场景变形。这使得变形节点无法“吸收”刚性漂移，显著改善了系统的条件数 (Conditioning)，使原本不可观测的模式变得可观测。

D. 激活策略

基于可观测性分析，系统采用了一种基于条件数的激活策略。当运动激励不足（Excitation poor）导致系统病态时，系统会避免进行不稳定的更新，从而防止估计发散。

3. 主要贡献 (Key Contributions)

DefVINS 系统： 首个将显式变形模型（嵌入变形图）集成到视觉 - 惯性优化框架中的里程计系统，并明确解耦了 IMU 锚定的刚性状态与非刚性场景自由度。
VIMandala 数据集： 构建了首个包含真实图像、IMU 数据和地面真值相机姿态的变形场景基准测试数据集（拍摄了变形的曼陀罗布料）。
Drunkard's 数据集增强： 为现有的合成数据集 Drunkard's 补充了 IMU 测量数据，用于受控条件下的评估。
理论分析： 首次对视觉 - 惯性变形里程计问题进行了可观测性分析，揭示了 IMU 在改善非刚性场景下系统条件数方面的关键作用，并据此提出了激活策略。

4. 实验结果 (Results)

实验在合成数据集 (Drunkard's) 和真实数据集 (VIMandala) 上进行，对比了刚性 VIO (ORB-SLAM3)、非刚性纯视觉 SLAM (NR-SLAM) 以及 DefVINS 的不同变体。

合成数据 (Drunkard's)：
- 在低变形场景下，所有方法表现相近。
- 随着变形程度增加 (L1-L3)，刚性方法 (ORB-SLAM3) 的误差急剧上升。
- DefVINS (Full) 在极端变形下，相比 ORB-SLAM3 降低了约 40-45% 的绝对轨迹误差 (ATE)，相比纯视觉非刚性方法降低了约 50%。
- DefVINS 在严重变形下保持了最长的跟踪帧数，证明了其鲁棒性。
真实数据 (VIMandala)：
- 在接近刚性的序列 (R0-R1) 中，成熟的刚性方法 ORB-SLAM3 略胜一筹（归因于其工程优化）。
- 在中等至高度变形序列 (R2-R6) 中，刚性假设失效，ORB-SLAM3 的跟踪覆盖率大幅下降（在 R6 中低于 20%）。
- DefVINS (Full) 在高度变形场景下，相比 ORB-SLAM3 将 ATE 降低了约 75-80%，且能跟踪 85-95% 的帧数。
- 消融实验： 证明了“仅视觉 + 非刚性”会导致漂移，“仅刚性 + IMU"在变形下失效，只有IMU 约束 + 非刚性建模的结合才能实现全局一致性和高精度。

5. 意义与总结 (Significance)

填补空白： 解决了 VIO 在非刚性动态场景（如人机交互、软体机器人、医疗成像）中应用的关键瓶颈。
理论突破： 阐明了 IMU 在非刚性场景中的独特作用——不仅仅是提供高频运动约束，更是通过“刚性锚定”来解耦相机运动与场景变形，从而解决数学上的病态问题。
实用价值： 提出的 VIMandala 数据集为未来研究非刚性 VIO 提供了宝贵的基准，推动了该领域从纯视觉向多传感器融合的转变。

总结： DefVINS 通过巧妙结合 IMU 的刚性约束和嵌入变形图的非刚性建模，成功实现了在复杂变形环境下的鲁棒、高精度里程计估计，是视觉 - 惯性导航领域的一个重要进展。