Unleashing the Power of Discrete-Time State Representation: Ultrafast Target-based IMU-Camera Spatial-Temporal Calibration

本文提出了一种基于离散时间状态表示的超快 IMU-相机时空标定方法，通过克服离散表示在时间标定上的弱点，显著降低了计算成本并提升了标定效率，同时开源了相关实现以服务于研究与工业界。

要点

这篇论文介绍了一种超级快、超级准的“相机和惯性传感器（IMU）配对校准”新方法。

为了让你轻松理解，我们可以把整个过程想象成给两个性格迥异的搭档（相机和 IMU）进行“磨合”和“对表”。

1. 背景：为什么要校准？

想象一下，你正在驾驶一辆自动驾驶汽车（或者拿着手机玩 AR 游戏）。

• 相机（眼睛）：负责看路，但它看得慢（比如每秒 20 次），而且它不知道时间具体是几点几分，只知道“刚才那一帧”。
• IMU（内耳前庭）：负责感受震动和旋转，它反应极快（每秒 200 次），但它是个“瞎子”，不知道自己在哪。

为了让它们合作（视觉惯性融合），必须解决两个问题：

1. 空间校准（谁在谁旁边？）：相机和 IMU 在设备上的相对位置必须精确知道。就像你知道你的左眼和右耳之间隔了多远。
2. 时间校准（谁的时间快？）：相机拍照片的时刻，和 IMU 记录震动的时刻，往往有微小的时间差（比如相机比 IMU 慢了 0.01 秒）。如果不把这个时间差找出来，数据对不上，车子就会迷路。

2. 以前的方法：慢吞吞的“连续剧”

以前的校准方法（如 Kalibr、Basalt）就像是在拍一部连续剧。

• 它们假设时间是一条连续不断的河流。为了描述这条河，它们把每一毫秒都当成一个独立的演员（状态变量）来记录。
• 缺点：因为 IMU 数据太密集（每秒 200 次），这部“连续剧”的演员人数会爆炸式增长。电脑要处理几万个演员的台词和动作，计算量巨大，非常慢。
• 比喻：就像你要计算两个人从 A 走到 B 的距离，以前的方法是把每一步（甚至每一步的微小颤动）都画在纸上，然后拿着尺子一点点量。虽然准，但太累了。

3. 这篇论文的创新：超快的“离散快照”

这篇论文提出了一种**“离散时间”的方法，就像拍照片**一样。

• 核心思想：我们不需要记录每一毫秒发生了什么，只需要记录关键帧（比如相机拍照片的那一瞬间）的状态。
• 怎么做到？ 他们发明了一种**“预积分”技术**（Preintegration）。
  • 比喻：在两个关键帧（两张照片）之间，IMU 疯狂地记录了 100 次震动。以前的方法把这 100 次都算一遍。而新方法把这 100 次震动打包成一个“压缩包”（伪测量值）。
  • 电脑只需要处理这个“压缩包”，而不是 100 个原始数据。这大大减少了需要计算的“演员”数量。

4. 遇到的挑战与解决：如何避免“时间差”？

大家以前觉得“离散快照”有个大毛病：时间校准不准。

• 问题：因为只拍快照，中间的过程被“压缩”了，如果压缩得不好，时间差就算不准。就像你只看了电影的第 1 分钟和第 10 分钟，很难猜出第 5 分钟发生了什么。
• 以前的做法：用简单的“欧拉积分”（Euler integration），就像用直尺去量弯曲的河流，误差大。
• 本文的绝招：他们用了**“中点积分”（Midpoint integration）**。
  • 比喻：不再是直尺硬量，而是像切蛋糕一样，把弯曲的河流切成更小的段，取中间点来估算。这样即使只拍快照，也能极其精准地还原中间的过程。
  • 结果：既保留了“快照”的超快速度，又解决了“时间差”不准的难题。

5. 惊人的效果：快了多少？

论文通过实验对比了三种方法：

1. Kalibr（老方法）：像老式算盘，慢但准。
2. Basalt（改进版）：像计算器，快了一些。
3. 本文方法（Ours）：像超级计算机。

数据说话：

• 如果以前校准一个设备需要 2 分钟（120 秒）。
• 用新方法，只需要 0.2 秒！
• 速度提升：比最慢的方法快了 600 多倍，比第二快的方法快了 70 多倍。

现实意义：
想象一下，如果全世界有 100 万台无人机或手机需要出厂校准。

• 用旧方法：可能需要几千人加班几个月。
• 用新方法：几分钟就能搞定，直接节省 2000 多个工作日！

6. 总结

这篇论文就像给机器人世界装上了一个**“超光速引擎”**。
它证明了：不需要把时间切得无限细（连续时间），只要用聪明的方法处理关键节点（离散时间 + 高级积分），我们就能在保持极高精度的同时，把校准速度提升几百倍。

这对于未来让无人机、手机、AR 眼镜等设备更便宜、更智能、量产更快，有着巨大的推动作用。而且，作者还把代码开源了，让全世界都能免费使用这个“加速器”。

技术摘要

这是一份关于论文《Unleashing the Power of Discrete-Time State Representation: Ultrafast Target-based IMU-Camera Spatial-Temporal Calibration》（释放离散时间状态表示的潜力：超快基于目标的 IMU-相机时空标定）的详细技术总结。

1. 研究背景与问题 (Problem)

• 核心挑战：视觉惯性融合（Visual-Inertial Fusion）是机器人导航、增强现实（AR）等应用的基础。为了获得最优的状态估计，必须预先精确标定 IMU（惯性测量单元）与相机之间的空间（外参）和时间（时间偏移）关系。
• 现有方法的局限性：
  • 目前主流的开源标定方法（如 Kalibr 和 Basalt）大多采用连续时间状态表示（基于 B 样条，B-spline）。
  • 虽然连续时间方法精度高，但由于需要处理高维状态变量（每个 IMU 测量点都对应状态），导致计算成本极高，优化速度慢。
  • 随着无人机、手机等视觉惯性平台的大规模量产，如果每个设备都需要数分钟的标定时间，将造成巨大的人力浪费。
• 离散时间表示的困境：
  • 离散时间状态表示（Discrete-time state representation）通常被认为在时间标定（Temporal Calibration）方面表现不佳，因为高频 IMU 数据难以直接利用，且简单的欧拉积分（Euler integration）精度不足，导致时间偏移估计误差大。
  • 现有的离散时间尝试（如 MVIS）虽然引入了离散化，但为了处理重力方向，引入了额外的 3D 特征点，牺牲了效率。

2. 方法论 (Methodology)

作者提出了一种基于离散时间状态表示的新型高效标定方法，核心在于解决离散化带来的精度损失并最大化效率。

• 状态变量定义：

  • 优化变量 $\chi$ 包含：IMU 运动状态（位姿、速度）、IMU 偏置（陀螺仪和加速度计）、重力方向参数、以及时空标定参数（IMU-相机外参、时间偏移 $t_d$）。
  • 关键创新：将重力方向作为优化变量，并假设重力模长已知（9.81 m/s²），仅优化其方向（球坐标 $\theta, \phi$），从而避免了引入额外的 3D 特征点，大幅降低了状态维度。

• IMU 伪测量模型 (IMU Pseudo-measurement Model)：

  • IMU 预积分 (Preintegration)：利用预积分技术将两个图像帧之间的高频 IMU 测量聚合为一个伪测量，大幅减少优化变量数量。
  • 高阶积分方案 (Higher-order Integration)：
    • 指出传统的欧拉积分（Euler integration）精度不足以支撑高精度的时间标定。
    • 提出采用中点积分 (Midpoint integration) 代替欧拉积分。通过利用两个 IMU 测量值的平均值来近似积分过程，显著提高了 IMU 约束的精度，从而解决了离散时间表示在时间标定上的弱点。
  • 恒定偏置假设：假设标定序列较短（约 1 分钟），IMU 偏置在序列内是时不变的，进一步减少了状态维度。

• 相机测量模型：

  • 使用 AprilTag 标定板作为目标。
  • 构建重投影误差模型，其中图像时间戳根据估计的时间偏移 $t_d$ 进行修正（$t_I = t_C + t_d$），从而将时间偏移参数耦合到优化过程中。

• 优化框架：

  • 构建全批量非线性最小二乘问题（Full-batch nonlinear least squares）。
  • 联合优化所有参数，使用 Levenberg-Marquardt 算法求解。
  • 在每次迭代中，根据更新的时间偏移 $t_d$ 动态调整 IMU 预积分的时间区间。

3. 主要贡献 (Key Contributions)

1. 首创联合重力估计的离散时间标定：提出了首个在 IMU 预积分模型中联合估计重力方向（而非假设已知或引入额外特征）的离散时间 IMU-相机标定方法。
2. 揭示高阶积分的重要性：首次明确指出并验证了**高阶 IMU 预积分（中点积分）**对于离散时间状态表示在时间标定中的关键作用，解决了以往离散方法时间标定不准的痛点。
3. 极致的效率提升：通过降低状态维度和残差维度，实现了比现有 SOTA 方法快数百倍的优化速度，同时保持了标定精度。
4. 开源实现：发布了开源代码（DT-VI-Calib），推动工业界应用。

4. 实验结果 (Results)

作者在 EuRoC 和 TUM-VI 两个主流数据集上进行了广泛实验，对比了 Kalibr（连续时间基准）、Basalt（连续时间加速版）和本文方法（分为 Euler 和 Midpoint 两种变体）。

• 标定精度 (Accuracy)：

  • 空间标定：本文方法（Midpoint 版）的旋转和平移误差与 Kalibr 相当（旋转 < 0.05°，平移 < 0.1 cm）。
  • 时间标定：
    • 使用欧拉积分的变体（Ours Euler）时间偏移误差约为 2.5ms。
    • 使用中点积分的变体（Ours Midpoint）将时间偏移误差降低至 < 0.2 ms，与 Kalibr 相当，证明了高阶积分的必要性。
  • 重投影误差：与 Basalt 和 Kalibr 处于同一水平。

• 计算效率 (Efficiency)：

  • 速度提升：
    • 在 EuRoC 数据集上，Ours (Midpoint) 比 Kalibr 快 ~634 倍，比 Basalt 快 ~107 倍。
    • 在 TUM-VI 数据集上，Ours (Midpoint) 比 Kalibr 快 ~693 倍，比 Basalt 快 ~71 倍。
  • 绝对时间：对于 20Hz 图像频率的序列，优化时间仅需 0.08 秒 - 0.29 秒，而 Kalibr 需要 100 秒 - 144 秒。

• 对 VIO 性能的影响：

  • 使用本文标定参数输入到 Open-VINS 中，其绝对轨迹误差（ATE）与使用 Kalibr 或 Basalt 标定的结果相当，甚至更优，证明该方法不会导致下游 VIO 任务的性能损失。

5. 意义与影响 (Significance)

• 工业价值：该方法将标定时间从分钟级缩短至毫秒级。论文举例指出，如果全球有 100 万台设备需要标定，每台节省 1 分钟，总共可节省 2083 个工作日。这对于无人机、手机、AR 眼镜等需要大规模工厂标定的商业产品具有巨大的成本节约潜力。
• 学术突破：打破了“离散时间状态表示不适合高精度时间标定”的固有认知，证明了通过改进积分方案（中点积分）和联合优化策略，离散方法可以在保持精度的同时实现数量级的效率提升。
• 未来方向：为多视觉惯性系统、在线标定以及外星探测（重力环境不同）等场景提供了高效的基础工具。

总结：这篇论文通过引入离散时间状态表示并结合高阶 IMU 预积分，成功开发了一种超快且高精度的 IMU-相机时空标定方法。它在保持与连续时间方法（如 Kalibr）同等精度的前提下，将计算效率提升了数百倍，解决了大规模设备标定中的效率瓶颈问题。