💻 computer science

eNavi: Event-based Imitation Policies for Low-Light Indoor Mobile Robot Navigation

本文提出了名为 eNavi 的基于事件相机的室内移动机器人导航方法，通过发布包含多光照条件的新数据集并构建融合 RGB 与事件流的晚融合模仿学习策略，显著提升了机器人在低光及快速运动场景下的导航鲁棒性。

原作者： Prithvi Jai Ramesh, Kaustav Chanda, Krishna Vinod, Joseph Raj Vishal, Yezhou Yang, Bharatesh Chakravarthi

发布于 2026-03-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Prithvi Jai Ramesh, Kaustav Chanda, Krishna Vinod, Joseph Raj Vishal, Yezhou Yang, Bharatesh Chakravarthi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 eNavi 的新项目，它的核心目标是让机器人在光线很暗的房间里也能像人一样灵活地跟着人走。

为了让你更容易理解，我们可以把这项技术想象成给机器人装上了一套“超级感官系统”。

1. 机器人的“视力”困境：为什么普通摄像头不行？

想象一下，你戴着一副普通的相机眼镜（RGB 摄像头）在晚上走路。

光线暗时：你看不清路，世界变得灰蒙蒙的。
走得太快时：你眼前的景象会模糊成一团（运动模糊）。
忽明忽暗时：你的眼睛需要不断适应，反应慢半拍。

这就是普通机器人在室内导航时遇到的大麻烦。一旦环境变暗或移动变快，它们就“瞎”了，容易撞墙或跟丢人。

2. 解决方案：给机器人装上“事件相机”

为了解决这个问题，研究团队给机器人装上了一个特殊的传感器，叫做事件相机（Event Camera）。

普通相机：像拍照片一样，每秒拍几十张完整的画面。如果画面太黑，照片就是一片黑。
事件相机：它不拍完整的照片，而是像一群敏锐的哨兵。它只记录“哪里发生了变化”。
- 如果光线没变，它保持沉默。
- 如果有一个物体移动了，或者光线突然变亮/变暗，它会在微秒级（百万分之一秒）的时间内发出信号：“嘿！这里有个东西动了！”

比喻：
想象你在一个完全黑暗的房间里。

普通相机：就像你试图用手电筒去照，如果手电筒没电了，你就什么都看不见。
事件相机：就像你的耳朵。即使在全黑中，只要有人走动（产生声音/变化），你就能立刻感知到方向。它不依赖光线，只依赖“变化”。

3. 他们做了什么？（eNavi 项目）

研究团队做了三件大事：

A. 收集了“超级数据” (eNavi 数据集)

他们让一个像扫地机器人那样的小车（TurtleBot），在真实的房间里，由人远程操控着跟着人走。

场景：他们特意选了光线很暗的房间，还有正常光线的房间。
记录：他们同时记录了普通相机的画面、事件相机的“变化信号”，以及专家（人类）是如何控制机器人的（比如：向左转、加速）。
成果：这是世界上第一个专门针对“低光环境下机器人跟人走”的公开数据集。就像给机器人提供了一本“黑暗中的行走教科书”。

B. 设计了“大脑” (多模态融合策略)

他们训练了一个 AI 模型，这个模型有两个“眼睛”：

左眼（普通相机）：负责看颜色、纹理，在光线好时很厉害。
右眼（事件相机）：负责看运动、变化，在光线差或速度快时很厉害。
大脑（融合模块）：这是一个聪明的“翻译官”。
- 当光线好时，它主要听“左眼”的。
- 当光线变暗或人跑得太快时，它立刻切换到“右眼”，依靠“变化信号”来导航。
- 比喻：就像你开车，白天主要看路牌（普通相机），但到了大雾天或晚上，你会更依赖雷达和听觉（事件相机）。这个 AI 能自动在两者之间无缝切换。

C. 验证效果

他们做了很多测试，发现：

只用普通相机的机器人，一进黑屋子就迷路了。
只用事件相机的机器人，虽然能走，但不够精准。
两者结合的机器人（eNavi）：在黑暗中依然能稳稳地跟着人，转弯流畅，几乎不犯错。

4. 为什么这很重要？

这项技术的意义在于，它让机器人不再害怕“黑暗”和“快速移动”。

未来应用：想象一下，以后家里的服务机器人可以在晚上关灯后，依然能安全地跟着你从卧室走到厨房，而不会撞倒东西。或者在火灾烟雾弥漫、光线极差的救援现场，机器人能依靠这种“变化感知”能力进行搜救。

总结

简单来说，这篇论文就是给机器人装了一双“夜视 + 动态感知”的超级眼睛，并教会了它如何把普通视觉和这种特殊视觉结合起来。结果就是：机器人即使在伸手不见五指的黑屋里，也能像老司机一样，稳稳地跟着人走。

这项研究不仅发布了新的数据集，还证明了这种“双管齐下”的方法比单一方法要强大得多，为未来更智能的机器人铺平了道路。

这是一篇关于基于事件相机的室内移动机器人导航（eNavi）的论文技术总结。该研究旨在解决传统 RGB 相机在低光照和快速运动场景下导航性能下降的问题，通过引入事件相机（Event Camera）和模仿学习，提出了一种新的数据集、数据处理流程及多模态融合导航策略。

以下是详细的技术总结：

1. 研究背景与问题 (Problem)

核心挑战：室内服务机器人（如跟随人）在复杂环境中面临动态运动、杂乱场景和光照条件剧烈变化（特别是低光照）的挑战。
现有局限：
- 传统的基于帧的 RGB 相机在低光照下会出现图像质量下降，在快速运动时会产生运动模糊，且动态范围有限。
- 现有的基于事件相机的研究主要集中在感知任务（如 SLAM、光流、姿态估计），缺乏端到端的控制策略研究。
- 目前缺乏高质量的、包含事件流与专家控制动作标签的真实世界室内导航数据集，导致事件驱动的模仿学习（Imitation Learning）难以开展。

2. 方法论 (Methodology)

A. eNavi 数据集构建

硬件平台：基于 TurtleBot 2 移动机器人，搭载 NVIDIA Jetson Orin Nano 计算单元。
传感器配置：
- 事件相机：Prophesee Metavision EVK4 (1280×720, 微秒级延迟，高动态范围)。
- RGB 相机：Teledyne Blackfly S (1280×1024, 170 fps)。
- 同步机制：通过分束器（Beam Splitter）实现共轴光路，利用 STM32 微控制器生成 30Hz 外部触发脉冲，实现硬件级时间同步。
数据采集：
- 在多种室内地图和轨迹（单路径 P1，多路径 P1-P3）下，由人类专家通过遥操作（Teleoperation）控制机器人跟随目标人物。
- 涵盖正常光照和低光照两种环境。
- 包含约 2 小时数据，分为 175 个片段，包含同步的 RGB 帧、原始事件流和专家控制动作。
数据处理流水线：
- 时间对齐：以 RGB 帧时间戳为基准，聚合间隔内的事件流，构建事件帧（Event Frame）。
- 事件表示：将异步事件转换为 2 通道（ON/OFF 极性）的密集张量（Spatial Event Histogram）。
- 动作重构：不直接使用遥操作摇杆信号（存在噪声和延迟），而是基于里程计（Odometry）反馈重构线速度（ $v$ ）和角速度（ $\omega$ ），作为模仿学习的真值标签。

B. 导航策略架构 (ENP)

提出了一种晚期融合（Late-Fusion）的 RGB-Event 导航策略，采用 CNN-Transformer 混合架构：

双编码器：
- RGB 编码器：使用预训练的 MobileNetV3-Small（权重冻结），提取空间特征。
- 事件编码器：使用可训练的 MobileNetV3-Small，提取事件流的时空动态特征。
融合模块：
- 利用 Transformer 自注意力机制 将两个编码器的特征向量进行融合。
- 该机制允许模型根据当前光照和运动条件，自适应地权衡 RGB 上下文与事件动态的贡献。
控制头：
- 通过多层感知机（MLP）输出连续的差速驱动控制指令（ $v, \omega$ ）。
训练目标：
- 采用行为克隆（Behavioral Cloning, BC），使用平均绝对误差（MAE）作为损失函数，进行监督学习。

3. 关键贡献 (Key Contributions)

eNavi 数据集：首个面向真实室内机器人导航的 RGB-Event 数据集，包含同步的 RGB 帧、原始事件流和专家控制动作，覆盖正常及低光照条件。
多模态处理流水线：提出了一套完整的数据处理方案，实现了异步事件数据与 RGB 观测的时间对齐，并基于里程计重构了高质量的动作标签。
晚期融合导航策略：设计了结合双 MobileNet 编码器与 Transformer 融合模块的架构，并通过 12 种训练变体（不同架构、路径复杂度、光照条件）进行了系统评估。
实证分析：证明了在低光照和复杂路径下，融合模型相比单一模态模型具有显著的鲁棒性和更低的动作预测误差。

4. 实验结果 (Results)

研究在 12 种训练配置下（3 种架构 × 2 种路径 × 2 种光照）进行了评估：

收敛效率：包含事件数据的模型（Event-only 和 Fusion）比纯 RGB 模型收敛更快，往往在 20-35 个 epoch 内触发早停，而 RGB 模型常需跑满 50 个 epoch。
低光照鲁棒性（Zero-shot Generalization）：
- 在单路径简单场景下，RGB 模型在低光照下表现尚可。
- 在多路径复杂场景下，纯 RGB 模型在低光照下的性能显著下降（MAE 增加）。
- 融合模型（ENP-Fusion）在未见过的低光照条件下表现出卓越的泛化能力，总 MAE 显著低于纯 RGB 模型（例如在多路径混合光照测试中，Fusion 为 0.0370，RGB 为 0.0707）。
轨迹分析：在低光照测试中，融合策略仍能准确跟踪高速移动和复杂的转向动作，证明了事件流提供了足够的运动线索来弥补 RGB 纹理的缺失。

5. 意义与展望 (Significance)

填补空白：首次将事件相机的异步特性与端到端模仿学习结合，解决了室内低光照导航的痛点。
实用价值：为服务机器人在家庭、办公室等光照多变环境中的可靠运行提供了新的感知与控制范式。
社区贡献：开源了数据集、同步处理代码及训练模型，推动了事件视觉在机器人控制领域的发展。
未来方向：论文指出了当前同步处理在实时推理上的计算挑战，建议未来研究异步数据处理、基于扩散模型的策略头以及在线学习（如 DAgger）技术，以进一步提升实时性和平滑度。

总结：eNavi 工作通过构建高质量数据集和创新的融合架构，证明了在低光照和复杂动态环境中，结合事件相机与 RGB 相机的多模态策略能显著提升移动机器人的导航鲁棒性和控制精度。