MRDrive: An Open Source Mixed Reality Driving Simulator for Automotive User Research

本文介绍了 MRDrive，这是一款开源的混合现实驾驶模拟器，旨在通过结合真实车辆座舱与虚拟驾驶环境，解决传统驾驶模拟器在生态效度与实验控制之间的权衡难题，从而支持人机交互、注意力及可解释性等领域的汽车用户研究。

要点

这篇论文介绍了一个名为 MRDrive 的新工具，你可以把它想象成是汽车研究界的“乐高积木”与“魔法眼镜”的完美结合。

为了让你更容易理解，我们可以把这项研究比作是在造一个“不会撞车的平行宇宙驾驶舱”。

1. 为什么要造这个？（现在的痛点）

以前，科学家想研究司机在车里怎么操作、怎么分心，只有两种选择，但都有大缺点：

• 昂贵的真车模拟器：就像全尺寸的电影特效棚。非常逼真，有真实的座椅、方向盘和震动，但造价极高，而且一旦建好，想换个场景（比如从城市换到沙漠）就得拆了重盖，非常死板。
• 普通的 VR 模拟器：就像戴着 VR 眼镜坐在空椅子上。很便宜，想换什么场景就换什么场景，但最大的问题是你摸不到真实的汽车。你只能对着空气按按钮，或者用奇怪的手柄操作，这就像在真空中练游泳，虽然动作对了，但感觉完全不对，研究结果也不够真实。

MRDrive 的点子是：为什么不把两者结合起来呢？让身体坐在真实的汽车座椅上（摸得到方向盘、按得到真实的屏幕），但眼睛看到的却是虚拟的马路和风景？

2. MRDrive 是怎么工作的？（魔法原理）

MRDrive 就像是一个智能的“现实增强滤镜”：

• 硬件部分（真实的骨架）：
  研究人员搭建了一个真实的汽车内饰模型（或者直接用真车），里面有真实的座椅、方向盘、刹车踏板，还有一个像现代汽车那样的大触摸屏。
• 软件部分（虚拟的灵魂）：
  参与者戴上一副特殊的混合现实眼镜（Varjo XR-3）。这副眼镜很神奇，它不仅能显示虚拟的 360 度道路（比如前面的车、路边的树），还能透过摄像头看到真实的汽车内饰。
• 魔法时刻：
  当你戴上眼镜，你看到的世界是：你的手放在真实的方向盘上，但眼前的马路是虚拟生成的。如果虚拟世界里有一辆车冲过来，你会本能地踩刹车（因为你的脚踩在真实的踏板上），而你的眼睛看到的却是虚拟的撞击场景。

简单比喻：这就好比你坐在真实的驾驶舱里，但透过窗户看到的不是外面的停车场，而是好莱坞大片里的赛车场景。你既能感受到真实的触感，又能体验千变万化的虚拟路况。

3. 它是开源的（大家都能玩）

以前这种高级模拟器通常是大公司或大实验室的“独门秘籍”，别人用不了。
MRDrive 不一样，它是开源的（就像安卓系统或 Linux 一样）。

• 这意味着任何大学或研究团队，只要有一台电脑、一副眼镜和一个汽车模型，就可以下载代码，自己搭建一套。
• 它基于 Unity 游戏引擎（很多游戏都是用它做的），所以扩展起来很容易。你想加个新的交通标志，或者换个新的仪表盘界面，就像在游戏里换皮肤一样简单。

4. 他们用它做了什么实验？（小试牛刀）

作者找了两名志愿者做了一个小测试：

• 场景：让志愿者坐在“自动驾驶”的乘客座位上，看着虚拟马路。
• 任务：当虚拟汽车遇到紧急情况（比如前面有施工或行人）时，车里的“智能助手”会给出解释。
• 观察：研究人员通过眼镜里的眼动追踪功能，观察志愿者的瞳孔大小变化（瞳孔放大通常代表紧张或注意力集中），并记录他们什么时候去触摸真实的屏幕询问更多解释。
• 结果：他们成功收集到了数据，证明了这种“真座椅 + 假马路”的混合模式，既能让人放松（因为环境安全），又能捕捉到真实的生理反应。

5. 总结：这有什么意义？

MRDrive 就像是为汽车设计师和科学家提供了一把万能钥匙：

• 对设计师：他们可以低成本地测试新的车载屏幕好不好用，不用真的造一辆车。
• 对科学家：他们可以研究在自动驾驶时代，人到底是怎么看路、怎么信任机器的，而且数据非常真实。
• 对大众：未来我们坐进自动驾驶汽车时，里面的交互设计会更安全、更人性化，因为像 MRDrive 这样的工具已经帮我们在“虚拟世界”里试过了无数遍。

一句话总结：MRDrive 就是让你坐在真车里，开着假车，从而安全、便宜又真实地研究未来的驾驶方式。

技术摘要

MRDrive 技术总结：面向汽车用户研究的开源混合现实驾驶模拟器

1. 研究背景与问题 (Problem)

在汽车人机交互（HCI）和自动驾驶研究中，设计并评估车内界面需要兼具生态效度（Ecological Validity，即模拟真实驾驶环境）和实验控制（Experimental Control）的平台。现有的驾驶模拟器存在以下主要矛盾：

• 高保真物理模拟器：通常基于投影和运动平台，成本高昂、空间需求大，且多为闭源或依赖专有硬件，难以灵活调整。
• 虚拟现实（VR）模拟器：基于游戏引擎（如 Unity），成本低、空间占用小且灵活，但缺乏真实的车辆物理交互（如真实的触觉反馈、方向盘手感、车内物理按钮），导致生态效度不足，可能扭曲用户的操作行为和任务精度。
• 现有混合现实（MR）方案：部分方案（如 Wizard-of-Oz）需要真实车辆和道路基础设施，或者无法让参与者体验真实的车内物理环境。

核心问题：如何构建一个既能提供沉浸式 360°虚拟驾驶环境，又能保留真实车辆内部物理交互（触觉、操作手感），且具备开源、可复用、低成本特性的驾驶模拟平台？

2. 方法论与系统架构 (Methodology)

作者提出了 MRDrive，一个基于 Unity 引擎的开源混合现实（Mixed Reality）驾驶模拟器。其核心设计理念是将“虚拟的驾驶环境”与“真实的车辆内部”相结合。

2.1 系统架构

MRDrive 由三个主要模块组成（如图 2 所示）：

1. 驾驶环境模块：基于 Unity 构建，负责渲染 360°虚拟交通场景、车辆动力学及交通流行为。
2. 座舱模型模块 (Cabin Mock-Up)：
   • 支持不同保真度的配置：从全虚拟渲染到完全真实的车辆，再到高保真座舱模型（包含物理方向盘、踏板、座椅、中控屏等）。
   • 关键机制：利用 Unity XR 插件和 Pass-through（透视） 技术，将真实物理座舱的图像叠加到虚拟环境中。系统需要 1:1 的 3D 座舱软件模型，并通过外部追踪器（如 HTC Vive Tracker）与物理模型进行空间对齐，确保虚拟界面（如仪表盘）与物理位置精确重合。
3. 数据交换与通信层：
   • 输入：通过 TCP 接收物理座舱的转向和车辆控制信号（映射为 vJoy 信号）；通过 USB 接收车载信息系统（IVIS）的触摸输入；通过 XR 插件接收头显（HMD）的位置、姿态及眼动追踪数据。
   • 输出：将力反馈信号传回座舱；通过 HDMI 将渲染好的用户界面（仪表盘、中控屏）输出到物理屏幕；将虚拟驾驶场景渲染至 HMD。

2.2 硬件配置

• 头显：采用 Varjo XR-3，因其具备高质量的 VR 模式和视频透视（Pass-through）功能，且支持 Unity 库进行精确的透视对象调整。
• 座舱：使用了 Ergoneers 的高保真座舱模型，包含电动座椅、带力反馈的 OEM 方向盘、踏板、仪表盘显示器及 17 英寸中控触摸屏。
• 追踪系统：使用 4 个 SteamVR Base Stations 2.0 进行空间定位，配合 HTC Vive Tracker 固定于座舱模型上，实现物理与虚拟空间的稳定对齐（精度<1cm）。

2.3 软件功能

• IVIS（车载信息系统）：包含两个 Unity 预制件（仪表盘和中控屏）。仪表盘实时显示速度、档位等；中控屏模仿现代自动驾驶汽车（如 Waymo）的设计，显示车辆位置、地图及周围物体轮廓，并支持欢迎界面和音乐控制。
• 场景扩展：基于 Bazilinskyy 等人的 Coupled-Simulator 平台扩展，重构了城市元素（路灯、建筑等），支持手动驾驶和自动驾驶场景。

3. 关键贡献 (Key Contributions)

1. 开源 MR 驾驶模拟器：提供了一个基于 Unity 的、完全开源的混合现实驾驶模拟器，降低了高保真 MR 驾驶研究的门槛。
2. 可扩展的车载信息娱乐系统：设计了一个受现代自动驾驶汽车启发的 IVIS 系统，支持交互式反馈和真实物理屏幕的映射。
3. 多模态研究范例：提供了示例场景和实验流程，展示了如何收集驾驶数据、交互数据（触摸）及生理数据（眼动），支持可复现的实验设计。
4. 填补生态位：在低成本 VR 模拟器（缺乏物理交互）和昂贵投影式模拟器（缺乏灵活性）之间找到了平衡点，支持无需真实道路测试的 MR 原型设计。

4. 试点研究结果 (Results)

为了验证 MRDrive 的能力，作者进行了一项小规模（N=2）的试点研究，旨在展示其收集眼动和触摸交互数据的能力。

• 实验设置：参与者作为乘客坐在高保真座舱模型中，佩戴 Varjo XR-3 头显。
• 任务：在三种不同的智能驾驶代理（Nelo：无解释；Coda：主动解释；Lumo：按需解释）下，经历包含 4 个安全关键事件的自动驾驶场景。
• 数据收集：
  • 眼动追踪：监测瞳孔直径（作为认知负荷的指标）。
  • 交互数据：记录用户在触摸屏上请求解释的行为。
• 主要发现：
  • 在安全关键事件发生时，当智能驾驶代理提供解释时，参与者的瞳孔直径呈现增加趋势。
  • 在“按需解释”（Lumo）条件下，参与者在前三个场景中请求了解释，但在最后的紧急停止场景中未请求。
  • 结论：该研究成功证明了 MRDrive 能够有效地在逼真的驾驶环境中同步采集生理（眼动）和行为（触摸）数据，验证了其在汽车用户研究中的可行性。

5. 意义与未来展望 (Significance & Future Work)

• 学术意义：MRDrive 为汽车 HCI 研究提供了一个可重复、低成本且高保真的实验平台，促进了开放科学运动。它使得研究人员能够在受控环境下研究注意力、可解释性（Explainability）和交互行为，而无需依赖昂贵的专有设施或真实的道路测试。
• 局限性：
  • 硬件要求较高：需要高端头显（Varjo XR-3）和高性能工作站（RTX 4090）以达到 40-60 fps 的帧率。
  • 对齐难度：虚拟与真实内容的精确对齐（<1cm）需要大量的试错和调试。
• 未来工作：
  • 技术优化：提高渲染效率，改进虚实对齐算法。
  • 功能扩展：支持更多交互模态（手势、语音），集成更多生理传感器。
  • 验证研究：将模拟器数据与真实驾驶基准进行更广泛的对比验证。

总结：MRDrive 通过混合现实技术，成功解决了驾驶模拟中“沉浸感”与“物理交互”难以兼得的痛点，为未来自动驾驶的人机交互研究提供了一个强大的开源工具。