DriveXQA: Cross-modal Visual Question Answering for Adverse Driving Scene Understanding
本文提出了包含多模态数据与传感器故障场景的 DriveXQA 数据集，并设计了采用双交叉注意力投影器的 MVX-LLM 架构，以解决自动驾驶中恶劣天气下多传感器信息融合与理解不足的问题。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文介绍了一个名为 DRIVEXQA 的新项目，以及一套名为 MVX-LLM 的“超级大脑”系统。简单来说，他们是为了解决自动驾驶汽车在恶劣天气（如大雾、暴雨）或传感器故障（如摄像头过曝、激光雷达抖动）时“变傻”的问题。
我们可以把自动驾驶汽车想象成一个正在学习开车的“超级实习生”。
1. 核心问题：实习生为什么在恶劣天气下会“迷路”？
现在的自动驾驶系统（就像那个实习生）通常很依赖摄像头（RGB 视觉）。
- 晴天时：摄像头看得很清楚，实习生能轻松回答：“前面有辆车，距离 50 米。”
- 大雾或暴雨时：摄像头就像被蒙上了湿毛巾，什么都看不清。这时候，如果只靠摄像头，实习生就会慌，甚至做出错误判断。
- 传感器故障时：比如摄像头被强光闪瞎了（过曝），或者激光雷达（LiDAR）数据乱了（抖动），实习生就彻底“瞎”了。
现有的大模型（MLLM）虽然很聪明，但它们通常只擅长处理一种或两种信息，而且很少考虑“如果我的眼睛（摄像头）坏了，我该怎么办？”这种情况。
2. 解决方案一：DRIVEXQA —— 给实习生出的“地狱级”考题
为了训练这个实习生，作者们制作了一个巨大的题库，叫 DRIVEXQA。
- 题库内容：包含了 7885 个驾驶场景，有 10 万多个问答对。
- 考题难度：
- 天气地狱：不仅有晴天，还有暴雨、大雾、黑夜、阴天。
- 故障模拟：故意让摄像头模糊、过曝、变暗，或者让激光雷达数据抖动。
- 提问层次：
- 全局视角（像看地图）：现在是大雾天吗？路上车多吗？
- 他车视角（像看周围）：左边那辆自行车离我多远？那个路牌是什么意思？
- 自我视角（像看仪表盘）：我在哪条车道？我的传感器还好吗？
比喻：这就像给实习生出了一套**“极限生存模拟考”**。以前只考“晴天开车”，现在专门考“大雾天 + 摄像头坏了 + 激光雷达抖动”时，你还能不能安全地把车停好？
3. 解决方案二：MVX-LLM —— 给实习生装上“六感融合”的大脑
为了回答这些地狱级考题，作者设计了一个新的大脑架构，叫 MVX-LLM。它的核心秘诀是**“双交叉注意力机制”（Dual Cross-Attention, DCA）**。
我们可以把这个大脑想象成一个经验丰富的“老交警”带着一群“感官助手”：
感官助手们：
- 摄像头（眼睛）：看颜色、看文字。
- 深度相机（测距仪）：看距离。
- 事件相机（高速快门）：看快速移动的物体。
- 激光雷达（3D 扫描仪）：看物体的轮廓和形状，哪怕在黑夜或大雾中也能“摸”到物体。
老交警（DCA 机制）的作用：
- 传统做法：把所有助手的信息简单拼在一起（像把苹果和香蕉混在一个篮子里），如果苹果烂了（摄像头坏了），整个篮子就废了。
- MVX-LLM 的做法（DCA）：
- 空间交叉：老交警会问：“摄像头看不清那个红车，但激光雷达‘摸’到了它的轮廓，深度相机也测到了距离。大家把信息拼起来，确认那是辆车！”
- 通道交叉：老交警还会检查信息的“质量”。如果摄像头被强光闪瞎了（过曝），老交警会立刻说：“别信眼睛的，信激光雷达的！”它会动态调整信任谁。
比喻：这就好比你在大雾天开车，眼睛（摄像头）看不清了，但你可以通过听（事件相机捕捉声音/震动）、摸（激光雷达感知轮廓）来辅助判断。MVX-LLM 就是那个能灵活切换感官、在一种感官失效时立刻让其他感官补位的大厨。
4. 效果如何？
实验结果显示，这套系统非常厉害：
- 在大雾天，普通系统的得分只有 25.1 分（不及格），而 MVX-LLM 拿到了 53.5 分（优秀）。
- 它不仅能回答“前面有什么”，还能解释“为什么我觉得前面有车”（因为虽然看不清，但激光雷达显示有障碍物）。
总结
这篇论文做了一件很酷的事：
- 造了个“地狱考场”（DRIVEXQA 数据集），专门测试自动驾驶在传感器出故障或天气恶劣时的表现。
- 发明了个“全能大脑”（MVX-LLM），它不像以前的系统那样死板，而是懂得**“东方不亮西方亮”**。当摄像头失效时，它能立刻调用激光雷达和深度信息来补位，确保自动驾驶汽车在极端情况下依然能“看”清世界，做出安全的决定。
这就好比给自动驾驶汽车装上了**“透视眼”和“备用感官”**，让它在任何恶劣环境下都能像老司机一样稳如泰山。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。