Leakage-Resistant Evaluation of Calibrated Multimodal Driver Drowsiness Detection Across Drivers and Routes

想象一下，你正在试图教会一个机器人如何察觉驾驶员即将进入睡眠状态。你给了机器人一个摄像头、一块智能手表和一个仪表盘传感器来观察驾驶员。但这里有个棘手的地方：如果你不小心，机器人可能会依赖“捷径”。它可能会学会识别特定的驾驶员面孔或特定的行驶道路，而不是真正学习什么是“困倦”。这就像是通过背诵练习题的答案来应付数学考试，而不是学习公式本身。如果考试题目稍有变动，机器人就会失败。这就是人工智能中的“数据泄露”（data leakage）问题。

为了构建一个真正安全的系统，我们需要确保机器人学习的是通用的疲劳迹象——比如沉重的眼睑、反应迟钝或心率变化——这样它才能适用于任何驾驶员、在任何道路上（甚至是它从未见过的道路）工作。我们还需要确保机器人不仅仅是猜测“清醒”或“睡眠”，而是能告诉我们它有多大的“把握”。如果机器人 99% 确定驾驶员正在睡觉，我们希望能够信任这个数字。这篇论文深入探讨了这些问题，扮演着一名严格的裁判的角色，去检查以往关于疲劳驾驶检测系统的说法究竟是真的有效，还是仅仅基于依赖捷径的“幸运猜测”。

---

疲劳检测大审计

在这项研究中，一个研究小组决定扮演“泄露侦探”的角色。他们拿到了两组庞大的数据集——一组包含来自高速公路、崎岖地形和城市街道的 15 名驾驶员的 22.5 万条观测数据；另一组包含来自 20 人的 8.7 万多条皮肤电导读取数据——并将它们置于一场严苛的、不准走捷径的测试中。他们的目标是观察那些在以往研究中表现最好的模型，在不能偷看答案或无法记住特定驾驶员的情况下，是否仍能胜任工作。

“捷径”清理
首先，研究人员对数据进行了彻底的清洗。他们意识到，某些数据列就像是在给侦探提供答案。例如，如果数据中包含一列字面上写着“发生了突然刹车”，那么计算机就可以在每次刹车时直接猜出“疲劳”，而无需真正理解驾驶员的状态。他们还删除了任何仅仅是“睡眠”标签的不同表达方式的列。在剥离了这些“捷径”后，剩下的都是原始且诚实的信号：心率、握力、足部动作和车辆数据。

四种测试方式
为了测试模型是真的聪明还是仅仅在死记硬背，团队使用了四种不同的测试策略，就像通过改变游戏规则来观察谁真正掌握了规则：

1. 随机行拆分（Random Row Split）： 像洗扑克牌一样打乱所有数据。这是“简单模式”，计算机在训练和测试中都会看到同一个驾驶员和道路的片段。
2. 时间块测试（Time-Blocked）： 确保计算机只能通过学习过去来预测未来，就像看电影并尝试在没看最后 20 分钟的情况下猜出结局。
3. 驾驶员留出法（Driver-Held-Out）： 这是“新驾驶员”测试。计算机从 10 名驾驶员的数据中学习，并在它从未见过的 5 名驾驶员身上进行测试。
4. 路线留出法（Route-Held-Out）： 这是终极的“新世界”测试。计算机在高速公路和崎岖路面上学习，但在它从未见过的密集城市交通中接受测试。

获胜者：“全能型”大脑
研究人员测试了三种不同类型的 AI “大脑”：一个简单的线性思考者（逻辑回归）、一个复杂的树状学习器 Pooled HGB（基于直方图的梯度提升），以及一个由专家投票决定答案的团队（CQMF，即校准质量权重模态融合）。

出人意料的获胜者是 Pooled HGB。把这个模型想象成一个单一的、超级聪明的侦探，它会同时观察所有事物——心率、足部动作和汽车速度。它不会尝试将线索分类，而是让数据相互对话。

• 在针对新驾驶员（Driver-Held-Out）进行测试时，该模型的表现极其出色。它区分清醒与睡眠的得分达到了 0.9990（总分为 1.0），而在捕捉罕见的疲劳时刻方面得分也达到了 0.9819。
• 它在表达信心方面也非常诚实。它的“布里尔分数”（Brier score，衡量其信心与现实匹配程度的指标）仅为 0.00355，这意味着当它说“我有 90% 的把握”时，它几乎总是正确的。

“专家团队”失败了
研究人员原本希望“专家团队”（CQMF）的表现会更好。其构想是：让一个 AI 监测心脏，另一个 AI 监测双手，第三个 AI 监测汽车，然后让他们投票。但这种方法实际上表现得更差。当团队尝试结合他们各自的观点时，他们丢失了信号之间微妙的联系。事实证明，一个能看到全貌的单一侦探，比一个无法互相交流的专家委员会要好。因为“全能型”大脑捕捉到了一个关键点：特定的心率模式在不同的车辆行驶状态下可能意味着完全不同的含义，而那些独立的专家却忽略了这一点。

“新道路”惩罚
这是模型表现不够完美的地方。当研究人员在全新的道路类型（Route-Held-Out）上测试模型时，性能下降了。

• 在高速公路上，模型依然表现出色。
• 但在密集的城市路段，识别疲劳驾驶员的能力下降了。其“敏感度”（即它实际捕捉到疲劳驾驶员的能力）降至 0.7216。
  这揭示了“路线迁移惩罚”。模型学到了高速公路上疲劳驾驶员的样子，但城市驾驶是混乱且不同的。如果你把一个仅在高速公路上训练的模型投入到繁忙的城市，它可能会漏掉那些疲劳驾驶的人。

“传感器故障”压力测试
现实生活是混乱的。传感器会损坏，电线会松动，数据会丢失。研究人员通过随机删除 10%、20%、30% 甚至 50% 的数据来模拟这种情况，以观察会发生什么。

• “全能型”模型（Pooled HGB）表现得非常稳健。即使在丢失 50% 数据的情况下，它仍能保持 0.6630 的不错得分。
• “专家团队”（CQMF）则崩溃得更快，在丢失 50% 数据时跌至 0.5260。
  这表明，拥有一个能够处理缺失信息的鲁棒性强的单一模型，比依赖一个一旦特定传感器失效就会集体“失声”的专家团队更为可靠。

皮肤电导率之谜
团队还研究了第二个涉及皮肤电导率（即人在压力或疲劳时皮肤出汗程度）的数据集。即使在剔除了“捷径”之后，该模型的表现依然惊人，得分高达 0.9994。然而，研究人员对此持谨慎态度。他们指出，由于没有原始的视频或音频日志，他们无法 100% 确定最初的“疲劳”标签是否完全准确。这就像是在一个完美的考试成绩面前，你却不知道老师判卷是否公正。因此，虽然数字看起来很棒，但他们不能仅凭此就声称该系统已在现实世界中得到证实。

总结

这篇论文不仅告诉我们哪个 AI 模型是“最好的”，它还教导我们如何停止依赖捷径。核心结论是：除非你在从未见过的驾驶员和道路上对其进行测试，否则你无法信任一个驾驶疲劳检测系统。

研究发现，一个能够整合所有数据的强大单一模型（Pooled HGB）是最可靠的。它优于尝试组合多个独立模型的方法，并且足够鲁棒，能够处理数据缺失的情况。然而，研究也警告我们，即使是最好的模型也不是完美的。如果你将一个系统从高速公路转移到繁忙的城市，或者传感器开始出现故障，该系统可能会漏掉危险。

作者总结道，虽然我们目前已经拥有了一个非常强大的检测疲劳的工具，但我们还没有准备好将其安装到每一辆车中。我们需要更多的现实世界测试、来自原始传感器的更好数据，以及一个在感到困惑时知道何时该寻求帮助的系统。在此之前，这项研究充当了一次至关重要的“泄露审计”，确保当我们声称一个系统是安全的时候，我们不是在用一个幸运的猜测来欺骗自己。