Investigating Driver-Specific Variability in Vision-Based Driver Fatigue Monitoring: A Subgroup Evaluation Design Tested in a Controlled Simulation

技术摘要：调查基于视觉的驾驶员疲劳监测中针对特定驾驶员的变异性

问题陈述
基于视觉的驾驶员疲劳监测系统通常在包含重叠或相似驾驶员的训练集与测试集的汇总数据集上进行验证。这种方法产生的单一聚合准确率指标掩盖了不同驾驶员子群之间显著的性能差异。驾驶员在眼睛几何形状、眼镜使用情况（眼镜 vs. 太阳镜）、头部姿态以及驾驶照明条件方面存在差异。一个在平均水平上表现良好的规则可能会在特定群体（例如，窄眼驾驶员或佩戴太阳镜的人）中失效。现有文献通常将这些因素视为次要因素，或者按算法而非驾驶员特征进行结果聚合，导致疲劳检测系统的泛化能力未经验证。

方法论
本文提出并测试了一种使用受控生成模拟而非真实世界数据的受试者不相交、基于子群的评估设计。该研究并不旨在估计系统在真实驾驶员上的准确率，而是旨在揭示机制并为未来的真实数据研究定义分析协议。

• 模拟设计： 一个生成模型在每次重复实验中模拟 240 名驾驶员，每位驾驶员具有特定的因子水平：
  • 眼睛几何形状： 由开眼眼角比（EAR）水平（窄、中、宽）定义。
  • 眼镜： 无、眼镜或太阳镜（建模为将 EAR 信号向通用先验进行“压缩”）。
  • 头部姿态： 正面、适度或大幅度（影响噪声和掉帧率）。
  • 照明： 正常、低光照或夜间（影响噪声和掉帧率）。
  • 生理特征： 模拟眨眼率和困倦状态（慢速眨眼、部分眼睑下垂）生成 15 fps 的合成 EAR 轨迹。
• 分类器： 对比了两种检测规则：
  • C0（固定阈值）： 对所有驾驶员使用统一阈值（$m < 0.20$）。
  • C1（单驾驶员校准）： 从 60 秒的清醒驾驶中估计驾驶员特定的开眼水平（$\hat{E}_{open}$），并设置动态阈值（$m < 0.6 \cdot \hat{E}_{open}$）。
• 评估协议：
  • 受试者不相交划分： 50% 的驾驶员用于训练（校准），50% 用于测试。没有任何驾驶员同时出现在两个集合中。
  • 指标： 每位驾驶员及按子群聚合计算准确率、召回率和假阳性率（FPR）。
  • 统计检查： 使用 Kruskal–Wallis 检验评估子群差异；使用 Wilcoxon 符号秩检验比较 C0 与 C1。
  • 鲁棒性： 通过零模型检查（$s=0$，无因子效应）和效应量扫描（$s=0$ 到 $2$）来验证分析的敏感性。独立的重新实现证实了结果。

核心贡献

1. 评估设计： 一个包含四个标注子群因子的可重用框架、受试者不相交划分、基于子群的指标以及零模型检查。
2. 生成式模拟： 一个记录详实的模拟过程，通过隔离特定的驾驶员变异因子来测试检测机制，而不受真实世界数据采集噪声的影响。
3. 关于变异性的定量发现：
   • 眼睛几何形状： 对固定阈值规则（C0）有显著影响，导致窄眼驾驶员出现高假阳性，而宽眼驾驶员出现低召回。校准（C1）在很大程度上消除了这种不平衡。
   • 眼镜： 太阳镜严重降低了校准规则（C1）的性能。太阳镜导致的信号压缩使得校准后的阈值低于实际闭眼信号，从而导致漏检。这被确定为一个设计参数问题（特别是闭合比例 $\alpha$），而非校准本身的固有失败。
   • 照明： 夜间条件增加了固定规则（C0）的假阳性，但校准规则（C1）能更好地处理这种情况，尽管其机制涉及噪声与模型的相互作用。
   • 头部姿态： 在模拟假设的幅度内影响极小。
4. 样本量指导： 功效分析表明，检测大效应（如眼镜对 C1 的影响）需要约 8 名子群驾驶员，中等效应需 16–20 名，小效应需 30–40 名。目前的公开数据集（14–60 名受试者）通常不足以支持稳健的子群推断。
5. 报告清单与工具： 一个仪表板（Streamlit/Plotly）和一个子群报告清单，强调受试者层面的自助法（bootstrapping）以及校准数据的分离。

结果

• 整体性能： 在模拟中，固定规则（C0）实现了较高的平均准确率（0.81），高于校准规则（C1, 0.78），主要是因为 C1 在面对太阳镜时表现不佳。
• 子群差异：
  • C0： 窄眼驾驶员遭受了高假阳性率（0.36），而中等眼（0.07）和宽眼（0.04）驾驶员的假阳性率较低。
  • C1： 佩戴太阳镜的驾驶员准确率（0.62）和召回率（0.24）较无眼镜者（0.80）出现了剧烈下降。
• 校准效能： 校准减少了由眼睛几何形状和夜间照明引起的差异，但引入了新的脆弱性——对太阳镜的敏感性。研究表明，需要一个“可靠性门限”（例如检测信号压缩）来缓解太阳镜导致的失效模式。
• 独立性： 独立的重新实现证实了定性模式，且定量差异在 0.05 以内，验证了研究结果源于模型结构。

意义与主张
论文明确指出，其发现取决于模拟的假设，并不构成关于真实驾驶员的证据。其意义在于：

• 定义假设： 建立关于特定驾驶员因素（几何形状、眼镜、姿态、光照）如何影响疲劳检测的可测试假设。
• 协议规范： 为未来的真实数据研究提供严谨的报告清单和样本量要求，以确保能够检测到子群差异。
• 系统设计指导： 建议实际系统应采用单驾驶员校准结合信号质量门限（以处理太阳镜问题），并按子群而非仅按单一汇总指标报告性能。
• 资源评估： 强调现有的公开数据集往往规模过小，或缺乏必要的标注（例如标准化的肤色或头部姿态），难以在不进行跨数据集汇总的情况下支持稳健的子群分析。

作者总结道，虽然模拟显示校准可以转移误差类型（修复了几何形状问题，但加剧了眼镜问题），但这些发现的最终价值必须通过使用所提议评估设计的计划内真实数据研究来确定。