💻 computer science

Multimodal Driver Visual Load Assessment and Prediction under Dynamic Lighting Environments Using RaceGrid-OPTICS and WA-PSRSMformer

本研究提出了一种多模态框架，该框架将眼动、光照和车速数据与一种新型的 RaceGrid-OPTICS 聚类算法以及 WA-PSRSMformer 深度学习模型相结合，旨在准确评估并预测动态光照条件下的驾驶员视觉负荷，在隧道环境下实现了 90.13% 的准确率。

原作者： Noman Iqbal, Yishui Zhu, Fenjiao Wang, Luyang Wang

发布于 2026-09-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Noman Iqbal, Yishui Zhu, Fenjiao Wang, Luyang Wang

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

驾驶是人类大脑与道路之间进行的一种持续不断的博弈。对于大多数人来说，这种博弈是在无意识中完成的，但它高度依赖于一种感官：视觉。当光线突然发生变化时——例如从阳光明媚的高速公路进入昏暗的隧道内部，或者行驶在树影在挡风玻璃上快速闪烁的路段时——眼睛和大脑必须超负荷运转以进行适应。这种对视觉信息的突然需求创造了一种被称为“视觉负荷”的状态。它是大脑处理眼睛所见信息时所需的心理努力。当这种负荷过重时，驾驶员察觉危险、识别形状以及对危险做出反应的能力可能会下降，从而使常规的通勤变成潜在的风险。虽然我们知道这些光影变化是危险的，但要精确测量它们在实时过程中给驾驶员带来的心理压力，一直是一个难以衡量的难题。

长安大学的一个研究小组开发了一种新方法，旨在窥探这种无形的心理努力。他们致力于构建一个系统，该系统不仅能实时测量驾驶员的视觉负荷，还能预测视觉负荷何时即将激增，同时还要在车辆穿行于复杂多变的光影环境时保持有效。为此，他们超越了驾驶模拟器那种受控的人造环境，将实验带到了真实的道路上。他们招募了十名驾驶员，并为一辆标准轿车配备了一套传感器组合：一个用于追踪驾驶员视线方向及瞳孔反应的穿戴式摄像头，一个用于记录前方路况的仪表盘摄像头，以及一个用于测量环境精确亮度的光度计。驾驶员经历了三种不同的场景：光线稳定的长直路段、阳光在树影间闪烁的阴影路段，以及光线在明亮日光与黑暗之间剧烈切换的隧道。

研究人员收集了海量数据，将驾驶员的眼球运动与光线变化及车辆速度同步。他们专注于特定的生物信号，例如瞳孔的大小及其变化速度，以及视线注视的位置和跳跃至新视点的频率。这些信号是身体对大脑工作负荷的诚实反应；当眼睛试图适应突然的光线变化时，瞳孔和注视模式会发生可预测的变化。然而，将这些原始的数据流转化为“高负荷”或“低负荷”的清晰图像是一个复杂的谜题。团队首先使用了一种先进的方法将相似的模式归类，有效地教会了计算机如何识别轻松驾驶与压力驾驶之间的区别，而无需依赖预设规则。他们发现，这种方法可以成功地将数据分为五个不同的视觉负荷等级，从冷静到高度紧张。

一旦系统能够识别这些状态，研究人员便转向了更难的任务：预测。他们想知道系统是否可以通过观察当前的数据，来推测驾驶员在几秒钟后的视觉负荷。他们测试了几种不同的计算机模型，包括擅长识别图像模式的模型，以及旨在记忆事件序列的模型。最成功的方案是一种被称为“Transformer”的人工智能模型，该模型特别擅长理解长序列中一个事件如何导致另一个事件。为了使该模型更契合驾驶这一特定挑战，团队加入了三项关键改进。首先，他们教导模型去额外关注那些稀有的、高压力的时刻，因为这些时刻虽然发生频率较低，但却是捕捉的关键。其次，他们精简了模型的内部处理流程，使其能够处理长距离驾驶数据而不会因不必要的计算而陷入停滞。最后，他们优化了内存使用，使其能够在可能安装在真实汽车中的硬件上高效运行。

在现实世界的测试结果令人瞩目。在最具挑战性的环境——即光线突变的隧道中——新系统的视觉负荷预测准确率超过了90%。这显著优于其他测试模型，后者在应对快速变化时显得力不从心。该系统还表现出了极高的效率，处理数据的时间仅为旧模型所需时间的零头，这对于任何需要在移动车辆中实现瞬时响应的技术来说都是至关重要的。研究证实，结合眼动追踪数据、光照测量和车辆速度，可以提供驾驶压力的完整图景。研究表明，虽然直线道路通常易于预测，但在进入和退出隧道时的瞬间会产生最复杂的视觉需求，往往会将驾驶员推入高负荷状态，而该系统能够检测并预判这些状态。

这项工作不仅提供了一种测量压力的方法，更提供了一个通往更安全未来的蓝图。通过了解光照条件如何使驾驶员的视觉感到疲劳，工程师可以设计出更好的预警系统，在驾驶员变得不堪重负之前发出提醒。该系统证明，利用人类眼睛的自然反应，实现对驾驶中无形心理负荷的实时监测是完全可能的。随着道路变得更加复杂，以及自动驾驶系统承担起更多的责任，拥有一种可靠的方法来衡量人类在观察与反应方面的能力，将变得至关重要。研究人员已经证明，借助正确的工具，我们可以洞察道路上那看不见的负担，并或许通过这种方式，防止那些因负担过重而导致的事故发生。

技术摘要：动态照明环境下多模态驾驶员视觉负荷评估与预测

1. 问题陈述

道路照明的快速变化（特别是隧道和阴影路段）会显著增加驾驶员的视觉工作量并危及安全。这些变化会诱发生理现象，如“黑洞”和“白洞”效应，导致视觉适应延迟、对比敏感度降低以及危险识别能力受损。现有的驾驶员视觉负荷评估方法存在三个主要局限性：

依赖单一模态或静态阈值： 许多方法依赖于孤立的生理指标（如瞳孔直径）或人工预设的阈值，无法捕捉驾驶行为、环境照明与车辆动力学之间复杂的非线性相互作用。
分析碎片化： 视觉负荷评估与时间序列预测通常被视为独立的任务，未能充分利用自适应标注与预测之间的关系。
计算约束： 虽然基于 Transformer 的模型在捕捉长程时间依赖性方面展现出潜力，但其高计算复杂度和内存需求往往阻碍了其在实时智能交通系统（ITS）中的部署。

目前缺乏一个统一的框架，能够同时解决动态照明条件下的自适应视觉负荷分类、多模态特征融合、类别不平衡以及计算效率问题。

2. 研究方法

本研究提出了一个包含数据采集、用于标签生成的自适应聚类以及深度学习预测架构的统一多模态框架。

2.1 数据采集与预处理

实验设置： 在长安大学试验场进行了实车实验，涉及 10 名驾驶员（新手和经验丰富型），涵盖三种环境：阴影路段、长直路段和隧道。
传感器： 数据通过 Tobii Pro Glasses 3 眼动仪（50 Hz）、360° 行车记录仪（1 Hz）和 Tesan 数字照度计进行同步。
特征： 数据集整合了眼动特征（注视坐标、瞳孔直径、注视持续时间、扫视幅度/频率）、环境照度（Lux）、车速以及驾驶员人口统计学特征。
预处理： 处理流程包括去噪（卡尔曼滤波）、缺失值插值（三次样条插值）以及鲁棒归一化以处理异常值。时间同步根据驾驶事件将所有数据流对齐到统一的时间线上。随后，所有模态均被重采样至 5 Hz 的统一频率：眼动信号进行降采样，车速测量进行线性插值，并保留原始照度采样频率。

2.2 视觉负荷评估（标签生成）

本研究并未采用预设阈值，而是使用无监督学习方法来推导视觉负荷状态：

特征提取： 提取了七项视觉负荷指标（瞳孔面积、变化率、MTPA、扫视幅度、注视持续时间、扫视频率）。
降维： 通过主成分分析（PCA）将这些指标降至三个主成分，解释了 89.52% 的方差。
聚类： 开发了一种新型的 RaceGrid-OPTICS 算法。它结合了：
- 渐进式网格搜索： 用于由粗到精的参数探索。
- F-Race 优化： 用于统计评估并剔除劣质参数配置。
- OPTICS： 用于识别不同密度的簇，而无需预先定义簇的数量。
标签化： 聚类结果产生了五个可解释的视觉负荷等级（0–4），其等级通过基于主成分的加权得分进行排序。

2.3 视觉负荷预测框架

标记后的数据被用于训练一个形式化为监督序列学习任务的时间序列预测模型。

基准模型： 实现了四种标准的深度学习（DL）模型：全卷积网络（FCN）、卷积神经网络（CNN）、长短期记忆网络（LSTM）和标准 Transformer。
提出的架构 (WA-PSRSMformer)： 在 Transformer 的基础上引入了三项增强功能：
1. 加权自适应损失 (WAL)： 通过对代表性不足（高负荷）的类别分配更高的惩罚，解决类别不平衡问题。
2. 残差稀疏注意力 (RSA)： 取代标准自注意力机制，在保留长程依赖并跨层传播注意力信息的同时，降低计算复杂度（从 $O(N^2)$ 降低）。
3. 参数共享 (PS)： 在查询（Query）、键（Key）、值（Value）投影以及前馈层之间共享参数，以减少模型冗余和内存消耗。

3. 核心贡献

多模态框架： 集成了真实驾驶场景下的同步眼动追踪、照明及车辆动力学数据，用于评估动态照明下的视觉负荷。
RaceGrid-OPTICS 聚类： 一种结合 PCA 和自适应参数优化（网格搜索 + F-Race）的新型策略，能够稳健地识别视觉负荷状态，无需人工阈值，并实现了高水平的聚类质量。
WA-PSRSMformer 架构： 该 Transformer 模型通过 WAL、RSA 和 PS 机制，同时提升了预测精度、解决了类别不平衡问题并降低了计算开销。
实证验证： 在三种不同的道路环境下进行了全面评估，证明了其优于现有先进基准模型的性能。

4. 实验结果

该框架通过准确率、加权精确率/召回率/F1 分数、平均绝对误差（MAE）以及秩相关指标（Kendall's Tau, Spearman's Rho）进行了评估。

聚类性能： RaceGrid-OPTICS 优于默认的 OPTICS、DBSCAN 和 K-means，实现了 0.86 的轮廓系数、159,532.83 的 Calinski–Harabasz 指数以及 0.28 的 Davies–Bouldin 指数。
基准比较： 在所有环境下，标准 Transformer 的表现始终优于 LSTM、CNN 和 FCN。在隧道场景中，Transformer 的准确率达到 85.54%，高于 LSTM (80.72%)、FCN (74.22%) 和 CNN (72.42%)。
所提模型性能：
- WA-PSRSMformer 取得了最高的整体性能，在隧道驾驶条件下准确率达到 90.13%，MAE 为 0.1525。
- 与基准 Transformer 相比，它在隧道环境（准确率提升 +5.37%）和直路环境（+1.71%）中均表现出显著改进。
- 该模型与地面真值具有很强的秩相关性（隧道环境下 Spearman's Rho = 0.8807）。
计算效率： 所提出的优化措施大幅降低了推理时间和内存占用。在隧道场景下，与基准 Transformer 相比，WA-PSRSMformer 的执行时间减少了约 72.9%（从 43.46s 降至 11.77s），内存使用量减少了 16.3%，使其适用于实时部署。

5. 意义与主张

本文声称所提出的框架为实时驾驶员状态监测提供了一种有效方法。通过将自适应聚类与高效的深度学习架构相结合，本研究解决了处理动态照明环境下视觉负荷快速波动的关键空白。

作者强调，WA-PSRSMformer 成功平衡了高预测精度与低计算成本，这是集成到智能交通系统（ITS）和高级驾驶辅助系统（ADAS）中的必要条件。研究结论指出，该框架为预测复杂多变的照明环境下的驾驶员视觉负荷提供了稳健的解决方案，从而支持更安全的交通安全系统开发。未来的工作重点在于扩大场景多样性并纳入更多的生理信号（如 ECG、EEG）。