💻 computer science

Mixture-of-Modality-Experts with Holistic Token Learning for Fine-Grained Multimodal Visual Analytics in Driver Action Recognition

该论文提出了一种结合混合模态专家（MoME）框架与整体令牌学习（HTL）策略的新方法，通过实现模态专家的自适应协作及细粒度令牌优化，显著提升了驾驶员动作识别任务中的多模态融合鲁棒性与可解释性。

原作者： Tianyi Liu, Yiming Li, Wenqian Wang, Jiaojiao Wang, Chen Cai, Yi Wang, Kim-Hui Yap

发布于 2026-04-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Tianyi Liu, Yiming Li, Wenqian Wang, Jiaojiao Wang, Chen Cai, Yi Wang, Kim-Hui Yap

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种让智能汽车“更聪明”地识别司机动作的新方法。为了让你轻松理解，我们可以把这项技术想象成组建一个“超级侦探团队”来观察司机的一举一动。

🕵️‍♂️ 背景：为什么现在的“司机观察员”不够聪明？

想象一下，你坐在车里，摄像头（RGB）、红外夜视仪（IR）和深度传感器（Depth）就像三个不同的观察员，他们都在盯着司机看。

白天：普通摄像头看得很清楚。
晚上或强光下：红外摄像头更靠谱。
司机被遮挡时：深度传感器能看出轮廓。

以前的问题：
以前的系统就像是一个死板的指挥官。不管情况怎么变，它都按照固定的比例把三个观察员的信息混合在一起（比如：50% 看普通摄像头，30% 看红外，20% 看深度）。

缺点：如果晚上红外摄像头看得最清楚，但指挥官还强行让普通摄像头“掺一脚”，反而会把信息搞乱。而且，司机只是轻轻动一下手指（比如调整后视镜），这种细微的动作很容易被背景噪音淹没，以前的系统很难捕捉到这些“蛛丝马迹”。

🚀 新方案：MoME + HTL（超级侦探团队 + 全息训练法）

这篇论文提出了两个核心创新，我们可以用两个生动的比喻来解释：

1. MoME：动态的“专家会诊”系统

（Mixture-of-Modality-Experts，模态混合专家）

以前的做法：像是一个流水线工厂，不管来的是什么零件，都按固定流程组装。
现在的做法：像是一个灵活的医疗会诊团队。
- 系统里有三个“专家”：一个擅长看颜色（RGB），一个擅长看热成像（IR），一个擅长看轮廓（Depth）。
- 核心创新：系统里有一个智能“分诊护士”（门控机制）。
- 怎么工作：当司机在操作时，分诊护士会先快速看一眼三个专家的“初步诊断报告”（专家输出的特征），然后决定：“现在光线太暗，红外专家最靠谱，给他 80% 的权重；普通摄像头有点模糊，只给他 20% 的权重。”
- 好处：这种动态调整让系统能根据当下的环境（白天、黑夜、遮挡）自动选择最可靠的“专家”来主导决策，而不是死板地混合。

2. HTL：全息令牌学习（Holistic Token Learning）

（让侦探不仅看“大方向”，还能看清“微表情”）

以前的痛点：
- 大模型（Transformer）通常只关注**“班级代表”（Class Token）**，也就是只关心“司机在做什么大动作”（比如：他在开车）。
- 它容易忽略**“班级里的细节”（Spatio-Temporal Tokens）**，比如“司机的手指在轻微颤抖”或者“视线在快速扫视”。这些细微的线索对于区分“疲劳”和“专注”至关重要。
- 以前的方法只让专家之间互相学习“大结论”，忽略了“细节”。
现在的做法：
- 比喻：想象这三个专家不仅是看病的，还是正在接受特训的实习生。
- 内部特训（Self-Guidance）：每个专家自己都要进行“深究”。老专家（深层网络）会告诉新专家（浅层网络）：“别只盯着大轮廓，注意看那个微小的手部动作！”这确保了每个专家都能捕捉到细微的线索。
- 互相交流（Mutual Guidance）：三个专家之间不仅交换“最终结论”，还要交换“观察笔记”。
  - 红外专家说：“我虽然看不清颜色，但我看到了手部的热运动轨迹。”
  - 普通摄像头专家说：“我虽然看不清热运动，但我看到了手部的颜色变化。”
  - 他们互相“批改作业”，把彼此忽略的细节补全。
- 好处：这种全视角的互相学习，让系统不仅能识别“司机在开车”，还能精准识别“司机正在用单手操作手机”这种细微动作，大大减少了误判。

🏆 结果：为什么这很重要？

在真实的驾驶场景中（比如光线忽明忽暗、司机被安全带遮挡），这种新方法表现出了惊人的优势：

更精准：在复杂的测试中，它的准确率比以前的所有方法都高。
更稳健：不管环境怎么变，它都能自动找到最靠谱的“观察员”。
更懂细节：它能捕捉到那些容易被忽略的微小动作，这对于防止疲劳驾驶或分心驾驶至关重要。

📝 总结

简单来说，这篇论文就是给智能汽车装上了一套**“会思考的超级眼睛”：
它不再死板地混合所有摄像头的数据，而是动态地挑选最靠谱的专家**（MoME），并且让这些专家互相学习、互相纠正细节（HTL），从而在复杂的车内环境中，精准地识别司机的每一个细微动作，让驾驶更安全、更智能。

这篇论文提出了一种名为**混合模态专家（Mixture-of-Modality-Experts, MoME）的框架，并结合整体 Token 学习（Holistic Token Learning, HTL）**策略，旨在解决驾驶员动作识别（Driver Action Recognition, DAR）中细粒度多模态视觉分析的难题。

以下是该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

应用场景：智能座舱内的驾驶员动作识别。与通用动作识别不同，座舱环境具有背景固定、身体运动幅度小、局部细微动作多等特点。
核心挑战：
1. 模态可靠性动态变化：不同传感器（如 RGB、红外、深度图）在不同光照、遮挡或动作类别下的可靠性是输入依赖的（input-dependent）。现有的多模态融合方法通常依赖固定的融合权重或预定义的跨模态交互，难以适应这种动态变化。
2. 细粒度特征丢失：现有的基于 Transformer 的大规模预训练骨干网络在处理受限且静态的座舱场景时，往往依赖粗略的上下文模式，容易忽略区分细微动作类别的关键时空运动线索。
3. 知识传递不足：现有的专家混合（MoE）或蒸馏方法主要关注全局的"Class Token"（类别标记），缺乏对细粒度的"Spatio-temporal Tokens"（时空标记）的建模和专家内部/之间的知识传递。

2. 方法论 (Methodology)

论文提出了 MoME + HTL 的联合框架，包含两个核心组件：

A. 混合模态专家 (MoME)

设计理念：将多模态学习构建为不同模态专家（Modality Experts）之间的自适应协作，而非简单的特征聚合。
动态门控机制 (Output-Aware Gating)：
- 传统的 MoE 门控通常仅基于输入特征生成权重。
- 创新点：MoME 的门控模块基于专家输出（即每个模态专家生成的 Class Token）来动态计算权重。
- 优势：决策导向的表示比原始输入包含更丰富的专家置信度和动作响应模式信息，使门控能更准确地根据当前输入调整各模态的贡献度，实现灵活的自适应融合。

B. 整体 Token 学习 (HTL)

设计理念：为了捕捉细微动作并减少背景偏差，HTL 在专家内部（Intra-expert）和专家之间（Inter-expert）两个层面进行 Token 级别的知识精炼与传递。
具体机制：
1. 专家内部自引导 (Self-Guidance)：
  - 利用深层 Transformer 块中更成熟的语义表示（Class Token 和深层时空 Token），通过 KL 散度（KL Divergence）约束浅层时空 Token。
  - 目的：鼓励浅层网络保留细微的动作运动线索，减少对粗略上下文模式的依赖，提升专家内部表示的一致性。
2. 专家间互引导 (Mutual Guidance)：
  - 不同模态专家从异构视角观察同一动作，其表示包含互补证据。
  - 利用均方误差（MSE）在专家输出层面（Class Token）进行语义对齐，促进跨模态的可靠决策知识传递，同时保持各模态的专长。
损失函数：总损失由分类损失 ( $L_{cls}$ )、内部自引导损失 ( $L_{intra}$ ) 和外部互引导损失 ( $L_{inter}$ ) 组成。

3. 主要贡献 (Key Contributions)

提出了 MoME 框架：首次将 MoE 架构引入驾驶员动作识别，通过基于专家输出的动态门控机制，实现了不同感知模态间的灵活协作，解决了模态可靠性动态变化的问题。
设计了 HTL 策略：
- 突破了传统仅关注 Class Token 的蒸馏限制，同时建模并精炼 Class Token 和 Spatio-temporal Tokens。
- 实现了“专家内部自精炼”与“专家间知识传递”的双重增强，显著提升了细粒度动作的感知能力。
实现了可解释性与鲁棒性：通过 Token 级别的证据分析，模型不仅能提高准确率，还能更好地关注细微的动作区域，减少背景干扰，提升了模型的可解释性。

4. 实验结果 (Results)

数据集：在大规模多模态数据集 Drive&Act 上进行验证，重点关注 RGB、红外（IR）和深度（Depth）三种模态的融合，识别 34 种细粒度动作类别。
性能表现：
- MoME + HTL 在 Mean-1 Accuracy 上达到 73.82%，Top-1 Accuracy 达到 83.94%。
- 对比 SOTA：优于现有的单模态和多模态基线（如 Multifuser, CM2-Net 等）。特别是 Mean-1 准确率比最强的基线 CM2-Net 提升了 1.72%，表明该方法在处理困难类别和长尾分布上更具优势。
消融实验：
- 证明了“基于输出的门控”优于传统的“基于输入的门控”。
- 证明了 HTL 策略优于现有的专家蒸馏方法（如 MoDE），特别是在细粒度动作识别任务中，对时空 Token 的建模至关重要。
- 可视化结果显示，引入 HTL 后，模型注意力更集中于细微的动作区域（如手部动作），而非背景。

5. 意义与价值 (Significance)

技术层面：为受限环境下的细粒度多模态理解提供了一套新的范式，即从“静态特征融合”转向“动态专家协作”与“细粒度 Token 知识传递”相结合。
应用层面：显著提升了智能座舱驾驶员行为监测的鲁棒性和准确性，对于增强人车交互、预防疲劳驾驶及构建更可靠的智能交通系统具有重要的实际应用价值。
理论启示：揭示了在 Transformer 架构中，除了全局语义对齐外，显式地建模和传递细粒度的时空 Token 信息对于复杂场景下的动作识别至关重要。