💻 computer science

GMoT: Gated Motion-Aware Tokenization for Fine-Grained Micro-Gesture Video Reasoning with Multimodal LLMs

本文引入了 GMoT，即一种结合了渐进式奖励引导策略优化的门控运动感知标记化模块，通过显式地蒸馏稀疏运动学证据与解剖学依据，来增强多模态大语言模型进行细粒度微手势视频推理的能力，并在 iMiGUE 和 SMG 基准测试上实现了最先进的性能。

原作者： Taorui Wang, Wei Xia, Hui Ma, Zijia Song, Jiayu Zhang, Zeheng Wang, Yong Xu, Zitong Yu

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Taorui Wang, Wei Xia, Hui Ma, Zijia Song, Jiayu Zhang, Zeheng Wang, Yong Xu, Zitong Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人理解人类的肢体语言。你给它看一段视频，并希望机器人能根据一个极其微小的动作，准确地告诉你那个人正在感受什么或在想什么。这就是计算机视觉的世界，它是计算机学习如何“看见”并理解视觉世界的一个科学分支。通常，这些计算机非常擅长识别跑步、跳跃或挥手这类大型、明显的动作。但这个领域中有一个棘手的角落，叫做微表情/微动作（micro-gestures）。这些是我们所有人都会在无意识中做出的极其细微的动作：手指的一次快速抽动、肩膀一次几乎察觉不到的耸动，或是嘴唇瞬间的紧缩。它们发生得极快，且空间范围极小，因此极易被忽略。

目前最智能的视频阅读计算机——即多模态大语言模型（MLLMs）——面临的问题是，它们就像那些擅长读教科书但完全看不懂现场话剧的学生。它们过于关注宏观画面——静态姿态、背景、人的面部特征——以至于经常错过那些揭示真相的微小、转瞬即逝的线索。它们可能会看到一个人双臂交叉，然后猜测“愤怒”，却完全忽略了这个人刚刚敲击了一下手指，而这个动作实际上意味着“不耐烦”。这篇论文旨在解决这样一个挑战：教导这些强大的 AI 模型停止基于宏观图景进行猜测，转而开始关注那些真正重要的、微小的、动态的细节。

问题所在：“静态快照”陷阱

把标准的视频 AI 想象成一个摄影师，他只拍了一部电影中一个模糊的快照，然后就试图猜测剧情。如果这部电影的主题是一个人紧张地抖动肩膀，标准的 AI 可能只会看到一个人静止站立，并猜测为“站立”。它错过了“运动”，因为它观察视频的速度太慢，或者通过平均化处理将一切都抹平了，从而洗掉了那些微小且快速的动作。

这篇论文的作者，Taorui Wang 及其团队注意到，现有的 AI 模型正在进行“草率的猜测”。它们会观察到一个双臂交叉的姿势，然后立即判定那个人处于“防御状态”，却忽略了一个可能意味着完全不同含义的细微手指敲击。这些模型依赖于静态外观（人看起来的样子），而非运动学证据（他们是如何移动的）。更糟糕的是，由于模型仅因得到最终正确答案而获得奖励，它们有时会产生“幻觉”——编造出一个听起来逻辑通顺但与视频实际发生情况毫无关系的华丽理由。

解决方案：GMoT（“运动侦探”）

为了解决这个问题，团队构建了一个名为 GMoT（门控运动感知标记化）的新工具。想象你有一个聪明但有点偷懒的侦探（AI 模型）正在试图破解谜团。这个侦探通常只是扫一眼犯罪现场就做出判断。GMoT 就像是一个专门的助手，递给侦探一个放大镜和一个荧光笔。

以下是 GMoT 的工作步骤：

聚焦动作： GMoT 不会对整个视频帧进行等同对待，而是像聚光灯一样。它扫描视频以找到运动发生的精确位置（例如特定的手指或肩膀），并忽略掉无聊的背景噪音。
冻结运动： 它提取视频中相邻的两帧，并将一帧从另一帧中减去。这就像拍摄一名跑步者的两张照片，然后用第二张减去第一张，从而只留下运动的“模糊感”。这分离出了纯粹的运动能量，剥离了人体静态的部分。
“门控”注入： 团队担心加入这种新的“运动信息”可能会干扰 AI 原有的大脑。因此，他们构建了一个“门”（控制开关）。起初，门几乎是关闭的，让 AI 依赖它已有的知识。随着 AI 的学习，门会慢慢打开，引入恰到好处的运动线索，帮助 AI 做出更好的判断，而不至于让其信息过载。

训练过程：学习解释，而非仅仅猜测

团队并不只是想让 AI 得到正确答案；他们还希望 AI 能根据它实际看到的现象来解释其推理过程。为此，他们设计了一个包含四个阶段的特殊训练过程：

预热（Warm-up）： 他们首先教 GMoT 模块如何在普通视频中寻找运动。
领域自适应（Domain Adaptation）： 他们向它展示了数千个微动作视频，使其学会了微小动作的特定语言。
思维链（CoT）学习： 他们教会 AI 在给出答案之前先写出自己的想法。与其只说“耸肩”，它必须说：“我看到肩膀在快速上下移动，这表明……”
奖励引导的精炼（Reward-Guided Refinement）： 这是最后的润色阶段。他们建立了一个评分系统，惩罚那些“懒惰猜测”（即不看细节直接选最常见答案）的行为，并奖励那些专注于实际运动的行为。如果 AI 试图在没有看到运动的情况下，对背景或人的情绪编造故事，它会受到惩罚；如果它指出了具体的运动部位，则会获得奖励。

结果：看见“不可见”

团队在两个主要的微动作数据集 iMiGUE 和 SMG 上测试了他们的新系统。

在 iMiGUE 数据集上，他们的模型（基于 Qwen3-VL-8B 骨干网络）实现了 67.32% 的准确率。这是一个巨大的飞跃，比基础模型提升了 6.80 个百分点。
在 SMG 数据集上，它达到了 73.11% 的准确率，比基础模型提高了 3.11 个百分点。

这些数字意味着该模型在捕捉那些其他模型容易错过的转瞬即逝的微小动作方面，表现得显著更好。但团队并未止步于分数。他们引入了一种新的方法来衡量 AI 是否真正“落地”于现实。他们检查了当 AI 得到正确答案时，其解释是否提到了正确的身体部位（如“嘴唇”或“肩膀”）。他们称之为身体区域落地（BRG）召回率。他们的模型证明了它不仅仅是在瞎猜，而是确实在观察正确的部位。

为什么这很重要

这篇论文表明，要让 AI 真正理解人类行为，它需要停止依赖静态快照，转而开始关注运动的“闪烁”。通过构建一个专门搜寻这些微小、瞬时线索的系统，并强制 AI 基于这些线索来解释其推理过程，研究人员创造出了一个更不容易产生幻觉、且更有可能理解人类身体微妙、无声语言的模型。这是迈向 AI 不仅能“看见”我们的外表，更能“理解”我们行为的一大步。

技术摘要：用于细粒度微表情视频推理的 GMoT

问题陈述

微表情识别（Micro-gesture Recognition, MGR）涉及检测转瞬即逝、空间局部化的动作（例如轻微的耸肩或嘴唇紧缩），这些动作揭示了潜在的情感和认知状态。这些动作具有振幅低、持续时间短和空间区域狭窄的特征，通常仅跨越短短几帧。

目前的视觉语言大模型（MLLMs）虽然在通用视频理解方面表现强大，但由于以下两个主要局限性，在 MGR 任务中表现挣扎：

静态偏差（Static Bias）： 标准的视频 MLLM 依赖于稀疏的时间采样和时间池化，这会稀释或丢失微妙的运动信号。因此，模型倾向于依赖“静态姿态先验”（例如，将交叉双臂的姿势进行分类），而不是利用具有辨别力的运动线索。
幻觉推理（Hallucinated Reasoning）： 如果缺乏显式约束，MLLM 往往会生成听起来合理但缺乏视觉依据的推理轨迹（“草率猜测”），以满足最终的分类标签，从而无法提供基于证据的解释。

仅关注单一数据集内 Top-1 准确率的现有评估方法，无法验证模型是否真正捕捉到了可迁移的微观动力学特征，还是仅仅记住了特定数据集的表象偏差。

方法论：GMoT

作者提出了 GMoT（门控运动感知分词，Gated Motion-Aware Tokenization），这是一个轻量级模块，旨在向原始 MLLM 中注入显式的运动学偏差，且不会破坏其预训练的视觉-语言接口。GMoT 通过三个核心机制运行：

1. 运动感知分词 (Motion-Aware Tokenization)

GMoT 在将运动信息与视觉流融合之前，将稀疏的时空线索提炼为紧凑的运动标记序列：

运动提示的空间显著性（Motion-Prompted Spatial Saliency）： 一个轻量级评分器将补丁标记（patch tokens）投影以生成相关性得分，通过应用空间 Softmax 来创建加权的帧级表示。这作为一个学习到的滤波器，用于放大局部的运动证据并抑制背景噪声。
受运动学启发的时域差分（Kinematics-Inspired Temporal Differencing）： GMoT 不依赖复杂的时域混合，而是计算显式的相邻帧时域差分。它将此过程解耦为两个流：平均幅度（量化运动能量）和符号差分（保留方向运动学）。两者被拼接并投影为固定长度的运动标记。
语义保持的自适应门控（Semantic-Preserving Adaptive Gating）： 为了防止破坏预训练 MLLM 已对齐的视觉-语义空间，运动标记通过一个保守初始化的语义门进行融合（ $\tilde{z}_t = z_t + \sigma(g) \odot m_t$ ）。该门控从“近关闭”状态开始，允许模型逐渐学习引入多少运动证据。

2. 训练策略

作者采用了一个四阶段渐进式训练流水线，使模型从简单的分类过渡到基于证据的推理：

阶段 0（预热/Warm-up）： 在通用视频数据集上训练 GMoT 模块，同时冻结 LLM 和视觉编码器，以稳定运动标记的生成。
阶段 1（视频-标签配对/Video-Label Pairing）： 使用 LoRA 在微表情视频-标签对上进行监督微调（SFT），以将视觉表示与特定领域的语义对齐。
阶段 2（CoT 格式 SFT）： 训练模型生成专注于可观察运动证据的思维链（CoT）描述。此阶段使用半自动标注流水线，其中多个 LMM 生成候选描述，由选择器（Qwen3-VL-MoE）挑选出在类别正确、视觉对齐且无幻觉的描述。
阶段 3（奖励引导的策略优化/Reward-Guided Policy Refinement）： 使用群体相对策略优化（GRPO）进行强化学习阶段。奖励函数（ $R_i$ $R_{i}$ ）结合了四个项：
- 标签正确性 ( $R_{label}$ ): 奖励精确匹配，惩罚错误猜测，并严厉惩罚领域外幻觉。
- 懒惰预测惩罚 ( $R_{lazy}$ ): 遏制模型通过重复猜测高频类别来利用长尾分布的行为。
- 格式合规性 ( $R_{format}$ ): 确保输出遵循要求的 CoT 模板。
- 观察聚焦度 ( $R_{focus}$ ): 惩罚包含无关背景关键词的推理轨迹。

核心贡献

GMoT 模块： 一种新型的分词方法，它将空间显著性、显式时域差分和门控融合集成到 MLLM 中，使其能够在不使用沉重的 3D 卷积的情况下捕捉微妙的微表情。
面向推理的训练： 一个结合了半自动 CoT 监督与渐进式奖励引导策略优化框架。这鼓励了解剖学层面的对齐，并增强了对“基于表象的懒惰猜测”的抵抗力。
更广泛的评估协议：
- 身体区域对齐（BRG）召回率： 一个在分类正确的样本上计算的新指标，用于量化模型的推理在多大程度上正确识别了相关的解剖区域。
- 跨领域迁移： 使用 iMiGUE 和 SMG 数据集之间的重叠标签迁移协议，以测试在数据集偏移下的鲁棒性。

实验结果

该方法在 iMiGUE 和 SMG 数据集上使用 Qwen3-VL-8B 作为骨干网络进行了评估。

Top-1 准确率： GMoT 在 iMiGUE 上达到了 67.32%，在 SMG 上达到了 73.11%。相比基准 Qwen3-VL-8B，分别实现了 +6.80 和 +3.11 个百分点的提升。
对比： GMoT 增强后的模型优于所有对比的 CNN、Transformer 和状态空间模型（SSM）基线，以及其他 MLLM（如 InternVL2.5、Video-LLaMA2）。
鲁棒性： 该模型在标签保持型损坏下保持了明显的增益，并展示了强大的跨领域迁移能力。
对齐度： 该框架在生成的理性说明中展示了高度的解剖学对齐，这一点通过提出的 BRG 召回率得到了证实。

意义与主张

本文认为，微表情识别领域需要一种范式转变，即从纯粹的标签驱动识别转向基于证据的运动学推理。

作者声称，GMoT 通过显式地将微弱的局部运动提炼为紧凑的标记，成功解决了当前视频 MLLM 中固有的“静态偏差”。通过实施惩罚幻觉并奖励解剖学关注的训练机制，该框架不仅提高了分类准确性，还生成了可解释的、具有视觉依据的解释。这项工作强调，对于细粒度的行为分析，必须迫使模型去关注“什么在移动以及如何变化”，而不是依赖静态的表象模式。

作者指出，尽管该方法显示出了显著的改进，但它是专门为微表情推理设计的，并不本质上解决类增量学习的挑战，尽管它在表示适配方面借鉴了持续学习的方法。所有代码都将公开发布。