💻 computer science

MoAKE: Toward Unified All-in-One Action Quality Assessment via Mixture of Action Knowledge Experts

本文介绍了 MoAKE，一种新颖的动作知识混合专家（Mixture of Action Knowledge Experts）框架，该框架通过动态聚合片段感知专家知识并建模多粒度时间动态，将针对不同动作类型的动作质量评估统一在单个模型中，从而克服了传统逐一范式的局限性，并在全能型、零样本和少样本场景中实现了卓越的性能。

原作者： Huangbiao Xu, Huanqi Wu, Xiao Ke, Jiaxin Cai, Junyi Wu, Jinglin Xu

发布于 2026-07-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Huangbiao Xu, Huanqi Wu, Xiao Ke, Jiaxin Cai, Junyi Wu, Jinglin Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位在一场混乱的大型才艺表演赛中的评委，表演项目从奥运体操到脑外科手术，再到深海潜水不等。在过去，如果你想给一名体操运动员打分，你需要聘请一位体操专家；给一名潜水员，需要一位潜水专家；而给一名外科医生，则需要一位医疗专业人员。你需要为每一种动作都准备一个不同的评委，因为规则、动作以及“好”的标准完全不同。这正是以往计算机评判视频动作的方式：它们需要为每一种运动类型配备一个专门的、特化的“大脑”。但如果想要一个单一的、超级聪明的评委，能够观看任何视频——无论是花样滑冰选手的旋转还是跳水运动员的翻腾——并给出一个公正的分数，而不需要预先知道表演的内容是什么呢？这就是“动作质量评估”（Action Quality Assessment, AQA）的研究梦想。这个领域旨在教会计算机观察视频并像人类专家一样说：“那是9.5分（满分10分）。” 大问题在于，将这些不同的技能混合在一起通常会让计算机感到困惑，导致它在所有事情上都表现得更差，就像试图同时教一条鱼飞行，又教一只鸟游泳一样。

于是有了 MoAKE，这是一个名为“混合动作知识专家”（Mixture of Action Knowledge Experts）的新型框架。MoKE 不再强迫一个巨大的大脑同时学习所有内容，而是构建了一个在共享办公室里协同工作的专业专家团队。想象一下一个评审团，其中的每一位都是特定风格的大师——比如，一位热爱艺术体操，另一位精通花样滑冰，而第三位则理解艺术游泳。当一段视频传来时，一个聪明的“路由”（可以理解为一个反应敏捷的舞台经理）会观察视频，并决定哪些专家应该参与评价。如果屏幕上出现的是体操运动员，体操专家就会大声发言，而其他专家则保持安静倾听。但神奇之处在于：他们并不孤立工作。他们通过一种通用的语言分享笔记，互相帮助理解动作的细微差别。这使得系统能够处理各种混乱的动作组合而不产生混淆，将不同运动带来的“噪音”转化为一曲充满知识的合唱。

研究人员发现，这种方法效果惊人。当他们在三个长期运动数据集（艺术体操、花样滑冰和艺术游泳）上测试这个“全能型”模型时，它不仅达到了传统的“一类运动一个评委”的方法水平，甚至超越了它们。事实上，与尝试让单个模型在没有专家团队辅助下学习所有内容的做法相比，新模型将排名准确度平均提高了约 4.7%，并将评分误差大幅降低了 34.4%。更令人印象深刻的是，当他们把模型投入到完全陌生的动作中（如跳水、滑雪或手术，这被称为“零样本”测试）时，模型并没有崩溃。它能够在从未见过这些特定视频的情况下给出相当不错的评分，这证明了这些专家学习到了适用于不同领域的通用运动规则。

其成功的秘诀在于 MoAKE 如何处理混乱的时间细节。视频的长度各不相同：一场艺术体操表演可能持续两分钟，而一段手术剪辑可能长达十分钟。MoAKE 使用了一种巧妙的技巧，称为“感知片段的时间聚合”（Segment-Aware Temporal Aggregation），将这些视频切分成易于处理的标准尺寸块，就像把一部长电影剪辑成若干个等长的短场景，以便专家们进行公平比较。然后，它使用一个名为 AIISRM（自适应内、间段关系建模，Adaptive Intra- and Inter-Segment Relationship Modeling）的特殊模块来研究这些场景是如何连接的。它既观察单个场景内部发生的事情（例如滑冰运动员的手臂姿势），也观察场景之间如何相互衔接（例如从跳跃到落地的流畅度）。通过在不同细粒度层级对这些关系进行建模，专家们可以捕捉到简单模型可能会忽略的微小错误。

该论文明确排除了这样一种观点，即你可以直接拿现有的计算机模型并在所有这些不同运动上进行训练而无需任何特殊帮助。作者展示了如果“天真地”这样做，会导致“负迁移”（negative transfer），即来自一种运动的知识实际上会损害另一种运动的表现，导致评分显著下降（在某些测试中平均下降超过 10%）。他们还反对认为需要为每种动作类型建立独立模型的观点，指出这种“逐一进行”的方法对于现实世界中可能存在的数以千计的不同视频应用来说过于僵化且成本过高。

简而言之，MoAKE 表明，评判混乱的动作组合的最佳方式不是构建一个更大但更笨的大脑，而是构建一个懂得如何相互交流的聪明专家团队。在六个不同数据集上的测试结果表明，这种团队协作的方法不仅解决了混合不同运动的问题，还创造了一个在面对未见过的动作时也能给出出色评分的系统。这是迈向未来的一步：届时，单一的 AI 可以走进任何竞技场，观看任何表演，并给出公正、专家级的评分，无论表演的内容是什么。

技术摘要：MoAKE —— 迈向统一的全能型动作质量评估

1. 问题陈述

动作质量评估（Action Quality Assessment, AQA）旨在通过学习从运动语义到专家评分的映射，从而客观地评估动作视频的表现质量。尽管近期的进展提升了特定领域（如体育、医疗康复）的表现，但现有方法主要遵循“一对一”范式。在这种设定下，需要为每种特定的动作类型训练并部署一个独立的模型。

这种碎片化现状为实际应用部署制造了显著障碍：

对先验知识的依赖： 它需要可靠的元数据（已知的动作类型）来选择正确的模型，而这在开放域平台中往往是无法获取的。
缺乏泛化能力： 它阻碍了内容无关的服务，这类服务必须能够在无需人工干预的情况下处理异构或混合动作。
资源密集性： 为每一种新增或稀有的动作维护高容量模型，在数据和计算上都非常耗费资源。

本文指出，从“一对一”范式转向“全能型”（All-in-One）AQA 范式（即一个用于处理异构动作的统一模型）的核心挑战在于不同动作类型之间巨大的语义差异。在多样化动作上进行朴素的单模型训练往往会导致**“负迁移”**，即冲突的动作模式会相互干扰，导致性能显著下降（在基准实验中观察到平均 Spearman 秩相关系数 (SRCC) 下降了约 10%）。

2. 方法论：MoAKE 框架

为了在应对负迁移的同时利用跨领域的互补知识，作者提出了 MoAKE（动作知识专家混合模型）。该框架旨在将多个专业专家在共享语义空间中的知识进行动态融合。

2.1 概述与软路由

不同于通常依赖于基于 Token 级别的稀疏路由来实现参数扩展的传统混合专家（MoE）设计，MoAKE 在宏观动作层面运行，具有轻量化的设计。

输入： 从视频片段中提取视觉特征 $X$ 。
软路由（Soft Router）： 一个轻量级的路由器 $R(\cdot)$ 根据输入特征动态计算一组权重 $\{w_k\}$ 。与硬路由不同，这种软路由机制能够自适应地融合互补知识，将语义鸿沟转化为正向迁移。
特征融合： 最终的混合特征 $F_{mix}$ 是 $K$ 个不同专家输出的加权和： $F_{mix} = \sum w_k F_k$ 。

2.2 动作知识专家

每个专家 $E_k$ 都是为处理 AQA 独特的时序需求而专门设计的，这与标准的前馈式 MoE 专家有所不同。

共享适配器（Shared Adapter）： 特征通过一个共享的多层感知机（MLP）被投影到一个共享的语义空间中，以鼓励形成一种描述动作质量的“通用语言”。
段落感知时序聚合（SATA）： 为了处理变长的动作视频，每个专家采用了可学习的段落感知原型（ $P_k$ ）。通过类似 Q-Former 的交叉注意力机制，这些原型将变长输入蒸馏为固定长度的表示（ $N$ 个 Token），从而实现时序变化的归一化。
自适应内、间段落关系建模（AIISRM）： 这一新颖的模块通过三个并行分支捕捉多粒度的时序动态：
- 段落内全局（Intra-Segment Global）： 使用自注意力机制在特征维度上建模全局相关性（例如，速度或姿态的演变）。
- 段落间局部（Inter-Segment Local）： 使用卷积核大小为 (1, 3, 5) 的一维卷积来建模子动作之间的局部时序相关性，并通过注意力权重进行动态融合。
- 段落间全局（Inter-Segment Global）： 应用自注意力来关联远距离的段落，捕捉如整体节奏和连贯性等长程依赖关系。
- 输出结果通过残差连接进行聚合，以保留判别性特征。

2.3 分数预测与优化

等级感知解码器（Grade-Aware Decoder）： 混合特征由一个使用可学习等级查询（grade queries）的 Transformer 解码器处理，生成等级感知表示，最后通过 MLP 映射为最终得分。
损失函数： 模型通过复合损失进行优化：
- $\mathcal{L}_{score}$ ：用于最终得分和辅助得分的 MSE 损失（旨在鼓励专家专业化）。
- $\mathcal{L}_{route}$ ：带有标签平滑的软交叉熵损失，用于引导路由器，而不强制执行严格的专家隔离。
- $\mathcal{L}_{div}$ ：多样性损失（三元组损失），以确保等级表示能够捕捉到不同的质量水平。

3. 基准测试与实验设置

作者建立了全面的基准测试，以评估全能型（All-in-One）以及零样本/少样本（Zero/Few-shot）AQA：

全能型训练： 在三个长期数据集上进行训练：艺术体操（RG）、花样滑冰（Fis-V）和花样游泳（LOGO）。
零样本/少样本评估： 在三个短期数据集上进行评估：跳水（MTL-AQA）、滑雪/单板滑雪（AQA-7）和手术（JIGSAWS）。
- 零样本： 在不更新参数的情况下直接进行评估。
- 少样本： 在 5-10% 的数据上进行全网络微调。
指标： Spearman 秩相关系数 (SRCC) 和相对 $L_2$ 距离 (R- $\ell_2$ )。

4. 关键结果

在六个数据集上的广泛实验证明了 MoAKE 的优越性：

全能型表现： 在全能型设定下，MoAKE 显著优于现有的最先进（SOTA）方法（如 GDLT, HGCN, T²CR, PAMFN, CoFInAl, ASGTN）。值得注意的是，它实现了 0.753 的平均 SRCC，超过了强大的条件基准（0.718），甚至优于在标准“一对一”范式下训练的 SOTA 模型（平均 SRCC 提升了 1.2%，且 R- $\ell_2$ 降低了 28.9%）。
泛化能力： 在零样本场景下，MoAKE 取得了显著更高的 SRCC（例如，在跳水任务上为 0.319，而最佳基准仅为 0.207），并具有更低的误差率，展示了对未见动作类型的强大泛化能力。
效率： 尽管采用了 MoE 架构，MoKE 仍保持了实际的计算成本（8.01M 参数，1.44G FLOPs），避免了大规模 MoE 中常见的参数量剧增问题。
消融实验： 去除软路由会导致性能严重下降（SRCC 下降 30%），证实了自适应混合的必要性。AIISRM 模块和 SATA 机制也被证明对于捕捉多粒度时序动态至关重要。

5. 重要性与主张

本文声称通过在一个统一框架内实现多种动作类型的评估，开创了动作质量评估的新方向。

范式转变： 它从碎片化的“一对一”方法转向了可扩展、内容无关的“全能型”解决方案，解决了开放域平台和低资源场景的实际需求。
正向迁移： 该工作证明了可以通过动作知识专家混合模型将语义多样性的挑战转化为正向知识迁移的机会，从而有效地缓解负迁移。
基础表示： 所提出的框架为下游适配提供了一个卓越的基础表示，使其在以往方法失效的零样本和少样本设定下仍能表现强劲。
社区资源： 通过建立首个全面的全能型及零样本/少样本 AQA 基准，作者旨在促进这一研究不足领域的未来研究。

作者总结道，虽然该方法表现出了优越的结果，但零样本场景仍然具有挑战性，未来的工作可能会探索自监督学习或多模态集成，以进一步增强泛化能力。