💻 computer science

Knowledge is Power: Advancing Few-shot Action Recognition with Multimodal Semantics from MLLMs

本文提出了 FSAR-LLaVA，这是首个利用多模态大语言模型（MLLMs）作为多模态知识库，通过特征增强、提示工程构建复合任务原型以及训练-free 的多模态原型匹配度量，以端到端方式显著提升少样本动作识别性能的方法。

原作者： Jiazheng Xing, Chao Xu, Hangjie Yuan, Mengmeng Wang, Jun Dan, Hangwei Qian, Yong Liu

发布于 2026-03-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiazheng Xing, Chao Xu, Hangjie Yuan, Mengmeng Wang, Jun Dan, Hangwei Qian, Yong Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 FSAR-LLaVA 的新方法，旨在解决计算机视觉中一个非常棘手的问题：“少样本动作识别”（Few-shot Action Recognition）。

为了让你轻松理解，我们可以把这个问题想象成：教一个刚入职的实习生（AI 模型）如何识别各种奇怪的动作，但老板只给了它极少的参考视频（比如每个动作只看 1 到 5 遍）。

传统的做法往往效果不佳，而这篇论文提出了一套“借脑”策略，让 AI 直接利用多模态大语言模型（MLLM） 的“世界知识”来完成任务。

以下是用通俗语言和比喻对论文核心内容的解读：

1. 核心痛点：以前的方法太“笨”了

传统做法（单模态）： 就像让实习生只看视频，不看文字说明。如果视频很短、动作很模糊，实习生很容易把“打篮球”和“打排球”搞混。
之前的“聪明”做法（CapFSAR）： 让 AI 先看视频，然后写一段文字描述（比如“一个人在投篮”），再把这段文字翻译回给 AI 看，让它根据文字去找答案。
- 比喻： 这就像你让一个人看一张画，他先把它描述成一句话，然后你再把这句话读给他听，让他根据这句话去猜画的内容。
- 问题： 这个过程（视频→文字→视频）就像传话游戏，信息在中间环节丢失了很多，而且文字描述可能并不精准，导致最后猜错了。

2. 我们的新方案：FSAR-LLaVA（直接“借脑”）

这篇论文提出，既然现在的多模态大模型（如 Video-LLaVA） 已经像是一个博学的百科全书，既看得懂视频，又懂人类语言，我们为什么还要绕弯路呢？

FSAR-LLaVA 的核心思想是：直接利用大模型“大脑”里现成的知识，而不是让它先写文章再读文章。

关键步骤比喻：

第一步：直接提取“脑电波”（多模态特征解耦）

做法： 我们不让大模型输出文字，而是直接读取它处理视频时中间层的“思维状态”（隐藏层特征）。
比喻： 以前是问大模型“这是什么动作？”，它回答“是打篮球”。现在我们直接看它思考时的脑电波。
创新： 这些“脑电波”里混合了画面信息和语言信息。我们的方法像是一个精密的分拣机，把混合在一起的“画面信号”和“语言信号”分开，分别强化。
- 画面信号负责看动作细节（手怎么动）。
- 语言信号负责理解语义（这是在“打”还是“扔”）。
- 两者互相配合，就像左脑和右脑协同工作，比单靠一边更聪明。

第二步：聪明的“原型构建”（混合任务导向原型）

问题： 训练时学的动作（比如“跑步”）和测试时遇到的动作（比如“慢跑”）可能长得不一样，直接对比容易出错。
做法： 我们设计了一个**“双管齐下”的参考系**。
- 局部参考（Local）： 盯着具体的每一个词或每一个画面片段，看细节是否匹配。这对文字描述特别有效（因为文字通常很规范）。
- 全局参考（Global）： 看整个视频的大致氛围和整体流程。这对视频画面特别有效（因为视频里动作千变万化，很难逐帧对齐）。
比喻： 就像找朋友。有时候你靠细节（他戴了个红帽子）能认出他；有时候靠整体感觉（他走路的姿势）能认出他。我们的方法能根据情况，灵活决定是看细节还是看整体，从而缩小“训练”和“考试”之间的差距。

第三步：智能的“打分机制”（多模态原型匹配）

做法： 在判断“这是不是我们要找的动作”时，我们不是把所有信息都加起来算平均分，而是只挑最重要的线索。
比喻： 就像在嘈杂的房间里听人说话。如果背景很吵（视频里有无关的物体），我们不会去听那些噪音，而是自动过滤掉那些不相关的词或画面，只聚焦在最关键的几个词（比如“踢”、“球”）上。
效果： 这种方法叫“自适应选择”，它能自动忽略干扰项，让判断更精准。

3. 为什么这个方法很厉害？（实验结果）

少即是多（参数极少）： 传统的 AI 模型需要从头训练，像是一个要背完整个字典才能考试的学生。而我们的方法，大模型是现成的（冻结的），我们只需要微调一点点参数（就像只给实习生发了一张“作弊小抄”），就能达到顶尖水平。
全能选手： 无论是在简单的动作识别（如“跑步”），还是复杂的动作识别（如“把东西从 A 移到 B"），它都表现优异。
无需人工标注： 以前需要人工给视频打标签（告诉 AI 这是什么动作），现在我们可以直接问大模型“视频里在干什么？”，它利用自己的知识库就能理解，省去了大量人工成本。

4. 总结：一句话概括

这篇论文就像给 AI 装上了一个**“超级外脑”。它不再让 AI 笨拙地“看图说话再看图”，而是直接借用大语言模型已经学会的世界常识和视觉理解能力**，通过巧妙的“分脑”和“筛选”机制，让 AI 在只看过几次视频的情况下，就能像专家一样精准地识别出各种动作。

简单说：以前是“死记硬背”，现在是“融会贯通”。

1. 研究背景与问题 (Problem)

少样本动作识别 (FSAR) 旨在利用极少量的标注样本快速学习并分类未见过的动作类别。尽管近年来基于度量学习（Metric Learning）的方法取得了进展，但仍面临以下核心挑战：

数据驱动方法的局限性： 传统的单模态方法在低样本设置下难以区分相似动作；多模态方法（如引入 CLIP）通常依赖人工标注的文本标签，成本高且缺乏泛化性。
现有知识驱动方法的缺陷： 近期尝试利用多模态大语言模型（MLLMs，如 BLIP）生成视频描述（Caption）来辅助 FSAR（如 CapFSAR），但其流程为 特征 -> 描述 -> 特征。这种中间生成自然语言再重新编码的过程导致了信息降解，且仅在视觉空间进行度量学习，未能充分利用 MLLM 的多模态语义知识。
核心问题： 如何端到端地直接利用 MLLM 丰富的世界知识和多模态理解能力，在不引入人工文本标签、不经过中间描述生成步骤的情况下，显著提升 FSAR 的性能？

2. 方法论 (Methodology)

作者提出了 FSAR-LLaVA，这是首个端到端的、知识驱动的 FSAR 框架。该框架以 Video-LLaVA（或其他 MLLM）作为知识库，直接从其多模态解码器的中间层提取特征，并通过以下三个核心模块进行优化：

2.1 多模态特征增强模块 (Multimodal Feature-Enhanced Module, MFM)

特征解耦与增强： 直接从 MLLM 的多模态解码器中提取中间隐藏层特征（Multimodal Tokens），将其解耦为视觉 Token ( $T_v$ ) 和文本 Token ( $T_t$ )。
对称双分支结构： 设计了视觉和文本两个分支，分别进行增强：
- 视觉分支： 先进行空间自注意力（Spatial Self-Attention）和全局平均池化，再进行时间自注意力（Temporal Self-Attention）以捕捉运动关系，最后通过视觉主导的交叉注意力融合文本信息。
- 文本分支： 利用文本主导的交叉注意力将增强的时空视觉特征融合进文本 Token，以获取高层语义先验。
优势： 避免了将特征转为文本再转回特征的信息损失，保留了细粒度的视觉模式和高层语义。

2.2 复合任务导向原型构建模块 (Composite Task-Oriented Prototype Construction, CTPCM)

解决分布偏移： 针对训练集（Meta-train）和测试集（Meta-test）类别不重叠导致的分布差异，利用 MLLM 的输出来动态调整支持集原型。
双重构建策略：
- 局部原型构建 (Local Prototype Construction, LPC)： 基于 Token 级别的相似度加权融合。由于 MLLM 生成的文本格式高度一致，LPC 在文本分支上表现优异。
- 全局原型构建 (Global Prototype Construction, GPC)： 基于视频级别的平均池化和相似度加权。由于视觉 Token 在不同帧间差异较大，GPC 在视觉分支上更有效。
自适应融合： 最终原型由原始原型、局部原型和全局原型加权组合而成（通过可学习参数 $\alpha$ 或自适应门控机制平衡），有效弥合了分布差距。

2.3 多模态原型匹配度量 (Multimodal Prototype Matching Metric, MPMM)

动态选择关键线索： 传统的 Hausdorff 距离直接计算所有 Token 的距离，容易受到无关 Token 的噪声干扰。
Top-u 策略： 提出了一种训练免费的匹配度量，计算视觉和文本分支的距离后，仅选取距离最大的 Top-u 个 Token 进行求和。
目的： 自适应地筛选出对动作识别最具决定性的线索，抑制无关信息（如背景物体或无关文本）的干扰，实现更高效的匹配。

3. 主要贡献 (Key Contributions)

首个端到端知识驱动框架： 提出了 FSAR-LLaVA，首次将 MLLM 作为知识库直接嵌入 FSAR 流程，无需人工文本标注，且避免了中间描述生成带来的信息损失。
创新的模块设计：
- 设计了多模态特征增强模块 (MFM)，通过解耦和交叉注意力机制充分挖掘 MLLM 的时空感知与语义理解能力。
- 提出了复合任务导向原型构建 (CTPCM)，结合局部和全局策略，动态适应不同数据集特性。
- 开发了多模态匹配度量 (MPMM)，通过自适应选择关键 Token 提升匹配精度。
高效性与高性能： 整个框架仅需极少的可训练参数（<10MB），在多个基准数据集上实现了 SOTA 性能，证明了“知识即力量”在少样本学习中的有效性。

4. 实验结果 (Results)

作者在五个广泛使用的基准数据集（Kinetics, HMDB51, UCF101, SSv2-Small, SSv2-Full）上进行了广泛实验：

性能表现：
- 在 HMDB51 的 5-way 1-shot 任务中，FSAR-LLaVA (Unknown 模式，即无标签) 达到了 84.3% 的准确率，显著优于最强的数据驱动方法 Task-Adapter (83.6%) 和 CapFSAR (70.3%)。
- 在 SSv2-Small 等复杂时序数据集上，使用 "Known" 提示（利用支持集标签）时，FSAR-LLaVA 达到了 76.1% (5-way 1-shot)，大幅超越现有方法。
- 即使在完全无标签的 "Unknown" 模式下，FSAR-LLaVA 在大多数数据集上也超越了利用标签信息的数据驱动多模态方法。
消融实验结论：
- 直接利用隐藏特征 优于 特征->描述->特征 的管道。
- 特征解耦 是必要的，能减少模态间的干扰。
- MPMM 度量 在时序复杂的数据集（SSv2）上提升显著，证明了动态筛选 Token 的重要性。
- 提示词 (Prompt) 分析： "Unknown" 提示下，MLLM 对复杂时序动作理解仍有困难，但通过设计更具体的无标签提示（如关注人与物体交互），性能仍有提升空间。
效率分析： 相比数据驱动方法，FSAR-LLaVA 在保持高准确率的同时，可训练参数量极少，且推理延迟可控（特别是使用离线特征提取时）。

5. 意义与影响 (Significance)

范式转变： 该工作推动了 FSAR 从“数据驱动”向“知识驱动”的范式转变，证明了预训练 MLLM 中蕴含的丰富世界知识可以直接迁移到视频理解任务中。
降低数据依赖： 通过利用 MLLM 的零样本/少样本能力，大幅降低了对高质量人工标注文本数据的依赖，使得在工业界缺乏标注数据的场景下应用 FSAR 成为可能。
通用性验证： 框架不仅适用于 Video-LLaVA，还成功迁移至 Qwen2-VL 和 Qwen3-VL 等模型，展示了良好的通用性和扩展性。
未来方向： 论文指出了当前在复杂时序推理上的局限性，并提出了未来可探索的方向，如可学习的连续提示（Continuous Prompts）或自适应提示生成，以进一步挖掘 MLLM 的潜力。

总结： FSAR-LLaVA 通过巧妙设计，将 MLLM 强大的多模态语义理解能力直接转化为少样本动作识别的判别力，在无需额外标注的情况下实现了性能与效率的双重突破，为视频理解领域提供了新的研究思路。