💻 computer science

Otter: Mitigating Background Distractions of Wide-Angle Few-Shot Action Recognition with Enhanced RWKV

本文提出了名为 Otter 的增强 RWKV 模型，通过复合分割模块突出主体并抑制背景干扰，结合时间重建模块优化时序关系，从而有效解决了广角少样本动作识别中的背景噪声难题并实现了最先进的性能。

原作者： Wenbo Huang, Jinghui Zhang, Zhenghao Chen, Guang Li, Lei Zhang, Yang Cao, Fang Dong, Takahiro Ogawa, Miki Haseyama

发布于 2026-03-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Wenbo Huang, Jinghui Zhang, Zhenghao Chen, Guang Li, Lei Zhang, Yang Cao, Fang Dong, Takahiro Ogawa, Miki Haseyama

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 Otter（水獭） 的新人工智能模型，它的特长是在“广角镜头”拍摄的视频中，即使只给很少的样本，也能精准地识别出人在做什么动作。

为了让你轻松理解，我们可以把这个问题想象成**“在嘈杂的派对上听清朋友说话”**。

1. 核心难题：广角镜头的“干扰”

想象一下，你正在看一段广角视频（就像用超广角手机拍的大场景）。

普通视频：就像你拿着望远镜看一个人滑雪，画面里全是滑雪的人，背景很少。
广角视频：就像你站在山顶用超广角镜头拍，画面里滑雪的人很小，而周围全是巨大的雪山、树木和天空（背景）。

问题出在哪？
现在的 AI 在看这种视频时，容易犯两个错误：

被背景带偏（背景干扰）：AI 太关注巨大的雪山了，反而忽略了那个小小的滑雪者。就像在派对上，AI 被周围的音乐和人群吵得听不清朋友在说什么。
记不住时间顺序（时间关系退化）：因为背景（雪山）每一帧都差不多，AI 就分不清动作的先后顺序了。就像朋友说话时，背景噪音太大，导致你听不清他话里的逻辑。

2. 解决方案：Otter（水獭）的两大绝招

作者设计了一个叫 Otter 的模型，它基于一种叫 RWKV 的新技术（一种既快又聪明的 AI 架构），并给它装上了两个“超级装备”：

装备一：CSM（复合分割模块）—— “聚光灯”

比喻：想象你在一个巨大的、杂乱无章的房间里找一个人。普通的 AI 会盯着整个房间看，结果被满地的杂物（背景）迷了眼。
Otter 的做法：CSM 就像是一个智能聚光灯。它把画面切成很多小块，然后自动分析：“这块是雪，那块是树，这块是滑雪的人！”
效果：它直接调暗背景，把聚光灯打在主角身上。这样，AI 就能一眼看到重点，不再被周围的“噪音”干扰。

装备二：TRM（时间重建模块）—— “双向时光机”

比喻：当背景太相似时，AI 就像在看一张静止的画，分不清动作是向前还是向后。
Otter 的做法：TRM 就像是一个双向时光机。它不只是从前往后看视频，还会从后往前看，然后把两个方向看到的线索拼在一起。
效果：通过这种“双向扫描”，AI 能重新理清动作的时间顺序。哪怕背景没变，它也能通过主角微小的动作变化，精准判断出“刚才他在转弯，现在他在加速”。

3. 为什么叫 Otter（水獭）？

虽然论文没明说，但水獭在自然界中非常灵活，擅长在复杂的水流（背景）中精准捕捉猎物（动作）。这个名字暗示了该模型在复杂环境下的敏捷性和精准度。

4. 成果如何？

作者在多个著名的视频测试集（就像 AI 界的“奥林匹克”）上进行了测试，包括滑雪、攀岩、打羽毛球等场景。

结果：Otter 在所有测试中都击败了现有的最先进方法（SOTA）。
特别亮点：在专门模拟的“广角羽毛球”测试中，Otter 的表现远超其他模型。它能同时看清球场上两个正在对打的人，而不是只盯着其中一个或只看球网。

总结

简单来说，这篇论文就是给 AI 戴上了一副**“降噪耳机”（忽略背景噪音）和一副“时间眼镜”**（看清动作逻辑）。

以前，AI 看广角视频就像戴着墨镜在雾里看戏，什么都看不清；现在有了 Otter，它就像戴着高清夜视仪在聚光灯下看戏，哪怕主角很小、背景很乱，也能一眼看穿他们在演什么戏。这对于未来的健康监测、运动分析等实际应用来说，是一个巨大的进步。

1. 研究背景与问题定义 (Problem)

背景：
少样本动作识别（FSAR）旨在利用极少量的标注样本识别未见过的动作。广角视频（Wide-angle videos，视场角 FoV > 80°）能提供丰富的场景上下文，有助于区分相似动作（如“室内攀岩”与“工地施工”）。然而，现有的 FSAR 方法在处理广角视频时面临巨大挑战。

核心挑战：
广角视频在少样本场景下主要存在两个导致识别困难的问题（即“背景干扰”）：

主体占比过小 (Smaller Subject Proportion)： 在广角帧中，动作主体（如运动员）占据的像素比例较小，而背景（如雪地、墙壁）占据大部分。直接应用全局建模模型（如 RWKV）时，模型容易被次要的背景信息主导，导致特征提取偏离主体，造成误分类。
时序关系退化 (Degraded Temporal Relation)： 广角视频中，相似的背景帧会掩盖主体的运动演变，导致帧与帧之间的时序关系变得模糊或退化。现有的 RWKV 模型虽然擅长全局建模，但缺乏重建这种退化时序关系的能力。

目标：
设计一种新的架构，能够在广角 FSAR 任务中有效突出主体并重建时序关系，从而抑制背景干扰，提升识别性能。

2. 方法论 (Methodology)

作者提出了 Otter（CompOund SegmenTation and Temporal REconstructing RWKV），一种基于增强型 RWKV 的少样本动作识别框架。其核心架构包含两个关键模块：

2.1 复合分割模块 (Compound Segmentation Module, CSM)

目的： 在特征提取前自适应地分割并强调每一帧中的关键主体区域。
机制：
- 将输入帧分割成多个 Patch（图块）。
- 利用 RWKV 的空间混合（Spatial Mixing）和时间混合（Time Mixing）单元，结合通道混合（Channel Mixing），学习每个 Patch 的自适应权重。
- 通过可学习的权重 $lw$ 对特征进行加权，突出主体区域，抑制背景噪声。
- 最后将加权后的 Patch 重新组装回原始位置，保留空间结构。
作用： 解决广角视频中主体占比小、易被背景淹没的问题，使后续的特征提取聚焦于主体。

2.2 时序重建模块 (Temporal Reconstruction Module, TRM)

目的： 重建因背景相似而退化的帧间时序关系。
机制：
- 集成在时序增强原型（Temporal-Enhanced Prototype）的构建过程中。
- 采用**双向扫描（Bidirectional Scanning）**策略：对帧特征进行正向（Ordered）和反向（Reversed）扫描。
- 利用 RWKV 的线性插值机制捕捉长距离依赖，并通过加权平均融合双向扫描结果。
- 将重建后的时序特征与原始输入结合，生成时序增强的原型。
作用： 恢复广角视频中模糊的动作演变过程，增强模型对动作方向和时间序列的感知能力。

2.3 原型构建与训练目标

双原型策略： 同时构建两个原型：
1. 时序增强原型 ( $P_1$ )： 经过 TRM 处理，强调时序关系。
2. 常规原型 ( $P_2$ )： 仅经过 CSM 处理，强调主体特征。
损失函数： 总损失 $L_{total}$ $L_{t o t a l}$ 由三部分组成：
- 交叉熵损失 ( $L_{ce}$ )：用于分类。
- 原型相似度损失 ( $L^1_P, L^2_P$ )：用于区分不同类别的原型，防止类间混淆。
- 通过加权组合优化，同时提升主体强调和时序建模的效果。

3. 关键贡献 (Key Contributions)

首次将 RWKV 应用于广角 FSAR： 提出了 Otter，解决了直接应用 RWKV 在广角场景下主体不突出和时序关系丢失的问题。
提出 CSM 模块： 通过自适应分割和加权机制，有效解决了广角视频中主体占比小、背景干扰大的问题，显著提升了主体特征的提取能力。
提出 TRM 模块： 设计了双向扫描机制，成功重建了广角视频中因背景相似而退化的时序关系，弥补了传统 RWKV 在时序重建上的不足。
SOTA 性能验证： 在多个主流基准数据集（SSv2, Kinetics, UCF101, HMDB51）以及专门的广角数据集（VideoBadminton）上取得了最先进（State-of-the-Art）的性能。

4. 实验结果 (Results)

4.1 主流基准测试

在 SSv2, Kinetics, UCF101, HMDB51 数据集的 5-way 1-shot 和 5-shot 设置下，Otter 表现优异：

ResNet-50 骨干： 在 SSv2 1-shot 上达到 64.7%，超越之前的 SOTA 方法 Manta (63.4%)。
ViT-B 骨干： 在 SSv2 1-shot 上达到 67.2%，在 Kinetics 5-shot 上达到 97.3%。
VRWKV-B 骨干： 同样取得了 SOTA 结果，证明了该架构与 RWKV 系列模型的高度兼容性。

4.2 广角专项评估 (VideoBadminton)

在专门的广角数据集 VideoBadminton 上，Otter 显著优于 MoLo, SOAP, Manta 等现有方法（1-shot 从 64.1% 提升至 71.2%）。
不同 FoV 测试： 模拟不同视场角（FoV）时，随着 FoV 增大（背景干扰增加），其他方法性能急剧下降，而 Otter 的性能下降趋势更为平缓，证明了其强大的抗干扰能力。

4.3 鲁棒性分析

噪声测试： 在样本级噪声（Sample-level noise）、帧级噪声（Frame-level noise）以及视觉噪声（Zoom, Gaussian, Rain, Light）下，Otter 均表现出比对比方法更强的鲁棒性。
跨数据集测试： 在跨数据集（Cross-dataset）设置下，Otter 依然保持领先，证明了其泛化能力。

4.4 可视化分析

CAM 可视化： 显示未使用 Otter 的模型主要关注背景（如森林、雪地），而 Otter 能准确聚焦于主体（如运动员、车辆），同时不完全忽略背景上下文。
t-SNE 聚类： Otter 使得同类样本聚类更紧密，类间分离更清晰，特别是在高 FoV 的困难样本上。

5. 意义与总结 (Significance)

学术意义：

填补了广角视频少样本动作识别领域的研究空白，指出了现有方法在处理“主体小、背景大”场景下的局限性。
探索了 RWKV 在计算机视觉（特别是视频理解）中的新应用，证明了线性复杂度模型在长时序和全局建模任务中的潜力。

实际应用价值：

高效性： 相比基于 Transformer 的方法，基于 RWKV 的 Otter 具有更低的计算复杂度和更快的推理速度（实验显示推理速度比 Transformer 基线快约 2 倍），更适合资源受限的实际部署。
场景适应性： 特别适用于监控、体育分析、健康监测等需要广角摄像头且样本稀缺的实际场景，能够有效克服背景干扰，提高识别准确率。

总结：
Otter 通过创新的复合分割（CSM）和时序重建（TRM）机制，成功解决了广角少样本动作识别中的核心痛点。它不仅刷新了多个基准测试的记录，还展示了在复杂现实环境（如噪声、不同视场角）下的卓越鲁棒性，为未来的视频理解研究提供了新的思路。