💻 computer science

Gen2Balance: Generative Balancing for Long-Tailed Video Action Recognition

Gen2Balance 通过利用基于动作特征谱（action profiles）的文本生成视频剪辑来增强不平衡训练集，从而解决长尾视频动作识别的挑战，并采用两阶段训练策略在显著提升稀有动作识别准确率的同时，通过部分平衡（partial balancing）展示了其实用的可扩展性。

原作者： Prajwal Gatti, Simon Jenni, Fabian Caba Heilbron, Dima Damen

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Prajwal Gatti, Simon Jenni, Fabian Caba Heilbron, Dima Damen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人识别不同的动作，比如“游泳”、“烹饪”或“跳舞”。你给了它一个海量的视频库进行学习。然而，这里有一个巨大的问题：这个库是严重不平衡的。

这就像是一个音乐播放列表，其中 99% 的歌曲都来自一位著名的流行歌星，而只有极少数歌曲来自默默无闻的独立乐队。

“头部”（热门）： 机器人看到了成千上万段“打篮球”的视频。它因此成为了这方面的专家。
“尾部”（稀有）： 机器人只看到了五段关于“切割键盘”或“在轮胎上荡秋千”的视频。它几乎没学到任何东西，所以当它在现实生活中看到这些动作时，会感到困惑并猜错。

这就是长尾问题（Long-Tailed Problem）。机器人擅长处理常见事物，但在处理稀有事物时表现糟糕。

解决方案：Gen2Balance（“AI 大厨”）

这篇论文介绍了一种名为 Gen2Balance 的新方法。作者并没有仅仅寄希望于在互联网上寻找更多稀有的视频（因为这很难），而是决定利用 AI 生成器来“烹饪”出新的视频。

以下是他们实现这一目标的步骤，通过简单的步骤进行了拆解：

1. 智能食谱（提示词流水线）

如果你只是告诉 AI，“制作一个‘机器人跳舞’的视频”，它可能会感到困惑。是指人类模仿机器人的动作跳舞，还是指一个真正的金属机器人在跳舞？如果你只是要求“切割键盘”，AI 可能会制作出一个奇怪、恐怖且看起来不像真实动作的视频。

为了解决这个问题，作者利用一个聪明的 AI（大语言模型）构建了一个三步走的食谱系统：

步骤 A：动作剖析（Action Profile）。 他们要求 AI 写出该动作的详细定义，包括它“是什么”以及“不是什么”（例如：“一个像机器人一样移动的人类，而不是一台金属机器”）。
步骤 B：示例（The Examples）。 他们向 AI 展示一些关于该动作的真实视频，以便 AI 理解语境（例如：“看到这个人类了吗？这就是我们所说的”）。
步骤 C：多样性（The Variety）。 他们告诉 AI 制作 100 个不同版本的视频：改变光照、背景（公园 vs. 厨房）、人物的衣服以及摄像机角度。

结果： 他们创造了 140,000 段全新的、合成的视频，这些视频看起来很真实，但涵盖了机器人原本缺失的那些稀有动作。

2. 两阶段训练（学习计划）

你不能直接把这些新的“假”视频塞进机器人的大脑里并期望它能表现良好。机器人可能会感到困惑，因为这些合成视频看起来与现实生活略有不同（就像卡通片与照片的区别）。

因此，他们使用了一个两阶段学习计划：

阶段 1：“平衡”学习。 机器人学习新的、平衡后的库（真实视频 + 生成的视频）。由于现在有了充足的“稀有”样本，机器人学会了如何识别它们。然而，在决定每个类别的重要性时，机器人被告知要格外关注那些“真实”的视频。
阶段 2：“现实检查”。 机器人回到仅学习“真实”视频的学习中，时间较短。这就像是期末考试前的复习。它帮助机器人忘掉那些“虚假”的特征，让它的记忆重新回到现实世界的常态。

结果：奏效了吗？

作者在标准的视频数据集（UCF-101 和 Kinetics）上进行了测试，并人为地让这些数据集呈现“长尾”特征，以模拟实际问题。

巨大的胜利： Gen2Balance 击败了所有之前的方法。在 Kinetics 数据集上，它比现有的最佳方法提高了 7% 的准确率。在 UCF 数据集上，它提高了 5%。
稀有动作： 对于最难、最稀有的动作（如“切割键盘”），提升幅度非常巨大——比以前提高了 31.9%。
成本效率： 他们发现，并不需要生成“所有”内容就能获得极佳的结果。如果他们只生成了足以填补 27% 缺失数据的视频，他们仍然获得了 79% 的总性能提升。这意味着该方法非常实用，且不需要无限的计算能力。

为什么这很重要（根据论文观点）

论文指出，其他方法试图通过“拉伸”现有的少量稀有视频来解决问题（但这并不会增加新信息），而 Gen2Balance 则是在创造新信息。它通过发明多样化、真实的稀有动作示例，填补了机器人知识中的空白，使机器人终于能够学会它原本缺失的知识。

简而言之：Gen2Balance 就像是给一名学生一本经过重写的教科书，书中为学生薄弱的知识点增加了数百个练习题，随后又进行了一次对原教材的快速复习，以确保他们不会被新例子搞混。

技术摘要：Gen2Balance

问题陈述

长尾视频动作识别仍然是一个根本性的挑战，其中类别分布严重倾斜，少数“头部”类别占据了数据集的主导地位，而许多“尾部”或“少样本”类别的样本却非常稀缺。虽然长尾学习在图像识别领域已取得进展，但视频识别仍显著滞后。现有的方法（如重采样、重加权和特征空间增强）往往无法弥合平衡基准与长尾基准之间的性能差距。例如，在 UCF-101 数据集上，准确率从平衡设置下的 92% 下降到长尾不平衡情况下的 64%。此外，当前的视频生成模型在时间动态、物理合理性和物体持久性方面面临挑战，这引发了关于合成视频是否能够足够多样化且忠实于动作类别以辅助识别的疑问。

方法论：Gen2Balance

作者提出了 Gen2Balance，这是一个通过使用文本生成视频的模型来增强训练集，从而解决长尾视频识别问题的框架。该方法由两个主要部分组成：生成式填充流水线和两阶段训练策略。

1. 生成式填充流水线

为了为代表性不足的类别合成多样化且忠实于类别的视频，作者使用了一个结合多模态大语言模型（LLM）和文本生成视频生成器（WAN 2.1）的结构化流水线。该流水线通过四个步骤解决了语义歧义和多样性不足的问题：

多样化文本提示词： LLM 生成沿九个维度（如环境、摄像机构图、演员人口统计特征、光照、社会背景）变化的提示词，以确保视觉多样性。
动作剖面（Action Profiles）： 为了消除语义歧义（例如，“机器人跳舞”是指人类的舞蹈风格而非机械机器人），LLM 会生成一个包含定义、正向约束（关键视觉特征）和负向约束（常见误解）的“动作剖面”。
上下文示例： 为了进一步将动作剖面锚定在正确的语义中，LLM 会获得一组真实的训练视频作为上下文示例。至关重要的是，这些示例用于指导“剖面”的生成，而非直接用于最终的提示词，从而保持了提示词的多样性。
视频生成： 在基于锚定的动作剖面条件下，多样化的提示词被输入到文本生成视频生成器中，以产生合成剪辑。

2. 两阶段训练策略

直接在真实数据与合成数据的混合数据集上进行训练会引入过度拟合合成伪影和领域偏移的风险。为了缓解这一问题，Gen2Balance 采用了两阶段训练过程：

第一阶段（从增强数据中学习）： 模型使用 平衡 Softmax (BSCE) 损失在组合数据集（ $D_{train} \cup D_{gen}$ ）上进行训练。至关重要的是，损失边际是根据真实数据频率（ $N_c$ ）而非增强后的频率计算的。这使得模型能够在利用丰富的合成数据进行特征学习的同时，保持校准到真实类别先验的决策边界。
第二阶段（在真实数据上进行排演）： 模型仅在原始真实训练集（ $D_{train}$ ）上使用相同的 BSCE 损失进行微调，并采用较低的学习率。这一阶段纠正了领域偏移，并防止了对从合成数据中学习到的表示的灾难性遗忘。

核心贡献

框架提出： 引入了 Gen2Balance，一种生成式平衡方法，它将不平衡的视频数据集转换为由真实和合成剪辑组成的平衡组合。
自动化流水线与数据集： 开发了一个使用多模态 LLM (Gemini 2.5 Pro) 和视频生成器 (WAN 2.1) 的自动化流水线，以合成忠实于类别的视频。作者公开释放了一个包含 14 万个合成视频 的配套数据集，其详细提示词涵盖了 UCF-LT、K100-LT 和 RareAct 中的 223 个动作类别。
训练策略分析： 证明了结合了基于真实数据派生边际的类别平衡损失的两阶段训练策略（先增强后真实），比标准训练或单阶段方法效果更优。
全面评估： 在 Kinetics-100 (K100-LT) 和 UCF-101 (UCF-LT) 的长尾划分版本，以及来自 RareAct 数据集的稀有动作上进行了广泛评估。

实验结果

作者在标准基准的长尾版本上评估了 Gen2Balance：

K100-LT： Gen2Balance 比最强的长尾基准 (BSCE) 在类别平均准确率上提升了 7.0%，实现了 72.6% 的总准确率。它显著提升了少样本类别的准确率，增幅达 +38.8%。
UCF-LT： 该方法比最强基准提高了 5.1% 的准确率，达到了 88.9% 的总准确率，在少样本类别上获得了 +48.0% 的增益。
RareAct： 在稀有、复合动作（如“剪键盘”）上，Gen2Balance 提高了 31.9% 的准确率，展示了其对真正稀缺动作的有效性。
消融实验与扩展性：
- 部分平衡： 通过设置部分填充阈值，仅用 27% 的计算成本就实现了 79% 的性能增益，突显了该方法的可扩展性。
- 数据来源： Gen2Balance 的表现优于网络检索增强和静态图像生成，证实了运动线索的必要性以及特定提示词流水线优于朴素模板化的优势。
- 鲁棒性： 即使当少样本类别在生成器的训练分布中在统计学上极度稀有时，该方法依然保持稳健（Web-Popularity 重索引）。

意义与主张

本文声称 Gen2Balance 通过利用生成模型来合成缺失的多样性，而非依赖网络检索或特征空间插值，代表了长尾视频识别领域的重要进步。作者强调：

当前的生成模型在通过经过锚定的动作剖面进行精心提示后，能够产生足够高质量的视频，从而在长尾设置下达到最先进的性能。
两阶段训练策略有效地缓解了领域偏移，使模型能够在不损害真实数据性能的前提下从合成数据中学习。
该方法具有实用性和可扩展性，因为部分平衡可以在极低的计算成本下提供实质性的收益。
公开的 14 万个合成视频数据集可作为未来视频理解生成式平衡研究的资源。

该工作并未声称解决了视频生成中的所有问题（承认了在物理和物体持久性方面的挑战），但认为对于动作识别这一特定任务，生成的视频内容具有足够的多样性和语义正确性，足以克服数据匮乏问题。