SignMAE: Segmentation-Driven Self-Supervised Learning for Sign Language Recognition
SignMAE 提出了一种由分割驱动的自监督预训练方法，该方法利用基于分割的掩码来更好地捕捉细粒度的手势线索，在降低输入需求的同时于多个手语数据集上实现了最先进的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在学习一门语言，却听不到任何声音，必须理解某人双手、面部和身体的每一个细微动作。这就是手语识别。挑战在于，“单词”（手势）通常是由双手以非常特定且微妙的方式移动构成的，而视频其余部分只是背景噪音，比如墙壁、衬衫或房间。
大多数试图学习这门语言的计算机程序，就像那些试图通过阅读整本书来理解单个句子的学生。它们查看整个视频帧，被背景分散注意力，往往忽略了那些真正承载意义的微小而关键的手部动作。
本文介绍了一种名为SignMAE的新方法。它就像一位聪明的导师，教导计算机如何只专注于双手，而忽略世界其余部分。
以下是 SignMAE 的工作原理，分解为简单步骤：
1. “聚光灯”准备（数据预处理）
在计算机开始学习之前，系统会像舞台经理一样运作。它扫描视频并询问：“手在哪里？”
- 如果某人的手只是垂在身体两侧（未做手势），系统会将这些帧裁剪掉。
- 然后，它放大并突出显示视频中和手及手臂移动相关的具体区域。
- 类比：想象一位老师拍了一张模糊的教室照片，剪掉学生的课桌和面孔，将它们粘贴到一张新纸上，以便学生可以只研究面孔，而忽略背景中杂乱的课桌。
2. “蒙眼”训练（自监督学习）
这是本文的核心魔法。系统使用一种称为掩码自编码的技术。
- 游戏：计算机观看某人打手语的视频，但视频的部分区域被“蒙眼布”（掩码）遮盖。
- 任务：计算机必须根据它能看到的部分，猜测“蒙眼布”下是什么。
- 转折：在旧方法中，“蒙眼布”是随机放置的。有时它遮盖了手，有时遮盖了空墙。这效率低下。
- SignMAE 的策略：“蒙眼布”是智能的。它由分割图引导。它专门遮盖手和手臂，迫使计算机根据其他可见部分的上下文来推断手的形状和动作。
- 类比：想象一个拼图游戏，其中代表“手”的拼图块缺失了。标准的拼图求解者可能会随机猜测。SignMAE 迫使求解者观察剩余的手臂和身体线索，以推断缺失的手部拼图块的确切样子。这教会计算机理解手与身体之间的关系。
3. 两种不同的视角（多流学习）
SignMAE 不仅仅用一种方式观看视频。它同时训练两个不同的“大脑”（编码器）：
- “全局”大脑：这个大脑用随机“蒙眼布”观看整个视频。它学习大局：运动的一般流程和背景上下文。
- “手部聚焦”大脑：这个大脑使用智能的、由手引导的“蒙眼布”。它学习手指和手腕的微小、详细动作。
- “骨骼”大脑：这个大脑查看简化的关节图（关键点），而不是原始视频像素。它纯粹关注运动的几何结构。
4. “团队讨论”（融合）
一旦这些大脑分别训练完成，它们就会被整合在一起。
- 系统冻结它们的知识，以防它们忘记所学内容。
- 然后，它使用交叉注意力机制。这就像一次团队讨论，“全局大脑”问“手部聚焦大脑”：“那根手指到底在做什么？”，而“骨骼大脑”则补充道：“关节是这样移动的。”
- 它们结合各自的答案，对执行了哪个手势做出最终判断。
结果：为何重要
作者在三个主要的手语数据集（美国、中国和俄罗斯）上测试了该方法。
- 更高的准确率：与以往方法相比，SignMAE 取得了最佳结果（最先进水平）。
- 高效性：即使使用更少的视频帧（32 帧而非 64 帧）和更少类型的数据（仅需视频和手部图，无需深度相机等额外传感器），它也能表现更好。
- 专注度：可视化显示，虽然旧模型会被背景或手语者的面部分散注意力，但 SignMAE 将其注意力牢牢锁定在双手上，这正是语言被“说”出的地方。
总之：SignMAE 是一种教授计算机手语的新方法，它通过迫使计算机忽略背景，并专门针对双手玩“填空”游戏来实现。这有助于它们比以前更快、更准确地学习手语中微妙、细粒度的细节。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。