Corpus Augmentation for Sign Language Translation via LLM-Guided Video Stitching
本文提出了一种用于手语翻译的语料库增强方法，该方法通过从现有数据中提取逐词汇（per-gloss）片段，并利用大语言模型创建新颖的句子-词汇对齐，从而生成合成视频-文本对，在无需额外人工标注、外部语料库或生成式视频模型的情况下，实现了相对于基准模型显著的 BLEU-4 提升。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教会一个机器人如何理解手语。机器人需要观看人们做手势的视频，并学习将这些手部动作翻译成口语句子（例如德语）。
问题在于，高质量的“训练数据”极其匮乏。为了完美地教导机器人，你需要成千上万个视频，其中每一个手部动作（即“词汇/gloss”）都必须与句子中的特定单词完美匹配。雇人来编写这些完美的匹配既慢、又贵，而且还很枯燥。
这篇论文提出了一种巧妙的自动化方法，可以在不聘请任何新的人工标注员的情况下创造更多训练数据。他们称之为“通过 LLM 引导的视频拼接进行语料库增强”。
以下是他们实现这一目标的步骤，通过一个简单的类比来解释：
1. “乐高积木”策略（视频拼接）
想象你有一个装满乐高积木的盒子，但它们都被固定成了特定的结构（即原始视频）。你无法轻易拆解它们。
- 论文的做法： 他们使用了一个智能工具（称为 CTC 强制对齐）将原始视频仔细地切割成一个个微小的“积木”。每个积木代表一个单独的手势（比如“太阳”或“明天”）。
- 结果： 他们不再拥有 7,000 个长视频，而是拥有了一个由数千个独立手势片段组成的庞大库。
2. “创意作家”（LLM）
现在有了积木，他们需要构建新的结构。但他们不能只是随机地把积木粘在一起；句子必须符合逻辑。
- 论文的做法： 他们要求一个 大语言模型（LLM）——一种超级智能的 AI 文本生成器——来编写新的天气预报（因为该数据集是关于天气预报的）。
- 护栏机制： 为了确保 AI 不会写出胡言乱语，他们给了它一个严格的“字典”（允许使用的手势词汇），并向它展示了 500 个真实的天气预报案例。AI 被告知：“仅使用这些特定的手势词汇，编写 10 个新的天气句子，但内容要有所不同。”
- 结果： AI 生成了数千个全新的、独特的句子，这些句子是机器人以前从未见过的。
3. “弗兰肯斯坦”式组装（合成数据）
这是神奇的一步。
- 论文的做法： 对于 AI 写的每一个新句子，系统都会进入“积木库”（手势视频片段库）中，抓取与之匹配的手势片段。它将这些片段缝合在一起，从而创建出一个全新的视频。
- 转折点： 如果 AI 写的是“明天将会晴朗”，系统可能会从签名者 A 那里抓取“明天”的片段，从签名者 B 那里抓取“将会”的片段，再从签名者 C 那里抓取“晴朗”的片段。它创造出了一个看起来像是一个人在做全新句子手势的视频，尽管它是完全由旧片段组成的。
令人惊讶的结果
团队在著名的手语数据集（Phoenix-2014T）上测试了这种方法。
- 基准线： 在没有使用这些新数据的情况下，现有最优秀的方法对机器人翻译得分的提升不到 1 分。
- 结果： 使用了这种“拼接”后的合成数据后，得分跃升了近 3 分。
- “为什么”： 他们发现，这种提升并非来自视频视觉上的平滑度。事实上，他们曾尝试让片段之间的过渡看起来非常平滑（像电影一样），但这反而让机器人变得更差了。他们怀疑，这种“跳跃感”或突兀的剪辑实际上迫使机器人去关注手势的含义，而不是依赖平滑的动作线索。
他们的发现（以及没能实现的）
- “坏”消息： 他们尝试使用这种拼接数据来进行预训练（在最终测试前先教机器人基础知识）。这失败了。机器人被这些“弗兰肯斯坦”式的视频搞糊涂了，并学到了错误的习惯。合成数据只有在用于最后的微调阶段时才有效。
- “好”消息： 最大的提升来自于 AI 编写的新句子。仅仅重新排列旧视频而不增加新文本，效果并不显著。机器人需要学习词汇的新组合。
- 没有作弊： 他们检查了 AI 是否不小心复制了测试题。它并没有。这些新数据是真正崭新的。
核心结论
这篇论文表明，你不需要昂贵的新摄像机或新的签名者来改进手语翻译。通过使用一个 AI 作家来发明新句子，并使用一个视频编辑器来拼接现有的片段，你可以创造出海量的全新训练材料。这使得翻译机器人变得更加聪明，前提是你不要尝试将这些“拼接”视频用于学习的第一阶段。
简而言之： 他们建立了一个手语的“乐高工厂”。他们拆解了旧视频，让 AI 写了新故事，然后以新的方式将碎片重新粘合在一起，从而更好地教导机器人。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。