Cross-Lingual Transfer Learning and LLM-Assisted Gloss Generation for Low-Resource Tamil Voice and Text to Sign Language Pose Generation
本文通过将基于 LoRA 微调的 LLM 辅助语谱生成与来自德语手语的跨语言迁移学习相结合，提出了首个针对低资源语言泰米尔语的语音及文本到手语姿态生成系统，通过一个包含语音转录、语谱生成以及经由回译验证的姿态合成流水线，实现了最先进的性能。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
沟通是人类的基本需求，然而对于数百万聋人或听障人士来说，口语与他们的母语手语之间的桥梁往往仍然是断裂的。虽然计算机在阅读文本或理解语音方面已经变得非常出色，但要教会它们生成流畅、连续的手语动作却被证明是一项难题，尤其是对于那些缺乏大量数字化记录样本的语言。这一挑战在泰米尔手语（Tamil Sign Language）中显得尤为突出，这种语言在印度有着庞大的使用人群，却缺乏研究人员通常依赖的用于训练人工智能的海量标注数据集。如果没有这些资源，构建一个能够将口语句子自动翻译成一系列手部和身体动作的系统，就像是在试图让一名学生在没有足够教科书或练习伙伴的情况下学习一项复杂的技能。
这个问题的核心在于手语本身的性质。手语不仅仅是一系列静态的手势，而是一种涉及手、手臂、面部和身体在特定节奏下动态流动的过程。为了教会计算机这一点，研究人员通常需要数千小时展示特定句子表演的母语使用者视频。当此类数据匮规模较小时，如泰米尔语的情况，标准方法就会失效。解决方案需要一种不同的方法：一种借鉴其他领域知识并根据特定低资源语言的需求进行仔细适配的方法。这正是 Ramya Cauvery D 和 Dr. Josephine Usha L 的工作所在，他们为在口语泰米尔语和视觉化手语之间搭建桥梁提供了一种新途径。
研究人员致力于创建第一个能够直接将口语或书面泰米尔语转换为代表手语表演的一系列身体姿态（body poses）的系统。他们的目标不仅是翻译单词，而是生成一个人会做出的实际物理动作。为此，他们必须克服两个主要障碍：缺乏大规模的泰米尔手语数据集，以及难以教会计算机在有限数据下进行自然运动。他们通过将问题分解为两个截然不同的步骤，并使用一种从完全不同的语言中借用知识的巧妙策略来解决这些问题。
首先，团队解决了从单词到手语的翻译问题。在手语语言学中，有一个概念叫做“词汇”（gloss），它作为一种简化的、符号化的手语表示，类似于字典定义对单词的总结。研究人员并没有尝试直接从口语句子跳转到复杂的 3D 运动，而是使用了一个中间步骤：将泰米尔语句子转换为这种符号化的词汇序列。为了应对数据的稀缺性，他们采用了一个大型语言模型（一种在海量文本上训练的型人工智能），并利用一种允许模型在不忘记已知知识的情况下从极少量示例中学习的技术，对其进行了专门的任务适配。该模型接收输入句子并生成正确的词汇序列，有效地充当了一个理解泰米尔手语结构的语言翻译器，即使在训练数据有限的情况下也是如此。
一旦系统获得了词汇序列，第二个挑战就是将这些符号转化为实际的运动。这正是研究人员应用被称为“跨语言迁移学习”（cross-lingual transfer learning）策略的地方。他们意识到，虽然德语手语和泰米尔手语的单词和语法不同，但人类运动的物理规律是通用的。无论是在哪种语言中，手部从胸部向头部移动都遵循相同的物理规则。为了利用这一点，他们采用了一个已经在数千小时德语手语视频上训练过的强大计算机模型。该模型已经学习了人类在进行手语时的通用运动模式。研究人员随后利用这个预训练模型，使用他们自己的小型定制泰米尔手语视频数据集对其进行微调。这使得系统可以从对人类运动的强大理解出发，并仅需调整其知识以适应泰米尔手语者的特定风格和节奏。
用于此类训练的数据经过精心构建，以确保系统可以为任何人服务，而不仅仅是记录视频的特定人群。团队记录了五位母语使用者，每人表演了三百个不同的句子，从而产生了一千五百个视频片段。为了测试系统是否真正理解了语言并具有泛化能力，他们使用了一种严密的测试方法：在四个使用者上进行训练，并在第五个使用者上进行测试，并重复此过程，直到每个使用者都成为了测试对象。这确保了系统是在学习语言本身，而不是仅仅记忆单个人的动作。
这种方法的初步结果令人鼓舞。当系统生成姿态序列时，研究人员通过运行一个独立的识别系统来评估其质量，看该系统能否将生成的动作重新识别回原始的泰米尔语句子。这种“回译”过程表明，系统成功捕捉到了原始语音的含义。生成的符号明显比以往的尝试更准确、更流畅，系统能够正确地重构句子的含义，其表现超越了现有的泰米尔手语生成基准。使用来自德语数据集的预训练运动模型至关重要，因为它为平滑运动提供了必要的基石，而仅凭微小的泰米尔语数据集是无法教会这些运动的。
然而，研究人员谨慎地指出其工作的局限性。该系统是针对低资源语言迈出的重要一步，但尚未达到完美。尽管数据集经过精心策划，但与用于高资源语言的海量库相比仍然较小。生成的运动虽然在数学上是准确的，但目前的帧率低于通常推荐的自然手语帧率，且系统目前还无法捕捉到对完整语言意义至关重要的细微面部表情或详细手形。此外，词汇生成依赖于计算机的解释，这意味着在初始翻译步骤中的任何错误都会影响最终的运动。
尽管存在这些局限性，这项研究展示了一条面向那些被数字革命遗忘的语言的可行路径。通过结合处理单词的专门语言模型和处理运动的借用运动模型，研究人员表明，无需数百万小时的数据也可以构建有效的手语系统。这项工作表明，对于许多代表性不足的手语而言，进步的关键不在于等待海量数据集的出现，而在于聪明地将现有工具适配到新的语境中。这种方法提供了一种现实的希望，即可以缩小口语与手语之间的差距，让数百万依赖手语进行交流的人们能够获得更便捷的沟通。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。