💻 computer science

Bidirectional Deaf-Hearing Communication: a Modular Service- Oriented System Combining Multi-Purpose Artificial Intelligence and 3D Avatar Rendering

本文提出了一种模块化、面向服务的系统，该系统集成了计算机视觉、深度学习和 3D 化身渲染技术，旨在实现聋人与听人之间使用葡萄牙语手语进行的有效、近实时的双向通信。

原作者： Telmo Adão, Somayeh Shahrabadi, Bruno Ribeiro, Duarte Dias, Vasco Alves, Filipe Pereira, Tiago Oliveira, Fábio Araújo, Luís Romero, Pedro Miguel Faria, Luís Gonzaga Magalhães

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Telmo Adão, Somayeh Shahrabadi, Bruno Ribeiro, Duarte Dias, Vasco Alves, Filipe Pereira, Tiago Oliveira, Fábio Araújo, Luís Romero, Pedro Miguel Faria, Luís Gonzaga Magalhães

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

几个世纪以来，聋人与听人之间根本性的障碍在于一种简单的感官错位：一群人通过手部和面部的视觉语言进行交流，而另一群人则依赖声音。虽然技术长期以来一直允许我们将语音转化为文字供聋人阅读，或将文字转化为语音供听人聆听，但在实时对话中弥合这一差距仍然是一个极其困难的问题。挑战不仅在于将一种语言转换为另一种语言，还在于管理两种完全不同的感知世界的方式。聋人使用手语，这是一种复杂的系统，其意义由手的形状、手臂的动作、身体的位置以及面部的表情共同承载。相反，听人通过在空气中传播的声音进行交谈。当一名聋人签署一个句子时，计算机必须观察视频，理解特定的动作，并将其转化为文字。当一名听人说话时，计算机必须将这些词汇分解为正确的符号序列，然后展示给聋人。要在不破坏对话流畅性的情况下同时完成这两件事，需要一个既极其快速又极其智能的系统。

葡萄牙的一个研究小组构建了一个旨在解决这一问题的全新系统，创造了一个数字桥梁，让聋人和听人能够尽可能自然地进行交谈。他们将这一成果称为 SLaDIS，这是一个模块化平台，充当了双向对话的通用翻译器。研究人员并没有试图将所有内容强行塞进一个庞大的程序中，而是将系统分解为三个相互协作的独立部分，就像一场组织有序的接力赛。第一部分观察聋人的双手和面部；第二部分倾听听人的话语并将其转化为手语；第三部分则是实际进行对话的屏幕。通过保持这些部分的独立与连接，该系统可以在不减慢对话速度的情况下，处理计算机视觉和人工智能的高强度计算任务。

旅程始于一名聋人想要表达意图之时。他们通过手机或电脑上的摄像头对自己的信息进行手语表达。系统并不会尝试记忆视频中的每一个像素，因为那样速度太慢且需要过多的数据。相反，它使用一种专门的工具来寻找人体关键点——手指关节、肘部、肩膀以及嘴角。它追踪这些点的移动，从而创建一个简化的动作映射图。随后，这个映射图被输入到一个深度学习模型中，该模型经过了数千个葡萄牙手语实例的训练。该模型观察动作序列并识别出正在进行的特定手势，将视觉运动转化为单词列表。由于手语通常会省略一些微小的连接词，或者使用与口语不同的句子结构，系统随后会将这个单词列表传递给一个大型语言模型。这第二层智能就像一位得力的编辑，负责重新排列单词、添加必要的语法并平滑句子，使其对听人来说逻辑通顺。其结果是一个清晰、自然的句子，出现在屏幕上供听人阅读或聆听。

当听人想要回复时，过程则反向运作。他们输入或说出信息，系统会立即将其翻译成葡萄牙手语的特定“语素”（glosses）或构建块。这不仅仅是简单的词对词转换；系统理解手语拥有自己的规则和语法。一旦句子被转换为正确的符号序列，系统便准备好将其展示给聋用户。为了避免下载预录制的人类手语视频所带来的延迟，且避免无法匹配精确词汇的问题，系统使用了 3D 数字虚拟形象（avatar）。这个虚拟人在应用程序内部运行。系统从库中提取每个手势的特定动画并将其串联起来，创造出流畅、连续的表现。虚拟形象通过移动双手、手臂和面部来模仿真实的签名者，直接在聋用户的屏幕上展示信息。

研究人员对该系统进行了广泛测试，以观察其是否能跟上真实对话的速度。他们发现，识别手语的部分具有极高的准确性，对测试手势的识别正确率达到了 95.6%。当系统将这些手语转化为完整句子时，其含义与预期信息的相似度很高，在以 1.0 为完美匹配的量表中得分为 0.81。系统的速度同样令人印象深刻。识别一个手势并将其转化为句子的时间不到十分之一秒，而虚拟形象在听人发送消息后开始动作的时间仅为一秒多一点。这些速度足以让人感觉到是在进行自然的流利对话，而非僵硬的信息交换。

为了确保系统的实用性，研究人员邀请了来自葡萄牙聋人协会的专家来评估该虚拟形象。两名独立的评估员观看虚拟形象表演手语，并对其理解程度进行了评分。一位专家理解了 9 \textow 0% 的手势，而另一位理解了 78%。研究指出，当动画质量较高时，理解程度是完美的，这表明动作的清晰度与词汇的准确性同样重要。该系统还证明了其灵活性，能够处理购物、旅游和医疗等不同场景下的对话，显示出其能够适应日常生活中多样化词汇的能力。

这项工作的真正创新之处在于各组件是如何有机结合的。通过将系统设计为相互通信的独立服务集合，研究人员创建了一个可以不断成长的平台。如果未来开发出了更好的 AI 模型，可以直接进行替换而无需重建整个系统。如果需要增加更多手势到库中，也可以在不干扰翻译过程的情况下进行记录和添加。这种方法意味着该系统不仅仅是一次性的实验，而是一个可以进化的基础工具。研究人员承认，与语言的丰富性相比，目前的词汇量仍然有限，且通过更多训练数据，从文本到手语的转换可以变得更加流畅。然而，研究结果表明，聋人世界与听人世界之间一个功能完备的双向桥梁不仅是一个理论上的可能性，更是一个能够在所需的速度和可靠性下实现真实人类连接的现实工具。

技术摘要：通过 SLaDIS 实现双向聋人-听人沟通

问题陈述
聋人与听人之间的沟通仍受限于模态的异质性：听人用户依赖语音，而聋人用户则使用结合了手势与非手动标记（面部表情、身体姿态）的有结构手语。现有的数字化解决方案大多是单向的，要么侧重于识别手语以生成文本，要么侧重于将文本合成手语，但很少将这两个方向整合为一个凝聚的系统。此外，在参与者识字能力有限的情况下，仅靠文本的解决方案是不充分的。挑战在于创建一个能够支持葡萄牙语手语（LGP）与自然语言（葡萄牙语）之间流畅双向翻译的系统，同时还要应对实时视觉处理和 AI 推理带来的高计算与网络需求。

方法论：SLaDIS 架构
作者提出了 SLaDIS（手语数字解读系统），这是一种模块化、面向服务的架构（SOA），旨在将复杂的流程解耦为三个可互操作的模块。这种方法利用分布式计算来缓解视觉数据处理、AI 解读和手势合成中的瓶颈。

手语解读模块 (SLIM)：
- 功能： 将 LGP 手势转换为自然语言句子（聋人 $\to$ 听人）。
- 流水线：
  - 数据采集： 使用 MediaPipe 从视频流中提取 88 个解剖学关键点（躯干、手臂、手部、面部），从而降低输入维度（相比原始 RGB 帧）。
  - 识别： 采用混合卷积 LSTM（ConvLSTM）架构，该架构在包含 1,650 个视频（50 个动态 LGP 手势）的数据集上进行训练。模型从关键点序列中推断出类似词汇（gloss）的单元。
  - 句子构建： 识别出的词汇被传递给大语言模型（LLM）组件（通过 API 调用 ChatGPT-3.5）。LLM 受规则集约束（例如：忽略重复、强制使用现在时态、纠正拼写），以生成语法正确的自然语言句子。
虚拟人生成手语模块 (ASLM)：
- 功能： 将自然语言转换为由 3D 虚拟人呈现的 LGP 手势（听人 $\to$ 聋人）。
- 流水线：
  - 翻译： 一个混合翻译器将自然语言文本转换为 LGP 词汇。这结合了基于规则的 NLP 流水线（使用 spaCy 和特定的语言学规则进行 SVO 到 OSV 的重排序、去除冠词等）以及用于精细化的神经序列到序列（Encoder-Decoder LSTM）模型。
  - 动画检索： 词汇被映射到动作捕捉动画数据库中。研究使用了两种系统（Rokoko 和 Perception Neuron）来捕捉手势，这些手势经过归一化处理，并使用 Autodesk Maya HumanIK 重定向到标准骨架。
  - 渲染： 3D 虚拟人（使用 iClone/Character Creator 创建）通过 Unity 和 WebGL 在客户端应用程序内本地渲染动画。系统使用状态机逻辑来融合动画，以确保手势间的平滑过渡。
聊天室前端模块 (CFM)：
- 功能： 编排层与用户界面。
- 实现： 一个移动端应用（Ionic），集成了用于实时视频/音频的 WebRTC、用于关键点提取的 MediaPipe 以及嵌入式 WebGL 虚拟人。它管理用户配置文件（聋人 vs. 听人）、会话编排，以及通过 RESTful 和 XMPP 接口在 SLIM 和 ASLM 服务之间进行的通信流。

核心贡献

统一的双向系统： 不同于以往将识别与合成孤立对待的研究，SLaDIS 将这两个流程集成到一个完整的全栈面向服务平台中。
模块化面向服务设计： 系统将 AI 推理、翻译和渲染解耦为独立的业务，从而实现了可扩展性，并允许在不重新设计整个系统的情况下更新组件（例如，更换 LLM 或扩展动画库）。
混合翻译策略： ASLM 在自然语言到词汇的翻译中采用了混合方法，优先使用基于规则的语言处理以保证鲁棒性，同时保留了神经组件以备未来优化。
客户端渲染： 通过利用 WebGL 在客户端进行虚拟人渲染，系统避免了与流式传输预渲染视频相关的延迟和带宽成本，从而实现了近乎实时的交互。

结果
系统以欧洲葡萄牙语和 LGP 为案例进行了评估：

SLIM 性能：
- 识别： 使用 ConvLSTM 模型在 50 个动态 LGP 手势分类中达到了 95.6% 的准确率。
- 句子构建： 生成的自然语言句子在商业、旅游和医疗场景下的平均语义相似度为 0.81（通过通用句子编码器测量）。
- 延迟： 每个手势的推理时间约为 0.004 秒，且用于句子构建的 LLM 响应时间通常在 1 秒以内，支持近乎实时的交互。
ASLM 性能：
- 可理解性： 专家对虚拟人手势合成的评估显示，平均手势理解度为 84%（评估者 1 为 90%，评估者 2 为 78%）。
- 延迟： 基于 WebGL 的直接渲染方案实现了从提交句子到动画就绪的平均响应时间为 1.10 秒。
集成： CFM 成功编排了这些组件，展示了一个能够处理异步聊天和具有用户画像感知界面的实时通话的功能原型。

意义与主张
论文声称 SLaDIS 证明了松耦合、面向服务的方法对于双向聋人-听人沟通的可行性。其主要意义在于成功地将异构技术——计算机视觉、深度学习、NLP 和 3D 渲染——集成到一个统一的平台中，同时保持了模块化和可扩展性。

作者强调，虽然单个组件（如手势识别或虚拟人合成）已被单独研究过，但 SLaDIS 通过创建一个能够通过视觉和手势界面容纳不同识字水平用户的完整工作流，填补了这一空白。该系统并非被呈现为一个最终的、完美的解决方案，而是一个经过验证的架构基础，可以扩展到更多的词汇、交互场景和手语种类。这项工作突出了在追求流利、交互式沟通的过程中，平衡计算效率（通过基于关键点的处理和客户端渲染）与语言翻译复杂性的重要性。

技术摘要：通过 SLaDIS 实现双向聋人-听人沟通

类似论文