From Cascaded Speech Systems to Omni-Modal Agents: A Survey of Speech Interaction for Next-Generation Human-Computer Interaction
本综述追踪了语音交互从传统的级联系统向统一全模态智能体的演进过程，系统地分析了语音大语言模型（SpeechLLM）与全模态多模态大语言模型（Omni-MLLM）的架构、训练策略及数据治理，并识别了下一代人机交互面临的关键挑战与未来方向。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，试图与一台只能听到你的言语、却听不出你的语气，且只能以平淡、机械的声音回答，甚至在你说话中途改变主意时也绝不会打断你的机器进行交谈。多年来，这一直是与计算机对话的现实。这些交互背后的技术传统上就像一场由三个独立跑者组成的接力赛：首先，一个系统倾听你的声音并将其转换为书面文本；其次，一个独立的计算机大脑阅读该文本，理解你的意思并写下回复；第三，另一台机器将书面的回复读出来传达给你。虽然这种方法可行，但既缓慢又笨拙。通过将你的声音转化为文本，再由文本转回声音，系统丢失了让人类对话感觉自然的微妙线索：你声音中的犹豫、音调的起伏、言语背后的情感，以及在对方还在说话时介入的能力。
现在，新一代技术正试图用一个统一的、整体的思想来取代这场接力赛。研究人员正在构建能够同时倾听、理解和说话的系统，而无需先将你的声音转换为文本。这些系统旨在通过多种感官同时感知世界，不仅处理你的声音，还处理图像、视频和环境声音，以理解情境的完整背景。由澳门城市大学和民族大学的研究人员发布的一项关于这一快速发展领域的新调查，描绘了我们是如何走到这一步的，以及我们将走向何方。作者 Sisi Zhu、Yue Zhao 及其同事收集了最新的研究成果，展示了语音交互如何从一种僵化的、循序渐进的过程，转向一种更像是在与人交谈而非操作机器的流利、连续的对话。
该论文通过四个截然不同的阶段追溯了这项技术的发展史。它始于前面提到的传统“级联式”系统，其中三个独立模块依次传递信息。研究人员解释说，虽然这种方法易于构建，但存在一个根本性的缺陷：每当系统将语音转换为文本时，都会丢失原始声音中的一些丰富性。如果接力赛中的第一位跑者犯了错，这个错误就会一直延续到最后。下一个阶段引入了“语音大语言模型”，它们开始将语音直接整合进计算机的大脑中，使其能够在不总是转化为文本的情况下理解语音。这是一个重大的飞跃，保留了更多说话者的情感和风格。
随后，该领域进入了“多模态大语言模型”阶段，这类模型增加了在理解语音的同时理解图像和视频的能力。然而，即使是这些系统也经常将不同类型的信息分开处理，难以实现无缝结合。论文描述的最后一个也是最先进的阶段是“全模态智能体（Omni-Modal Agent）”。这些是研究人员最感兴趣的系统。它们被设计为能在单一框架内同时感知文本、图像、视频、语音和环境声音。全模态智能体不再是一个接一个地处理事物，而是可以在听你说话的同时观察你展示给它的视频，理解你的声音如何与屏幕上的场景相匹配。调查强调，这些系统正开始支持“全双工（full-duplex）”交互，这是一个技术术语，指同时说话和倾听的能力，就像人类一样。这意味着计算机可以在你打断它时停止说话，或者在它仍在构思答案时倾听你，从而创造出更加自然的对话流。
研究人员不仅描述了这些技术，还分析了它们的构建和训练方式。他们发现，创建这些先进系统需要大量混合了不同类型信息的资料。训练过程非常复杂，首先要教会模型理解一种数据类型（如文本），然后逐渐引入图像、音频和视频。目标是教会模型理解它们之间的联系，例如特定的声音如何与视觉事件相关联。调查指出，尽管这些模型正变得极其强大，但仍面临重大障碍。一个主要的挑战是时机问题。在真实的对话中，一切都在瞬间发生。研究人员指出，将视频中的视觉动作与说话词汇在时间上对齐是非常困难的，并且让系统实现即时响应而不产生明显的延迟仍是一项正在进行的课题。
论文中另一个关键的发现涉及这些新智能体的可靠性和安全性。由于这些系统如此强大，它们有时会产生“幻觉”或编造事实，尤其是在尝试结合来自不同来源的信息时。例如，如果一个模型看到一张狗的照片，却听到一个可能属于猫的声音，它可能会自信地描述照片里有一只猫，即使那里并没有猫。作者强调，建立对这些系统的信任是重中之重。他们认为，未来的模型需要更好的方法来验证其答案是否基于其所见所闻的实际证据，而不是仅仅根据学到的模式进行猜测。调查还涉及了隐私问题，指出由于这些系统在不断地倾听和观察，它们收集了大量的敏感个人数据，这引发了关于安全性和用户控制的重要问题。
展望未来，研究人员建议，下一个重大步骤不仅是让这些系统变得更聪明，而是让它们在行为上更像人类。他们设想了一个未来，在那里的语音交互不仅仅是下达指令，而是进行真正的、持续的对话，计算机能理解你的情绪，记得你过去的对话，并能在现实世界中协助你完成复杂的任务。调查总结道，虽然我们正在远离过去那种笨拙的、接力赛式的机器对话方式，但旅程远未结束。技术正在飞速演进，但要真正实现自然、可靠且安全的交互，研究人员仍需解决速度、准确性和个人数据伦理使用方面的问题。前进的道路在于构建不仅功能强大，而且可靠的系统，确保随着机器越来越擅长理解我们，它们依然是我们日常生活中得力且安全的伙伴。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。