Closing the Affective Loop: Multimodal Speaker-Listener Emotion-Dynamics-Aware Empathetic Social Robots
本文介绍了 AffectLoop，这是一个多模态共情社交机器人系统，它通过动态追踪说话者和听者的情感状态来生成一致的言语和具身响应，从而闭合情感环路，一项初步研究表明，与仅文本的基准模型相比，该系统显著提高了用户满意度和痛苦恢复程度。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
人类之间的连接不仅仅依赖于言语的交换。当我们与某人交谈时，我们一直在观察对方的面部表情，倾听其声音的语调，并感受对话的节奏。我们也带着自己的情绪进入互动，这种情绪会随着我们的倾听和回应而发生偏移与变化。这种情感的动态流动，正是让一场对话显得鲜活生动的原因。几十年来，研究人员一直试图教会机器理解这种复杂性，构建能够识别一个人是悲伤还是快乐的系统。然而，大多数这类数字倾听者运作起来都像是一条单行道：它们检测用户的某种情绪，然后给出一个预设好的回复，却忽略了倾听者自身反应也会改变对话的情感格局这一事实。它们错失了那段两个人在实时中相互影响彼此感受的循环。
现在，一个研究团队开发出了一款机器人，试图填补这一差距。在 2S26 年亚太信号与信息处理协会年会上一项展示的研究中，他们介绍了一个名为 AFFECTLOOP 的系统，旨在帮助社交机器人不仅理解一个人说了什么，还理解他们之间的情感交换是如何演变的。研究人员为一台名为 Misty II 的小型可编程机器人配备了追踪说话者声音和面部表情的能力，同时监测其自身的内部情感状态。通过将这两股双向信息流输入到一个大语言模型中，该机器人生成的响应不仅具有同理心，而且具有物理上的表现力，从而创造了一个持续的情感连接循环。
AFFECTLOOP 的核心理念在于，真正的共情需要一条双向车道。在典型的对话中，人的情绪并非静止不变的；它们会根据正在说的话以及对方如何反应而随时刻而变。研究人员发现，现有的机器人系统通常将情绪视为附加在句子上的单一标签，忽略了情感随时间变化的微妙动态。为了解决这个问题，他们的系统将交互分解为两条平行的轨道。首先，它分析人类说话者，利用软件将他们的声音转换为文本转录，并将他们的面部动作转换为一系列情感信号。它追踪说话者的情绪起伏，记录他们在能量和情感强度上的变化。其次，系统会对机器人自身的状态进行持续记录。它计算机器人计划要说的词汇的情感基调，以及其物理动作（如头部倾斜或手势）所传达的情感。
这两股数据流被结合起来以引导机器人的下一步行动。机器人不仅仅是对人类做出反应；它还会考虑自己之前的行为和当前的情绪如何融入正在进行的对话之中。这些信息被传递给一个人工智能引擎，该引擎充当机器人的大脑。该引擎被指令扮演一名专注的倾听者，生成一段与情感语境相匹配的简短口头回应。至关重要的是，该引擎还会决定机器人执行的一个物理动作，确保其肢体语言与其言语保持一致。例如，如果人类正在讲述一个悲伤的故事，而机器人检测到情绪转向了痛苦，它可能会在发出温柔安慰的同时，降低头部或柔化眼神。一旦机器人说话并做出动作，系统会立即重新评估情况，更新自身的情感状态以反映刚刚发生的事情，然后等待人类的下一次发言。这创造了一个闭环，使机器人的反应成为情感动态的一部分，正如在人类对话中那样。
为了测试这种方法是否真的奏效，研究人员进行了一项包含五名参与者的小规模研究。每位参与者在两种不同的场景下与机器人交谈了五分钟。在第一种场景中，机器人使用标准系统，该系统仅观察人类的语言来生成响应，忽略了机器人自身的情感状态以及对话的动态流。在第二种场景中，机器人使用了新的 AFFECTLOOP 系统。之后，参与者从多个维度对他们的体验进行了评分，包括对话感觉有多自然、机器人看起来有多善于倾听，以及机器人的回应有多大的支持性。
结果表明，新系统带来了显著的差异。参与者对 AFFECTLOOP 机器人的整体评分更高，其中最显著的提升在于机器人回应中的支持感和同理心。当使用闭环系统时，人们感到受到了更多的鼓励和赞扬。他们还报告称，在对话结束后感觉更好，其压力水平的下降也比使用标准系统时更为有效。研究人员还分析了交互日志，以观察底层发生了什么。他们发现，使用 AFFECTLOOP 的机器人更擅长使其情感转变与人类保持一致。当人类的情绪向某个方向移动时，机器人的反应往往会更紧密地跟随那条路径，而不是仅仅随机反应。此外，数据显示，当人类在对话开始时感到负面情绪时，在与 AFFECTLOOP 机器人交谈后，他们更有可能进入一种负面程度较低的状态。
尽管这项研究涉及的参与者人数较少，且仅作为初步测试，但其发现指向了一个充满前景的方向。研究人员指出，通过明确建模说话者不断变化的情绪以及倾听者自身的情感状态，机器人可以超越简单的基于文本的响应，创造出一种更真实、更具具身性的共情形式。该系统并没有让机器人变得在所有方面都更像人类；在某些衡量指标上，标准系统在感知自然度方面得分仍略高。然而，在情感支持和用户满意度方面的明显增益表明，闭合情感环路有助于让机器人感觉更像是一个支持性的伴侣。这项工作证明，对于机器人要真正与人类建立连接，它不仅要倾听对方，还要意识到自己在对话的情感舞蹈中所处的位置。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。