Cocktail-Talker: Multi-Speaker Dialog Modeling in Noisy Social Environments with Turn Action GRPO
本文介绍了 Cocktail-Talker，这是一个通过监督微调和强化学习训练的语音大语言模型框架，旨在使助手能够在嘈杂的多发言人社交环境中，有选择性地决定是说话还是保持沉默，并由名为 Cocktail-DialogGen 的合成数据流水线提供支持。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你正身处一个热闹非凡的派对上。音乐节奏强劲，人们欢声笑语，三场不同的对话同时进行。在这一片混乱的交响乐中，你的大脑完成了一件神奇的任务：它能瞬间判断出谁是在对你说话，谁是在和朋友聊天，以及哪些只是背景噪音。你可能会回答一个问题，顺着某个故事点头示意，或者忽略远处传来的歌曲。这种过滤世界并决定何时开口的能力对人类来说是天经地义的，但对计算机而言却是一场噩梦。
如今大多数计算机语音助手都像是害羞的宾客，只有在有人在安静房间里轻声呼唤它们的名字时才会开口。它们被设计用于一对一的聊天，即用户说话，机器人回答。但现实生活并非安静的房间，而是嘈杂的鸡尾酒会。如果计算机试图在拥挤的地方交谈，它往往会感到困惑，要么对着并非在跟它说话的人大声嚷嚷，要么在应该介入时保持沉默。科学家们早就知道，教机器处理这种“鸡尾酒会问题”——即弄清楚谁在说话、谁在倾听以及该如何应对——是让人工智能真正具有人性化特征的最大障碍之一。
于是有了 Cocktail-Talker，这是哥伦比亚大学的研究人员及其同事发起的一个新项目，旨在教 AI 助手如何应对这种社交混乱。它不再仅仅是等待指令，而是学习像一位聪明的派对宾客一样行动。它使用一套特殊的“动作标记”（action tokens）——可以把它们想象成秘密的手势——来决定下一步动作：<|respond|>（开口回应）、<|listen|>（保持安静但保持关注）或 <|ignore|>（完全忽略）。
为了教会 AI 这些技能，研究人员不能直接录制真实的派对，因为在混乱的录音中很难准确判断谁在对谁说话。因此，他们构建了一个名为 Cocktail-DialogGen 的数字游乐场。这是一个模拟流水线，利用其他 AI 模型在不同场景（如地铁站、客厅或公园）中创造出数以千计的虚构对话。他们为这些虚构对话设定了特定的规则：有时角色会向 AI 提问，有时他们彼此交谈，有时背景中只有响亮的音乐。他们甚至加入了不同程度的噪音，从清晰到极度嘈ار，以确保 AI 能够学会应对最恶劣的条件。
该 AI 基于强大的语音模型 Qwen2.5-Omni 构建，并通过两种主要方法进行训练。首先，它通过学习这些模拟对话来掌握基础知识（监督微调）。然后，它参加了一场名为 GRPO（群体相对策略优化）的试错游戏。在这个游戏中，AI 会被给定一个场景，并被要求生成多种可能的反应。如果它选择了正确的动作（例如忽略背景音乐），就会获得奖励；如果做错了（例如对着不与它交谈的人大喊大叫），则会被惩罚。
结果令人印象深刻。在模拟实验中，经过训练的 AI 在判断何时说话和何时保持沉默方面表现得更出色。旧模型往往无法区分是对它的提问还是他人之间的对话，而 Cocktail-Talker 学会了辨别差异。它成功识别了何时该回应、何时该倾听以及何时该忽略，即使在多达四人同时交谈的嘈杂环境中也是如此。论文指出，这种方法有助于 AI 实现良好的泛化能力，这意味着它在新的、未见过的环境（如渡轮或动物园）中的表现，几乎与其练习过的环境一样出色。
然而，研究人员谨慎地指出，这只是向前迈进了一步，而非终点。目前的系统是基于预录制的音频片段而非实时流式对话进行工作的，并且完全依赖声音，没有利用诸如观察谁在注视谁之类的视觉线索。但通过教会 AI 在嘈杂的世界中做出正确的社交选择，Cocktail-Talker 向着构建能够最终加入我们真实、混乱且精彩的日常喧嚣中的助手迈出了重要的一步。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。