Don't Just Listen, Try Planning: Graph-based Retrieval-Generation Agent for Long-form Audio Meeting Understanding

想象一下，你正坐在一场漫长且拥挤的会议中，人们的声音交织在一起，有人在插话，对话也从预算讨论突然转向了某种突发的挫败感。如果稍后有人要求你解释为什么某人在第十九分钟提高了音量，或者追踪一个在一小时开始时做出的决定是如何影响了二十分钟后的一句抱怨，你所依赖的将不仅仅是说出的文字。你会记得语调、音量、停顿，以及对话如何在人与人之间流动的方式。几十年来，计算机一直难以做到这一点。虽然机器在将语音转化为文本方面已经做得非常出色，但它们往往无法理解长篇复杂对话的完整语境。它们倾向于将一场会议视为一段平铺直叙的句子列表，从而丢失了关于“谁在何时说了什么”以及“如何说”的关键细节。这种局限性成为了处理长达数小时录音时的主要障碍，因为对于一个简单问题的回答，可能隐藏在贯穿整个时长的复杂互动网络之中。

中国苏州大学的研究人员开发了一种新方法来解决这个问题，创建了一个不仅能倾听音频，还能主动规划如何寻找答案的系统。他们首先意识到，现有的旨在处理语音的人工智能模型，往往为了获取原始文本而丢弃了诸如音量和情绪等宝贵的声学信息。此外，这些模型在试图回答关于录音结尾的问题时，很难记住开头部分的细节。为了解决这一问题，团队首先构建了一个名为 LongAudioQA 的新数据集，其中包含了数百个关于现实世界会议的问题，范围涵盖了从简单的事实查询到需要理解说话者情绪状态或两个遥远对话部分之间逻辑联系的复杂问题。

他们解决方案的核心是一个被称为“基于图谱的检索生成代理”（graph-based retrieval-generation agent）的系统。研究人员并没有将整个音频文件一次性输入单个模型，而是首先将会议分解为一个结构化的地图。在这张地图中，每一句说出的话都变成了一个节点，而它们之间的连接则是根据说话人是谁、何时说话以及在谈论什么来绘制的。这种结构使得计算机不再将会议视为一段文字流，而是一个关系网络。当用户提出问题时，系统并不仅仅是搜索匹配的词汇。相反，它表现得像一位人类专家在规划其搜索过程：它将问题拆解，决定要探索地图的哪些部分，然后通过连接一步步进行搜寻以收集证据。

如果初步搜索未能提供足够的信息，该系统具有对自身进度进行反思的能力。它可以意识到自己缺少了拼图的一块，例如某种特定的语调或之前陈述的上下文，然后重新规划其搜索路径，去寻找那个缺失的部分。这种“搜索、收集、反思”的循环会一直持续，直到系统确信自己已经找到了正确的答案。这种方法使系统能够处理需要跨越时间“连点成线”的问题，例如，通过将某个时刻与之前被打破的承诺联系起来，从而识别出为什么说话者在特定时刻听起来很愤怒。

他们的测试结果表明，这种基于规划的方法在表现上显著优于目前依赖简单文本搜索或直接音频处理的最先进模型。在涉及超过三十分钟会议的测试中，新系统能够以更高的准确率回答复杂问题，特别是在那些需要理解说话者情绪语调或追踪长时间内对话流转的问题上。研究人员发现，通过显式地对说话者与时间之间的关系进行建模，并允许系统规划自身的搜索策略，他们可以克服常见的“语境碎片化”问题，即由于重要细节在录音中距离过远而导致信息丢失。

这项工作表明，要让计算机真正理解长篇的人类对话，它们需要的不仅仅是强大的处理器；它们需要一种能够模仿人类自然处理复杂社交互动的方式来组织信息。通过将会议视为一张结构化地图，并赋予计算机思考其搜索过程的能力，研究人员创造了一个能够倾听会议、理解其中的关系，并提供基于录音实际证据的答案的系统。尽管该系统在处理极度嘈杂的录音时仍面临挑战，但其规划和反思的能力标志着人工智能在理解人类对话深度方面迈出了重要的一步。