Speech-to-SOAP: End-to-End Summarization of Medical Dialogues: KIT@BeTraC 2026

在医生问诊的日常节奏中，大量的时间往往并非花在患者身上，而是花在了电脑上。当医生倾听症状并询问问题时，他们必须同时将笔记输入数字记录中，这一任务将他们的注意力从面前的人身上拉开。这种文档负担是医疗工作者疲劳的一个已知来源。为了解决这个问题，研究人员长期以来一直致力于语音识别技术，希望将口述内容直接转化为医疗记录。然而，仅仅是所言内容的转录文本通常是不够的；目标是创建一个被称为 SOAP 笔记的结构化摘要。这种格式将一次就诊分为四个不同的部分：患者的主观诉求、体格检查的客观发现、医生的评估以及治疗计划。挑战在于如何教会计算机倾听一段对话，理解医学背景，并在无需人工干预的情况下编写这种特定类型的摘要，同时还要保留像咳嗽或停顿这样细微的线索，否则如果计算机必须先写下每一个词再进行总结，这些线索可能会丢失。

来自卡尔斯鲁厄理工学院和卡内基梅隆大学的研究小组在 2026 年 BeTraC 挑战赛中着手解决这一问题，该竞赛旨在测试机器自动化医疗文档的能力。他们的研究方法名为“Speech-to-SOAP”，重点在于构建一个能够倾听医患对话并一步到位生成最终医疗笔记的系统，跳过了先编写完整转录文本的中间步骤。他们使用了一种被称为基础模型的强大人工智能类型，这种模型已经在大规模的通用语言和语音数据上进行了训练。研究人员的主要创新不仅在于使用现有的模型，还在于教会它如何处理真实医疗对话中混乱且多变的特性。他们创建了一个结合了多种不同数据集的流水线，其中包括一些完全合成的数据集和一些包含真实录音的数据集，以训练该系统。对于缺乏音频录音的对话，他们使用计算机生成的语音来填补空白，从而确保模型可以从总计超过 160 万小时音频的海量示例中进行学习。

为了使训练数据发挥作用，团队必须教会计算机 SOAP 笔记究竟是什么样子的。由于他们的许多源对话并没有附带预先写好的摘要，因此他们使用另一种 AI 工具自动生成这些摘要。他们设计了特定的指令，以确保生成的笔记遵循正确的结构并使用一致的医学术语，从而有效地为主要系统创建了一个庞大的示例库供其学习。随后，研究人员测试了不同的教学方式。他们实验了向计算机提供指令的不同方式，发现当指令作为直接命令传递给模型而非作为背景规则时，效果最好。他们还调查了在音频旁边展示对话的文本转录是否会有所帮助。他们的发现表明，将声音和文本结合在一起观察有助于模型更准确地识别医学概念，即使最终生成的摘要与仅根据音频生成的摘要相似。

团队还探索了将任务分解为较小步骤是否会有所帮助，例如让计算机先写下转录文本然后再进行总结，或者要求它在编写笔记前解释其推理过程。结果显示，虽然这些中间步骤带来了一些好处，但对于整体摘要质量而言，最有效的方法是训练模型直接从语音生成最终摘要。然而，他们发现“思维链”（Chain-of-Thought, CoT）监督在提取临床相关概念方面取得了最高分，这表明显式地对中间推理步骤进行建模可以提高对医学细节的识别能力，即使它在其他指标上并未超越直接生成。关于数据清洗，团队发现删除计算机生成的语音与文本不匹配的片段并不会提高性能；事实上，使用过滤掉时长超过 21 分钟后的未清洗数据集所获得的结果最好。他们还发现，将用于训练的对话长度限制在 21 分钟是最佳平衡点；更长的对话会引入过多的噪声，从而变得不再有用。

在研究的最后阶段，研究人员将训练出的多个最佳版本的模型结合起来，创建了一个单一且稳健的系统。这个合并后的系统针对同一作者的三个不同测试数据集进行了一次对比性提交测试：包括与训练材料非常相似的对话、模拟的角色扮演场景，以及真实的医疗就诊录音。合并后的系统在所有官方测试集上都持续优于该对比性提交版本，特别是在训练数据与测试数据差异最大的真实场景中。这一成功表明，通过平均化几个不同训练模型的知识，可以使系统更具适应性，且不易被新情况所困扰。该研究结论指出，通过统一多样化的数据源并采用直接从语音到摘要的方法，可以创造出一种工具，显著减轻医疗工作者的文档负担，让他们能够专注于医疗护理中的人文元素。