Call2Instruct: Automated Pipeline for Generating Q&A Datasets from Call Center Recordings for LLM Fine-Tuning
本文介绍了 Call2Instruct，这是一个自动化的端到端流水线，通过音频处理、文本清洗和语义匹配的多阶段过程，将嘈杂的呼叫中心音频录音转化为用于大语言模型微调的高质量问答指令数据集，并通过微调 Llama 2 7B 模型成功证明了其有效性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一个庞大且布满灰尘的旧音频录音库，这些是来自繁忙呼叫中心的通话记录。这些录音充满了真实的人声，但非常混乱：有静电噪音、人们互相抢话、自动语音菜单，而且对话内容毫无结构。你想教一个超级聪明的计算机（即大语言模型，简称 LLM）如何根据这些录音来回答客户问题，但计算机无法直接从原始且嘈杂的音频中学习。它需要一本干净、有序的、由“问题”和“答案”组成的教科书。
论文 "Call2Instruct" 描述了一个机器人流水线（自动化管线），它能将那些混乱的音频转化为一本完美的教科书。
以下是这个工厂的工作流程，分步骤进行：
1. 声音清洗站（音频处理）
首先，原始音频进入清洗站。
- 问题： 录音就像一个嘈杂的房间，有两个人在说话，但你分不清谁是谁，而且还有很多背景静电噪音。
- 对策： 系统充当一名音频工程师。它分离出不同的声音（以便知道哪些部分是客户，哪些是客服人员），去除静电噪音，并剪掉无聊的自动菜单（例如“按 1 进入销售界面”）。
- 结果： 然后，它使用一个“超级听众”（语音转文本工具）将干净的音频转化为一份粗略的文本草稿。
2. 编辑桌（文本清洗与隐私保护）
现在系统有了粗略的转录文本，但它仍然很乱。它可能包含奇怪的拼写错误、重复的词汇（如“嗯，嗯，嗯”），或者包含真实的姓名和账号等敏感信息。
- 问题： 计算机会被混乱的文本搞糊涂，而且分享私人客户数据是违法的。
- 对策： 一个自动化的编辑介入了。它修正标点符号，去除“嗯”、“啊”之类的语气词，并扮演隐私卫士的角色。它将真实的姓名替换为占位符，如
<NAME>或<ACCOUNT_ID>，确保不会泄露任何人的秘密。 - 结果： 一个干净、安全且易于阅读的对话故事。
3. 带着魔法地图的图书管理员（语义提取）
这是工厂里最聪明的部分。系统需要弄清楚：“客户到底想要什么？”以及“客服是如何解决问题的？”
- 问题： 在真实的对话中，客户可能会在问出一个简单问题之前先啰嗦五分钟，而客服的回答可能就埋在对话中间。
- 对策： 系统使用一张“魔法地图”（向量嵌入）。它将客户的唠叨转化为一个清晰、直接的问题（例如，“如何重置我的密码？”）。它对客服的回答也进行同样的操作。然后，它将这些问题和答案转化为地图上的数学坐标。
- 结果： 现在，系统可以找到完美的匹配。即使客户问的是“重置（resetting）”，而客服说的是“重启（restarting）”，魔法地图也知道它们是同一回事，并将它们配对在一起。
4. 教科书编写员（数据集生成）
现在系统已经将正确的问答进行了匹配，接下来它需要将它们格式化，以便计算机学习。
- 问题： 计算机需要以特定的格式进行学习，即：“这里是一个指令，这里是一个答案。”
- 对策： 系统充当教科书作者。它提取匹配的对，并将它们编写成完美的格式。它可能会添加一点指令，比如，“根据客户的需求，解决方案是什么？”后面紧跟着客服的回答。
- 结果： 一份全新的、高质量的数据集准备就绪，可以用于训练。
5. 期末考试（验证）
为了确保这个工厂确实有效，作者构建了一个测试。
- 测试： 他们利用这个新生成的数据集来教导一个计算机模型（具体是一个名为 Llama 2 7B 的模型）。
- 结果： 计算机成功地从数据中学习了。当他们向它提出模拟的客户问题时，它给出了符合该特定呼叫中心逻辑的答案。这证明了该管线是有效的：它成功地将混乱的音频转化为了有用的训练工具。
核心总结
论文结论认为，这个 “Call2Instruct” 管线是一个行之有效的解决方案。它将呼叫中心录音中那种混乱、无结构的状态，自动化地转化为一个干净、私密且结构化的数据集。这使得公司能够利用自己的真实世界数据来训练 AI 助手，使其能够胜任客户服务工作，而无需人工手动输入成千上万个问题和答案。
作者也已向公众开放了该工厂的代码，以便他人在此基础上进行开发。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。