Designing Reliable LLM-as-a-judge Measurement Systems for Multi-turn Business Agents
本文提出了一个用于评估多轮业务智能体的实用且可维护的框架，该框架集成了模块化 LLM 评判器、保持意图一致的用户模拟以及人机协同治理，以确保对智能体性能和业务知识差距进行可靠且具可操作性的测量。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代数字经济中，企业日益依赖人工智能来处理与客户的复杂对话。这些并非简单的、一次性的交流——即机器人回答一个问题后就消失的情况。相反，它们是多轮对话，客户可能在同一个会话线程中询问产品、请求价格查询、核实地址，然后投诉物流延迟。为了确保这些数字助手能够正常工作，公司需要一种评估其表现的方法。多年来，研究人员一直使用一种被称为“LLM即评委”（LLM-as-a-judge）的方法，即用一个人工智能模型来评估另一个模型的回答。这种方法已成为测试简单任务的标准，但在面对长对话、规则随公司而变化以及正确答案取决于 AI 可能并不知晓的具体事实时，该方法显得力不从心。核心挑战在于，对话失败的原因有两种截然不同的可能性：AI 可能因为太困惑而无法理解客户，或者企业根本未能向 AI 提供完成工作所需的必要信息。区分这两种失败至关重要，因为修复一个困惑的 AI 需要的解决方案，与要求业务团队更新其数据是完全不同的。
Meta 的一个研究小组开发了一套全新的、综合性的系统，旨在解决这一特定问题。他们并没有将评估这些智能体视为一个简单的提示词编写练习，而是构建了一个模拟现实世界复杂性的完整测量系统。他们的方法结合了四个不同的部分：一个关于特定业务成功定义的清晰标准、一套用于检查对话不同方面的专业化 AI 评委、一个可以与智能体交互以测试其极限的模拟用户，以及一个不断检查整个系统准确性的专家人工审核过程。研究人员发现，通过将这些部分连接成一个单一的、自我修正的闭环，他们可以可靠地衡量一个智能体失败是因为自身的局限性，还是因为缺失业务数据。随着时间的推移，该系统使得人工审核员和自动化评委能够共同进步，从而创造出比任何一方单独运作都更准确的表现画像。
研究人员首先承认，并非每场对话都有唯一的“正确”答案。在标准测试中，模型可能会根据一份固定的对错清单进行评分。但在真实的商业场景中，诸如“我们会在三天内将包裹送到该地址”之类的陈述，只有在公司确实拥有该运输政策的情况下才是正确的。如果公司的资料缺失，AI 就无法知道答案，将其判定为失败是不公平的。团队意识到，为了公平地衡量这些智能体，他们首先必须明确对话的目标。他们创建了一个规范，将每一次交互分解为具体的终态。该系统并未简单地标注“好”或“坏”，而是将结果归类为七种不同的可能性。这些类别涵盖了从问题得到完全解决的圆满结局，到部分解决的情况，再到处理得当但属于无效对话的情况。至关重要的是，该系统将由 AI 理解能力不足导致的失败（模型差距）与由业务事实缺失导致的失败（知识差距）区分开来。这种区分至关重要，因为它能明确告知企业究竟谁需要解决问题：是构建 AI 的工程师，还是负责更新数据的业务团队。
为了在不需要数千名真实客户尝试的情况下测试这些智能体，研究人员构建了一个模拟用户。这是一个旨在扮演人类客户的 AI 程序，但它遵循严格的规则以确保不偏离原始任务。该模拟器有两种模式。在一种模式下，它回放历史对话，提取真实客户聊天中的确切意图和事实，并将其反馈给新智能体以观察其反应。在另一种模式下，它遵循一系列指令来创建新场景，例如应对感到困惑的客户或试图欺骗系统的垃圾信息发送者。该模拟器的关键在于，它经过审计以确保不会意外改变客户的原始目标。如果模拟器虚构了一个真实客户从未提出的请求，就会导致对智能体表现的误判。研究人员验证了该模拟用户能够在适应智能体不断变化的响应的同时，保持原始任务不变，使其成为可靠的发布前测试工具。
一旦对话生成，它们就会由一组专门的 AI 评委进行评估。该系统并非依赖一个庞大的 AI 来给出单一评分，而是使用许多小型且专注的评委。一个评委检查 AI 是否捏造了事实，另一个检查其是否遵循了公司的特定流程，第三个则检查其是否正确处理了客户的意图。这些独立的检查随后通过一套清晰的规则组合起来，形成最终裁定。这种结构使得系统具有透明度；如果一段对话被标记为失败，系统可以指出导致失败的具体证据，例如缺失的价格表或被误解的指令。研究人员还建立了人工监督层。人工审核员会在不知道 AI 评委决策的情况下，独立查看样本对话。如果人工与 AI 产生分歧，则由高级专家介入做出最终裁定。这一过程不仅产生了一个标签，还创造了一个反馈循环。分歧会被用来分析：是人工犯了错，还是指导方针不明确，亦或是 AI 评委需要重新训练。
该系统在真实生产环境中的智能体上进行了长达两年半的测试，结果显示出明显的改进模式。最初，自动化评委在识别特定类型的失败时，表现并不比随机猜测好多少。然而，随着系统经历不断的审计和调整周期，自动化评委的准确率显著提升。在一个维度上，系统检测缺失业务知识的能力从低分提升到了高水平的准确度，最终在这一特定任务上超越了人工审核员的表现。相反，在其他维度上，人工审核员仍然保持着略高的准确度，但两者之间的差距随时间推移而缩小。最重要的发现是，这种结合的工作流——即人类与机器在共享反馈循环中协作——产生了最可靠的结果。该系统并未取代人类判断；相反，它创造了一种伙伴关系，让机器承担检查事实的繁重工作，而人类专注于复杂的细微差别，双方都从对方的错误中学习。
研究人员谨慎地指出，这些发现是基于其自身生产环境的观测数据，而非针对另一种方法的受控实验。他们并未声称其系统是普遍完美的，也并未声称它会对每家企业都以完全相同的方式运作。人工审核员本身并非无懈可击，且系统的性能最终达到了平台期，这意味着在达到一定程度后，改进停止了。然而，这项研究证明，将 AI 评估视为一个持续维护的测量系统，而非一次性的测试，可以实现持续的优化。通过定义明确的目标、使用专业化的评委、仔细模拟用户并保持人工参与以纠正错误，企业可以建立起一种可靠的衡量数字智能体的方法。这种方法确保了当对话失败时，企业能准确知道原因，并采取正确的行动进行修复，无论是更新数据库还是重新训练模型。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。