💬 NLP

Building Customer Support AI Agents at 100M-User Scale: An Evaluation-Driven Framework

本文介绍了一个由 Nubank 开发的统一、评估驱动型框架，该框架整合了结构化上下文工程、人机协同迭代以及严格的 LLM 评判评估，成功地在五个领域为超过 1 亿用户部署了生产级客户支持 AI 智能体，在显著提升满意度和自助服务率的同时，证明了离线指标与在线影响之间存在强相关性。

原作者： Aman Gupta, Kevin Rossell, Edesio Alcobaça, Jose Chrystian Lima Pacheco, Carolina Baptista de Lima, Shao Tang, Luiz Paulo Rabachini, Luis Moneda, Herbert Fei, Daniel Silva, Rohan Ramanath

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Aman Gupta, Kevin Rossell, Edesio Alcobaça, Jose Chrystian Lima Pacheco, Carolina Baptista de Lima, Shao Tang, Luiz Paulo Rabachini, Luis Moneda, Herbert Fei, Daniel Silva, Rohan Ramanath

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你经营着一家拥有 1 亿客户的大型银行。每天，都有数百万人打电话或通过聊天咨询类似的问题，比如：“我的信用卡在哪儿？”或者“为什么我欠了这么多钱？”

在过去，你需要一支庞大的真人客服团队来回答这些问题。但现在，你想构建一个超级智能的 AI 机器人来处理这些对话。问题在于：如果机器人给出了错误的答案，客户会感到愤怒、失去信任并离开。你不能仅仅靠“猜测”来判断机器人的表现是否良好；在让它与真实人类交谈之前，你需要 100% 确定它的表现。

这篇论文是来自 Nubank（一家巨型银行）关于如何安全且成功地构建这些 AI 机器人的蓝图。以下是他们是如何做的，用简单的语言解释如下：

1. 问题所在：在没有碰撞测试的情况下制造汽车

通常，当人们构建 AI 时，他们编写指令，进行少量测试，然后听天由命。作者说，这就像造了一辆车，然后直接把它开下悬崖，以此来测试安全气囊是否起作用。在客户支持领域，一次“碰撞”的代价实在太高了。

他们需要一种方法，在让机器人与哪怕一个真实人类交谈之前，先在“模拟器”中对其进行数千次的测试。

2. 解决方案：“评估驱动型”工厂

他们没有仅仅编写指令，而是构建了一条包含四个主要站点的流水线。把这想象成在调校一辆赛车：

第一站：模块化套件（上下文工程）
他们没有为机器人编写一份冗长、混乱的说明书，而是将其拆解成了乐高积木块。
- 规则： 机器人应该如何说话（礼貌、简洁）。
- 剧本： 针对特定问题的逐步指南（例如：“如果卡片丢失，执行步骤 A，然后执行步骤 B”）。
- 工具： 机器人实际可以执行的操作列表（例如检查数据库或重新发卡）。
- 记忆： 机器人记录对话中所学内容的便签本。
- 为什么重要： 如果机器人的问候语出错了，你只需要更换“问候语乐高块”即可。你不需要重建整辆车。
第二站：机器人裁判（LLM-as-a-Judge）
你如何知道机器人做得好不好？你不能让机器人给自己打分。因此，他们使用了另一个 AI（即“裁判”）来为第一个机器人的回答评分。
- 难点： 裁判 AI 有时会有偏见或偷懒。为了解决这个问题，他们使用了一种名为 GEPA 的特殊技术。想象一位教练在观察裁判 AI 给试卷打分时，发现裁判判得太严厉了，于是重新编写了更公平的评分标准。他们自动进行这种操作，直到评分变得极其一致。
第三站：人工安全网（评分者间信度）
在信任 AI 裁判之前，他们先让真实的人类对相同的答案进行评分。他们检查人类之间的意见是否一致。如果人类在 90% 的情况下达成一致，他们就知道测试是公平的。然后，他们确保 AI 裁判与人类的达成一致程度也同样高。
第四站：实战测试（A/B 测试）
一旦机器人通过了模拟器测试，他们就会让它与一小部分真实客户交谈（例如 1% 的用户）。他们将这个新机器人与旧系统进行对比。如果新机器人的表现让客户更开心，他们就会让它接触更多的人。

3. 结果：机器人胜出

他们在五种不同类型的问题上测试了这个系统：

卡片递送： “我的卡片在哪儿？”
债务管理： “我该如何偿还贷款？”
信用额度： “我能提高额度吗？”
卡片管理： “修改我的 PIN 码。”
产品讲解： “这个功能是做什么用的？”

神奇的数据：

幸福感： 对于“卡片递送”机器人，客户满意度（通过名为 tNPS 的得分衡量）提升了 37 个点。这是一个巨大的进步。
自助服务： 更多的人在不需要人工干预的情况下解决了问题。其“自助服务率”上升了 29 个点。
人类 vs 机器人： 在五种情况中的四种里，机器人的表现几乎与顶尖专家不相上下（差距仅在几个百分点内）。唯一的短板是在非常复杂的“债务管理”领域，这很正常，因为那是涉及最难数学计算和共情能力的难题。

4. 核心教训：“如果你能衡量它，你就能修复它”

这篇论文最重要的启示是：你的测试质量决定了你改进的速度。

由于他们构建了一个如此严密的测试系统（“模拟器”），他们可以对机器人的指令进行修改，并立即知道它是变好了还是变差了。他们不需要等待数周才能看到客户是否开心。他们可以在模拟器中对机器人进行数十次迭代（改进），当他们最终发布时，它已经是一个冠军级的选手了。

简而言之： 他们不仅仅是构建了一个聪明的 AI；他们构建了一个用于测试 AI 的智能测试实验室。正因为这个实验室如此出色，他们向世界推出的机器人才如此可靠、令人愉悦，并准备好服务于 1 亿用户。

技术摘要：构建亿级用户规模的客户支持 AI Agent

问题陈述

大语言模型（LLM）的快速进步使得 AI Agent 处理复杂任务成为可能，但在大规模部署生产级面向客户的 Agent 时仍面临重大挑战。在客户支持（CS）领域，特别是在银行等高风险环境中，Agent 面临着独特的约束：

高可靠性阈值： 单次失败就可能侵蚀信任并导致用户流失；金融失误可能导致重大损失。
数据敏感性： Agent 必须在严格的隐私和监管约束下处理真实的客户数据（余额、交易）。
专业化与多样性的平衡： Agent 使用狭窄且特定领域的工具集（5–15 个工具），但必须处理大量的边缘情况多样性。
平滑交接： Agent 必须在“人机协作”的工作流中运行，当自动化失效时，能够带着完整的上下文将控制权移交给人工。

研究发现的一个关键差距是：评估方法论、上下文工程、训练和在线测量通常是孤立开发的。这会导致“盲点”，这些盲点只有在部署后才会显现，从而降低迭代速度并增加生产失败的风险。

方法论：一种评估驱动的框架

作者提出了一个统一的框架，将线下开发与线上影响联系起来，并在一家服务超过 1 亿用户的公司中得到了验证。其核心理念是：评估流水线的质量直接决定了迭代速度。

1. 模块化上下文工程

系统没有采用单体式提示词（Monolithic Prompts），而是采用了语义化版本控制的模块化架构，其中各组件可独立管理：

指令（Instructions）： 角色定义、行为约束和合规护栏。
流程（Routines）： 源自人类标准作业程序（SOP）的有序、分步程序（例如：卡片递送调查流程）。
宏（Macros）： 被 Agent 适配使用的预写响应模板。
工具规范（Tool Specifications）： 工具的独立描述（模式、输入/输出、调用条件），允许进行重组。
工作记忆（Working Memory）： 一个持久化的暂存区（Scratchpad），用于追踪对话状态以防止冗余调用。

2. 严谨的评估流水线

该框架采用了 LLM-as-a-Judge（以 LLM 作为评判者） 的方法，并通过特定的可靠性措施进行了增强：

人机协作迭代（HITL Iteration）： 领域专家通过二元标签和文本理由对数据进行标注。
GEPA 优化： 系统使用 GEPA（在 DSPy 框架内）自动优化评判者提示词。一个强大的模型会通过分析错误并结合人类反馈来综合修订建议，从而优化一致性。
评分者间信度（IRR）： 框架强制要求多个评判模型之间达到最小一致性阈值（通过 Cohen's $\kappa$ 衡量）。只有当提示词在不同模型架构（如 GPT-4.1, GPT-5, o3）下产生稳定的评分时，才会被视为可信。
跨模型验证： 确保即使更换具体的评判模型，设计良好的准则也能产生稳定的评分。

3. 开发生命周期

该过程运行在两个嵌套循环之上：

快循环（Fast Loop）： 线下评估结果（模拟得分）驱动即时的提示词修复。如果评估器标记了失败，则会对特定的提示词组件进行外科手术式的修改并重新评估。
慢循环（Slow Loop）： 在线指标（来自 A/B 测试）为架构变更提供信息，例如添加新的流程或重新设计工具接口。

4. 基础设施与部署

工具设计： 工具的设计遵循幂等性和确定性编排（将多步逻辑封装进单个工具），以降低延迟和错误率。
渐进式发布： 新的 Agent 以 1–5% 的流量进行部署，并基于置信度向人工客服进行升级。
模型可移植性： 模块化架构允许在迁移基础模型（例如从 GPT-4.1 到 GPT-5）时，通过调整特定的提示词组件而非重写整个系统来实现快速适配。

核心贡献

统一框架： 一个连接 Agent 架构、提示词版本控制、线下评估和在线测量的闭环系统。
模块化上下文工程： 一种允许独立对指令、流程、宏和工具进行版本管理的模式。
经过校准的 LLM-as-a-Judge 流水线： 一个严谨的评估系统，具有要求评分者间信度、GEPA 优化的评判提示词以及跨模型验证的特性。
生产环境验证的结果： 在五个不同的生产场景（卡片递送、债务管理、信用额度、卡片管理、产品解释）中得到了实证支持。

结果

该框架在五个生产用例中得到了验证，其中 卡片递送（Card Delivery） Agent 是主要案例研究。

卡片递送部署（核心结果）

客户满意度： 与之前的版本相比，AI 交易型净推荐值（tNPS）实现了 37 个百分点（p.p.）的提升。
自动化率： 自助服务率（SSR）实现了 29 个百分点的增益。
达到人类水平： 最终的 AI tNPS 与专家级人工客服的差距缩小到了 10 个百分点以内。
线下-线上相关性： 观察到线下评估失败率与在线 tNPS/SSR 增益之间存在强正相关关系。线下改进最大的版本（如 V10）带来了最高的在线收益。

跨领域表现

在所有五个领域中，该框架都带来了持续的收益：

债务管理： tNPS 提升了 40 p.p.（尽管仍存在 -23.6 p.p. 的较大差距，反映了该领域的复杂性）。
信用额度： tNPS 提升了 4.5 p.p.；在上下文理解和共情能力的评估失败率方面显著降低。
卡片管理： tNPS 提升了 38.3 p.p.。
产品解释器： tNPS 提升了 12.3 p.p.。

评估流水线效能

提示词优化： 自动化优化（GEPA）持续优于手动提示词工程和多数类基准。例如，在评估 E3 中，准确率从 58.07%（手动）上升到 73.01%（优化后）。
评分者间一致性： 未经优化的“初始”提示词在模型之间几乎没有一致性（ $\kappa \approx 0.00$ 至 $0.10$）。GEPA 优化的提示词显著提高了一致性（例如，GPT-4.1 与 GPT-4.1-mini 之间的 $\kappa = 0.745$ ；推理密集型模型之间的 $\kappa = 0.950$ ）。

意义与主张

论文声称，评估质量是决定迭代速度的首要因素。通过建立一个通过校准评判者和严谨的评分者间一致性实现的可靠“快循环”，团队可以在不等待稀疏的在线信号的情况下，自信地在离线环境下进行迭代。

作者断言，他们的框架成功弥合了线下模拟与在线现实之间的鸿沟，证明了 “评估驱动开发”能够可靠地预测生产环境的影响。该方法论在多样化的客户支持领域具有通用性，使组织能够在保持高质量、合规性和客户满意度的同时，将 AI Agent 的规模扩展至 1 亿以上用户。这项工作强调，虽然 AI Agent 在许多领域可以接近人类水平的表现，但最困难的任务（如债务管理）仍然需要细致的人类监督和迭代优化。