PQR: A Framework to Generate Diverse and Realistic User Queries that Elicit QA Agent Failures
本文介绍了 PQR，这是一个迭代框架，它结合查询与提示优化，自动生成多样且真实的用户查询，以有效诱发并揭示基于大语言模型的问答代理中的故障，在检测无帮助回复方面显著优于先前的方法。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一家新推出的超级智能购物助手机器人的质量控制经理。你的任务是找出这个机器人会在哪里犯错。但有一个难题：这个机器人非常擅长回答简单的问题，比如“这件衬衫是什么颜色的？”要发现它的弱点，你需要向它提出棘手、令人困惑或奇怪的问题。
问题在于，如果你问机器人一些人类绝不会问的奇怪问题（比如“数字 5 是什么颜色的？”），机器人只会回答“我不明白”。这并不能告诉你它如何处理真正的客户。你需要找到那些听起来完全像真人会输入的问题，但同时又能诱使机器人给出糟糕的答案。
本文介绍了一种名为PQR（提示 - 查询 - 优化）的新工具来解决这个问题。你可以将 PQR 想象成一个双人“红队”，他们以非常特定的方式协作来攻破机器人。
两位合作伙伴
1. “文字巫师”（查询优化）
想象一位巫师，他拿着一句普通的话开始玩弄它。他可能会：
- 拼写错误：将"apple"改为"aple"。
- 语气：将礼貌的请求改为暴躁的语气。
- 角色扮演：假装成一个匆忙且疲惫的家长。
这位巫师会生成许多问题的变体，以观察微小的变化是否会破坏机器人的表现。然而，如果巫师玩得太过火，问题听起来就会像胡言乱语或代码，这无助于测试现实世界的表现。
2. “导演”（提示优化）
想象一位电影导演，他观察着巫师的尝试。导演不仅仅是观看；他会做笔记。
- “嘿，那种暴躁的语气成功迷惑了机器人！”
- “但那个关于‘量子物理’的问题太假了。让我们让下一个问题听起来更像真正的购物者。”
导演利用这些笔记为巫师编写一套新的指令（即“提示”）。他们会告诉巫师：“下次，试着一次问两个问题，但要让它听起来像是一个正在赶时间的真人。”
他们如何协作（循环机制）
PQR 将这两位合作伙伴置于一个循环中：
- 导演向巫师提供一套指令。
- 巫师根据这些指令生成一批问题。
- 他们用这些问题在购物机器人上进行测试。
- 如果机器人失败了，他们就庆祝！如果机器人成功了，他们就分析为什么它成功了。
- 导演根据所学内容更新指令，使下一轮问题更加逼真且棘手。
为何这比以前的方法更好
在 PQR 出现之前，研究人员尝试过两种主要方法来发现机器人的错误：
- “黑客”方法：他们试图通过激进、不自然的攻击迫使机器人失败。这确实发现了错误，但这些问题听起来像计算机程序，而不像人类。
- “优化器”方法：他们试图让问题听起来完美，但他们反复询问同一类型的问题，从而错过了机器人可能失败的其他方面。
PQR 就像一种混合体。它结合了“黑客”发现弱点的能力与“优化器”听起来像人类的能力。
结果
作者在电子商务购物机器人上测试了 PQR。他们发现，与以往的方法相比，PQR 在发现“无帮助”的回答方面表现优异得多。
- 发现更多错误：它发现的糟糕答案比其他方法多出23% 到 78%。
- 更加逼真：它生成的问题听起来更像真实购物者实际会输入的内容。
- 更加多样：它不仅仅发现一种类型的错误，而是发现了多种不同类型的困惑。
核心结论
PQR 是一个智能的自动化系统，它学习如何提出完美的棘手问题。它不仅仅是试图破坏机器人；它试图以一种感觉像真实人类互动的方式来破坏机器人。这有助于开发人员修复他们的 AI 代理，使其在真实用户使用更加可靠。
注：该论文专门在购物助手上测试了此方法，以发现“无帮助”的回复。它也简要探讨了“安全性”（防止不良内容），但主要重点是使 AI 更加有帮助且逼真。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。