PromptCanary Detecting Silent Behavioral Drift in Large Language Model APIs
本文介绍了 PromptCanary，这是一个开源工具，它通过使用可定制的提示词和评分探测器，将黄金标准回归测试应用于检测大语言模型 API 中无声的行为漂移，通过将当前输出与版本化的基准进行对比来实现。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一个神奇的、无所不知的机器人朋友（一个大语言模型），你每天都通过一个特殊的窗口（API）与它交谈。你训练它以一种非常特定的方式来回答你的问题：也许它总是以一个整洁的 JSON 框形式为你列出配料表，或者也许它在给出建议之前总是先亲切地打个招呼说“Hello!”。
但转折在于：机器人的主人可以在随时更换机器人的大脑，而无需告知你。他们可能会升级大脑、微调个性，或者干脆换成一个略有不同的机器人。窗口看起来完全一样，门没有吱呀作响，也没有任何警报响起。但突然之间，你的机器人朋友开始给你一段文本而不是一个列表，或者它忘记了说“Hello”。你的应用程序崩溃了，你的解析器报错了，而你甚至不知道为什么。这就是作者所称的沉默行为漂移（Silent Behavioral Drift）。
由此诞生了 PromptCanary，这是一个全新的开源工具，旨在成为你的“矿井里的金丝雀”（预警信号）。
黄金标准（Golden Master）：时空旅行者的快照
把 PromptCanary 想象成一位时空旅行摄影师。在传统软件中，如果你今天拍下一段程序输出的照片，它明天看起来应该完全一样。如果它变了，你就知道出问题了。但在 AI 领域，输出天生就带有一点“摇摆性”（就像一只猫，可能会坐左边或右边）。
PromptCanю 解决了这个问题，它通过拍摄一个“黄金标准”快照。你给这个工具一小组重要的提问（提示词），并告诉它：“这就是一个好的答案长什么样。”它将那个答案保存为一个基准。稍后，当你再次询问同样的问题时，PromptCanary 不仅仅是检查答案是“对”还是“错”。相反，它表现得像一个观察入微的侦探，将新的答案与旧的照片进行对比，看看其风格或结构是否发生了偏移。
侦探的工具箱：探测器（Probes）
它是如何知道机器人是否正在发生漂移的呢？它使用了探测器（Probes）。想象一下，这些是 19 种不同的放大镜，每种都在寻找特定的线索：
- JSON 放大镜： 检查答案是否仍然是一个整洁的数据框。
- 推理放大镜： 检查机器人是否仍在逐步展示其推理过程。
- 拒绝放大镜： 检查机器人是否突然开始对以前可以回答的问题说“不”。
每个探测器都会给出一个分数。它不仅仅是一个简单的“通过”或“失败”，更像是一个等级。如果机器人本该给你 5 个事实，但它只给了 4 个，探测器可能会给它 80% 的分数。这能帮你观察到机器人是否在彻底崩溃之前正在缓慢地变差。
“套件”问题：教室里的混淆
作者进行了一些测试，以观察它在现实世界中的表现如何。他们设置了一个模拟实验，在八天内逐渐引入“漂移”（不良行为）。
这里有一个有趣（且略显尴尬）的发现：这个工具有点过于积极了。
在他们的测试中，他们有一个“套件”（一组问题）和一个探测器列表。该工具将每一个探测器应用到了每一个问题上。所以，他们有一个寻找“JSON 框”的探测器，却遇到了一个要求写“诗歌”的问题。即使在一切完美的第 1 天，JSON 探测器也会在诗歌问题上失败！
这意味着整个组的分数从一开始就很低（66.7%），因为存在这些不匹配。然而，作者发现了一个转机：该工具足够聪明，能够忽略这些噪音。 尽管分数很低，但工具正确地意识到在第 1、2、3 天时并没有发生新变化。只有当机器人在第 4 天真正开始出问题时，它才拉响警报。
这揭示了一个设计上的缺陷：目前你无法告诉工具，“只在 JSON 问题上检查 JSON”。你必须用所有的探测器去检查所有的内容。作者承认这是他们需要修复的一个局限性，但他们也发现，该工具本身足够健壮，足以应对这种情况。
PromptCanary 不是什么
了解这个工具不具备哪些功能非常重要：
- 它不是用来测试机器人是否“聪明”或能否解决科学问题的测试。那是其他工具的工作。
- 它不是能预测未来的魔力水晶球。它只比较今天与昨天。
- 它不是统计学超级计算机。它并不使用复杂的数学来猜测某种变化是否是偶然现象；它依赖于用户设定规则。
结论
作者将这个工具构建为一个轻量级、易于使用的 Python 库。他们对其进行了彻底测试，但带有一个转折：他们在测试中并没有调用真实的机器人。相反，他们使用了一个“模拟（mock）”机器人（一个总是给出相同答案的假机器人）来确保他们的工具不会崩溃。这意味着他们非常确定该工具在理论上是有效的，但也承认，现实世界中机器人的怪癖（比如特定公司产生的奇怪错误信息）可能仍会溜进来。
该工具现在已向所有人开放使用。它是衡量“嘿，机器人在跟我说话的方式上改变主意了吗？”的一种简单、实用的方法，并在你的应用崩溃之前给你一个清晰的答案。它不是万灵药，但它是一把在黑暗房间里非常有用的手电筒。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。