Tracking the Behavioral Trajectories of Adapting Agents
本文通过将智能体行为特征定义为文本嵌入空间中的方向，引入了一种量化智能体行为特征的框架，从而能够测量技能文件的编辑情况，并通过受信任的中介机构促进智能体间对行为变化的安全性评估。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
将现代 AI 智能体（智能计算机程序）想象成数字员工。就像人类员工拥有简历、手册和一套规则一样，这些 AI 智能体也有“文本文件”来告诉它们做什么、记住什么以及它们是谁。这些文件是它们行为的“源代码”。
问题在于，这些文件可能会发生变化。有时是人类更新了它们，有时是 AI 自己更新了它们。大多数情况下，这些变化是无害的，比如为了修复漏洞而增加一项新技能。但偶尔，某个文件可能会被微调，使智能体做出危险的行为，比如秘密窃取密码或私人数据。
挑战：
你如何从数以千计的常规更新流中识别出一次危险的变化？这就像是在试图从一辆不断在补货的满载水果的卡车中，找到一个坏苹果。你不能只看整辆卡车；你需要一种方法来衡量变化的方向。
解决方案：“行为指南针”
该论文的作者创建了一种方法，使用由数学构成的“指南针”来追踪这些变化。以下是其工作步骤：
“前后”快照：
与其阅读整个文件，他们观察的是 diff——即技能文件“旧版本”与“新版本”之间的具体变化。这就像是通过对比两个故事的草稿，来看看到底增加了或删除了哪些句子。“特质向量”（指南针）：
他们训练了一个计算机模型来理解一种特定的“特质”，在本例中是**“数据搜寻”**（寻找秘密或密码的倾向）。
- 他们提取了 68 个文件变化的示例。其中一些被标记为“此变化使智能体更有可能窃取数据”（+1），另一些则被标记为“此变化使智能体更安全”（-1）。
- 模型学会了在高维数学空间中画出一条线（一个向量），这条线将“好”的变化与“坏”的变化分隔开。这条线就是他们的特质向量。
- 为新变化评分：
当发生新的文件编辑时，系统会将“前后”文本转化为一个数学方向，并观察它相对于“特质向量”指向哪个方向。
- 如果它指向“窃取数据”向量的方向，它就会得到一个高风险评分。
- 如果它指向相反的方向，则会得到一个安全评分。
结果：
他们在 68 个示例上进行了测试。
- 准确率： 该系统在 91.2% 的情况下正确识别了变化是“好”还是“坏”。
- 排序能力： 它也非常擅长区分“微小的风险变化”与“巨大的危险变化”（相关性得分为 0.82）。
- 对比： 它比简单的关键词搜索规则（后者会忽略语境）表现得更好，但略逊于要求超智能 AI 手动阅读文件。然而，他们的方法更快、更便宜且更具一致性（它能给出相同的答案，而人类或大型 AI 可能会有波动）。
“智能体对智能体”协议（受信任的中介）
论文还描述了一种让一个 AI 检查另一个 AI 的文件，而无需它们直接相互信任的方法。他们使用了一个受信任的中介（一个安全的服务器）来充当裁判：
- 智能体 A（老板）请求裁判去检查 智能体 B（员工）。
- 裁判向智能体 B 发送一个受保护且受到严格限制的工具。
- 智能体 B 使用该工具计算其自身文件变化的“数学方向”，并且仅将这些数字发回给裁判。
- 裁判将“特质向量”（指南针）应用于这些数字，并将最终得分告知智能体 A。
这确保了智能体 B 无法在评分上撒谎，同时也确保智能体 A 永远不会看到智能体 B 的私密文件。
总结：
该论文提出了一种为 AI 智能体构建行为雷达的方法。通过将文本文件的变化视为数学空间中的方向，他们可以自动检测智能体是否正在向危险行为（如窃取数据）偏移，并将其标记以供审查，而无需人类阅读每一行代码。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。