KYA: A Framework-Agnostic Trust Layer for Autonomous Systems with Verifiable Provenance and Hierarchical Policy Composition
KYA 是一个开源的、与框架无关的自主系统信任层,它采用包括安全四门应用管道、分层策略组合和统一信任评分在内的五个核心原语,以检测智能体漂移、泄露和对抗性攻击,同时保持亚毫秒级延迟和高吞吐量。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
想象你拥有一支为你工作的自主机器人(AI 智能体)舰队。它们正在申请贷款、分拣医疗患者或交易股票。目前,我们用来监控这些机器人的工具(称为“可观测性”)就像汽车的仪表盘:它们能告诉你引擎是否过热、车速是否过慢,或者某个部件是否损坏。
KYA(了解你的智能体) 是一个新系统,它不仅仅监控引擎;它集保安、侦探和公证人于一身。它回答了仪表盘无法回答的问题:这个机器人是否在撒谎?它是否偏离了轨道?它是否在泄露秘密?如果出了问题,谁真正负责?
以下是 KYA 的工作原理,通过五个简单的部分和日常类比进行分解:
1. 四道安检门(“守门人”)
在 AI 智能体被允许执行任何新操作或更改其规则之前,它必须通过四道严格的安全检查。这就像进入高度安全的银行金库:
- 第一道门: 持有钥匙的人是否真的签署了此请求?(数字签名检查)。
- 第二道门: 此请求是否仍然有效,还是已过期?(时间检查)。
- 第三道门: 此请求会使规则变得更严格还是更宽松?KYA 只允许规则变得更严格(更安全),绝不允许变宽松。这就像父母说:“你可以增加更多家务,但不能移除你已经有的那些。”
- 第四道门: 是否有人类实际说了“是”?默认情况下,人类必须批准更改。
2. “仅收紧”规则手册(“安全晶格”)
想象你有一本机器人的规则手册。公司(平台)设定了基准规则。你(租户)可以在其上添加自己的更严格规则,但你永远不能删除公司的安全规则。
KYA 使用一种特殊的数学系统,确保无论有多少人添加规则,系统永远不会意外地变得不那么安全。这就像一层层的安全网:你可以添加更多的网,但永远不能从底部抽走一张。
3. KYP:“了解你的委托人”(“通用身份证”)
过去,我们有人类的单独身份证、机器人的单独评分和自动化脚本的单独日志。KYA 将它们全部整合到单一的身份证系统中。
无论行为者是人类员工、AI 机器人还是后台脚本,KYA 都会赋予它们一个“信任评分”。如果机器人开始行为不端,其评分就会下降。如果人类犯错,其评分也会下降。它以同样的方式对待每个人,使得识别谁值得信赖、谁存在风险变得轻而易举。
4. “交互乘数”(“危险组合”)
有时,单个行动是安全的,但两个行动结合在一起就很危险。
- 示例: 给机器人一个“写入”工具是有风险的。给它访问“私人数据”的权限也是有风险的。
- 乘数效应: 如果你给机器人同时提供写入工具和私人数据访问权限,危险程度就不是简单的“风险 + 风险”,而是“极度危险”。
KYA 有一份这些“危险组合”的特殊清单。当它发现它们时,会将风险评分相乘放大,提醒人类操作员该特定组合需要额外审查。
5. “问责游戏”(“协调者的责任”)
这是最重要的功能之一。想象一个“经理机器人”雇佣了三个“工人机器人”来工作。如果一个工人机器人失控并窃取数据,谁该受罚?
- 旧方式: 工人机器人受罚。经理机器人全身而退。
- KYA 方式: 经理机器人受罚。
KYA 假设,如果你雇佣了一个有风险的工人,你就必须为他们所做的行为负责。如果子智能体行为不端,系统会立即从经理的信任评分中扣分。这阻止了经理们躲在“干净”的子智能体背后从事肮脏的工作。
它如何处理证据(“防篡改日记”)
每当智能体执行操作时,KYA 都会将其记录在一本数字日记中。但这不仅仅是一般的日志;它是一本加密链式日记。
- 每个条目都通过一种特殊的数学锁(HMAC)与前一个条目链接。
- 如果有人试图回溯并修改旧条目(例如抹去错误),锁就会断裂,整本日记会被标记为“已被篡改”。
- 这创建了一份法庭可采纳的记录,确切记录了发生了什么、谁做的以及何时做的。
论文实际发现的内容
作者用一些严峻的挑战测试了这个系统:
- 速度: 它非常快。它可以在不降低智能体速度的情况下,每秒检查数千个智能体。
- 兼容性: 它适用于 15 种以上的不同 AI 框架(如 LangChain、CrewAI 等)。无论你使用什么软件,KYA 都能在其之上运行。
- 黑客测试: 团队聘请了“红队”黑客试图欺骗智能体。KYA 拦截了**89%**的攻击,包括一种非常棘手的新类型攻击,黑客利用机器人链来隐藏踪迹。
- 现实场景: 他们在模拟的银行贷款系统和医院分诊系统上进行了测试。在这两种情况下,它都成功识别了有风险的智能体,并将不良行为追溯到了正确的人(或机器人)。
核心结论
KYA 是一个开源工具(免费使用),位于你的 AI 智能体与现实世界之间。它不仅仅告诉你 AI 是否在工作;它告诉你 AI 是否安全、诚实且可问责。它确保如果 AI 犯错,我们知道确切该追究谁的责任,并且我们拥有防篡改的记录来证明这一点。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。