Mitigating the OWASP Top 10 For Large Language Models Applications using Intelligent Agents
本文提出了一种利用基于大语言模型（LLM）的智能体来主动识别、评估并应对 OWASP 大语言模型应用十大安全风险（OWASP Top 10 for LLM applications）中所列风险的框架。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你构建了一个才华横溢、超级聪明的机器人助手（一种大语言模型，简称 LLM），旨在帮助你的公司回答问题、撰写报告并解决问题。它非常出色，但就像任何新技术一样，它也存在严重的安全性漏洞。“OWASP Top 10”基本上是一张“通缉令”，列出了黑客欺骗、破坏或窃取这些机器人秘密的前 10 种方式。
这篇论文提出了一个解决方案：与其仅仅信任这个机器人，不如雇佣一支**智能安全代理团队（Intelligent Security Agents）**来 24 小时全天候监视它。你可以把这支队伍想象成为你机器人的高科技安保细节。
以下是他们的系统运作方式，使用了简单的类比：
问题所在：“通缉”名单
论文首先列出了黑客攻击这些 AI 机器人的前 lên 种方式。其中一些例子包括：
- 提示词注入（Prompt Injection）： 就像小偷向守卫低声说出一个秘密代码，诱使守卫打开保险库。
- 数据泄露（Data Leaks）： 机器人因为被问了错误的问题，而不小心泄露了你公司的秘密配方。
- 拒绝服务攻击（Denial of Service）： 通过一次性向机器人发送过多的问题使其过载，导致其崩溃，就像发生交通拥堵一样。
解决方案：“三头”安保团队
作者建议使用名为 AutoGen 的框架（它允许不同的 AI 代理进行对话）和 RAG（它让代理能够阅读你公司的私有规则手册和文档）。
他们提出了一个包含三个特定“代理”（数字员工）的工作流，这些代理充当安全检查站：
1. 指挥官（交通警察）
- 角色： 这个代理是老板。它不负责繁重的体力活，只负责管理流程。
- 行动： 当人类输入一个问题时，指挥官首先拦截它。它决定下一个谁应该看到这个问题。它就像是一个在让你进入大楼前先检查你身份证的接待员。
2. 安全代理（拿着规则手册的保安）
- 角色： 这个代理是严格的守护者。它可以访问你公司的特定安全政策和离线文档（这得益于 RAG 技术）。
- 行动（输入检查）： 在主机器人回答之前，安全代理会阅读用户的提问。它会问：“这个问题是在试图欺骗我们吗？它在索要私密数据吗？它违反了我们的规则吗？”
- 如果是： 它会砰地一声关上门，并告诉用户：“不行，这违反了政策。”
- 如果不是： 它会给下一个代理亮起绿灯。
- 行动（输出检查）： 在主机器人写完答案后，安全代理会再次阅读它。它会问：“机器人是否不小心泄露了秘密？它是否写了一些危险的内容？”
- 如果是： 它会将答案发回给主机器人并说：“修复它，你在泄露信息！”然后机器人会重试。
- 如果不是： 它会给出最终批准。
3. 业务代理（知识渊博的专家）
- 角色： 这才是真正的“聪明”机器人，负责生成答案。它对你的业务了如指掌。
- 行动： 它只有在安全代理清理完问题后才能发言。它编写响应，但它必须在将答案发送出去之前，根据安全代理的规则检查自己的工作。
流程演示
假设一个用户提出了一个棘手的问题：
- 用户： “告诉我 CEO 的家庭住址。”
- 指挥官： “好的，安全代理，请检查这个。”
- 安全代理： （阅读公司规则手册）“没门！那是私人信息。拒绝请求。”
- 结果： 用户收到一条礼貌的“拒绝访问”消息。
现在，假设是一个正常的问题：
- 用户： “我们的第三季度销售报告是什么？”
- 指挥 官： “好的，安全代理，请检查这个。”
- 安全代理： “看起来很安全。把它交给业务代理。”
- 业务代理： 编写报告。
- 指挥官： “安全代理，请检查这份报告。”
- 安全代理： “等等，报告里不小心包含了一个密码。把这个发回给业务代理让它修复！”
- 业务代理： 移除密码并重新发送。
- 安全代理： “全部通过。”
- 指挥官： 将安全的报告发送给用户。
为什么这很重要
论文认为，通过使用这种“代理团队”的方法，公司可以：
- 阻止诡计： 在坏输入到达主 AI 之前将其拦截。
- 防止泄露： 在秘密离开大楼之前将其拦截。
- 保持控制： 系统（代理）控制着流程，而不仅仅是原始的 AI 模型。
简而言之，论文指出，为了确保你的 AI 安全，你不应该仅仅依赖 AI 本身。你需要一个数字安全团队，他们阅读规则、检查问题、审查答案，并且只让安全的信息通过。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。