PromptShield Home: Ambient Multimodal Prompt Injection Defense for Smart-Home Agents
本文介绍了 PromptShield-Home，这是一个基准测试，它表明虽然传统的检测器和多模态大语言模型（LLM）智能体在应对智能家居中的环境提示注入时表现出截然相反的失效方式，但将这两种方法进行理想化的结合，可以比单一方法实现显著更高的安全性与实用性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你的客厅开始对你说话了。不是那种令人毛骨悚然的方式，而是一种非常乐于助人的方式：智能扬声器、摄像头和灯光正在学习理解你的声音、识别你的手势，甚至阅读电视屏幕上的文字。这个领域被称为“环境智能”（Ambient Intelligence），在这种环境下，计算机融入背景之中，无需我们按下按钮就能为我们提供帮助。但这里有一个棘手的问题：计算机如何区分你是真的在下达指令，还是仅仅在“听到”一个指令？如果你正在看电影，其中一个角色大喊：“关灯！”你的智能家居真的会把灯关掉吗？或者如果电视广告里说：“给妈妈打电话！”，你的手机会拨打她的号码吗？这被称为“提示注入”（Prompt Injection），即计算机被误导，误以为背景噪音是真实的指令。随着我们的家变得越来越聪明，我们需要确保它们不会因为新闻主播说了一句“开门！”就意外地解锁了前门。
这篇题为《PromptShield Home》的论文正是针对这一问题展开研究的。研究人员构建了一个微型的、测试版的“智能家居”，以观察不同类型的 AI 智能体在区分真实用户与来自电视、对话或纸张的虚假指令方面表现如何。他们测试了三种不同的智能家居“大脑”：
- 老派的规则执行者 (L0)： 这些是简单的检测器，只寻找特定的关键词或形状。如果它们听到“嘿，Siri”或看到挥手，就会立即行动。
- 超级智能机器人 (L1)： 这是一个高级 AI，可以同时观察视频、听取音频并阅读文本。它试图理解情境的“语境”（Context）。
- 机器人团队 (L2)： 一组通过投票来决定行动的 AI。
研究团队创建了 19 种不同的场景来测试这些大脑，范围从真实的指令（“关灯”）到各种陷阱，比如一个看起来像摔倒的瑜伽姿势，或者电视角色下达的命令。
以下是他们的发现，其中包含一个转折：无论是老派的规则，还是超级智能的机器人，都无法单独完美运行。
“老派”检测器就像一只过度警觉的看门狗。它们对一切风吹草动都有反应。如果电视角色说“报警”，这只狗就会狂吠并报警。它们太急于行动了，导致测试中 100% 的“不安全”行为都是由它们引起的。
另一方面，“超级智能”机器人则像是一个害怕触碰任何东西的偏执图书管理员。由于太担心出错，它们几乎拒绝对任何事情做出反应。即使视频中的真人真的在请求帮助（例如模拟跌倒时），智能机器人也经常会说：“我不确定，我要询问用户，”或者干脆什么都不做。事实上，在每一个发生真实紧急情况的测试案例中，智能机器人都未能采取行动。
最有趣的发现是，这两种失败模式实际上是互补的。老派检测器擅长发现真实的紧急情况（如跌倒），但很难忽略虚假指令；而智能机器人擅长忽略虚假指令，却难以识别真实的紧急情况。
研究人员建议，答案不在于二选一，而是构建一个知道何时使用哪种大脑的“交通控制器”。他们发现，如果有一个神奇的“先知”（Oracle）能够瞬间为不同情况选择正确的大脑，它能将安全性提升到 94.1%。然而，他们承认目前还没有构建出那个交通控制器，他们只是证明了它的必要性。
简而言之，该论文表明，我们不应该仅仅用巨大的、复杂的 AI 模型来取代简单的、基于规则的智能家居传感器。相反，我们应该保留简单的传感器来捕捉真实的紧急情况，并利用复杂的 AI 来过滤噪音，两者协同工作，让我们的家既安全又智能。这项研究还警告说，增加更多的感官（如听觉）并不总是会有帮助；有时，这只会让 AI 变得更加混乱和不稳定。目标是找到一种平衡点，让智能家居既有足够的勇气在需要时提供帮助，又有足够的智慧去忽略电视。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。