SoK: Attack and Defense Landscape of Mobile On-device AI Systems
本文提出了首个关于移动端侧人工智能（MoAI）系统安全性的全面知识体系化研究，建立了一个涵盖其安全支柱、攻击与防御图景、已识别的研究空白以及未来方向的基础框架。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
核心图景：将大脑带回家
想象你有一个超级聪明的助手。在过去（云端 AI），这个助手住在远方一座巨大且安全的办公大楼里。你会把问题发送到大楼，他们进行思考，然后把答案发回给你。这种方式很慢（高延迟），而且意味着你必须向陌生人分享你的隐私问题（隐私风险）。
移动端侧 AI (Mobile On-device AI, MOAI) 是新的趋势，它将那个聪明助手的“大脑”直接带进了你的口袋。AI 模型直接运行在你的手机上。
- 优点： 反应迅速、无需联网，且你的私密数据永远不会离开你的手机。
- 缺点： 现在，这个“大脑”就坐在你的口袋里，任何能掏走你钱包或黑入你手机的人都能接触到它。
这篇论文是针对这种新方式下，关于危险与防御的第一份全面的“地图”。
第一部分：三大支柱
作者指出，要保护你手机上的 AI 安全，你需要保护三个特定的东西。把它们想象成堡垒的三道围墙：
- 第一支柱：输入门槛（AI 看到了什么）
- 类比： 想象 AI 是夜店的保安。这一支柱是为了确保保安不会被戴着假面具或拿着假身份证的人所欺骗。
- 风险： 攻击者可以通过喂给 AI 奇怪、扭曲的图像（比如在停止标志上贴了几张贴纸）来欺骗它，让 AI 误以为那是限速标志。
- 第二支柱：大脑本身（模型）
- 类比： 这就是 AI 的实际食谱或蓝图。
- 风险： 由于食谱就在你的手机里，小偷可以偷走这本书来复制食谱（模型窃取），或者偷偷修改配料，让做出来的蛋糕味道变差（模型篡改）。
- 第三支柱：安全室（环境）
- 类比： 这是大脑实际工作的安全保险库。
- 风险： 即便大脑被锁起来了，黑客也可能通过缝隙窥视（侧信道攻击），观察大脑在工作时正在思考什么，或者通过耗尽电池电量让保险库过热。
第二部分：攻击图谱（坏人）
论文根据坏人尝试破坏的方式对他们进行了分类。
- 诡计师（对抗性攻击）： 他们不破门而入，只是递给保安一张假身份证。他们微调你的照片或声音，程度之轻让你察觉不到，但足以让 AI 产生混乱。
- 破坏者（后门攻击）： 想象有人偷偷在食谱里加入了一个秘密触发器。蛋糕 99% 的时间味道都很正常，但如果你加入了特定的一撮盐（触发器），蛋糕就会变成毒药。
- 作弊者（对抗性权重攻击）： 他们不改变配料表，而是偷偷把储藏室里的糖换成了盐。配料表看起来没变，但结果却错了。
- 小偷（模型窃取）： 他们不想破坏 AI，而是想偷走整个东西。他们使用工具从你的手机中复制出这个“大脑”，以便转卖或自己使用。
- 能量吸血鬼（能量-延迟攻击）： 他们不在乎答案，只想让你的手机更辛苦地工作。他们诱导 AI 进行不必要的数学运算，从而耗尽你的电池并让你的手机变慢。
注意： 论文指出，由于用户很难控制自己手机里输入的内容，或者因为手机本身的安全性其实相当高，许多这类攻击在现实生活中很难实施。
第三部分：防御图谱（好人）
我们如何保护大脑？论文从三个不同的阶段研究了防御措施：在 App 发布前、运行时以及被窃取后。
- 模型混淆（伪装术）
- 类比： 把食谱用隐形墨水书写，或者把字母打乱，使其看起来像乱码，除非你有解码环。
- 优点： 难以阅读。
- 缺点： 解码需要消耗更多能量，而且如果黑客有足够的时间，他们仍然可以破解出来。
- 模型授权（身份检查）
- 类比： 食谱只有在与特定的密钥（你的特定 App）配对时才能生效。如果小偷偷走了书但没拿到钥匙，这本书就毫无用处。
- 优点： 防止盗贼使用被盗的大脑。
- 缺点： 如果黑客攻破了密钥检查过程，整个系统就会失效。
- 可信执行环境（防弹保险库）
- 类比： 将大脑放入手机内一个特殊的、不可破坏的安全柜中，手机的其他操作系统无法触碰它。
- 优点： 非常安全。
- 缺点： 成本高昂，会降低速度，且并非所有手机都拥有同一种“安全柜”。
- 模型水印（序列号）
- 类比： 在食谱中隐藏一个微小的、肉眼看不见的序列号。如果你在别人的店里看到了这个食谱，你可以证明它是你的。
- 优点： 有助于在事后抓获小偷。
- 缺点： 如果小偷改变了食谱的格式（例如将其翻译成另一种语言），序列号可能会消失。
第四部分：缺失的部分（开放性问题）
作者指出，我们还没有达到目标。以下是差距所在：
- “现实世界”的差距： 许多攻击只能在实验室里奏效。在现实世界中，很难在用户察觉不到的情况下欺骗用户的手机。
- “隐蔽性”的差距： 很难在不留下痕迹（让手机能够检测到）的情况下修改 AI 的大脑。
- “硬件”的差距： 每部手机都不一样。在 iPhone 上有效的防御可能在三星手机上失效，这使得构建通用防护罩变得困难。
- “未来”的差距： 论文警告说，我们才刚刚开始研究在手机上进行学习的 AI（端侧训练）或能够创作故事和代码的 AI（生成式 AI）。这些新功能带来了我们尚未完全绘制出的全新危险。
总结
这篇论文是一份“现状报告”。它说：“我们已经将 AI 从云端移到了你的手机里。这对于隐私和速度来说是件好事，但也创造了一系列新的风险，因为‘大脑’现在物理上存在于你的设备上。我们已经识别出了各类小偷、各类陷阱以及各类盾牌，但随着 AI 变得越来越聪明，我们仍需要更实用、更好的方法来保护你的手机 AI 安全。”
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。