技术摘要：OverThink —— 针对推理型大语言模型（RLM）的减速攻击

1. 问题陈述

推理型大语言模型（RLM）通过采用“推理时扩展”（inference-time scaling）已成为最先进的技术，即模型在生成最终答案之前会生成中间推理标记（“草稿纸”或思维链）。虽然这提高了性能，但也带来了显著的成本：推理标记消耗了输出标记限制，增加了延迟，并提高了服务提供商的经济成本（因为他们按标记付费），即便最终用户通常看不到这些标记或不按推理步骤付费。

目前的安全性研究主要集中在改变模型输出的提示注入攻击（例如越狱或改变答案）。然而，在理解那些并不破坏答案正确性、而是操纵推理过程效率的攻击方面，仍存在研究空白。本文指出了一种漏洞：当 RLM 从不受信任的来源（如网页、文档）检索外部上下文时，可能会被诱导对嵌入在其中的良性任务进行过度且不必要的推理。这会导致一种拒绝服务（DoS）场景，其特征是 API 成本膨胀、延迟增加和能源消耗上升，而最终答案保持正确且对用户而言具有隐蔽性。

2. 方法论：OverThink 攻击

OverThink 攻击是一种间接提示注入形式。它利用了 RLM 依赖外部上下文来解决用户查询的特性。攻击者在公开来源（如维基百科文章、社交媒体帖子）中注入“诱饵”问题，这些来源会被 RLM 检索。这些诱饵虽然计算密集但属于良性任务（例如数独谜题、马尔可夫决策过程），旨在规避安全过滤器。

该攻击方法由四个关键阶段组成：

A. 诱饵问题选择

作者发现，并非所有困难的任务都能诱发长推理链。需要大量微小且可验证步骤的任务（如数独或有限马尔可夫决策过程）比复杂的理论问题（如国际数学奥林匹克竞赛题目）更有效，因为它们能触发模型的回溯和自我验证机制。目标是选择一个挑战 $d$，在不降低最终答案质量的前提下，最大化推理标记数量 $R_\theta(q, d)$。

B. 诱饵优化 (ICL-Evolve)

由于缺乏可微目标且存在标记生成的随机性，基于梯度的优化（如 GCG）在本文中是不可行的，因此作者提出了 ICL-Evolve，这是一种使用上下文学习（ICL）的高样本效率进化搜索算法：

1. 种群采样： 对一小组诱饵挑战进行采样。
2. 评估： 将每个挑战在代理 RLM 上进行测试，以测量产生的推理标记数量。
3. 进化： 使用“言语化采样”（verbalized sampling）技术，利用 LLM 生成基于高表现种群的新的挑战变体。模型被指示输出“挑战-概率”对，特别针对低概率（多样化）样本，以避免停滞。
4. 选择： 通过迭代寻找能使推理标记生成量最大化的诱饵变体。

C. 输出混淆

为了确保攻击的隐蔽性，模型必须在不显式揭示解决方案的情况下解决诱饵任务。作者设计了特定的指令（通常使用角色扮演，例如“我是一名 RL 教师……”）来劝说模型解决嵌入的挑战，但将输出限制为极简且无干扰的标记（例如单个单词“true”或“false”），或者将其结果微妙地整合到答案中。这防止了模型将诱饵任务“泄露”到可见响应中，从而维持了答案隐蔽性（Answer Stealthiness）。

D. 注入策略

论文提出了两种注入策略：

1. 上下文无关型（Context-Agnostic）： 插入到任何来源中的通用模板。这种方式具有可扩展性和成本效益，但被检测的风险较高。
2. 上下文相关型（Context-Aware）： 诱饵经过优化以适应目标来源的具体周围文本。这种方式更难被检测和过滤，但需要更多的资源和对目标上下文的了解。

E. 多模态扩展

通过将诱饵视觉内容（例如抽象艺术风格、无关标签或对比图表）嵌入到视觉-语言-动作（VLA）模型检索到的图像中，将攻击扩展到了多模态场景。这些视觉内容迫使模型处理无关的视觉细节，从而增加推理链的长度。

3. 核心贡献

• 新型攻击向量： 本文引入了 OverThink，这是首个专门设计用于最大化推理标记使用量（成本和延迟）同时保持答案准确性和隐蔽性的间接提示注入攻击。
• ICL-Evolve 算法： 一种高效且低成本的优化算法，无需梯度访问或大规模微调即可生成高影响力的诱饵挑战。
• 全面的评估： 该攻击在九种最先进的模型（包括 OpenAI o1, DeepSeek-R1, Gemini, Claude, 和 Grok）以及多个数据集（FreshQA, SQuAD, MuSR）上进行了评估。
• 防御分析： 论文评估了现有的防御措施（Llama Guard, Lakera, GA Guard 以及内容过滤），并展示了它们在应对这一特定威胁向量时的局限性。

4. 实验结果

实验表明，OverThink 显著降低了 RLM 的效率：

• 标记膨胀： 在 SQuAD 的上下文无关攻击中，该攻击使推理标记增加了高达 46 倍；在 o1 模型的 FreshQA 中增加了高达 18 倍。上下文相关攻击也显示出显著增长（例如 o1 模型增长了 7.8 倍）。
• 可迁移性： 在一个模型（如 o1）上优化的攻击可以有效地迁移到其他模型。例如，针对 o1 优化的诱饵在应用于 DeepSeek-R1 时，使推理标记增加了 12 倍。
• 延迟与成本： 在一次 ChatGPT 的实时演示中，该攻击将推理时间从 11 秒增加到 1 分 33 秒（增加了 8.4 倍），同时保持了正确答案。
• 多模态成功率： 在基于图像的攻击中，诱饵视觉效果使关于猫和苹果的简单查询的推理标记增加了 2 倍至 2.9 倍。
• 隐蔽性： 该攻击保持了极高的上下文正确性（Contextual Correctness）（通常为 100%），这意味着最终答案仍然聚焦于用户的查询，并且不会泄露诱饵的存在。

防御局限性

• 护栏机制： 标准的提示注入检测器（Llama Guard, Lakera, GA Guard）未能拦截该攻击，因为注入的内容是良性的，并未违反安全政策。
• 过滤机制： 虽然过滤外部上下文可以移除诱饵，但这往往会导致严重的权衡。激进的过滤会将上下文无关攻击的准确率降至 0%，并显著降低上下文相关攻击的性能，使得防御在维持服务质量方面变得不切实际。

5. 重要性与主张

论文认为 OverThink 代表了对基于 RLM 应用的经济和运营可持续性的一种关键且长期被忽视的威胁。

• 经济影响： 通过在不改变最终答案的情况下膨胀标记使用量，该攻击迫使服务提供商承担巨额成本。由于许多应用提供固定成本或免费层级，提供商承担了“过度思考”带来的财务负担。
• 运营风险： 增加的延迟会干扰对时间敏感的应用（如自动驾驶汽车、实时智能体），并耗尽 API 输出限制，导致服务失败。
• 环境影响： 不必要的计算增加了能源消耗和碳排放，加剧了 AI 推理的环境足迹。
• 适度主张： 作者并未声称发现了 LLM 推理逻辑的根本缺陷，而是指出了一种在如何与不受信任的外部数据交互方面的漏洞。他们强调，该攻击是一种“减速”机制而非“越狱”，且目前的防御手段在处理优先考虑效率退化而非输出篡改的攻击时显得力不从心。

论文总结道，随着 RLM 的普及，社区必须解决草稿纸中“标记利用效率低下”的问题，并开发能够区分必要推理与对抗性诱导开销、且不牺牲模型效用的防御机制。