💬 NLP

Cross-Session Threats in AI Agents: Benchmark, Evaluation, and Algorithms

该论文提出了 CSTM-Bench 基准、评估框架及算法，旨在解决 AI 代理因会话隔离而难以检测跨会话威胁的问题，并通过引入基于核心集的记忆读取器与兼顾检测性能和服务稳定性的新指标，实现了在保持上下文效率的同时有效识别分散在多轮会话中的隐蔽攻击。

原作者： Ari Azarafrooz

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ari Azarafrooz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一个名为 CSTM-Bench 的新工具，用来测试和解决人工智能（AI）助手面临的一种新型“跨会话”安全威胁。

为了让你轻松理解，我们可以把 AI 助手想象成一位超级秘书，把这篇论文看作是一份新的安全培训手册和考试卷。

1. 核心问题：秘书的“健忘症”与敌人的“蚂蚁搬家”

现状：
现在的 AI 安全系统（就像秘书的“安检员”）有一个大毛病：它们没有长期记忆，而且每次只检查一句话。

如果你问秘书：“帮我查一下今天的天气”，安检员觉得没问题。
如果你问：“帮我写个代码”，安检员也检查了，觉得没问题。
但是，如果坏人把一个大阴谋拆成 100 个无害的小碎片，分 100 天、每次只给秘书一点点，每次看起来都像是在做正经工作（比如“查天气”、“写代码”、“整理文档”）。

比喻：
想象一个大仓库（AI 的上下文窗口）。

旧的安全系统：就像仓库门口只有一个只认单件包裹的保安。坏人把一箱炸药拆成了 100 个普通的饼干盒，每天送一个进来。保安看每个饼干盒都是合法的，就放行了。
真正的危险：只有当这 100 个饼干盒在仓库里拼凑在一起时，才会变成炸药。但保安每次只检查一个盒子，根本不知道它们在拼什么。

这就是论文说的"跨会话威胁"：攻击者利用 AI 的“健忘”和“只看当下”的特性，把恶意意图分散在漫长的对话历史中，让单次检查失效。

2. 论文做了什么？（三大贡献）

这篇论文就像是一个安全实验室，做了三件大事：

第一件：造了一个“模拟考场” (CSTM-Bench)

以前大家不知道这种攻击有多难防，因为没有标准的考题。

他们造了什么：制作了一个包含 26 种不同攻击手法的“题库”（比如“慢动作渗透”、“拼图式窃密”、“语义清洗”等）。
怎么考：
- 攻击题：坏人把恶意指令藏在 50 次看似正常的对话里。
- 干扰题：故意制造一些看起来像攻击，但其实是正常工作的“假警报”场景（比如老板突然发了一堆复杂的指令，其实只是正常加班）。
目的：看看现有的 AI 安全系统能不能在这么多“饼干盒”里，把那个拼起来的“炸药包”找出来。

第二件：测试了两种“侦探”的智商

他们测试了两种不同的安全策略：

全量日志侦探（Full-Log Correlator）：
- 做法：把秘书过去说过的所有话（几千几万条）一次性全部读给一个超级大脑听，让它找规律。
- 结果：虽然大脑很聪明，但信息太多了，就像让一个人同时读 1000 本书，它反而晕了，漏掉了关键线索。这叫“信号稀释”——坏人的线索被海量的正常对话淹没了。
核心记忆侦探（Coreset Memory Reader）：
- 做法：给侦探一个只有 50 个格子的记事本。每来一条新消息，侦探只把最可疑、最重要的那几条记在格子里，把那些无关紧要的“饼干盒”扔掉。
- 结果：这个侦探虽然记性有限，但它只记精华。它成功地在“饼干盒”堆里找到了“炸药包”，而且还没被海量信息搞晕。

结论：试图把所有历史都塞给 AI 看（全量日志）往往不如只保留最关键信息（核心记忆）有效。

第三件：制定了一个“新评分标准”

以前大家只关心“抓没抓到坏人”（召回率）。但论文发现，如果为了抓坏人，让系统变得超级慢、超级贵，那也没用。

新公式：CSTM 分数 = 70% 抓坏人能力 + 30% 系统稳定性。
比喻：就像评价一个安检门。
- 如果安检门能 100% 抓到炸弹，但每次过安检都要脱光衣服排队 3 小时（系统不稳定、成本高），那这个安检门也是失败的。
- 新的标准要求：既要抓得准，又要反应快、不卡顿（通过保持缓存稳定来实现）。

3. 为什么这很重要？（现实意义）

以前的安全：就像在门口抓小偷，只要小偷没带刀，就让他进。
现在的威胁：小偷可能今天借个火，明天借个烟，后天借个打火机，最后拼起来是个炸弹。
未来的方向：我们不能指望 AI 记住所有事（因为记不住，或者记了会乱），我们需要一种智能的“记忆过滤器”。它要像一位经验丰富的老侦探，知道哪些线索值得保留，哪些是噪音，从而在海量信息中精准锁定危险。

总结

这篇论文告诉我们：

AI 安全不能只看当下，坏人会玩“时间差”和“碎片化”攻击。
堆砌信息没用，把几千条对话全塞给 AI 看，反而会让它变笨。
聪明的“做减法”（只保留高价值信息）比“做加法”（保留所有信息）更有效、更省钱。
他们发布了一套标准考题，让全行业都能来测试自己的 AI 安全系统是否真的能防住这种“蚂蚁搬家”式的攻击。

简单来说，这就是给 AI 安全系统升级了**“长期记忆管理”和“智能过滤”**功能，防止坏人利用 AI 的“健忘”和“信息过载”来钻空子。

1. 问题背景 (Problem)

核心痛点：无状态防御 vs. 有状态威胁
当前的 AI 代理安全护栏（Guardrails）通常是无状态（Stateless）的。它们将每条消息孤立地进行判断，缺乏对之前会话、之前轮次或兄弟代理的记忆。然而，最具破坏性的攻击往往是跨会话（Cross-Session）和跨代理的：

慢速滴注（Slow-drip）： 攻击者将越狱指令或恶意载荷分散在数十甚至上百个会话中，每个单独的消息看起来都是无害的，只有累积起来才构成攻击。
语义清洗（Semantic Laundering）： 敏感数据在会话间经过多次转换（如从配置文件到摘要，再到“周报”），最终在看似合法的上下文中被窃取。
马赛克攻击（Mosaic Attacks）： 攻击者通过数百个无害问题重构敏感信息（如组织架构、内部 IP）。

现有方案的局限性：

SIEM（安全信息和事件管理）： 传统 SIEM 基于下游事件（如登录失败、文件写入）进行关联，但 AI 代理的恶意意图往往在提示词（Prompt）阶段就已存在，等到日志生成时攻击可能已经完成。
全日志关联器（Full-Log Correlator）： 试图将所有会话的提示词拼接成一个长上下文输入给大模型（LLM）。这种方法面临两个主要问题：
1. 信号稀释（Signal Dilution）： 随着良性对话的累积，恶意信号被淹没，导致 LLM 注意力机制失效。
2. 截断与上下文窗口限制： 即使上下文窗口很大（如 1M tokens），早期的侦察阶段（攻击的起点）仍可能被截断或忽略。

2. 方法论与基准设计 (Methodology & Benchmark)

作者提出了 CSTM-Bench（Cross-Session Threat Memory Benchmark），这是一个用于评估跨会话威胁检测能力的基准测试。

2.1 数据集构建

规模： 包含 54 个场景，分为两个互斥的切片（Shards）：
1. Dilution（稀释切片）： 包含 26 种攻击分类（Taxonomies），每种攻击分散在多个会话中，周围填充良性对话。用于测试在固定上下文窗口下，良性噪音对检测信号的稀释效应。
2. Cross-Session（跨会话切片）： 通过一个闭环的对抗性重写器（Closed-loop Rewriter），将“稀释切片”中被单会话检测器识别出的攻击片段进行改写，使其在单会话视角下完全通过，但保留跨会话的恶意特征（如 URL、文件路径、工具调用）。这是真正的“跨会话唯一”检测场景。
分类体系：
- 26 种攻击分类： 基于 Promptware 杀伤链（Kill Chain）阶段（如侦察、初始访问、权限提升等）。
- 4 种跨会话操作（Operations）：
  - Accumulate（累积）： 逐步升级。
  - Compose（组合）： 分散的片段在聚合时形成攻击。
  - Launder（清洗）： 通过良性中间态转换数据。
  - Inject_on_reader（注入读取器）： 攻击者利用良性片段的拼接，对下游审计引擎（如 SIEM 或关联 LLM）本身进行提示词注入。
身份锚点（Identity Anchors）： 定义了 7 种代理角色（如客服、DevOps、财务顾问等），作为判断“违规”的基准策略。
场景类别：
- Attack（攻击）： 包含恶意载荷。
- Benign-pristine（纯净良性）： 完全合法的对话。
- Benign-hard（困难良性）： 具有跨会话形状但实质合法的对话（用于测试误报率，如“批准疲劳”或“隐性共谋”）。

2.2 评估架构

论文将跨会话检测建模为**信息瓶颈（Information Bottleneck）**问题：

Per-Session Judge（单会话法官）： 孤立判断每个会话，作为基线。
Full-Log Correlator（全日志关联器）： 将历史所有日志拼接，一次性输入 LLM。
Coreset Memory Reader（核心集内存读取器）： 提出的一种新架构。在流式输入和下游关联 LLM 之间设置一个有界缓冲区（Bounded Buffer，容量 K）。
- 使用一个**排序器（Ranker）**实时评估消息的“信号强度”（如惊奇度 Surprise）。
- 只保留信号最强的 K 条消息进入缓冲区，丢弃低价值信息。
- 下游 LLM 仅读取这个压缩后的高信号缓冲区。

2.3 评估指标

提出了一个复合指标 CSTM Score，由两部分组成：
$\text{CSTM} = 0.7 \cdot \text{F1}(\text{CSDA@action}, \text{Precision}) + 0.3 \cdot \text{CSR\_prefix}$

CSDA@action： 在攻击的“目标动作”（Action-on-objective）发生之前检测到攻击的召回率。
Precision： 在良性场景上的准确率（1 - 误报率）。
CSR_prefix（核心集稳定性）： 衡量缓冲区中前 K 条消息的有序前缀稳定性。这是为了量化服务成本：如果前缀稳定，LLM 的 KV 缓存（KV-cache）可以复用，大幅降低推理成本；如果频繁重排，则成本剧增。

3. 关键贡献 (Key Contributions)

问题形式化与数据集发布： 首次系统性地定义了跨会话威胁的 26 种分类和 4 种操作模式，并发布了包含对抗性重写场景的 CSTM-Bench 数据集（Hugging Face: intrinsec-ai/cstm-bench）。
LLM 关联器的可行性验证： 实证表明，即使是拥有 1M+ tokens 上下文窗口的顶级 LLM，在面对跨会话攻击时，如果直接处理全量日志，其召回率会因信号稀释而下降约 50%。全日志关联器在对抗性重写面前同样脆弱。
架构方向与服务成本指标：
- 证明了**有界内存的核心集（Bounded-memory Coreset）**是解决信号稀释和对抗性重写的有效架构。
- 提出了 CSR_prefix 作为衡量实时服务成本的关键指标，并将其与检测质量融合，形成了一个非补偿性的综合评分标准。

4. 实验结果 (Results)

实验在两个切片上对比了三种读取器（Per-Session Judge, Full-Log Correlator, Coreset Memory Reader）：

在 Dilution 切片（信号稀释测试）：
- Full-Log Correlator： 召回率 88.5%。由于良性噪音过多，无法有效识别 T05（马赛克攻击）和 T10（时间规避）等聚合型攻击。
- Coreset Memory Reader： 召回率 96.2%。通过过滤掉良性噪音，保留了高信号片段，显著优于全日志方案。
- 结论： 在固定上下文中，有界缓冲区比全量日志更有效。
在 Cross-Session 切片（对抗性重写测试）：
- Per-Session Judge： 召回率从 100% 暴跌至 53.8%（因为攻击片段已被改写为无害）。
- Full-Log Correlator： 召回率从 88.5% 暴跌至 50.0%。即使拥有全量日志，LLM 也无法从被重构的“授权工作”叙事中识别出恶意意图。
- Coreset Memory Reader： 召回率保持在 73.1%。它是唯一在对抗性重写下保持较高召回率的 LLM 驱动方案。
- 关键发现： 核心集读取器能够恢复那些被单会话检测器忽略、且被全日志关联器因稀释而丢失的攻击（如 T21, T24）。
成本与稳定性：
- Full-Log Correlator 没有缓冲区，CSR_prefix 为 1.0（占位符），但实际推理成本随上下文线性增长。
- Coreset Reader 的 CSR_prefix 约为 0.44，意味着其缓冲区前缀相对稳定，能够利用 KV 缓存复用，显著降低增量扫描成本。

5. 意义与影响 (Significance)

重新定义 AI 安全范式： 论文指出，随着 AI 代理上下文窗口的扩大，单纯依靠“更大的窗口”无法解决跨会话威胁。必须引入架构级的信息瓶颈，在意图时间（Intention Time）主动管理状态，而非被动记录日志。
实时性与成本的平衡： 提出的 CSTM 复合指标 将检测质量（F1）与推理成本（CSR_prefix）结合，为工业界部署实时跨会话威胁检测提供了可量化的优化目标。
对抗性鲁棒性： 实验证明，基于“惊奇度”排序的有界缓冲区架构，比单纯依赖 LLM 阅读全量日志更能抵抗对抗性重写攻击。
社区基准： CSTM-Bench 为社区提供了一个标准化的测试床，用于评估未来的排序算法（Rankers）和跨会话检测模型，推动了从“单点防御”向“全链路状态感知”的转变。

总结： 该论文揭示了当前 AI 代理安全在跨会话场景下的结构性缺陷，并通过 CSTM-Bench 证明了有界内存的核心集（Coreset）架构是解决信号稀释和对抗性攻击的关键路径，同时提出了兼顾检测效果与推理成本的评估标准。