Each language version is independently generated for its own context, not a direct translation.

想象你有一位非常聪明、乐于助人的图书管理员（即人工智能），他在一家私人图书馆（即服务器）工作。你可以向这位管理员询问关于某本特定书籍的问题，为了给你最好的回答，管理员会先查阅该书中一个特殊的“作弊清单”，其中包含以往类似问题的回答示例。这被称为上下文学习。

Kulkarni、Koskela 和 Zumot 的论文研究了一种用户可能使用的狡猾手段，用以判断他们自己提出的具体问题是否被秘密写入了该管理员的“作弊清单”（即训练数据）中，即使用户无法直接看到这份清单。这被称为成员推理攻击。

以下是他们研究发现的简要说明：

设定：具备“检索”功能的图书管理员

在现实世界中，图书馆并不会随机挑选示例放入其“作弊清单”。他们会使用一种智能搜索工具，找出与你的问题最相似的示例。

问题所在：作者发现，这种“智能搜索”实际上使图书馆更容易受到窥探。因为管理员会选择与你问题非常相似的示例，间谍就更容易判断他们的问题是否曾出现在图书馆的秘密数据库中。

两种间谍手段（攻击方法）

作者设计了两种新的窥探管理员的方法，无需查看管理员的内部笔记或获得特殊许可。

1. “双重查看”间谍（攻击 1）

运作方式：间谍在家中拥有自己的私人、小型图书管理员（即“参考模型”）。
诡计：间谍向真实图书馆的管理员提问，但只给出句子的前几个词。然后，间谍向自己的私人管理员提出同样的问题。
逻辑：如果真实管理员的“作弊清单”中已经包含了间谍的问题，那么即使只给出几个词，真实管理员也会表现出极高的置信度和准确性。间谍会比较其私人管理员与真实管理员的置信度。如果真实管理员在补全句子剩余部分方面表现得异常出色，间谍就会意识到：“啊哈！我的问题就在他们的秘密作弊清单中！”

2. “结巴”间谍（攻击 2）

运作方式：此攻击不需要第二位管理员，只需观察真实管理员给出的回答。
诡计：间谍反复向管理员提出同一个问题，但每次都给管理员提供稍长一点的文本片段（例如逐字阅读一个句子）。
逻辑：
- 如果间谍的问题确实在作弊清单中，那么即使只给出最开始的几个词，管理员也能正确回答（因为作弊清单中已准备好完整答案）。
- 如果间谍的问题不在作弊清单中，当只给出前几个词时，管理员很可能会说“我不知道”或给出糟糕的回答，因为他们尚未掌握足够的信息。
评分：间谍会给予管理员早期回答更高的分数。如果管理员在早期就能给出良好回答，这就强烈表明间谍的问题曾出现在数据库中。

为何这很重要

该论文表明，即使间谍稍微修改了他们的问题（使用同义词或重新措辞句子）试图隐藏，这些间谍手段依然非常有效。他们发现，这些新技巧优于旧方法，因为旧方法往往因试图一次性完成过多任务而失败（例如要求管理员一次性撰写整篇文章，这常常会被阻止）。

如何阻止间谍（防御措施）

作者还测试了保护图书馆的方法：

“拆分”防御：服务器可以强制用户将文本和提问分开发送，而不是让用户将两者一起发送。这能阻止间谍使用“双重查看”技巧，因为服务器控制着各部分的组合方式。
“群体投票”防御：服务器不再只询问管理员一次，而是使用作弊清单上略有不同的示例询问管理员五次，然后采纳最常见的答案。这会迷惑间谍，因为“作弊清单”每次都在变化，使得间谍难以判断其特定问题是否曾被使用过。

核心结论

该论文得出结论：虽然使用智能搜索来选择示例可以提升人工智能回答的质量，但这也会造成隐私泄露。这就像拥有一位如此擅长查找相关书籍的图书管理员，以至于他们无意中泄露了你曾经读过哪些书。作者建议，我们需要新的隐私工具（如“群体投票”方法），在保持回答有帮助的同时，不让间谍窥探数据库。

Each language version is independently generated for its own context, not a direct translation.

技术摘要：基于检索的上下文学习中的成员推断攻击

1. 问题陈述

本文探讨了文档问答（DQA）应用中**检索增强型上下文学习（ICL）**的隐私漏洞。虽然 ICL 是一种流行的提示工程技术，能够在不更新权重的情况下提升大语言模型（LLM）的性能，但其在远程、双方面 API 服务中的部署引入了特定风险。

在研究的设定中，服务提供商维护一个私有的演示数据集（ $D$ ），并使用检索函数（例如基于语义相似度的 k-近邻）为用户的查询选择 $k$ 个上下文示例。作者认为，现有的成员推断攻击（MIAs）并不适用于此场景，原因如下：

任务不匹配：先前的 MIAs 主要关注文本分类，而 DQA 是一项需要信息提取的生成式任务。
不切实际的假设：现有攻击通常依赖对数概率（logit）访问（在黑色盒 API 中不可用），或假设演示样本是随机采样的。实际上，基于检索的 ICL 会选择语义相似的示例，这增加了用户查询（或其改写版本）出现在提示中的可能性，从而放大了隐私风险。
操作限制：由于生成式任务中的令牌限制和上下文窗口约束，像“重复”（预测长后缀）或“洗脑”（迭代标签翻转）这样的攻击并不切实际。

核心研究问题是：能否针对用于 DQA 的基于检索的 ICL 设计有效的成员推断攻击，这些攻击仅依赖模型预测（黑盒）并利用语义检索的具体机制？

2. 方法论

作者提出了两种黑盒攻击，利用基于检索的 ICL 会选择与查询语义相似的演示这一事实。攻击者可以访问查询文本（可能是改写后的）和真实答案，但无法访问服务器的内部损失指标或对数概率。

攻击 1：参考模型估计

该攻击利用本地托管的参考模型（ $LM_r$ ）来估计目标模型的损失指标。

机制：攻击者使用查询文本的前缀（ $t_{:i}$ ）构建一系列提示。受害者模型（ $LM_v$ ）和参考模型（ $LM_r$ ）均对这些前缀生成预测。
相关性：攻击者计算参考模型的预测与真实令牌之间的语义相似度（嵌入的点积）。由于 $LM_r$ 模拟了检索设置，其预测质量与目标模型的对数概率相关。
回归：训练一个一维 k-NN 回归模型，将参考模型的语义相似度分数映射到参考模型的实际对数概率。然后将此映射应用于受害者模型的相似度分数，以估计受害者的对数损失。
信号：平均估计的负对数似然作为成员分数。分数越低，表示成员概率越高。

攻击 2：仅预测（加权平均）

该攻击消除了对参考模型的需求，仅依赖受害者模型的最终预测。

机制：攻击者将文本的增量前缀（ $t_{:i}$ ）与问题配对后查询受害者模型。
加权评分：攻击者根据模型预测答案与每个前缀的真实答案之间的语义相似度计算分数。
衰减函数：应用惩罚函数 $\phi(i)$ （例如 $1/i$ ）对分数进行加权。其直觉是，对于成员查询，检索系统甚至对于较小的前缀也很可能将完整文本（或非常相似的版本）包含在上下文中，从而使模型能够尽早正确回答。对于非成员，模型缺乏小前缀所需的上下文，可能会输出“我不知道”或低质量答案。
信号：相似度的加权和作为成员分数。分数越高表示属于成员。

3. 主要贡献

生成式 ICL 的新型攻击向量：本文提出了首个专门针对用于文档问答的基于检索的 ICL 的 MIAs，这是一项生成式任务，超越了专注于分类的文献。
现实威胁模型：这些攻击在严格的黑盒约束下运行（无对数概率访问，输出令牌有限），并假设使用语义检索（kNN），这是检索增强生成（RAG）系统中的标准做法。
对改写的鲁棒性：实验考虑了攻击者拥有查询文本改写版本的场景。所提出的攻击展示了对此类常见防御机制的强鲁棒性，即使在无法进行精确文本匹配的情况下，其表现也优于基线方法。
防御适应：作者将现有的“集成提示”防御适应于 DQA 设置，证明其可以显著减轻所提出攻击的隐私泄露。

4. 实验结果

作者在三个 DQA 数据集（SQuAD、SQuADShifts、NewsQA）上使用 Gemma 和 Pythia 模型评估了其攻击。

性能与基线对比：所提出的攻击（包括参考模型攻击和仅预测攻击）在低误报率下的真阳性率（TPR@low FPR）方面，通常优于三种基线方法（基于对数概率、重复和洗脑）。
- 参考模型攻击在许多情况下取得了最高的曲线下面积（AUC），通常仅使用 10% 的查询前缀就超越了基线。
- 仅预测攻击随着前缀数量的增加表现出稳定的性能提升，在 NewsQA 和 SQuADShifts 上与基线相当或更优。
改写的影响：与改写会中和攻击的预期相反，结果显示所提出的攻击对改写后的查询仍然有效，而基线方法（通常依赖精确令牌匹配或特定的对数概率模式）则显著退化。
模型规模：这些攻击在较大模型（Gemma-7B）上仍然有效，尽管“洗脑”基线在 Pythia 模型上表现不佳，这是由于上下文窗口限制和对示例放置的敏感性所致。

5. 意义与主张

本文声称，基于检索的 ICL 虽然提高了实用性，但引入了显著且此前未被探索的隐私风险。作者强调：

语义相似度是一把双刃剑：提高 ICL 准确性的机制（选择语义相似的示例）极大地增加了用户查询出现在提示中的概率，使得成员推断变得更容易。
隐蔽性与可行性：与可能因溢出上下文窗口或违反 API 约束而面临检测风险的先前攻击不同，这些攻击具有隐蔽性，仅需标准的 API 调用和小量输出令牌。
当前防御的局限性：像改写这样的标准防御不足以应对这些特定攻击。
需要新解决方案：作者得出结论，为检索驱动的 ICL 开发实用的差分隐私（DP）解决方案并非易事。现有的 DP 方法通常依赖随机采样（这增强了隐私保证），而检索是确定性的。他们呼吁进行新的研究，以平衡相关演示的实用性与正式的隐私保证。

总之，这项工作表明，在具有检索增强 ICL 的现实双方面 API 设置中，攻击者可以仅利用黑盒预测成功推断特定查询是否属于服务的演示集，突显了当前生成式 AI 服务隐私保护中的关键差距。

Membership Inference Attacks for Retrieval Based In-Context Learning for Document Question Answering