🤖 AI

SHARD: cell-keyed residual splitting for alignment-resistant private dense retrieval

本文介绍了 SHARD，这是一种检索保持型嵌入变换技术，它通过将嵌入向量拆分为一个公共前缀和一个分布在多个单元中的密钥加密残差，从而在增强稠密检索隐私性的同时，通过基于同态加密的重排序来维持高排序精度，进而破坏全局几何对齐攻击。

原作者： Sergey Kurilenko

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Sergey Kurilenko

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：搜索的“玻璃屋”

想象你拥有一个庞大的秘密文档库（例如客户支持工单或私人邮件）。为了让这些文档可以被检索，你将每份文档转换成一串长数字，称为嵌入（embedding）。你可以把这串数字看作是文档唯一的“指纹”。

目前，如果有人偷走了这些指纹列表，他们通常可以用计算机进行逆向工程，还原出原始文本。这就像是一个玻璃屋：即使你锁上了门，墙壁也是透明的，任何看向里面的人都能看清里面到底有什么。

旧方法：“旋转房间”

在这篇论文发表之前，常见的防御手段是将指纹放入一个房间，然后旋转整个房间（即“秘密旋转”）。

缺陷： 论文指出，这就像是用一把钥匙来旋转一个房间。如果窃贼偷到了几张“前后对比”的照片（已知文本及其对应的指纹），他们就能轻易推算出房间是如何旋转的，并将其还原。一旦知道了旋转方式，他们就能再次看到一切。
权衡： 为了提高安全性，人们通常会将指纹对半切开（丢弃一半的数据）。这虽然增加了还原难度，但也导致搜索引擎寻找正确文档的能力变差了。

新方案：SHARD

作者引入了 SHARD（基于单元密钥的残差拆分）。他们不再旋转整个房间，而是将指纹分为两部分并进行不同的处理。

1. “公开明信片”（前缀）

他们提取文档中最重要、最宏观的特征（如主要主题），并将它们放在一张简短的、公开的“明信片”上。

类比： 想象一张图书馆卡片，上面只写着“小说”或“烹饪”。它并不保密。
目的： 这有助于搜索引擎快速找到一小组可能的候选对象（例如找到“烹饪”板块）。它会泄露一些粗略的信息（主题），但不会泄露精细的细节。

2. “私密拼图碎片”（残差）

文档指纹的其余部分（即构成文档独特性的具体细节）被称为“残差”。这里是魔法发生的地方。

拆分： 作者将这个私密部分切分成许多个小块（单元/cells）。
密钥： 每个块都由其自身独特的秘密密钥进行加密锁定。
类比： 想象一份文档的私密细节是一个拼图。在旧方法中，整个拼图都在一个盒子里，共用一把锁。而在 SHARD 中，拼图被切成了 256 个独立的碎片，并且每一块碎片都被锁在不同的保险箱里，并配有不同的钥匙。

实际运作方式

当你进行搜索时：

第一步（明信片）： 系统利用公开的“明信片”找到约 40 个可能的匹配项。
第二步（拼图）： 为了对这 40 个匹配项进行排序，系统需要查看私密的拼图碎片。它向服务器发送一个加密请求。服务器解锁这 40 个匹配项所需的特定拼图碎片，进行比较，然后返回评分。
结果： 搜索引擎获得了与使用完整未加密数据时完全相同的准确度，但服务器从未见过完整的私密数据。

为什么它更好？（三大优势）

1. 它不会破坏搜索引擎
因为系统在进行最终排序时会重新组装完整的图像，所以它不会损失准确度。旧方法（将数据对半切开）会使搜索结果变差，而 SHARD 保持了完美的搜索结果。

2. 它让黑客攻击变得极其困难
这是最大的胜利。

旧方法： 如果窃贼偷到了 200 个“前后对比”的例子，他们就能推算出旋转方式并解锁一切。
SHARD 方式： 由于私密数据被拆分为 256 个带有不同密钥的单元，窃贼需要为每一个特定的单元都偷到足够多的例子。
数学逻辑： 如果你有 256 个单元，窃贼需要大约 256 倍更多的被盗样本（超过 100,000 个，而不是 200 个）才能破解系统。这就像是要同时撬开 256 把不同的锁，而不是仅仅一把。

3. 即使你知道主题也能保护隐私
即使窃贼知道“明信片”（主题）的内容，他们仍然无法看到具体的细节，因为那些细节被锁在私密拼图碎片中。

SHARD 不能做什么（局限性）

作者非常诚实地说明了这个系统无法做到的事情：

它不是万能护盾： 如果窃贼已经在公开数据库（如泄露的新闻存档）中拥有了原始文本，并通过将其与“明信片”进行匹配，他们仍然可以识别出哪些文档属于谁。SHARD 保护的是防止从数字中“重建”文本，而不是防止将其与已知的泄露信息进行“匹配”。
它无法隐藏你的搜索行为： 系统知道你在查看哪些文档（访问模式）。如果你每天都搜索“心脏病发作”，服务器就会知道你对心脏病感兴趣，即便它无法阅读具体的文档内容。
它并非不可破解： 如果窃贼集中所有精力攻击某一个特定的文档，并为该特定“单元”窃取了足够的样本，他们确实可以解锁那一个文档。但他们无法一次性解锁整个图书馆。

总结

SHARD 是一种保护私密搜索数据的新方法。它不再通过旋转整个房间（这很容易被还原）或扔掉一半家具（这会让房间失去功能）来保护数据，而是将秘密细节拆分为数百个独立锁定的微小盒子。这使得黑客重建秘密的成本和难度变得极高，同时保持了搜索引擎的高速与精准。

技术摘要：SHARD —— 用于抗对齐私密稠密检索的细胞键控残差拆分技术

1. 问题陈述

稠密嵌入是现代语义搜索和检索增强生成（RAG）的基石。然而，泄露的向量库会有效地破坏底层的文本，正如最近的研究所示，包括少样本对齐（few-shot alignment）、零样本反转（zero-shot inversion）以及无监督跨空间转换攻击。这些攻击利用了现有轻量级防御方案中的一个根本缺陷：受保护的向量库是一个单一的全局几何结构。

目前的防御方案通常采用“全局线性”方法：通过 SVD 截断压缩嵌入，应用单一的秘密正交旋转，并使用乘积量化（PQ）进行索引。本文认为这种方法是脆弱的，因为任何单一的全局几何结构都可以被对齐到已知的参考空间。一旦攻击者恢复了秘密旋转（通过约 $k = d/2$ 个已知明文对进行正交 Procrustes 分析），保护就会崩溃，从而实现近乎精确的文本恢复。此外，标准的防御方案面临权衡：差分隐私（DP）在提供有意义的隐私保护之前就会破坏排序效用，而全同态加密（FHE）对于大规模 top- $k$ 搜索来说计算成本过高。

2. 方法论：Shard 的构建

本文引入了 Shard，一种检索保留型嵌入变换，旨在消除全局对齐的“弱轴”问题，而非仅仅掩盖失真。Shard 将嵌入空间拆分为两个部分，并对每一部分应用不同的保护措施：

公共前缀 ( $u$ )： 嵌入经过中心化和旋转处理。前 $d_{pub}$ 个主成分（高方差方向）构成一个短的公共前缀。该前缀用于通过公共乘积量化索引进行第一阶段（Stage-1）的粗粒度检索（ANN）。
私密残差 ( $r$ )： 剩余的维度（ $d_{priv} = d - d_{pub}$ $d_{p r i v} = d - d_{p u b}$ ）构成私密残差。
- 细胞键控拆分（Cell-Keyed Splitting）： 残差空间被划分为 $C$ 个粗粒度的单元（由公共前缀 $u$ 定义）。
- 局部密钥： 每个单元 $c$ 被分配一个唯一的秘密正交密钥 $H_c$ （由 Householder 反射组成的乘积）。
- 存储： 服务器存储前缀 $u_i$ 和键控残差分片 $z_i = H_{c(i)} r_i$ 。
- 查询处理：
  - 第一阶段： 客户端使用公共前缀 $u_q$ 在本地检索出一个候选短列表。
  - 第二阶段（重排序）： 对于每个候选对象，客户端在 CKKS（同态加密）下将查询残差 $r_q$ 加密为 $H_{c(i)} r_q$ 。服务器在密文-明文模式下计算内积 $\langle H_{c(i)} r_q, z_i \rangle$ 。
  - 精确恢复： 由于 $H_c$ 是正交的，密钥会相互抵消： $\langle H_c r_q, H_c r_i \rangle = \langle r_q, r_i \rangle$ 。服务器返回的加密分数解密后即为原始残差的精确内积。

参数 $C$ 在全局基准（ $C=1$ ，一个全局密钥）与每文档微密钥（ $C=N$ ，每个文档一个密钥）之间进行插值。

3. 核心贡献

相对于作者之前的全局线性混合系统，本文提出了以下具体贡献：

细胞键控残差拆分： 一种构建方式，用 $C$ 个局部键控子空间取代了单一的全局几何结构，防止了单一对齐攻击恢复整个存储库。
全维度重排序： 不同于在降维空间进行重排序的 SVD 截断基准，Shard 在全维度空间（前缀 + 残差）进行重排序，恢复了因截断而损失的原始检索质量。
可扩展的对齐抗性： 本文建立了一个缩放法则，即扩散型已知明文对齐攻击的成本会随因子 $\approx C$ 增长。恢复原生框架需要 $O(C \cdot d_{priv})$ 个锚点，而非 $O(d)$ 。
减少公共泄露： 通过仅暴露一个短前缀（ $d_{pub} \ll d$ ）而非一半的空间，公共索引泄露的邻居结构显著减少。
攻击感知评估： 本文针对更强的攻击者家族（学习型线性、非线性 MLP 以及无监督攻击者）对 Shard 进行了评估，并将其实验结果与注重失真的防御方案（如 DP 噪声）进行了对比，证明了键控技术在噪声失效的地方仍能提供抗性。

4. 实验结果

实验是在来自五个编码器（包括多语言 E5 和 BGE-M3）的缓存嵌入上进行的，涵盖了 BEIR、MIRACL 和一个包含 100 万篇文档的俄罗斯维基百科语料库。

效用 (nDCG@10)： Shard 恢复了原始空间的排序上限。在 SVD 截断导致 nDCG@10 下降 2–8 个点的 BEIR 任务中，Shard 匹配了原始基准（例如，0.638 对比 0.637 原始值），同时暴露的公共通道宽度仅为 1/4 到 1/2。
对齐抗性：
- 全局基准： 使用约 200 个锚点即可恢复（对于 $d=384$ ）。
- Shard ( $C=64$ )： 需要约 25,600 个锚点。
- Shard ( $C=256$ )： 需要约 102,400 个锚点（中位数）。
- 攻击者鲁棒性： 学习型线性、非线性 MLP 和无监督攻击者的表现并不优于标准的 Orthogonal Procrustes 攻击；没有任何攻击者能超过单个单元的 $d_{priv}$ 锚点阈值。
公共索引泄露： 公共前缀揭示的邻居结构显著低于基准。对于 $d/4$ 的前缀，NN-overlap@10 从基准的 0.76 降至 Shard 的 0.55。
微密钥极限： 当 $C=N$ （每文档密钥）时，残差图泄露降至 0.00，且系统变得不可链接（重键 AUC $\approx 0.5$ ）。
与 DP 噪声的比较： 只有当 $\sigma=0$ （无噪声）时，注重失真的 DP 防御才能达到 Shard 的效用水平，此时去匿名化率为 100%。任何旨在降低去匿名化的噪声都会使效用低于 Shard 的性能。Shard 在实现 0% 去匿名化的同时保持了高水平的效用。
观察到的局限性：
- 针对性攻击： 集中在特定受害者单元内的针对性攻击者仅需 $\approx d_{priv}$ 个锚点，与 $C$ 无关。
- 重叠参考： 如果攻击者拥有重叠的参考语料库，即使公共前缀经过了单全局密钥处理，一旦该密钥被恢复，仍可实现去匿名化。
- 访问模式： 与基准方案一样，Shard 并不隐藏访问模式（即哪些文档被进行了重排序）。

5. 重要性与声明

本文将 Shard 定位为一种攻击感知几何防御，并明确指出它不是针对存储文档的密码学保证。

核心成就： Shard 通过消除“单一全局几何结构”的漏洞，改变了隐私与准确性的权衡。它允许进行精确的全维度重排序（保留效用），同时使针对扩散型攻击者的对齐成本变得极高。
设计哲学： 这项工作将嵌入隐私的研究重点从优化失真代理（ $\sigma_{rec}$ ）转向了针对特定攻击面的加固（对齐和索引泄露）。
适度声明： 作者明确说明了 Shard 不能做的事情：
- 它不能防御集中在单个单元上的针对性攻击。
- 它不能防止通过重叠参考语料库进行的去匿名化（如果公共前缀密钥被恢复）。
- 它不隐藏访问模式。
- 其秘密旋转是一个经验性的混淆层，而非密码学原语。

本文结论认为，Shard 提供了一类可通过参数 $C$ 进行调节的变换（可在单元级别撤销），为现代稠密检索系统中的对齐攻击提供了一种实用且经过衡量的防御手段，前提是该系统需结合其他原语（如 PIR）来处理访问模式和参考重叠问题。