🤖 AI

Recovering Input Text from Hidden States: Study of Gradient-Based Inversion of Decoder-Only Language Models

本文证明了仅解码器语言模型的最后一层隐藏状态与原始文本一样敏感，表明一种连续嵌入空间优化方法能有效恢复输入标记，并揭示了重构失败主要是由高频虚词而非真实的歧义引起的。

原作者： Mikołaj Słowikowski, Maciej Witold Majewski

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Mikołaj Słowikowski, Maciej Witold Majewski

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这是一篇使用简单语言和日常类比对该论文进行的解释。

核心思想：可以证明“数字影子”就是物体本身

想象你拥有一台非常复杂、高科技的 3D 打印机。你把一块粘土（即文本）放入机器，它会打印出一个完美的、发光的全息图（即隐藏状态）。

长期以来，人们认为如果你只看到全息图，就无法得知原始粘土的样子。他们假设全息图是一条“单行道”——你可以用粘土制造出全息图，但你无法通过全息图将过程反向还原成粘土。

这篇论文证明了这种假设是错误的。 作者展示了，如果你拥有全息图（隐藏状态），并且了解打印机的工作原理（模型的内部代码），你就可以通过逆向工程完美地重建出原始的粘土。

他们是如何做到的：“平滑滑梯” vs. “阶梯”

作者并没有仅仅靠猜测单词，而是使用了一种巧妙的数学技巧，称为基于梯度的反转（gradient-based inversion）。以下是他们如何解释自己的方法与其他方法的区别：

旧方法（阶梯）： 想象你在城市里寻找一栋特定的房子。旧的方法（比如之前的研究 SIPIT）就像是在街角之间跳跃。你猜一个房子，检查是否正确，如果不对，就立即跳到下一个最近的房子。这很快，但你会失去观察在跳跃之前自己离目标有多近的能力。
新方法（平滑滑梯）： 作者的方法就像是沿着一座平滑、隐形的斜坡向目标房子滑动。在确定到达山谷底部之前，你不会突然跳到一个具体的房子上。
- 为什么这很重要： 因为他们在“平滑滑梯”（一个连续的数学空间）中停留了很长时间，所以他们可以观察搜索的具体进展。他们可以观察搜索是否卡住了，或者他们正在寻找的“房子”是否隐藏在一个许多房子看起来都极其相似的拥挤社区里。

研究结果：他们发现了什么？

1. 效果非常好
当他们尝试从流行 AI 模型（GPT-2）的“全息图”中恢复短句（10 个单词长）时，取得了惊人的成功。

在标准设置下，他们有 67% 的概率能完全还原整个句子。
通过给计算机更多搜索时间并检查更多的“社区”，他们的成功率达到了 97.5%。
即使没有得到完全一致的单词，他们猜出的词通常也非常接近（比如用“小猫”代替“幼猫”）。

2. “拥挤社区”问题
研究人员注意到一个关于哪些单词难以恢复的有趣模式。

容易恢复的词： 独特、有趣的词汇（如“宇航员”、“比萨”或“量子”）几乎可以完美恢复。它们生活在计算机内存中的“空旷社区”里，因此很容易找到。
难以恢复的词： 最常见、最枯燥的词（如“the”、“and”、“of”或单词前的空格）是最难还原的。这些词生活在“超级拥挤的社区”中，成千上万个相似的词紧密排列在一起。这就像是在一个坐满了 10,000 个“张三”的体育场里寻找其中一个特定的“张三”。

3. “自我检查”功能
由于使用了“平滑滑梯”法，他们创建了一个内置的报警系统。

如果计算机成功恢复了文本，与目标的数学“距离”会保持极小（接近于零）。
如果计算机犯了错，这个距离会突然飙升。
这意味着系统可以在不需要预先知道正确答案的情况下，告诉你：“我在这里犯了错误。”这就像一个 GPS，即使不知道目的地，也能说出：“我迷路了。”

我们为什么要关心？（隐私警告）

论文最后向所有使用 AI 的人发出了严肃的警告：

如果你将数据发送到云端服务器进行处理，而服务器返回的仅仅是“全息图”（隐藏的数字）而不是文本，那么你并不安全。

作者表明，这些“全息图”与原始文本一样敏感。如果黑客（甚至服务器本身）拦截了这些数字，他们可以使用这种“平滑滑梯”法，以极高的准确度重建你的私人信息、密码或文档。

总结类比

把 AI 模型想象成一把锁。

旧观点： 钥匙（文本）可以转动锁头来开门，但一旦门开了，你无法仅凭观察开着的门就推断出钥匙长什么样。
本论文的发现： 如果你仔细观察开着的门（隐藏状态）并了解锁的工作原理，你实际上可以模造出一把完美契合的新钥匙。那扇“开着的门”包含了重建钥匙所需的所有信息。

论文证明了，对于这类特定类型的 AI 模型，将文本隐藏在数字之中并不能真正隐藏文本。

技术摘要：从隐藏状态中恢复输入文本

问题陈述
本研究调查了仅解码器语言模型（具体为 GPT-2 small）的“隐藏状态反转”（hidden-state inversion）问题。核心挑战在于，仅通过前向传播产生的最后一层隐藏状态矩阵 $H(x)$ 来恢复原始输入标记序列 $x$ 。尽管近期的理论工作（SIPIT [1]）已经确立了从标记到隐藏状态的映射是单射的——这意味着隐藏状态在理论上包含了重建输入所需的所有信息——但本文旨在探讨实现这一反转过程的效率以及在何种条件下能够成功。本研究在白盒威胁模型下运行，假设攻击者拥有模型权重、分词器和嵌入矩阵，但除了隐藏状态张量的形状之外，对原始文本一无所知。

方法论
作者提出了一种基于梯度的反转算法，将该问题视为一个连续嵌入空间优化问题，而非离散的一步式重建。该方法通过三个不同的层级逐位置进行操作：

外层循环（标记位置）： 遍历序列中的每个位置 $t$ 。
内层循环（连续优化）： 对于当前位置，使用 Adam 优化器对一个连续的代理向量 $e_t$ （初始为一个随机标记嵌入）进行优化。其目标是最小化模型预测的隐藏状态（以已提交的标记为条件）与泄露的目标隐藏状态之间的均方误差（MSE）。至关重要的是，该代理在整个循环过程中始终保持在连续空间中；在优化过程中不进行硬性的标记投影。
离散验证与提交： 一旦内层循环收敛（或达到步数预算），则检索距离优化后的代理最近的 $C$ 个离散标记嵌入。这些候选者通过一次前向传播进行验证。第一个能在容差范围内复现目标隐藏状态的候选者将被“提交”。若无候选者通过验证，则提交最近的邻居作为回退方案。

一个核心设计原则是严格区分连续搜索与离散决策。通过仅在内层循环结束时才提交标记，该方法生成了一个清晰的“离散损失”（ $L^{disc}_t$ ），定义为提交标记被喂入前向传播时的 MSE。该指标作为衡量重建保真度的直接度量。

主要贡献与结果

连续与离散公式化： 本文证明，将优化保持在连续空间中可以暴露丰富的内部信号，包括真实标记的秩轨迹（rank trajectories）和逐位置损失曲线。这与“每步硬投影”方法（如 SIPIT 参考资料）形成对比，后者虽然速度更快，但会使连续视图与离散视图坍缩，从而使优化过程变得不透明。
自我诊断式失败检测： 作者发现，累积离散损失是一个强大的、无需已知文本的失败信号。精确的重建会产生接近机器精度的累积损失（ $\sim 10^{-11}$ ），而任何重建误差都会导致累积损失出现剧烈的、二进制式的跳变（两者之间相差约十个数量级）。这使得攻击者或审计员无需访问原始文本即可在线检测失败。
准确性与效率：
- 在 C4 数据集的 10 个标记提示词上，精确匹配率（EM）从 66.9%（基准配置： $K=1000$ 步， $C=2000$ 个候选者）提升至 97.5%（高精度配置： $K=2000$ ， $C=10,000$ ），平均相似度为 0.994。
- 结果表明，大多数错误属于“近失误”（即正确的标记排名很高但未被选中），而非真正的歧义，因为扩大候选窗口 $C$ 可以恢复大部分此类失败。
- 运行时分析显示了一种权衡：所提出的连续方法比 SIPIT 参考方法更慢（基准配置为 17.8s/token），而后者通过激进的早期退出和逐步投影实现了 100% 的 EM。
失败分析与不对称性： 研究揭示了失败模式中存在显著的类别不对称性。绝大多数重建失败发生在带有空格前缀的高频功能词（例如 " the", " ,", " and"）上。这些标记位于嵌入矩阵中密集且近乎共线的区域，导致难以通过 $\ell_1$ 距离进行区分。相反，承载内容的标记（专有名词、技术术语）几乎可以完美恢复。这表明，敏感的低频内容可能比常见的自然语言更容易泄露。

意义与主张
本文认为，仅解码器模型的最后一层隐藏状态与原始文本一样敏感。研究结果挑战了隐藏状态向量是分布式架构（如拆分推理、联邦学习或嵌入 API）中不可透明隐私边界的假设。

作者声称，其连续公式化的意义不在于它是最快的方法，而在于它使反转过程变得“可观测”。通过将连续搜索与离散提交分离，该方法提供了诊断工具（秩轨迹、离散损失），允许检测重建错误并深入理解嵌入空间的几何结构。研究结论指出，在传输或存储最后一层激活值的系统中，隐私论据会失效，因为足够强大的算法可以高概率地恢复输入。作者建议将这些隐藏状态视为与原始文本同等敏感的信息，并建议未来的防御措施（如差分隐私）应使用离散损失诊断来量化可恢复性的下降程度。