💬 NLP

OD-Stega: LLM-Based Relatively Secure Steganography via Optimized Distributions

本文提出了 OD-Stega，一种基于大语言模型的无载体隐写方法，该方法通过推导在散度约束下优化下一标记概率分布的闭式解来最大化嵌入效率，同时解决了诸如分词不匹配、词表截断以及与现有技术兼容性等实际挑战。

原作者： Yu-Shin Huang, Peter Just, Hanyun Yin, Krishna Narayanan, Ruihong Huang, Chao Tian

发布于 2026-01-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Yu-Shin Huang, Peter Just, Hanyun Yin, Krishna Narayanan, Ruihong Huang, Chao Tian

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和日常类比对论文“OD-Stega”进行的解释。

核心思想：大隐隐于市

想象一下，你想给朋友发送一条秘密信息，但你正被一个严格的守卫（我们称她为伊芙/Eve）监视着。如果你把信息写在纸上并藏在一本书里，伊芙可能会觉得这本书看起来很可疑。

传统的“隐写术”（隐藏秘密的艺术）试图通过微调现有书籍中的几个字母来隐藏信息。但本论文提出了另一种方法：无载体隐写术（Coverless Steganography）。与其将信息隐藏在书“之中”，不如请求一个超级聪明的机器人作家（即 LLM，或大语言模型）从头开始写一本新书，这本书看起来像是一个普通的普通故事，但实际上秘密地包含了你的信息。

问题所在：机器人太容易被预测了

这个机器人作家非常擅长它的工作。如果你让它写一个关于“赢得奖品”的故事，它自然会说类似“赢得一个重大奖项”或“赢得一个大奖”之类的话。它很少会说“赢得一个紫色的奖项”。

因为机器人的行为如此容易被预测，所以很难隐藏秘密。为了隐藏秘密，你需要让机器人从许多不同的选项中进行选择（比如在“重大的”、“大的”、“巨大的”、“宏大的”之间做选择）。如果机器人只有一个显而易见的选项，你就无法在那里隐藏任何数据。

解决方案：OD-Stega（“优化版”机器人）

作者创建了一种名为 OD-Stega 的方法。你可以把它想象成机器人作家的一个“调节旋钮”。

目标： 他们希望机器人变得稍微不那么容易被预测（更具随机性），以便他们可以隐藏更多的秘密比特数据，但又不能让机器人变得过于随机，以至于故事听起来很奇怪并被伊芙发现。
权衡： 想象机器人的自然选择是一条平缓、平静的河流。
- 完美的安全性： 如果你不去触碰这条河，它就会自然流动。伊芙无法察觉它有异样，但你也无法在其中隐藏太多东西。
- 过度隐藏： 如果你让这条河变得狂野且混乱，你可以隐藏很多东西，但伊芙会立刻发现水流的行为很反常。
- OD-Stega： 这种方法找到了“金发姑娘原则”（Goldilocks zone，意为恰到好处的平衡点）。它稍微调整了河流，使其变得有些起伏（允许隐藏更多秘密），但同时保持它在肉眼看来仍然像是一条自然的河流。

它是如何工作的（化繁为简的数学原理）

这篇论文解决了一个数学谜题：我们如何在改变机器人的选择时，既能隐藏最多的秘密，又不让故事听起来很假？

“温度”技巧： 在人工智能领域，有一个叫做“温度（temperature）”的设置，它控制着随机性。论文证明，他们复杂的数学解法实际上只是一个高级的“调节温度旋钮”的方法。他们计算出精确的“混沌”量，以确保故事保持自然的同时还能携带秘密。
“弱守卫”假设： 论文假设守卫（伊芙）并不是一台超级计算机；她可能是一个人类或一个有局限性的简单程序。OD-Stega 利用了这一点。它说：“我们会让故事变得稍微有点怪异，但已知守卫不会注意到，尽管一个超级智能的检测器可能会。”这使得他们能够比以前多隐藏 20% 到 55% 的秘密数据。

解决现实世界的故障

作者不仅做了数学计算，还修复了通常会导致这些系统崩溃的三个实际问题：

“词块拆分”故障：
- 问题： 计算机将单词拆分成被称为“Token（词元）”的块。有时，发送者的计算机将“mountain”拆分为“mount”和“ain”，但接收者的计算机将其视为一个完整的单词“mountain”。这会导致秘密信息变得混乱。
- 修复方法： 他们增加了一个简单的“试运行”。在发送真实消息之前，发送者会尝试一些虚拟消息，看看接收者的计算机是否以同样的方式读取单词。如果不是，他们会进行调整直到匹配为止。

এটি
2. “选项过多”故障：
* 问题： 机器人有数千个单词可以挑选。计算所有这些单词的最佳选择需要耗费大量时间。
* 修复方法： 他们忽略了那些机器人绝不会选的数千个单词（比如在奥运会故事里提到“香蕉”）。他们只关注前 100 个最可能的单词，这使得过程快得多。

“旧技术”故障：
- 问题： 许多保密方法使用一种名为“算术编码（Arithmetic Coding）”的特定数学工具。
- 修复方法： 他们展示了其方法即使在使用其他较旧的保密工具时也能正常工作，这使其成为了许多系统的通用升级。

他们发现了什么？

他们使用了一个强大的机器人作家（LLaMA2）和一个名为“Discop”的保密工具测试了他们的方法。

更多秘密： 通过使用他们的“调节旋钮”，他们可以在相同长度的文本中隐藏显著更多的秘密数据。
依然自然： 他们使用了一个“类人”AI（GPT-4）和几个“守卫”程序来检查生成的文章。当他们保持“调节”程度较低时，文章看起来 100% 自然，且守卫无法分辨它们是伪造的。
极限： 如果他们为了隐藏“太多”秘密而将“调节”程度调得过高，故事就会开始听起来很奇怪，并且会被守卫抓获。

总结

OD-Stega 是一种在 AI 生成文本中隐藏秘密的新方法。它就像一个聪明的编辑，通过轻微引导 AI 的词汇选择，在保持故事听起来足够自然以欺骗人类或简单计算机守卫的同时，尽可能多地打包进秘密数据。它解决了通常会导致这些系统失效的常见技术故障，并且可以与现有的保密工具配合使用。

技术摘要：OD-Stega

问题陈述
本文研究了利用大语言模型（LLM）进行无载体隐写术（coverless steganography）所面临的挑战。在这种设定下，发送方（Alice）生成包含隐藏秘密信息的文本，并通过一个受监听者（Eve）监控的公共信道传输给接收方（Bob）。主要目标是在保持生成文本自然度（不可感知性）的同时，最大化嵌入利用率（每个 token 中隐藏的秘密比特数）。

传统的基于 LLM 的隐写术依赖于算术编码（Arithmetic Coding, AC），其中秘密信息驱动基于 LLM 原生概率分布的 token 采样。然而，LLM 通常会产生高度确定性的输出（低熵），这限制了可嵌入的信息量。此外，现有方法通常假设一种“完美安全”的机制，即 stego-text（隐写文本）必须在任何检测能力下都与自然文本不可区分。作者认为，在许多实际场景中，Eve 是一个“弱检测器”（例如计算受限或存在延迟约束的检测器），这允许通过放宽安全约束来实现更高的嵌入容量。由此引出了**相对安全隐写术（relatively secure steganography）**的概念。

方法论
所提方法的核心是 OD-Stega（优化分布隐写术），其核心思想是用一个具有更高熵的优化分布 $Q$ 来替换 LLM 的原生下一个 token 概率分布 $P$ ，并受限于 $Q$ 与 $P$ 之间的散度约束。

优化公式化：
该问题被表述为：在满足散度约束 $D(Q || P) \leq \delta$ 的条件下，最大化替代分布 $Q$ 的香农熵 $H(Q)$ 。其中 $\delta$ 代表基于 Eve 检测能力的允许偏差（安全预算）。作者考虑了两种散度度量：
- KL 散度（Kullback-Leibler Divergence）： 推导出了一个闭式解，通过对原始分布 $P$ 的 logits 应用**温度缩放（temperature scaling）**来获得最优的 $Q$ 。具体而言， $Q$ 对应于通过温度参数 $T \geq 1$ 进行缩放后的 $P$ 。
- 全变差距离（Total Variation Distance）： 最优解遵循“注水（water-filling）”程序，即将概率质量从高概率 token 重新分配到低概率 token，以使概率趋于相等，从而达到平滑分布的效果。
自适应参数选择：
为了防止生成不自然的文本（特别是在低熵语境下，token 选择几乎是确定性的）， $\delta$ 并非全局固定，而是作为当前 token 熵的函数进行自适应设置： $\delta_i = C \cdot H(P_i)$ ，其中 $C$ 是一个可调常数。
实际工程解决方案：
本文解决了三个关键的实际问题：
- 分词不匹配（Tokenization Mismatch）： 标准分词器不能保证给定文本具有唯一的 token 序列（例如，“mountain” vs. “mount” + “ain”）。作者提出了一种**提示词选择（prompt selection）**策略，即 Alice 在秘密信息前添加一段短的“虚拟”比特（ $B$ ）。她通过迭代 $B$ 的组合，直到生成的 stego-text 可以被 Bob 正确分词和解码，随后 Bob 会丢弃 $B$ 。
- 词表截断（Vocabulary Truncation）： 为了降低计算复杂度，将词表截断至前 $N_\epsilon$ 个 token（其累积概率为 $1-\epsilon$ ）。作者证明了总 KL 散度在截断和优化阶段是可加的，从而能够精确控制整体安全预算。
- 与非 AC 方法的集成： 该方法被证明与不严格依赖算术编码的现有技术（如使用分布副本的 Discop）是兼容的。优化后的分布在这些框架的编码步骤之前应用。

核心贡献

理论公式化： 本文建立了一个原则，即在安全约束下最大化嵌入容量等同于在散度约束下最大化 token 分布的熵。它为 KL 约束和 TV 约束都提供了闭式解。
OD-Stega 框架： 一个将优化分布与算术编码相结合的实用系统，通过验证循环解决了分词错误问题，并通过词表截断管理计算成本。
OD-Discop： 展示了该优化技术可以通用地应用于提升其他隐写术方法的嵌入效用，特别是 Discop 技术。
实验验证： 使用 LLaMA2-7B 和 GPT2-XL 模型进行了广泛实验，评估了嵌入利用率、针对最先进检测工具（FCN, SESY, GS-Llama）的检测率以及通过 GPT-4 进行的人类感知评估。

实验结果

嵌入利用率： 实验表明，安全性和容量之间存在显著的权衡。通过增加参数 $C$ $C$ （从而增加 $\delta$ $δ$ ），每 25 个 token 中嵌入的比特数显著增加。
- 在严格约束下（ $C=0.01$ ，模拟强检测器），嵌入利用率比基准截断方法提高了约 20%。
- 在宽松约束下（ $C=0.05$ ，模拟弱检测器），利用率提升高达 55%。
统计分析性能： 在针对 FCN、SESY 和 GS-Llama 检测器的测试中：
- 对于低 $C$ 值，stego-text 与自然 LLM 文本几乎无法区分（检测率接近随机猜测）。
- 随着 $C$ 的增加，检测率上升，证实了安全降级的可控性。
感知评估： GPT-4 评估显示，散度参数与文本被标记为非人类的可能性之间存在相关性，这与统计分析的结果一致。
分词鲁棒性： 所提出的比特填充验证方法成功解决了分词不匹配问题，且无需进行穷举搜索。

意义与主张
本文声称 OD-Stega 提供了一种相对安全隐写术的原则性方法，提供了一种平衡嵌入容量和可检测性的设计自由度。不同于可能受限于自然语言生成低熵特性的“完美安全”方法，OD-Stega 通过显式利用监听者（Eve）的局限性来最大化信息隐藏。

作者强调，其方法具有通用性，能够增强现有的基于 AC 和非 AC 的方案（如 Discop）。他们将 KL 散度（或 TV 距离）不仅视为一个理论指标，更视为一个实用的控制杠杆（超参数），允许工程师根据特定的威胁模型和应用需求来调节系统。该工作也承认了局限性，指出优化是逐 token 进行的，缺乏长期前瞻性（由于计算成本原因），并且“不可感知性阈值”是被视为一个可调参数，而非学习到的感知模型。