💬 NLP

Linguistic Holonomy and Statistical Watermarks: Inner Geometry of Meaning-Preserving Transformations

本文证明了语言模型的统计水印在面对保持语义的变换时具有本质上的脆弱性，因为其检测依赖于端点语义相似度而非变换路径中隐藏的“全纯性”（holonomy），从而导出了一个精确的数学恒等式，表明信号的存续关键取决于编辑的具体位置，而非仅仅取决于整体保留率。

原作者： Daniele Corradetti

发布于 2026-08-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Daniele Corradetti

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代人工智能的格局中，大型语言模型生成的文本已日益变得与人类写作难以分辨。为了应对这项技术带来的风险（例如虚假信息的传播），研究人员开发出一种方法，为机器生成的内容打上不可见的标记。这些被称为“水印”的标记不会改变文本的含义或质量；相反，它们会微妙地改变单词选择的统计概率，从而创造出一个稍后可以被检测到的隐藏信号。这些水印面临的核心挑战是鲁棒性：它们必须在文本被编辑、翻译或改写后依然能够幸存。多年来，科学界衡量水印攻击成功与否的标准仅在于观察最终结果。如果重写的句子在意思上仍与原句相同，人们便假设水印同样成功地存续了下来，而并不关心文本在到达终点前经历了怎样的过程。这种假设将改写过程中的中间步骤视为仅仅是无关紧要的脚手架，与其最终结果无关。

一位来自里斯本高等技术学院（Instituto Superior Técnico）和阿尔加维大学（University of Algarve）的研究人员挑战了这一长期存在的观点，证明了文本所经历的路径与其目的地同样重要。通过将单词选择的序列视为一场几何旅程，他们发现两个文本可以在承载完全不同程度的水印信号的同时，拥有完全相同的含义。该研究人员证明，标准的“语义相似度”衡量方法（即最终含义与起始含义的接近程度）无法察觉变换过程中隐藏的属性。他们发现，水印的存续完全取决于编辑过程中特定的排列方式，而不仅仅取决于改变了多少单词或最终文本看起来有多相似。在某些情况下，攻击者可以在仅改变极小比例单词的前提下，彻底移除整个水印信号，只要这些改变是以特定的节奏分布的。

这项研究首先重新审视了“语言环路”（linguistic loops）背后的数学原理，即在不改变句子核心含义的情况下改变其形式的变换链。研究人员指出，以往用于分析这些环路的数学工具存在缺陷，因为它们会坍缩为简单的计数，从而忽略了旅程中复杂的结构。他们用一种更精确的几何描述取代了原有方法，表明文本的变换就像是在球面上绘制的路径。起点与终点之间的距离告诉我们含义漂移了多远，但路径本身的形状却携带了一种隐藏的旋转，这种属性被称为“全纯性”（holonomy）。对于那些只关注最终含义的检测器来说，这种旋转是不可见的，然而它正是决定水印能否存续的关键。研究人员证明了终点与路径是相互独立的；你可以让文本在经过一段短促直接的行程或一段漫长曲折的绕行后回到原始含义，而水印的表现会截然不同。

在实际应用层面，研究人员推导出了一个精确的定律，用以规范水印在文本编辑时的衰减规律。他们发现，信号的存续并不取决于有多少比例的单词保持不变，而取决于水印特定的“种子窗口”（seeding windows）是否保持完整。水印通常依赖于一组前置单词来决定下一个单词的选择。如果一次编辑破坏了这个组合，信号就会丢失。研究人员证明，如果攻击者了解这个组合的大小，就可以通过策略性地布置编辑，在几乎不改变大部分文本的情况下摧毁整个水印。例如，如果水印依赖于一个包含一个前置词的上下文，攻击者可以通过每隔一个词进行一次编辑，从而彻底抹除信号，即便一半的文本仍然保留了下来。这一发现解释了为什么当文本以块状或特定模式而非随机方式被编辑时，水印失效的速度往往比预期快得多。

为了验证这些理论见解，研究人员利用真实的机器翻译系统进行了广泛的实验。他们选取了数千个句子，并通过往返翻译链将其送入不同的语言（如德语、法语、西班牙语），最后再转回英语。他们在每一步都测量了水印信号，并将其与文本路径的几何特性进行了对比。结果证实了他们的理论：剩余信号的量与路径的具体形状密切相关，而不仅仅取决于最终的相似度得分。在一项引人注目的测试中，他们在保持文本最终含义不变的前提下，改变了路径的长度和复杂度。他们发现，即使最终指向完全相同的含义，由于所走的路径不同，文本保留的信号量可能从满额信号到完全没有信号不等。这证明了目前基于最终相似度来判断水印鲁棒性的方法在根本上是不完整的。

这项工作的意义对于数字溯源的未来至关重要。它表明，水印的韧性是文本整个历史的函数，而非仅仅取决于其最终状态。研究人员指出，现有的评估指标之所以不足，是因为它们忽略了语言的几何结构。他们还强调了当前设计中的一个漏洞：由于信号的存续取决于编辑的排列方式，知识渊博的对手可以利用这一点，在不使文本看起来有显著变化的情况下实现中和水印的目的。尽管该研究是针对特定模型和翻译链进行的，但其揭示的几何原理似乎具有普遍性。该研究结论认为，若要真正理解水印如何存续，我们必须停止仅仅观察目的地，而应开始绘制旅程的轨迹。

技术摘要：语言整体性（Linguistic Holonomy）与统计水印

问题陈述
当前评估大语言模型（LLM）统计水印鲁棒性的方法依赖于“端点”指标。这些指标测量原始文本与重写文本之间的语义相似度，或者仅仅计算编辑步数（hops）。本文认为这种方法存在根本性缺陷，因为它将中间状态视为单纯的脚手架。两条变换链可能导致具有相同语义含义（相同的端点）的文本，但在嵌入空间中经过的路径却截然不同。本文指出，水印的鲁棒性不仅取决于最终的语义距离，还取决于“能指”（文本形式）在保持“所指”（意义）不变的同时，所经历的具体几何路径。

方法论
作者借鉴了前人研究 [4] 中的“语言环路”（linguistic loops）形式化方法，来分析保持意义不变的变换的几何结构。

几何框架： 将文本映射到嵌入空间 $\mathbb{R}^n$ 。变换链被视为单位球面上的向量路径 $v_0, \dots, v_L$ 。
环路矩阵： 变换链由一个环路矩阵 $R_U \in SO(n)$ 进行总结，该矩阵是通过连续状态之间的最小旋转乘积构建的。它代表了沿由该链形成的测地多边形进行的平行移动。
检测器建模： 本文分析了依赖于大小为 $h$ 的上下文窗口的“绿名单”（green-list）和“指数型”（exponential）水印方案。检测统计量被建模为一个关于“完整窗口”数量的函数——即整个种子上下文在攻击过程中未被修改而得以保留的位置。

核心贡献与理论结果

特征签名（Signature）的退化性：
本文证明了先前提出的语言环路不变量——矩阵 $I - R_U^*$ 的 Sylvester 签名——是退化的。该矩阵始终是半正定的，这意味着其签名始终为 $(2p, 0, n-2p)$ ，并不携带比其秩更多的信息。真正的不变量是环路矩阵的角度谱（rotation angles 的集合）。
端点-路径分解（整体性/Holonomy）：
作者证明了环路矩阵的一个规范分解： $R_U = R_{dir} H$ 。

$R_{dir}$ 是从初始状态到结束状态的最小旋转（由语义缺失决定）。
$H$ 是整体性（holonomy），是固定初始状态的稳定子群 $SO(n-1)$ 中的一个元素。
意义： 语义缺失（端点）与整体性（路径几何）在功能上是独立的。一条链可以在语义缺失为零（回到完全相同的意义）的情况下，积累任意大的整体性（在形式上发生显著漂移）。在 2-球面（2-sphere）上，这种整体性对应于路径扫过的面积（高斯-博内定理）。

完整窗口恒等式：
作者推导出了攻击后预期残余检测统计量 $E[z_{att}]$ 的精确恒等式：
$E[z_{att}] = \frac{|I|}{T'} E[z_0]$
其中 $|I|$ 是大小为 $h+1$ 的整个种子窗口完整保留的位置数量。

推论： 如果编辑是独立的，信号按 $\rho^{h+1}$ 衰减（其中 $\rho$ 是标记保留率）。
关键发现： 如果编辑不是独立的（如在现实世界的编辑中），则保留率 $\rho$ 不足以预测鲁棒性。攻击者可以通过安排编辑来彻底破坏水印（使统计量降至零），即使保留了高比例的标记，只要编辑的间距足以破坏每一个可能的上下文窗口。具体而言，如果 $1-\rho \ge 1/(h+1)$ ，信号可以被湮灭。

实验结果
作者使用精确检测器（密钥由作者持有）和真实数据验证了其理论主张：

几何验证： 数值实验证实了签名的退化性以及端点与整体性的独立性。具有相同语义缺失的链，根据其路径的不同，表现出不同的整体性能量。
检测器验证： “完整窗口定律”在不同的上下文宽度（ $h=0,1,2,3$ ）和保留率下均得到了高精度验证（误差 < 0.01）。
现实世界转化： 作者将轮替机器翻译（英语 $\to$ $\to$ 中间语言 $\to$ $\to$ 英语）应用于带水印的文本。
- 结果显示，具有相同语义缺失但不同路径长度（不同数量的中间语言）的链，导致了不同程度的水印侵蚀。
- 一项预注册回归测试证实，在保持语义缺失和保留率恒定的情况下，较大的整体性能量（更长/更复杂的路径）与较低的残余水印信号显著相关。
- “完整窗口”指标比简单的保留率能更准确地预测残余信号。

意义与主张
本文声称，统计水印的鲁棒性是路径的泛函，而非仅仅是端点的属性。

理论层面： 它将“威尔逊环”（Wilson loop）类比从一种隐喻提升为数学定理，指出“语义缺失”无法察觉“整体性”（即形式的几何旋转）。
实践层面： 它证明了基于语义相似度或标记保留率的当前鲁棒性评估是不充分的。攻击者可以通过利用上下文窗口的结构，在保持意义和标记数量的同时，通过策略性地破坏水印来实施攻击。
局限性： 作者表现得较为谦逊，指出完整窗口恒等式假设了长度保持的替换以及熵的平均场假设。他们承认整体性能量是全量整体性矩阵的一种有损标量简化，并承认其实验结果受限于所使用的特定模型和编码器。

本文得出结论，描述水印侵蚀的自然语言是平行移动（parallel transport）和整体性（holonomy），这表明未来的水印设计可能需要考虑路径依赖的不变量，而非仅仅是静态的标记属性。

技术摘要：语言整体性（Linguistic Holonomy）与统计水印

类似论文