🤖 machine learning

Guarantees on Dynamical System Distinguishability for LLM Token Generation

本文通过将大语言模型（LLM）的标记生成建模为动力系统，为区分这些生成过程提供了理论基础，证明了分类准确率随序列长度基于谱距离呈指数级提升，并确立了跨嵌入迁移的基础极限与泛化界限。

原作者： Mohamed Akrout, Dan Wilson

发布于 2026-08-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohamed Akrout, Dan Wilson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图分辨两个不同的讲述者。一个在说真话，而另一个在编造故事（幻觉）。如果你只看他们使用的单个词汇，你可能会陷入困境。他们可能都会以相似的频率使用相同的常用词，比如“the”、“cat”或“sat”。这就像是试图仅通过听音符的平均音量来区分两首不同的歌曲；如果音量相同，这些歌曲听起来就是完全一样的。这正是许多目前用于检查 AI 是否在撒谎的方法所面临的问题：它们将每个词都视为一个独立的、随机的事件，忽略了词语是以特定的顺序出现并相互流动的这一事实。

然而，如果你去聆听其中的“节奏”和“旋律”——即故事是如何从一句话过渡到下一句话的——你可能会听到一种模式。在科学领域，这被称为“动力系统”（dynamical system）。把它想象成一个小球沿着山坡滚下。小球在任何单一时刻的位置可能看起来是随机的，但它随时间移动的路径遵循严格的物理规则。大语言模型（LLM）就像这些滚动的球；它们通过遵循隐藏的规则来生成文本。田纳西大学的 Mohamed Akrout 和 Dan Wilson 最近发表的一篇论文提出了一个重大问题：我们能否不通过观察 AI 说了什么词，而是通过观察这些词如何演变的无形“舞蹈”，来检测 AI 是否正在产生幻觉？他们将 AI 的内部思维过程视为一个黑盒机器，并试图仅仅通过观察其轨迹，来判断这台机器是在运行“真相模式”还是“虚构模式”。

该论文证明，仅仅观察词语本身（即“边缘分布”）往往是一个死胡同。作者展示了两个完全不同的机器——一个在说真话，一个在撒谎——可以产生统计学上看起来完全相同的词汇组合。这就像两位不同的厨师在碗里使用了完全相同的食材；如果你只是品尝汤的味道，你无法分辨是谁烹饪的。论文指出，任何忽略故事“流动性”的方法都是有本质局限性的，并且会遇到一个瓶颈，即无法做得比随机猜测更好。

但令人兴奋的部分在于：当你开始观察“运动”时，故事发生了变化。作者论证了，如果你观察 AI 的内部状态如何随着一系列词语而演变，其中的差异就会变得巨大。他们从数学上证明，随着故事变得越来越长，误分类 AI 的概率呈指数级下降。这就像听一秒钟的歌曲，你可能不知道它的流派；但听上三十秒，节奏就会让一切变得显而易见。论文表明，一个幻觉故事的“节奏”与一个事实性故事的“节奏”有着本质的不同，而且这种差异随着你分析的词语越多而变得越强。

此外，该团队还解决了一个棘手的现实世界问题：如果你针对一种类型的 AI “语言”训练你的检测器，然后尝试将其用于另一种不同的 AI，会发生什么？通常情况下，这样做会失败，因为它们的内部编码是不同的。然而，论文发现，如果这两个 AI 系统共享相似的底层几何结构（就像两张绘制相同城市的地图），检测器就可以进行迁移。他们展示了这种迁移的成功取决于这两个系统在数学上被“翻译”成彼此的程度。如果翻译是清晰的，检测器就能奏效；如果翻译是混乱的，检测器就会失效。

简而言之，这篇论文提供了一个严密的数学保证：要抓住 AI 的谎言，你不应该只是计数词语，你需要观察那场“舞蹈”。通过将 AI 的输出建模为一个运动系统，而非静态的词语列表，只要给予系统足够的时间来展现其真实的节奏，我们就能以高度的信心区分真实与虚构。这使关注点从静态的数据快照转向了随着 AI 思维演进而产生的动态模式，为理解和验证这些复杂的机器提供了一种全新的、更强大的方式。

技术摘要：LLM Token 生成中动力系统可区分性的保证

问题陈述

近期的实证研究表明，通过将大语言模型（LLM）的响应（特别是区分事实性文本与幻觉文本）建模为黑盒动力系统（DS）的轨迹，可以对 Token 嵌入进行分类。虽然这种方法展现出了潜力，但其理论基础仍有待探索。具体而言，三个基本问题缺乏严谨的解答：

动力学的必要性： 如果不同响应类别的 Token 嵌入的边缘分布存在差异，为什么还需要动力学模型？
可扩展性与性能： 分类误差如何随序列长度缩放，以及哪些特定的动力学量决定了性能？
泛化性： 鉴于 Koopman 算子近似通常对所使用的观测值具有敏感性，Token 嵌入及其相关的动力学在不同嵌入模型之间的迁移程度如何？

方法论

作者将分类任务形式化为两个随机线性动力系统之间的二元假设检验。

1. 系统构建

作者将提升后的 Token 嵌入 $z_k$ （通过扩展动态模态分解 EDMD 获得）在两种假设下的演化进行建模：

$H_c$ （正确/事实）： $z_{k+1} = A_c z_k + \xi^{(c)}_k$
$H_h$ （幻觉）： $z_{k+1} = A_h z_k + \xi^{(h)}_k$

这里， $A_c$ 和 $A_h$ 是对应机制下 Koopman 算子的有限维近似。噪声项 $\xi$ 捕捉了近似误差和真实的随机性，假设其为具有不同均值和协方差的独立同分布（i.i.d.）高斯分布。

2. 分类机制

分类通过比较预测残差来进行。对于给定的轨迹，计算两种模型下的累积平方误差（ $S_c$ 和 $S_h$ ）。决策规则依赖于微分残差得分 $\Delta E = \sqrt{S_h} - \sqrt{S_c}$ 。如果 $\Delta E$ 低于阈值 $\eta$ ，则将轨迹分类为幻觉。

3. 理论框架

作者基于以下内容推导了界限：

平稳分布： 分析观测值的边缘分布。
动力学可区分性 ( $\delta^2$ )： 一个量化每时间步期望平方模型失配信号的指标，定义为 $\delta^2 = E[\|P\Delta z_k\|^2]$ ，其中 $\Delta = A_c - A_h$ 。
交织条件（Intertwining Condition）： 一个用于分析跨嵌入迁移的线性映射 $T$ ，用于联系两个不同的嵌入空间。

核心贡献与结果

结果 1：边缘密度分析的局限性

作者证明，两个稳定的动力系统可能拥有完全不同的动力学特性（ $A_c \neq A_h$ ），却产生几乎不可区分的平稳边缘分布（全变差距离 $\approx 0$ ）。

启示： 任何仅依赖静态特征（如 SVD 模态或边缘统计量）的分类器都面临着一个基本的准确度底线。如果边缘分布显著重叠，无论潜在的动力学差异如何，此类分类器的表现都无法优于随机猜测。这解释了为何事实性和幻觉性嵌入的静态特征往往存在重叠的实证观察。

结果 2：通过动力学实现指数级可分性

论文证明，基于预测残差的分类器其误分类概率随序列长度 $L$ 呈指数级衰减。

主导量： 衰减率由动力学可区分性 $\delta^2$ 和噪声水平决定。
样本复杂度： 为了达到目标误差概率 $\epsilon$ ，所需的序列长度缩放为 $L^* = O(\log(1/\epsilon))$ 。
意义： 这一结果打破了由边缘分析所施加的准确度天花板。它解释了为什么更丰富的嵌入模型（可能产生更高的 $\delta^2$ ）可以在较短的序列中实现高准确度，而较简单的模型则需要更长的上下文。

结果 3：跨嵌入迁移界限

作者建立了在无需重新训练的情况下，在一种嵌入空间上拟合的动力学模型如何迁移到另一种嵌入空间的条件。

近似交织： 如果两个嵌入空间共享由仿射变换描述的几何结构 $G^{(\theta_2)}_2(q) \approx T G^{(\theta_1)}_2(q) + r$ ，则迁移是可能的。
下界： 可迁移的可区分性 $\delta^2_{\theta_1 \to \theta_2}$ 由变换矩阵 $T$ 的最小奇异值和原始可区分性共同决定，并受到“交织缺陷”（重建误差 $\chi^2$ ）的惩罚。
启示： 这解释了为什么即使在没有重新训练的情况下，跨嵌入分类仍能表现得高于随机水平，前提是嵌入空间之间的几何畸变不是过于严重。它为“判别信息在嵌入后端发生剧烈变化后依然存在”这一令人惊讶的实证发现提供了理论基础。

意义与结论

本文通过动力系统理论的视角，为理解 LLM 响应分类提供了一个严谨的数学框架。其主要意义在于将分析重点从静态 Token 表示转向了在 Token 轨迹中涌现的动力学模式。

这项工作证明了：

动力学是必不可少的： 对于具有相似平稳分布但演化过程不同的机制，静态边缘分析是不充分的。
时间累积是强大的： 利用时间依赖性可以随着序列长度的增加实现误差的指数级降低。
迁移性是结构化的： 跨嵌入的泛化并非偶然，而是受嵌入空间几何兼容性（交织性）的支配。

通过建立这些保证，本文启发了进一步研究如何利用动力系统理论来分析 AI 系统，这与目前更常见的“使用 AI 来建模动力系统”的范式形成对比。作者指出了一些局限性，例如对线性 Koopman 近似和高斯噪声假设的依赖，并建议未来的工作可以将其扩展到非线性模型和重尾分布。