🤖 machine learning

A Geometric Perspective on Next-Token Prediction in Large Language Models: Three Emerging Phases

本研究通过将表征透镜重新用作几何诊断工具，以追踪跨层预测读出子空间的演变，揭示了大型语言模型通过三个不同的几何阶段处理下一个词元预测——即“种子复用”、“提升覆盖”和“焦点汇聚”——其中模型深度的增加主要增强了候选项的消歧能力，而非扩展表征容量。

原作者： Gianfranco Lombardo, Giuseppe Trimigno, Stefano Cagnoni

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Gianfranco Lombardo, Giuseppe Trimigno, Stefano Cagnoni

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个大型语言模型（LLM）是一座巨大的多层工厂，一条信息（一个词）从底层一路传送到顶层。在每一层，一组工人在将包裹向上递送之前，都会往里面添加一点新信息。这篇论文解决的核心谜题是：工厂如何决定下一个输出哪个词，以及这个决定究竟发生在哪里？

作者们不仅询问模型在每一层“预测了什么”，他们还探究了预测结果在工厂机器内部的“位置”以及它是如何随着层级上升而移动的。

以下是他们发现的故事，被拆解为简单的概念和类比。

工具：“表征透镜”

通常，如果你窥视工厂的中间楼层，工人们似乎很困惑。他们手中握着一团混乱的可能性，如果你试图根据他们手中的东西来猜测最终的词，你会猜错。这是因为工人们以“叠加态”持有信息——就像魔术师手里拿着一副面朝下的扑克牌，所有牌都混在一起。

研究人员使用了一种名为表征透镜的特殊工具。你可以把它想象成一副魔法眼镜，能够旋转并聚焦工人的视野。这副透镜不再只是盯着那堆杂乱的牌，而是找到了一个特定的角度，让“获胜的牌”（正确的下一个词）变得可见，即使它被其他牌埋在下面。

发现：三幕剧

通过利用这些眼镜追踪“获胜的牌”如何在工厂中移动，作者们发现这一过程并非随机。它遵循一种严格的、三阶段的几何舞蹈，在他们测试的几乎每一个模型中都会发生（从 10 亿参数的小模型到 320 亿参数的大模型）。

第一阶段：“种子多路复用”（人群聚集）

发生什么： 当信息进入工厂时，工人们开始同时抛出许多可能的下一个词。他们还没有选出获胜者。
类比： 想象一个拥挤的房间，每个人都在喊出不同的想法。房间里充满了噪音，但“正确”的想法已经存在，只是混杂在数百个其他想法之中。
几何特征： 工厂正在扩展其“秩”（即容纳多种不同想法的能力）。正确的词已经存在，但它只是合唱团中的一个声音。魔法透镜可以看到它，但它还不是最响亮的声音。

第二阶段：“提升覆盖”（静默过滤器）

发生什么： 这是旅程中最长的部分（约占工厂高度的 60%）。工人们停止添加新类型的想法。相反，他们开始悄悄调低错误想法的音量，同时调高正确想法的音量。
类比： 想象控制室里的一位音响工程师。他们并没有引入新的歌手，而只是慢慢淡出背景噪音，并提升主唱的声音。主唱仍然被人群包围，但正逐渐成为清晰的焦点。
几何特征： “秩”（活跃想法的数量）保持稳定。工人们的操作非常精确，进行着微小、几乎不可见的调整，这些调整不会改变房间的形状，但确实改变了谁被听到。这就是模型进行繁重工作的地方：消歧（确定众多候选项中哪一个是真正正确的）。

第三阶段：“焦点汇聚”（聚光灯）

发生什么： 在最后阶段，工厂做出一个巨大而果断的动作。它将所有能量倾泻到一个单一方向上。
类比： 音响工程师突然切断了房间里其他人的电源。聚光灯瞬间锁定在主唱身上。人群安静下来，歌手现在成了唯一重要的事情。
几何特征： 工人们不再温和。他们做出巨大而有力的更新，这些更新与最终输出方向完美对齐。“秩”缩小了，因为他们将所有能量集中在唯一的获胜者身上。魔法透镜现在可以清晰地看到答案，无需任何帮助。

核心结论：更大的模型 = 更好的过滤器，而非更好的启动者

最惊人的发现是关于模型规模如何影响这一过程。

作者们发现，当你把工厂建得更大（增加更多楼层/层）时：

第一阶段（人群） 的大小大致保持不变。
第三阶段（聚光灯） 的大小大致保持不变。
第二阶段（静默过滤器） 变得长得多。

隐喻： 如果你有一个小工厂，“过滤”房间很小。如果你有一个巨大的工厂，“过滤”房间就非常大。

这意味着，当我们构建更大、更智能的 AI 模型时，我们并不一定是在让它们更擅长开始拥有正确的想法或完成工作。我们是在给它们一个更大、更详细的房间，用来梳理混乱，并找出众多可能性中哪一个是正确的。大模型的额外能力主要用于候选项消歧——将一堆杂乱的“可能是这个，可能是那个”转化为一个单一的、自信的“是”。

总结

这篇论文揭示，下一个词元的预测并非在结束时突然闪现的顿悟。它是一个几何旅程：

种子： 将所有东西扔进混合体中。
提升： 悄悄过滤掉噪音（这就是模型变大的地方）。
汇聚： 以高能量锁定获胜者。

大型语言模型的“魔力”在于中间阶段，在那里，它们拥有足够的空间和时间，仔细地将信号与噪音分离开来。

技术摘要：大语言模型中下一词预测的几何视角

问题陈述

理解大语言模型（LLM）如何在其深度中处理和精炼预测信息，仍是机械可解释性领域的核心挑战。尽管 Transformer 架构对共享的残差流应用加法更新，但下一词预测所需信息的几何演化尚不明确。标准的探测方法（如 LogitLens）存在“表征漂移”问题，即中间状态与最终的解嵌入基未对齐，导致它们对早期层中存在的预测信号“视而不见”。此外，叠加原理表明，预测特征可能存在于重叠的方向中，隐藏在高维残差流内。本文探讨的问题是：预测信息驻留在残差流的何处，其几何结构如何随着在网络深度的传播而演化？

方法论

作者提出了一种框架，将表征透镜（learned affine maps，即从中间残差流预测下一个词的仿射映射）重新用作几何诊断工具，而不仅仅是解码机制。

表征透镜：遵循 TunedLens 方法，作者训练每层的仿射校正 $(A_\ell, b_\ell)$ ，通过 KL 蒸馏将中间表征与最终输出分布对齐。
预测读出子空间：作者不对完整的校正矩阵进行分析，而是对校正矩阵 $A_\ell$ 进行奇异值分解（SVD）。他们将预测读出子空间 $S^{(k)}_\ell$ 定义为由前 $k$ 个右奇异向量张成的 $k$ 维子空间。该子空间代表了残差流中预测信息集中的主导方向。
格拉斯曼流形轨迹：子空间序列 $\{S^{(k)}_\ell\}_{\ell=1}^L$ 被视为格拉斯曼流形 $Gr(k, d)$ 上的一条轨迹。该轨迹的演化使用**读出子空间相似度（RSS）**进行量化，定义为连续子空间之间主角余弦的平均值。
分辨率分析：作者改变分辨率参数 $k$ （从隐藏维度 $d$ 的 1% 到 50%），以追踪可见性（层间几何可区分性）与能量保留（谱保真度）之间的帕累托前沿。他们确定了一个中间区间（ $k \in \{5\%, 10\%, 15\%\}$ ），在此区间内这些指标达到平衡。
相检测：RSS 曲线呈现单峰形状（上升、平台、下降）。作者在平滑后的曲线上使用两阶段 Kneedle 准则，检测到两个断点（ $\hat{b}_1, \hat{b}_2$ ），将网络深度划分为三个截然不同的几何阶段。
实验设置：该框架应用于来自两个模型族（QWEN2.5 和 OLMO2）的八个模型，参数量从 1B 到 32B 不等，在 SlimPajama 数据集上训练。指标包括隐藏状态的有效秩、更新正交性（ $|\cos(\Delta_\ell, h_{\ell-1})|$ ）以及 FFN 与 MHA 更新范数的比率。

主要贡献

本文做出了两项主要贡献：

用于深度分析的几何框架：一种追踪预测信息在格拉斯曼流形上轨迹的方法，揭示了预测信息从最早层就已存在，但隐藏在叠加态中，需要低维投影才能解码。
三种涌现几何相的识别：分析揭示了自回归模型前向传播中一致的三分结构，其特征在于关于秩、更新正交性和子空间稳定性的不同几何行为。

结果与相的特征

在所有模型和规模中，相似度曲线均遵循单峰分布，定义了三个阶段：

第一阶段：种子复用 (Seeding Multiplexing)

几何行为：预测子空间重新定向并稳定（RSS 上升）。隐藏状态的有效秩增加，在该阶段末尾附近达到峰值。
更新：更新大致与残差流正交。在 QWEN2.5 中，FFN 贡献占主导；在 OLMO2 中，贡献更为平衡。
预测状态：最终 token 出现在顶级候选者中（Hit@1 $\approx$ 20-33%），但并非主导。LogitLens 仍然无效，表明信号处于叠加状态。
扩展性：该阶段的持续时间随模型深度微弱扩展（斜率 $\le$ 0.26），表明种子候选者的成本是固定的。

第二阶段：提升覆盖 (Hoisting Overriding)

几何行为：预测子空间保持高度稳定（RSS 接近平台期）。隐藏状态的有效秩趋于稳定。
更新：更新与残差流达到最大正交性（ $|\cos(\Delta_\ell, h_{\ell-1})|$ 最低）。更新的秩在该阶段达到峰值。
预测状态：候选分布逐渐集中（Hit@1 上升至 $\approx$ 56%，Hit@5/Hit@1 比率下降）。LogitLens 保持低位，意味着消歧发生在子空间内部，而无需与最终基显式对齐。
扩展性：该阶段随模型深度线性扩展（斜率 $\approx$ 0.6–1.0），表明额外的模型容量主要被用于候选消歧。

第三阶段：焦点收敛 (Focal Convergence)

几何行为：预测子空间急剧重新定向至解嵌入方向（RSS 下降）。更新的有效秩降低，集中在更少的方向上。
更新：更新与残差流高度对齐（ $|\cos(\Delta_\ell, h_{\ell-1})|$ 最高）。更新范数急剧增长（高达 10 倍），且 FFN 贡献在所有模型族中均占主导。
预测状态：候选分布坍缩为单一主导预测。LogitLens 性能显著提升（Hit@1 $\approx$ 30-50%），表明最终 token 现在可直接读取。
扩展性：该阶段的宽度大致保持恒定，或随深度极微弱地扩展。

意义与主张

本文主张，更深层次 LLM 的额外容量主要用于候选消歧（第二阶段），而非用于候选者的初始种子生成（第一阶段）或最终收敛（第三阶段）。这表明，深层 Transformer 中下一词预测的核心计算负担在于解决稳定几何子空间内的叠加表征。

这些发现与 Transformer 动力学的平均场理论（如 Bruno 等人）一致，但具有独特的扩展性，将“对齐”、“热”和“配对”阶段映射到观察到的几何演进中。该工作确立了预测信息并非在网络后期生成，而是早期即存在，隐藏在叠加态中，并通过正交更新和子空间集中的过程进行几何精炼。

局限性：作者指出，分析仅限于具有标准残差连接的稠密、仅解码器架构。解释基于相关性证据，建议未来的工作包括因果干预（如激活修补），以提供更强的机械基础。