Laguerre Geometry for Interpreting Large Language Models

技术摘要：用于解释大语言模型的拉盖尔几何（Laguerre Geometry）

问题陈述
尽管大语言模型（LLMs）内部的原子计算具有本体论上的清晰性，但这些计算如何聚合成涌现智能的认识论机制仍然是不透明的。一个核心谜团在于语义概念在 LLM 表示空间中的组织方式。现有的方法主要基于线性表示假设（LRH），通常将概念定义为单个点、线性方向或高斯簇。然而，在这些框架下，仍有四个基本问题尚未解决：(I) 概念的精确定义是什么？(II) 它在哪个表示空间中进行编码？(III) 承载它的具体几何结构是什么？以及 (IV) 为什么假设线性，以及这种假设在多大程度上成立？此外，现有的可解释性工具（如 Logit Lens、Tuned Lens）通常依赖于启发式解码或需要训练，缺乏关于中间层隐藏向量“含义”的有原则的基准真相（ground truth）。

方法论
作者提出了一种基于**拉盖尔几何（Laguerre Geometry）**的几何框架，旨在统一低层几何分解与高层语义组织。该方法通过三个主要阶段进行：

1. 将 Unembedding 层视为拉盖尔-沃罗诺伊图（Laguerre-Voronoi Diagram, LVD）：
   本文建立了一个结论：LLM 的最终线性投影层（unembedding 层），由权重 $W$ 和偏置 $b$ 参数化，自然地将表示空间 $\mathbb{R}^d$ 划分为一个拉盖尔-沃罗诺伊图（也称为幂图/Power Diagram）。

   • 概念定义： 概念被重新定义不再是一个向量，而是一个特定的拉盖尔-沃罗诺伊单元 $\omega_j$，其特征由中心 $c_j$ 和权重 $\nu_j$ 表征。一个类别被定义为多个此类单元的并集。
   • 几何属性： 这种公式化允许对概念和类别之间的线性可分性进行严格定义。至关重要的是，它引入了一个源自拉盖尔权重和中心的支配分数（Domination Score），从而能够检测层次关系（例如，下位词/上位词关系，如“狗” $\subset$ “哺乳动物” $\subset$ “动物”），这类关系在仅使用向量距离时难以检测。

2. Transformer 层的分解：
   作者将这一几何视角扩展到中间 Transformer 块。通过将网络分解为分段线性算子（MLP 块）并分析注意力机制，他们证明了输入空间被划分为分段线性区域。

   • 单输入 vs. 多输入： 对于单输入 token，轨迹遵循一个静态的分段线性流树。对于多输入，交叉注意力机制充当动态传输项，当注意力触发时，使隐藏轨迹在不同的树（区域）之间进行“跳跃”。
   • 区域对应关系： 每个线性层中的每个区域都被分配一个语义标签，该标签对应于如果该向量在不再受进一步上下文干扰的情况下通过剩余网络传播时，最终会到达的拉盖尔单元。

3. 几何透镜（Geometric Lens）与拉盖尔自动编码器（Laguerre Autoencoder）：

   • 几何透镜： 一种无需训练、无需超参数的解码隐藏向量的方法。它通过强制自注意力权重为 1（消除跨 token 更新）并将向量在剩余的分段线性网络中传播，从而将隐藏向量 $h^{(\ell)}_i$ 从后续的上下文效应中分离出来，进而识别其最终的拉盖尔单元。
   • 拉盖尔自动编码器 (LAE)： 一种 2D 可视化工具，用于联合渲染隐藏表示及其对应的 LVD 区域。它通过结合重构误差和一个确保重构点落在与原始点相同的拉盖尔单元内的项来训练，从而保持决策几何结构。

核心贡献

• 重新定义概念： 本文超越了基于点或基于方向的定义，将概念定义为由 unembedding 层诱导的凸多面体区域（拉盖尔-沃罗诺伊单元）。
• 层次发现： 它证明了拉盖尔权重能自然地编码概念层次和包含关系，从而能够在没有预定义属性集的情况下，无监督地发现下位词和上位词。
• 几何透镜： 一种全新的、无需训练的可解释性工具，通过追踪隐藏向量在其内在分段线性划分中的路径，揭示该向量在任何层级所编码的确切概念。
• 可视化： 拉盖尔自动编码器提供了一个统一的 2D 视图，展示了模型的决策几何结构和 token 表示的轨迹。

实验结果
作者通过以下实验验证了其框架：

• 线性可分性： 在比较“动物 vs. 植物”和“事件 vs. 认知”的线性探测任务中，拉盖尔几何（使用 LVD 提升后的点）在多个模型（Phi-2, Gemma-2, Pythia）上实现了比类别几何（白化向量）和格几何（Lattice Geometry）更低的错误率。
• 层次检测： 所提出的支配分数成功识别了层次关系（例如，“狗”属于“动物”），在 Phi-2 和 Pythia-70M 上，其准确率显著优于格几何和随机基准。
• 轨迹分析： 对提示词“The capital of France is”的可视化显示，几何透镜相比于 Logit Lens 和 Patchscopes，追踪到了更复杂且更多样的表示空间路径。它捕捉到了模型的内部精炼过程，即语法不正确但事实正确的 token（例如“_Paris”）出现在中间层，随后模型才稳定在语法正确的 token（“Paris”）上。
• 上下文干扰： 在旨在诱导干扰的提示词（例如在虚构语境中交换城市名称）中，几何透镜展示了卓越的鲁棒性。通过检查中间层（特别是第 20 层）的 token 排名，几何透镜比 Logit Lens 或 Patchscopes 更频繁地恢复出事实正确的 token，这表明它揭示了模型在被最终层干扰覆盖之前的真实推理过程。

意义与主张
本文声称为线性表示假设提供了一个严谨的几何基础，将其从一个非正式的假设转变为模型分段线性结构的严格定义属性。通过确立概念是区域而非点，作者认为该框架为隐藏表示提供了一个有原则的基准真相，消除了对启发式解码或外部训练的需求。

其意义在于将可解释性从“解释性几何”（描述静态结构）转向“可操作的可解释性”。几何透镜允许研究人员读取隐藏向量所编码的确切概念，并且正如实验所示，即使模型的最终输出受到上下文干扰而损坏，它也能恢复事实真相。作者将这项工作定位为理解高层智能如何从底层几何划分中涌现的基础性步骤，并计划未来将该框架扩展到因果干预和行为引导。