🤖 machine learning

Relational Rank Geometry in Transformers: Detecting and Steering Hidden-State Relation Frames

本文证明，Transformer 隐藏状态中的高阶关系结构可通过普吕克符号熵进行检测，并通过针对关系框架几何的定向干预加以有效调控，从而在不同规模的 Llama 模型中恢复正确的行为输出。

原作者： Mazen Kobrosly

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Mazen Kobrosly

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个大型语言模型（就像那些驱动聊天机器人的模型）是一座庞大而繁忙的城市。在这座城市里，信息流经被称为“隐藏状态”的街道。大多数研究人员通过研究单个建筑（神经元）、单个交通信号灯（注意力头）或特定道路（方向）来观察这座城市。他们问：“这栋特定的建筑是做什么的？”

本文提出了一个不同的问题：“几栋建筑之间的关系作为一个整体看起来是什么样子的？”

作者 Mazen Kobrosly 提出，当模型理解一种复杂关系（例如"A 之于 B 如同 C 之于 D"）时，它并非仅仅点亮几个随机的点。相反，涉及的词元（tokens，即单词）会在模型的内部空间中形成一个特定的、刚性的几何形状。本文将此称为"关系框架"（Relation Frame）。

以下是使用简单类比对该论文发现的分解说明：

1. “水管工的水平仪”（检测形状）

为了找到这些形状，作者发明了一种名为普吕克符号熵（Plücker Sign Entropy）的工具。

类比：想象你在三维空间中有一组三根漂浮的棍子。你可以将它们排列成一个金字塔。如果你交换棍子的顺序，金字塔可能会翻转过来或里外颠倒。这种“翻转”是方向（orientation）的变化（就像左手与右手）。
测试：作者观察那些应该相关的词组（例如，构成特定逻辑谜题的三个词）与那些仅仅是乱序的无意义词组。
发现：当模型处理正确的相关词时，它们会排列成非常一致、可预测的几何方向（就像一座建造完美的金字塔）。而当词组被打乱时，它们看起来就像一堆杂乱无章、没有一致形状的棍子。
结果：这种“几何特征”在不同规模的 Llama 模型（80 亿、700 亿和 4050 亿参数）中都被发现了。模型越大，这种形状就越清晰、越一致。

2. “魔法网格”（实验）

为了证明这种形状实际上导致模型正确思考，作者创建了一个名为边缘网格测试（Edge-Grid Assay）的游戏。

类比：想象一个有 8 行 8 列的电子表格。
- 清洁状态："YES"标记形成一条完美的对角线（第 1 行连接第 1 列，第 2 行连接第 2 列，以此类推）。模型正确地将其识别为“对角线模式”。
- 混乱状态："YES"标记被打乱，导致多行指向同一列。模型正确地将其识别为“重复模式”。
干预：作者拿起了“混乱”状态（模型在此状态下感到困惑），并试图“引导”它。他们不仅仅是轻推模型，而是试图物理重塑代表这些单词的内部“数据云”。

3. “黏土雕塑”（引导模型）

作者试图通过以不同方式移动其内部数据来修复“混乱”的模型。将数据想象成一团黏土。

尝试 A：移动中心（仅质心）：他们试图将整个黏土团推向“清洁”答案的方向。
- 结果：失败。模型仍然困惑。移动质心并没有修复逻辑。
尝试 B：添加噪声：他们在数据中添加了随机干扰。
- 结果：失败。模型仍然困惑。
尝试 C：重塑黏土团（仅形状）：他们让黏土团保持在同一位置，但重塑它，使其匹配“清洁”答案的几何形状。他们扭转和转动黏土，直到它看起来与“清洁”雕塑完全一样。
- 结果：成功！模型突然开始给出正确的答案。

关键洞察：重要的不是数据在哪里（位置），而是数据如何相对于自身排列（形状）。模型需要这种特定的几何“骨架”关系才能正常工作。

4. “蓝图转移”（跨提示成功）

作者测试了这种“清洁形状”是否是一种通用的修复方法。

他们从某个特定谜题中提取“清洁形状”，并将其应用于另一个具有相同结构但单词不同的谜题。
结果：奏效了！模型解决了新的谜题。
限制：这只有在“清洁形状”来自一个正确解决的示例时才有效。如果他们试图从一个被破坏的示例中转移“清洁形状”，则失败了。这证明模型不仅仅是在记忆特定的单词；它正在学习一种可移植的几何格式来代表“正确性”。

主张总结

该论文提出了三个具体的主张，仅此而已：

检测：我们可以使用一种名为普吕克符号熵的数学工具，检测模型是否将关系表示为特定的几何形状（关系框架）。
干预：我们可以通过手术式地重塑关系的内部几何“云”以匹配正确的示例，从而修复模型的推理错误，而无需更改单词。
特异性：之所以有效，是因为数据的形状，而不仅仅是其位置或大小。模型依赖这种特定的几何排列来获得正确答案。

该论文未声称的内容：

它不声称发现了人工智能的“灵魂”。
它不声称这适用于每一种类型的问题（它仅在特定的逻辑网格上进行了测试）。
它不声称已经绘制了模型构建这些形状的完整电路（它只观察了形状本身，而不是构建它的“机制”）。

简而言之，该论文表明，在大型人工智能的“黑盒”内部，关系具有独特的、可测量的三维形状，如果你能修复这种形状，你就能修复人工智能的答案。

技术摘要：Transformer 中的关系秩几何

问题陈述

当前的机制可解释性研究主要集中于局部或低阶对象，例如单个神经元、注意力头、稀疏特征或残差流中的线性方向。虽然这些工具在处理局部特征时行之有效，但它们留下了一个根本性的空白：无法充分描述多个 token 之间关系的几何结构作为一个统一对象。近期文献表明，概念可能形成弯曲流形，而关系绑定仍是前沿模型的系统性难题。本文提出，当模型表示多个 token 之间的关系时，该关系本身构成一个独特的几何对象——关系帧（relation frame），定义为参与 token 元组的隐藏状态配置。核心问题在于确定这些帧是否具有可测量的、按秩索引的取向结构，以及这种结构是否可被用于引导模型行为。

方法论

1. 诊断：普吕克符号熵（Plücker Sign Entropy）

为了检测关系的几何结构，本文引入了普吕克符号熵，这是一种源自普吕克坐标（行列式子式）的诊断统计量。

投影：使用高斯投影矩阵将隐藏状态投影到一个固定的低维子空间（维度 $p=64$ ）。
取向测量：对于 $k$ 个 token 的元组，该方法计算前 $k$ 个左奇异 token 嵌入中选定行子式的行列式符号。该符号记录了元组的取向（手性），同时丢弃了尺度信息。
熵计算：计算这些符号在真实关系元组集合、打乱元组（相同 token，绑定破坏）和随机对照中的熵。较低的符号熵表明更一致的取向特征。
秩假设：本文假设一个 $r$ 元关系将在普吕克秩 $k=r$ 处表现出最强的取向一致性（最低熵）。该诊断通过比较预期秩 $k=r$ 处的熵差与其他允许秩之间的“对角线裕度”来进行测量。

2. 干预：边缘网格清洁/破坏测试（Edge-Grid Clean/Corrupt Assay）

为了测试这些帧是否可操作，本文采用了一种使用 $8 \times 8$ 行/列 token 网格及 YES/NO 标记的边缘网格测试。

设置：提示共享相同的行/列支架和词汇表，但在 YES/NO 关系映射上有所不同（清洁：连贯的恒等映射；破坏：重复目标映射）。这创建了一个受控环境，其中关系状态发生变化，而表面结构保持不变。
引导路径：研究在特定的 YES/NO 标记 token 位置（第 5 层）修补隐藏状态，以将“破坏”的关系标记云移向“清洁”云。测试了多种干预家族：
- 基于形状：替换标记的相对排列（居中形状），同时保持质心固定。
- 基于质心：仅平移平均向量。
- 基于子空间：移动由云张成的格拉斯曼子空间。
- 对照：等范数噪声、随机旋转和错误位置修补。
读出：在读出层（70B/405B 模型为第 35 层）通过两个指标衡量恢复情况：
1. 行为恢复：答案 logits 向清洁答案的偏移。
2. 残差几何恢复：残差关系刀片向量（由行/列 token 的外积构建）向清洁几何的偏移。
3. 耦合恢复：确保行为和几何沿路径共同移动的指标。

主要贡献

按秩索引的诊断测试：本文证明，受控的 $r$ 元关系元组在 Llama 系列 8B、70B 和 405B 模型中，在预期普吕克秩 $k=r$ 处表现出更强的取向符号一致性。该信号在 405B 模型中最为均匀，并在多模板审计中持续存在，从而将其与表面级伪影区分开来。
能力门控的边缘网格测试：一种新颖的实验设计，将关系标记几何与周围的提示支架隔离，允许在不改变任务结构的情况下对关系状态进行精确干预。
关系帧的干预证据：研究表明，在能力充足的模型（70B 和 405B）中，引导关系标记云的形状（特别是有序的清洁状态几何）可以恢复清洁答案行为和残差关系几何。关键在于，仅质心平移和等范数噪声无法产生这种恢复，这表明结构化的形状（而不仅仅是均值或扰动幅度）是因果有效的对象。

结果

检测：在所有模型规模中，真实关系元组在预期秩处（仅参数为 $k=r$ ，谓词加参数为 $k=r+1$ ）显示出正的对角线裕度。405B 模型在所有测试的构造器和元数（ $r=3$ 到 $6$）中均显示出一致的正裕度，而 8B 和 70B 则显示出结构化但特定于构造器的变化。
引导：在 70B 和 405B 中，平滑的关系帧路径（线性标记、仅形状、格拉斯曼形状）实现了行为和残差几何的近完全终点恢复。
- 形状与质心：仅形状干预恢复行为的效果几乎与完整的质心加形状干预一样有效，而仅质心平移产生的恢复可忽略不计（ $\approx 0.002$ ）。
- 位置/顺序对照：打乱清洁形状的顺序或对其进行反射会消除恢复，证实了有序几何的重要性。清洁形状的跨提示转移成功，但转移破坏形状或将清洁增量应用于错误位置则失败。
- 普吕克读出：成功的干预也将边缘标记的普吕克读出（行列式符号结构）恢复至清洁状态，从而连接了研究的诊断和干预两部分。
局限性：8B 模型被确定为能力边界；它缺乏作为引导主张基准的基线行为能力，尽管观察到了一些几何移动。跨提示转移结果特定于提示库中使用的恒等映射清洁状态，尚未证明可跨任意关系内容转移。

意义与主张

本文声称建立了一个从关系探测到关系帧干预的状态级桥梁。它论证了关系秩几何既可通过行列式符号统计量检测，也可通过恢复关系依赖行为的隐藏状态干预进行靶向。

其意义在于将分析单位从孤立特征或线性方向转变为有限、有序的 token 隐藏状态配置。结果表明，对于高阶关系，模型利用了一个几何对象（关系帧），其结构化形状是正确行为的主要驱动因素。这为机制可解释性提供了一个具体的、关系级的抓手，与电路级或特征级对象不同但互补。本文明确指出，它并未声称已定位完整的前向/后向电路，而是识别出了一个可测量且可引导的状态对象，该对象介导了关系行为。