💬 NLP

How Context Shapes Truth: Geometric Transformations of Statement-level Truth Representations in LLMs

本文提供了关于上下文如何转换大型语言模型中真值向量的首次几何特征描述，揭示了上下文通常会放大真值表示的幅度，而较大的模型主要通过激活空间中的方向变化而非幅度差异来区分相关上下文与冲突上下文。

原作者： Shivam Adarsh, Maria Maistro, Christina Lioma

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Shivam Adarsh, Maria Maistro, Christina Lioma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

把大型语言模型（LLM）想象成一座巨大的、多层结构的图书馆，每一本书都代表着一个不同的想法或信息片段。在这座图书馆内部，关于一个陈述的“真相”并不是用文字书写的；它是以一个指向特定方向的特定箭头的形式存储的。

如果模型认为一个陈述是真的，箭头就会向一个方向指向；如果它认为是假的，箭头则指向另一个方向。你分享的论文研究了当我们给模型提供一段额外的信息（上下文）作为阅读内容后再进行回答时，这些“真相箭头”会发生什么变化。

以下是使用简单类比对他们研究结果的解读：

1. 箭头的三阶段旅程

研究人员观察了这些真相箭头在穿过图书馆不同“楼层”（层/layers）时的移动情况。他们发现了一个一致的三阶段模式：

地下室（早期层）： 当模型刚开始阅读该陈述时，带有上下文的“真相箭头”与不带上下文的“真相箭头”指向完全不同的方向。它们就像两个背对背站立的人；它们是正交的（呈 90 度角）。此时模型只是在处理原始词汇，额外的上下文尚未让真相变得明朗。
大厅（中间层）： 随着信息向上移动，箭头突然开始对齐。它们趋于汇聚，指向几乎相同的方向。这是模型真正“理解”的过程。它已经处理了含义，无论是否有额外的上下文，核心思想的“真相”现在都以相似的方式被呈现出来。
阁楼（后期层）： 在最后的几层，情况变得有趣了。有时箭头会保持完美对齐；有时它们又会再次分离。这种情况主要发生在额外的上下文与模型从训练中已有的“知识”相矛盾时。这就像模型正在进行一场内部辩论，由于它试图决定信任哪种信息，导致箭头发生摇晃或改变方向。

2. 提高音量（模长/幅度）

研究人员还测量了这些箭头的长度。

研究发现： 当你加入上下文时，箭头通常会变得更长。
类比： 想象一下，一个真实陈述与一个虚假陈述的区别，就像房间里两个人的距离。没有上下文时，他们可能站得 5 英尺远；加入上下文后，模型将他们推得更远，也许到了 10 英尺。这种“分离感”让真与假变得更加清晰和易于辨别。上下文就像一束聚光灯，让对错之分变得更加鲜明。

3. 大模型 vs 小模型：不同的策略

论文发现，大模型和小模型处理这种“额外信息”的方式不同，就像两种不同类型的导航员：

大模型（如 LLaMA, Mistral）： 这些模型像是拥有巨幅地图的专家制图师。当它们获得相关的上下文时，它们会改变箭头的方向。它们会物理性地转向，面向一个全新的、更准确的角度。它们利用大脑中更广阔的空间指向一个全新的方向，以展示它们对细微差别的理解。
小模型（如 Qwen, SmolLM）： 这些模型的地图较小。它们无法总是承担转向新方向的代价，以免撞到其他想法。相反，它们保持箭头大致指向不变，但会让箭头变得更长。它们通过“放大”信号（使箭头变长）而非改变角度来传达它们理解了上下文。

4. 有益的上下文 vs 随机噪声

研究人员测试了当上下文确实有用与当它只是随机乱码（例如一串随机单词或打乱的段落）时，模型会发生什么反应。

结果： 有关、有用的上下文比随机噪声引起的模型“真相箭头”反应要剧烈得多。
例外情况： 如果上下文是矛盾的（告诉模型一些与其训练内容相悖的事实），它会引起最大的几何偏移。这就像模型受到了冲击；箭头会剧烈摆动，因为它必须调和两种对立的事实。
法律文本问题： 有趣的是，当上下文是非常复杂、专业的技术性法律文本时，模型很难将其与随机噪声区分开来。箭头的移动并不明显。这似乎表明，当语言过于密集且专业时，模型无法分辨出一个有用的线索与一个随机句子之间的区别。

总结

简而言之，这篇论文表明，当 LLM 阅读带有额外上下文的陈述时，它不仅仅是在“阅读”文字；它在物理上重塑了其内部思维的几何结构。

初期，想法是混乱的，指向四处。
中期，它们对齐以寻找真相。
后期， “真相箭头”会变长（更自信）或改变方向（如果上下文很棘手）。
大模型 通过改变箭头的方向来展示理解；小模型 则通过改变箭头的长度来展示理解。

这有助于我们理解，AI 中的“真相”不是一个静态的开关；它是一个动态的形状，会根据 AI 正在阅读的内容而发生变化。

技术摘要：上下文如何塑造真理

问题陈述

尽管先前的研究已经证实，大型语言模型（LLMs）将陈述的真实性编码为残差流激活中的线性方向（向量），但这些“真理向量”在引入上下文信息时其几何演化过程仍有待探索。现有研究表明，真理可以在激活空间中与谬误分离，且探针可以跨设置进行泛化，但它们并未刻画这些表示的几何特性——特别是其方向和模长——在模型处理带有上下文的陈述时是如何发生变换的。这一空白对于理解 LLM 如何整合外部信息至关重要，特别是在检索增强生成（RAG）和上下文学习场景中。

研究方法

作者提出了一个衡量由上下文诱导的真理向量几何变换的框架。实验设置涉及四种指令微调后的 LLM（LLaMA-3.1-8B、Mistral-Nemo-12B、Qwen3-4B 和 SmolLM3-3B）以及涵盖多样化领域的四个数据集（事实核查、法律、电影梗概和合成知识冲突）。

核心流程：

提示词构建： 对于每个陈述，通过改变 [选定选项]（支持或反驳该陈述）以及是否存在 [上下文] 来生成四种提示词。模型被指示生成以特定标记（例如，")"）开头的补全内容，以确保比较的公平性。
向量提取： 从残差流激活（MLP 后）在第一个生成标记的位置提取真理向量。对于第 $l$ 层的陈述 $k$ ，无上下文下的真理向量（ $v_{k,nc}^{(l)}$ ）和有上下文下的真理向量（ $v_{k,c}^{(l)}$ ）定义为真（True）与假（False）补全激活之间的差异：
$v_{k,nc}^{(l)} = a_{k,True, nc}^{(l)} - a_{k,False, nc}^{(l)}$
$v_{k,c}^{(l)} = a_{k,True, c}^{(l)} - a_{k,False, c}^{(l)}$
几何度量指标： 使用两个属性来量化变化：
- 方向变化 ( $\theta$ )： 有上下文与无上下文真理向量之间的夹角，通过余弦相似度计算。
- 相对模长： 有上下文真理向量的 L2 范数与无上下文真理向量范数的比值（ $||v_{k,c}^{(l)}||_2 / ||v_{k,nc}^{(l)}||_2$ ）。数值 $>1$ 表示真理与谬误表示之间的分离程度得到了放大。
  研究还对比了相关上下文与五种类型的随机/无关上下文（随机字符、随机单词、不连贯句子、随机维基百科文本以及打乱的数据集上下文），以评估对相关性的敏感度。

关键结果

1. 方向变化的三个阶段模式

在所有模型和数据集中，方向变化 ( $\theta$ ) 在不同层级间遵循一致的三阶段模式：

第一阶段（早期层）： 有上下文与无上下文的真理向量大致正交（高 $\theta$ ），表明在早期处理阶段存在截然不同的表示。
第二阶段（中间层）： 向量剧烈收敛，达到最小 $\theta$ 。这与中间层在语义编码和知识检索中的已知作用相吻合。值得注意的是， $\theta$ 从未达到零，表明上下文始终会留下独特的几何特征。
第三阶段（后期层）： 行为表现各异。对于某些数据集，向量趋于稳定。而对于其他数据集（特别是当上下文与参数化知识冲突时，如 ConflictQA-Counter）， $\theta$ 会再次增加，表明在更深的层级中仍在持续处理冲突信号。

2. 真理分离的放大效应

添加上下文通常会增加真理向量的相对模长（数值 $>1$ ）。这表明上下文放大了真理与谬误表示在激活空间中的分离程度。这种效应在中间层最为显著，此时相对模长往往在进入后期层之前达到峰值。

3. 模型规模与敏感性机制

大型模型与小型模型在如何编码上下文相关性方面存在显著差异：

大型模型 (LLaMA, Mistral)： 主要通过方向变化 ( $\theta$ ) 来区分相关上下文与无关上下文。相关上下文会诱导出显著高于随机上下文的方向偏移。
小型模型 (Qwen, SmolLM)： 主要通过模长缩放来区分相关上下文与无关上下文。虽然其方向变化通常微乎其微或为负值，但相关上下文对应的真理向量相对模长显著更高。作者假设这是由于低维空间中的表示容量限制，使得模长成为比独特方向更可行的编码策略。

4. 知识冲突的影响

与参数化知识相符的上下文（ConflictQA-Counter）产生的几何变化（更高的 $\theta$ 和模长）比与参数化知识一致的上下文更大。这表明冲突的信息会触发更强、更持久的几何偏移，可能反映了记忆路径与上下文路径之间的竞争。

5. 领域特定性

在复杂的领域特定数据集（如 LegalBench 中的 Corporate Lobbying）中，模型往往无法在相关上下文与随机上下文之间显示出显著的几何差异。这与较低的 Flesch 可读性得分相关，表明高度专业化的语言可能会压倒模型提取能够区分相关性的有效几何信号的能力。

重要性与主张

本文声称提供了关于上下文如何变换 LLM 中真理表示的首个几何特征描述。其发现为理解内部上下文处理提供了一个理论视角，并具有以下实际意义：

RAG 系统： 层级 $\theta$ 值可作为诊断信号，用于检测模型何时未能整合检索到的上下文（缺乏中间层收敛）或何时存在知识冲突（异常的后期层发散）。
引导小型模型： 发现小型模型依赖模长而非方向的结论表明，针对这些模型的激活引导技术应侧重于模长缩放，而非纯粹的方向干预。

作者保持了审慎的态度，指出虽然这些几何变化是显著的，但它们并不总是线性地转化为输出概率的变化。他们也承认了局限性，包括对第一个标记的关注、仅使用英文数据集，以及所研究的特定指令微调模型的性质。