Probing the Lack of Stable Internal Beliefs in LLMs

这是一份关于论文《Probing the Lack of Stable Internal Beliefs in LLMs》（探测大语言模型中缺乏稳定内部信念的问题）的详细技术总结。

1. 研究背景与问题定义 (Problem)

核心问题：
尽管大语言模型（LLMs）在模拟人类人格和交互行为方面表现出色，但它们缺乏稳定的内部信念（Stable Internal Beliefs）。现有的研究多关注“外部一致性”（External Consistency，即事实连贯性、逻辑不自相矛盾），但忽视了“内部一致性”（Internal Consistency），即模型在多轮对话中能否在没有显式提醒的情况下，持续坚持一个未声明的目标。

关键概念：隐式一致性 (Implicit Consistency)
作者提出了“隐式一致性”的概念，定义为模型在多轮交互中持续坚持一个未声明目标的能力。

• 外部不一致 (External Inconsistency)： 模型的回答与之前的陈述在逻辑上直接矛盾（用户可观测）。
• 隐式不一致 (Implicit Inconsistency)： 模型在表面上回答逻辑自洽（没有直接矛盾），但其**内部信念状态（Internal Belief State）**发生了漂移，即暗中改变了最初选定的目标实体，而用户无法察觉，直到最后揭晓。

研究假设：
当前的 LLM 在缺乏显式上下文提示的情况下，难以维持隐式目标，导致在多轮对话中频繁发生“目标漂移”（Goal Drift）。

---

2. 方法论 (Methodology)

为了探测这种隐式不一致性，作者设计了一套基于**“20 个问题”猜谜游戏**的评估框架。

2.1 任务设置

• 角色设定：
  • 提议者 (Proposer)： 秘密从候选集中选择一个目标（Target），并在整个对话中坚持该目标。
  • 猜测者 (Guesser)： 提出“是/否”问题以缩小范围并猜测目标。
• 任务类型：
  1. 数字猜谜 (Number Guessing)： 从 0-99 中猜数字（低语义复杂度，用于隔离一致性现象）。
  2. 实体猜谜 (Entity Guessing)： 从 10 个不同类别的实体（如“埃菲尔铁塔”、“熊猫”等）中猜实体（高语义复杂度，模拟真实场景）。
• 实验模式： 采用模型对模型（Model-Model）的对话，确保实验条件的可控性和可扩展性。

2.2 探测技术 (Probing Technique)

这是该论文的核心创新点。为了在不干扰主对话的情况下测量模型的内部信念，作者设计了分支探测机制 (Branch-based Probing)：

1. 索引映射： 将每个候选实体映射为 0-9 的单 Token 索引。
2. 隔离探测： 在主对话的每一轮（Turn）之后，创建一个隔离的上下文副本，包含完整的对话历史。
3. 探针提问： 向模型发送特定的探测指令：“你选择的目标索引是多少？(What is the specific target's index you selected?)"
4. 信念状态提取： 通过模型对索引 0-9 的概率分布，量化其当前的内部信念状态 $b_i$。

2.3 评估指标

作者定义了三个互补的指标来量化隐式一致性：

1. 漂移率 (Drift Rate, D.R.)： 统计对话过程中目标索引发生离散变化的频率（$\frac{\text{变化次数}}{T}$）。
2. KL 散度 (KL Divergence)： 计算相邻轮次之间信念概率分布的 KL 散度 ($D_{KL}(P_t || P_{t-1})$)，量化信念状态的连续漂移程度。
3. 外部一致性验证 (E.C.V.)： 使用 LLM-as-a-Judge 检查对话中是否存在逻辑矛盾（表面一致性）。

2.4 训练框架 (Training Framework)

为了验证缓解方法，作者对 Qwen-2.5-14B 进行了监督微调 (SFT)：

• 损失函数设计： $L = \sum [\alpha \cdot D_{KL}(P_{probe}^t || P_{initial}) + \beta \cdot L_{CE}]$
  • $P_{initial}$：第一轮探测时的初始信念分布。
  • $P_{probe}^t$：第 $t$ 轮探测时的信念分布。
  • 目标是最小化 KL 散度，强制模型在后续轮次中保持与初始目标一致。

---

3. 主要实验结果 (Key Results)

3.1 提示工程 (Prompting) 结果

对多个主流模型（GPT-4o, Seed-1.6, Deepseek-v3.1, Claude-3.7-Sonnet 等）的评估显示：

• 普遍缺乏隐式一致性： 几乎所有模型都表现出严重的目标漂移。
• 漂移率极高： 大多数模型的“单次漂移率”（Once Drift Rate，即至少发生一次漂移的对话比例）达到 100%。
• 具体数据：
  • 在数字猜谜任务中，GPT-4o 的漂移率为 43.36%，Claude-3.7-Sonnet 甚至达到 100%。
  • 在实体猜谜任务中，Deepseek-v3.1 的漂移率高达 37.68%。
• 推理模型的悖论： 引入推理能力（Reasoning）的模型变体在简单任务（如数字猜谜）中，漂移率反而更高（例如 Deepseek-v3.1+Reasoning 从 38.46% 升至 54.25%）。作者推测这是因为推理过程引入了不必要的复杂性，导致“过度思考”从而破坏了目标稳定性。
• 外部 vs 内部： 推理模型在某些情况下提高了外部一致性（减少了逻辑矛盾），但这并未改善内部的隐式目标稳定性。

3.2 微调 (Supervised Fine-Tuning) 结果

对 Qwen-2.5-14B 的微调实验表明：

• 仅使用交叉熵损失 (CE-only)： 无法有效缓解隐式不一致，甚至可能降低外部一致性。
• 仅使用 KL 散度正则化 (KL-only)： 显著改善了目标持久性。漂移率从 36.83% 降至 13.99%，KL 散度大幅降低。
• 组合损失 (CE + KL)： 取得了平衡效果，证明了 KL 散度正则化是锚定隐式目标的有效手段。

---

4. 主要贡献 (Key Contributions)

1. 概念形式化： 首次明确定义并形式化了“隐式一致性”（Implicit Consistency），将其与传统的“外部一致性”区分开来，并建立了数学定义和诊断框架。
2. 统一探测方法： 开发了一种基于数值索引的分支探测框架，能够连续监控不同任务和架构下 LLM 的内部信念状态，揭示了 SOTA 模型中普遍存在的目标漂移现象。
3. 缓解方案验证： 证明了通过显式训练（利用 KL 散度正则化）可以有效减少隐式不一致性，为构建更可靠的人格驱动模型提供了一条可行的技术路径。
4. 发现推理模型的局限性： 揭示了推理增强模型在简单任务中可能因过度思考而加剧目标漂移的有趣现象。

---

5. 意义与未来展望 (Significance & Future Work)

学术与工程意义：

• 重新定义可靠性： 指出仅关注表面行为的一致性（External Consistency）不足以构建真正可靠的 AI 人格。一个在对话中暗中改变目标的模型，无论表面回答多么逻辑自洽，都无法模拟真实人类的“坚定”或“可靠”特质。
• 人格建模的瓶颈： 揭示了当前 LLM 在模拟人类长期意图和记忆方面的根本性缺陷，即缺乏锚定隐式目标的内部机制。
• 训练方向转变： 强调了未来模型训练不能仅关注对话流畅度或逻辑正确性，必须引入针对内部状态稳定性的正则化机制。

未来工作方向：

• 架构创新： 探索显式的信念状态追踪机制（Explicit Belief State Tracking）或更先进的记忆架构。
• 扩展任务： 将探测框架扩展到更复杂的现实世界对话场景。
• 规模化研究： 研究不同参数量级模型在隐式一致性上的表现差异。

总结：
这篇论文通过巧妙的“20 个问题”探测实验，揭示了当前大语言模型在“内心戏”层面的脆弱性——它们很难在漫长的对话中“不忘初心”。这一发现对于开发具有真实人格、可信赖的对话代理（Dialogue Agents）至关重要，并指出了通过 KL 散度正则化来稳定模型内部信念的具体技术路径。