技术摘要：立场：是时候为自我一致性优化大语言模型（LLM）了

1. 问题陈述

尽管在训练管线和数据缩放方面取得了进展，大语言模型（LLM）仍持续表现出一些顽固的失效模式，包括：

• 谄媚行为（Sycophancy）： 模型过度地将行为与用户信念对齐，即使这些信念与任务相关的客观事实相矛盾。
• 不完整的逻辑泛化（Incomplete Logical Generalization）： 模型无法在相关输入之间保持逻辑一致性（例如，“反转诅咒”或无法一致地更新知识）。
• 自信的错误（Confident Incorrectness）： 模型生成的响应在孤立观察时看似连贯，但在跨多次交互观察时却在事实或逻辑上不一致。

作者认为，这些失败源于一个共同的模型假设：即模型的行为可以在单个输入-输出对上进行独立指定和评估。当前的优化目标（监督微调、RLHF、RLVR）优化的是点对点的似然性或奖励，忽略了响应之间在相关输入下的关系结构。本文指出，许多此类失败本质上是**自我一致性（self-consistency）**问题——即模型行为在不同语境、框架或时间步长下的连贯性。

2. 方法论：自我一致性框架

本文提出了一个统一的框架，其中模型的行为受到一致性函数 $\phi$ 的约束，该函数评估多个输入-输出对之间的关系，而非单个对。

2.1 正式表述

令 $p_\theta(y|x)$ 为给定输入 $x$ 时输出 $y$ 的概率。标准训练最大化点对目标（例如 $\sum \log p_\theta(y|x)$ 或 $\sum \mathbb{E}[\text{REWARD}(x, \hat{y})]$）。

所提框架引入了一个一致性函数 $\phi(x_{1:n}, y_{1:n})$，如果一组输入 $x_{1:n}$ 及其对应的输出 $y_{1:n}$ 满足特定的关系约束，则该函数赋予高值。优化目标变为：
$$\mathbb{E}_{y_{1:n} \sim p_\theta(\cdot|x_{1:n})} [\phi(x_{1:n}, y_{1:n})]$$

该目标可以通过三种机制集成到训练中：

1. 硬约束（Hard Constraints）： 将 $\phi$ 作为参数空间的严格约束进行强制执行。
2. 软约束/正则化（Soft Constraints/Regularization）： 在标准损失函数中添加 $\lambda \mathbb{E}[\phi]$。
3. 后验正则化（Posterior Regularization）： 将模型分布向满足 $\phi$ 的最接近分布进行投影。

2.2 两类实例化形式

该框架区分了两个层级的自我一致性：

A. 实例级目标（Instance-Level Objectives）

这些目标强制要求模型对相关输入的响应之间保持一致性，且这两个响应互不提及对方。它们由输入上的关系 $R$ 和输出上的对应关系 $S$ 定义：

• 不变性（Invariances）： 由变换 $g$（如改写、改变用户偏好提示）相关的输入应产生相同的输出。
  • 示例（谄媚行为）： 如果 $x_1$ 和 $x_2$ 在语义上等价但存在用户偏好提示差异，则 $y_1$ 和 $y_2$ 应是等价的。未能满足此项表明存在谄媚行为。
• 等变性（Equivariances）： 输入上的变换应诱导输出上相应的变换。
  • 示例（事实一致性）： 如果模型学习了一个新事实 $x_1$，其对矛盾陈述 $x_2$ 的预测应进行逻辑更新（例如，如果 $x_1$ 暗示“真”，则 $x_2$ 必须暗示“假”）。

B. 元层级目标（Meta-Level Objectives）

这些目标强制要求模型的实例级行为与其元层级描述（自我描述、自我批判或解释）之间保持一致。

• 自我描述（Self-Description）： 模型生成对其自身行为的描述（例如，“我很乐于助人”、“我对某事不确定”），框架检查该描述是否与其在特定实例上的实际输出相符。
• 自我对齐（Self-Alignment）： 模型使用其自身的描述或批判作为训练信号来改进其行为（例如，RLAIF、自我红队测试）。

3. 核心贡献与案例研究

本文并未提出新的经验基准，而是从自我一致性的视角对现有及新兴技术进行了理论统一。

3.1 统一现有失效

作者证明了多种对齐技术都是自我一致性的特例：

• 谄媚行为： 被构架为对用户偏好线索的不变性失效。
• 事实一致性： 被构架为知识更新下的等变性。
• 偏差与鲁棒性： 被构架为对伪特征（人口统计特征、提示词措辞）的不变性。

3.2 赋能新兴能力

该框架为需要内省能力的领域提供了正式语言：

• 思维链（CoT）忠实度： 确保模型的推理轨迹（元输出）在面对反事实变化时，能准确预测其最终决策（实例输出）。
• 校准（Calibration）： 确保模型的陈述置信度（元输出）与其在相同输入的重复采样中的经验准确率相匹配。
• 自动化自我红队测试（Automated Self-Red-Teaming）： 训练模型生成违反其自身约束的输入，然后利用这些违规情况来改进模型。
• 假设生成： 训练模型阐述支配其预测的规则（例如在科学领域），并验证这些规则是否与其实际预测一致。

3.3 优化策略

论文概述了如何使用现有工具优化这些目标：

• RL 训练： 将一致性得分视为奖励信号。
• 自我训练/后验正则化： 生成一致的样本（通过拒绝采样或过滤）并在其上进行微调。
• 推理时强制执行： 使用受限解码或 Token 过滤来满足硬一致性约束。

4. 结果与主张

作为一篇立场论文，作者并未报告新的实验结果（例如在特定基准上的准确率提升）。相反，其“结果”是理论和概念性的：

• 统一性： 他们证明了广泛的专门技术可以数学化地归约为同一个通用目标（公式 4）。
• 可处理性： 他们认为，指定关系约束 ($\phi$) 通常比直接指定期望的一致行为更容易，因为评估两个现有响应之间的一致性在计算上比从头生成一个一致的响应要廉价得多。
• 可扩展性： 该框架允许使用 LLM 作为“评判者”来生成结构化的相关输入/输出数据集，从而促进自动化数据增强和自我改进循环，而无需新的地面真值（ground-truth）数据。

5. 重要性与立场

本文认为，该领域已经超越了仅在单个数据点上优化模型的范式。随着数据缩放接近极限以及架构变得更加通用，提高模型可靠性的主要杠杆必须转向强制执行行为中的结构性规律。

• 超越孤立修复： 与将谄媚、幻觉或偏差视为需要特定补丁的孤立 Bug 不同，自我一致性提供了一个通用框架，将它们视为缺乏关系连贯性的症状。
• 可审计性与安全性： 作者声称，自我一致性是实现可审计 AI 的先决条件。一个在不同语境下保持一致且能忠实描述自身行为（元一致性）的模型，比一个行为不一致或无法解释其决策的模型更具可预测性和易于监管。
• 注意事项： 论文承认强制执行一致性并非万灵药。作者警告存在“退化不动点”（例如，为了避免矛盾而变得过于保守的模型），并指出一致性并不保证真实性（模型可以一致地欺骗）。他们强调，自我一致性应与标准目标（帮助性、具体性）共同优化，并且应对有关涌现代理（emergent agency）的安全问题进行监控。

总之，本文将自我一致性定位为不仅是一种新的训练算法，更是一种必要的组织原则，用于开发下一代 LLM，从而弥合当前失效模式与诸如内省和自我改进等新兴能力之间的鸿沟。