💬 NLP

Self-Preference Is Weak or Absent in Verifiable Instruction-Following Revision: A Four-Model Test Under Genuine Authorship

这项研究表明，大型语言模型在拒绝经过验证的、遵循指令的对其自身草稿的修正时，并不表现出自我偏好偏差，因为它们接受或拒绝此类修正的比例与中立的第三方模型在统计学上是无法区分的。

原作者： William Guey, Pierrick Bougault

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： William Guey, Pierrick Bougault

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位刚刚做完饭的大厨。你知道食谱里出了个错：漏掉了盐。现在，想象一位美食评论家（另一个 AI）递给你一张纸条说：“这里有一撮盐，可以用来改良这道菜。”

核心问题是：作为大厨的你，会仅仅因为这道菜是你的作品就拒绝加盐吗？ 你会变得好斗并辩解道：“不，我就喜欢这样，”即便你明知它缺盐？还是说，你会像个专业人士一样，直接说：“谢谢，这正好解决了问题，”然后继续工作？

这篇论文研究的是：当 AI 被要求修正自己的错误时，它们是否具有这种“自我意识（Ego）”。

实验设置：一个严格的裁判

为了找到答案，研究人员并没有让 AI 去猜测一个修复方案是否“好”，而是使用了一个确定性验证器（deterministic verifier）——你可以把它想象成一个死板、毫无感情的机器人裁判。

草稿： 一个 AI 编写一段遵循特定规则的短文（例如“全部使用大写字母”或“包含‘banana’这个词”）。
错误： 机器人裁判检查文本并说：“你失败了。你没有使用全大写。”
修复： 随后，机器人提供了一个肯定能修复该错误的特定修改方案。这不仅仅是一个建议；它是一个在数学上被证明正确的修正。
测试： AI 被问到：“你接受这个修复方案吗？”
- 场景 A（作者）： AI 是原始草稿的作者。它知道：“这是我写的。”
- 场景 B（陌生人）： 另一个 AI（或同一个模型在新的对话中）查看草稿和修复方案，但它不知道是谁写的。它只是一个中立的编辑。

实验过程

研究人员使用四种不同的“中端”AI 模型（聪明但并非市场上最强大的模型）进行了测试。他们运行了 85 个不同的场景，在这些场景中，AI 必须决定是否接受一个经过机器人验证的、针对其自身作品或他人作品的修复方案。

结果：未发现“自我意识”

研究发现，没有证据表明 AI 模型在维护自己的作品。

大厨类比： 当“陌生人”编辑提供盐时，AI 大约 80% 的情况下会接受。当“大厨”（原始作者）被提供用于其自身菜肴的盐时，它接受的比例几乎完全相同。
数据： 两组之间的差异微乎其微（约 5 个百分点），在统计学上与零无异。简单来说：AI 并不在意这个错误是它自己的还是别人的。它对于接受修正的态度是一样的。

一个有趣的转折：“完美主义”大厨

虽然拒绝的比例是相同的，但拒绝的原因很有趣。

当 AI 拒绝了一个机器人裁判认为完美的修复方案时，并不是因为它在维护自我（“我更喜欢我的版本”）。相反，是因为 AI 表现得像一个过度挑剔的完美主义者。

例子： 机器人说：“这个修复增加了单词‘banana’，符合要求。”AI 拒绝了，理由是：“是的，但现在句式变得很别扭，”或者“这破坏了诗歌的节奏。”
统计数据： 在 97% 的情况下，当 AI 拒绝一个“好”的修复方案时，是因为它发现了机器人裁判忽略掉的细微缺陷。它不是在固执己见，而是在格外谨慎。

这意味着什么（以及它不意味着什么）

这意味着： 如果你构建一个系统，让 AI 根据严格规则来审查和修改自己的写作，你不需要担心 AI 会因为太爱面子而拒绝承认错误。它接受修正的程度，就像对待陌生人的修正一样。
它不意味着： 本研究仅针对严格的、基于规则的任务（如“使用全大写”）。它并未测试复杂的任务，如创作诗歌、进行辩论或修复涉及主观判断的错误。此外，它也仅测试了中端模型，而非最新的、最强大的模型。

底线结论

论文得出结论：在严格遵循规则的写作领域，AI 模型并不存在“自我偏好”偏差。 它们不会捍卫自己的草稿。它们表现得非常谦逊，并且愿意接受一个经过验证的修复方案，无论那份草稿是否由它们自己创作。它们之所以说“不”，仅仅是因为它们在细节上过于挑剔，而不是因为在维护自我意识。

技术摘要：在可验证指令遵循修订中，自我偏好微弱或不存在

问题陈述
大型语言模型（LLMs）表现出一种记录在案的“自我偏好”（self-preference）偏差，即当作为评判者时，它们会倾向于自己生成的文本。虽然这种偏差在质量评判和自我改进循环中已得到证实，但目前尚不清楚模型是否会对针对其自身写作的有效修正表现出抵触。具体而言，当模型面对一个针对其创作草稿的、由机器验证过的具体修复方案时，它拒绝该修复的频率会比中立模型更高吗？由于两个混淆因素的存在，清晰地回答这一问题一直很困难：(1) 判定一个修复是否“有效”通常依赖于另一个 LLM，这重新引入了正在研究的偏差（循环论证）；(2) 先前的研究通常依赖于“告知标签”（即告诉模型“这是你写的”）而非真实的上下文内创作（in-context authorship）。

方法论
本研究利用基于 IFEval 数据集及其官方检查器的确定性、可验证框架来解决上述问题。

可验证的基准真相（Ground Truth）： 草稿和修复方案的有效性是由程序化检查器而非 LLM 决定的。检查器确认草稿违反了特定约束，并且候选编辑在修复该违规的同时不会破坏其他约束。
实验设计： 作者对比了针对同一个经过验证的良好修复方案的两种决策条件：
1. 作者（真实）： 在上下文中实际生成了该草稿的模型决定是否接受或拒绝该编辑。这确保了真实的创作过程，而非通过告知标签实现的。
2. 新鲜（Fresh）： 一个不同的模型（或同一系列的新会话）将该草稿视为中立的“一份草稿”，并对同一编辑做出决定。
范围： 研究涵盖了三个试点，最终在四个中端模型系列（gpt-4o-mini, claude-3.5-haiku, gemini-2.5-flash-lite, 以及 llama-3.3-70b-instruct）上进行了具有统计效力的测试（P3），共计 85 份可用草稿。
指标： 主要指标是自我偏好差距（ $G$ ），定义为作者模型与“新鲜”模型拒绝率之差（ $G = r_{author} - r_{fresh}$ ）。正值的 $G$ 表示作者对其自身作品的有效修复表现出更高的抵触。

关键结果

自我偏好的缺失： 在 85 份草稿和四个模型系列中，未发现可检测到的自我偏好。汇总后的自我偏好差距为 $G = -5.1$ 个百分点 (pp)，其 95% 置信区间为 $[-12.9, +2.7]$ 。该区间包含零，表明作者对其自身草稿的有效修复方案的拒绝率，与使用相同草稿进行评判的“新鲜”模型基本一致。
对零假设的重复验证： 一个较小的试点（P2）暗示存在微弱的“自我怀疑”（self-skepticism）信号（即作者对自己作品的要求略显苛刻），但这并未在规模更大的 P3 测试中得到复现。事实上，P3 中的点估计值略微为负，表明作者接受其自身作品修复的意愿反而略高。
定性区别： 虽然拒绝的速率没有显著差异，但作者拒绝行为的性质有所不同。在作者拒绝经过验证的良好修复方案的 39 个实例中，97.4% 被归类为“比检查器更严格”（即捕捉到了缺陷，例如识别出修复方案破坏了次要约束），而仅有 2.6% 是基于单纯的偏好（例如“我更喜欢原稿”）。

意义与主张
本文声称绘制了自我相关偏差领域中的一个“干净单元格”（clean cell）。虽然自我偏好在质量评判和答案选择任务中已被广泛记录，但本研究证明，在基于真实上下文内创作的可验证指令遵循修订这一特定设置下，这种偏差是微弱或不存在的。

作者明确对其主张保持谦逊：

他们并非声称自我偏好在普遍意义上被“证明不存在”，而是指出鉴于样本量（ $N=85$ ），无法排除小于 $\sim13$ pp 的效应。
研究局限于中端模型（以避免 IFEval 的天花板效应）和低纬度、原子化的约束（排除了涉及风格或论证等整体性修订的情况）。
早期试点中观察到的“自我怀疑”信号不被视为稳健的发现，因为它未能实现大规模复现。

主要的稳健贡献在于其方法论设计（确定性检查器 + 真实上下文创作），这使得产生可靠的零结果成为可能，同时也提供了定性观察：当作者拒绝有效的修复时，是由于严谨的缺陷捕捉，而非出于自我或偏好。