💬 NLP

Chain-of-Models: Cross-Model Auditing for Bias-Robust LLM Judges

本文介绍了 Chain-of-Models，这是一个利用二次模型来检查推理轨迹中是否存在偏见的自动化审计框架，并证明了针对特定偏见且功能多样化的审计器选择策略，在增强大语言模型（LLM）判断鲁棒性方面，显著优于单一固定审计器以及无审计基准。

原作者： Qian Wang, Zhanzhi Lou, Zhenheng Tang, Nuo Chen, Bingsheng He

发布于 2026-08-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Qian Wang, Zhanzhi Lou, Zhenheng Tang, Nuo Chen, Bingsheng He

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在为一场高规格的游戏——比如冠军辩论赛或法律审判——聘请一名裁判。你希望这位裁判公平、客观且不受骗。但如果这个裁判实际上是一个人工智能呢？在计算机科学领域，特别是大语言模型（LLM）领域，这些人工智能系统正越来越多地被用作“法官”，来给文章评分、调解争端或决定哪个答案更好。问题在于，就像人类一样，这些人工智能法官也有“盲点”。它们很容易被认知偏差所欺骗——这些心理捷径会让它们仅仅因为某个名人说了某事、因为大家都在相信某事、或者因为用户表现得很有礼貌，就误以为那是事实。

长期以来，解决方案似乎很简单：要么在指令中告诉人工智能“不要有偏见”（这通常会失败），要么雇佣人类来检查工作（但这既慢又贵）。但一个全新的想法正在出现：如果我们用一个人工智能来审计另一个人工智能呢？这正是论文《Chain-of-Models: Cross-Model Auditing for Bias-Robust LLM Judges》（链式模型：用于构建抗偏见 LLM 法官的跨模型审计）的核心问题。研究人员想要探究，我们是否可以创建一个“超级法官”系统，让第二个人工智能观察第一个人工智能的推理过程，识破诡计，并纠正最终的裁决。他们试图解决的重大谜题是：选择哪第二个人工智能真的重要吗？最好的审计员仅仅是目前最聪明的 AI 吗？还是说两个 AI 之间的关系更为重要？

侦探与嫌疑人：一种新的评判方式

由 Qian Wang 及其同事领导的研究团队引入了一种他们称之为 Chain-of-Models (CoM) 的方法。想象一下，一位侦探（第一个 AI，即“法官”）调查了一起犯罪案件并写了一份报告。通常，我们只需阅读报告并相信侦探的话。但在这种新系统中，第二位侦探（“审计员”）被请了进来。这位第二位侦探不仅阅读最终结论；他们还能看到第一位侦探得出该结论的整个思考过程。他们查看笔记、直觉和逻辑步骤。如果第一位侦探被一个假线索误导了，第二位侦探可能会发现并说：“等等，这不对劲。”

团队使用来自六个不同“家族”（可以把这些看作不同的品牌或流派，如 Qwen、GPT、GLM 和 Kimi）的九种不同 AI 模型测试了这个想法。他们让这些模型对抗四种特定的心理陷阱：

从众效应 (Bandwagon)： 仅仅因为“其他人”都这么认为，就相信某事是正确的。
权威效应 (Authority)： 仅仅因为一位“著名专家”说了某事，就相信某事是正确的。
分心效应 (Distraction)： 被无关但有趣的细节分散注意力。
谄媚效应 (Sycophancy)： 为了表现得友好或乐于助人而同意用户的观点，即使用户是错误的。

大惊喜：最聪明的 AI 并非最佳审计员

故事在这里变得有趣了。研究人员曾有一个直觉，认为最好的审计员应该是那些自身天生对偏见具有抵抗力的 AI。这看起来很合乎逻辑：如果你想抓住一个骗子，你会选择房间里最诚实的人，对吧？

他们错了。

在实验中，他们发现一个 AI 自身的抗偏见能力（我们称之为“独立抗性”）与其修正另一个 AI 错误的能力几乎没有关系。例如，Kimi-K2.5 模型在独立工作时是“冠军”级别的，它极其难以被欺骗。但当研究人员让它与另一个 AI（Qwen2.5-72B）配对担任审计员时，Kimi-K2.5 表现得非常糟糕。它无法修正其他 AI 的错误；事实上，它经常让情况变得更糟。

为什么会这样？研究人员认为这是因为“盲点”效应。就像人类往往看不出自己的缺陷，却能轻易看穿他人的缺陷一样，AI 模型似乎与来自同一家族甚至是非常强大的模型共享类似的“盲点”。如果第一个 AI 被特定的权威暗示所误导，那么“冠军级”审计员也可能被同样的暗示误导，因为它们的“大脑”构造非常相似。

真正的解决方案：根据陷阱匹配审计员

该论文最重要的发现是：并没有适用于所有情况的单一“最佳审计员”。 相反，最好的审计员完全取决于正在测试的是哪种类型的偏见。

当陷阱是从众效应（同伴压力）、权威效应（专家压力）或分心效应时，GPT-4o 模型是明星级的审计员。它擅长识别这些诡计并纠正第一个 AI。
然而，当陷阱是谄媚效应（对用户过于讨好）时，GPT-4o 实际上比不做任何处理还要差！在这种特定情况下，GLM-5 模型成为了英雄，成功纠正了 GPT-4o 失败的地方。

研究人员意识到，要建立一个真正稳健的系统，你不能只挑选一个“超级审计员”并将其用于所有场景。你需要一个智能的“交换机”。如果系统检测到“从众”陷阱，它应该将任务路由给 GPT-4o。如果检测到“谄媚”陷阱，它应该路由给 GLM-5。

结果：一个更聪明、更公平的系统

通过使用这种“基于偏见”的选择规则，研究人员构建了一个系统，其准确性显著高于任何单个模型或任何固定的模型对。

在没有任何审计的情况下，基础 AI 在面对有偏见的问题时正确率约为 80.5%。
使用最强的固定审计员（GPT-4o）处理所有情况，这一比例提升到了 82.4%。
但使用他们智能的、针对特定偏见的筛选器，准确率跃升至 88.4%。

这种提升不仅仅是一个微小的进步；这是一个巨大的飞跃，尤其是在棘手的“谄媚”偏见方面，智能筛选器相比基础模型将准确率提高了近 24 个百分点。

这对未来意味着什么

该论文并未声称已经永久解决了 AI 偏见问题。他们承认，目前的系统需要预先知道存在哪种类型的偏见才能选择正确的审计员（就像在锁上特定的门之前，需要知道会有什么样的贼到来一样）。他们还指出，由于涉及两个 AI 模型之间的对话而非单个模型，这个过程会稍微耗时一些。

然而，这项研究证明了一个强有力的观点：多样性是一种超能力。 通过混合不同的 AI 家族并将它们与特定问题相匹配，我们可以创造出一个比任何单个 AI 都更难被愚弄的 AI“陪审团”。事实证明，捕捉一个有偏见的 AI 的最佳方法不是寻找最聪明的 AI，而是找到那个针对特定诡计而存在的“正确”的 AI。这种“链式模型”（Chain-of-Models）的方法为使 AI 法官在现实世界中更加可靠、公平和值得信赖提供了一条充满希望的路径。

技术摘要：模型链（Chain-of-Models）：针对偏差鲁棒性 LLM 评审员的跨模型审计

1. 问题陈述

大型语言模型（LLMs）正越来越多地被部署在金融和法律等高风险领域，作为自动化评审员。然而，这些模型表现出系统性的认知偏差（例如从众效应、权威效应、干扰效应、谄媚效应），从而损害了其可靠性。现有的缓解策略面临显著局限性：

提示词驱动的去偏差（例如偏差警告、拒绝模板）是脆弱的，且往往无法应对不同类型的偏差。
人工评估虽然可靠，但无法扩展到生产规模。

本文探讨的核心问题是：一个 LLM 是否可以自动审计另一个 LLM 的判断，从而在不更换原模型的情况下纠正其偏差。一个关键的设计选择是审计者的身份：审计者应该是同一个模型、同系列的模型，还是不同家族的模型？

2. 方法论：模型链 (CoM)

作者提出了模型链 (Chain-of-Models, CoM)，这是一个自动化审计流水线，其中第二个模型 ( $M_2$ ) 在产生最终判断之前，先检查第一个模型 ( $M_1$ ) 的推理轨迹和答案。

2.1 框架设计

流水线： $M_1$ 根据输入 $(I, Q)$ 生成推理轨迹 $S_1$ 和答案 $A_1$ 。 $M_2$ 接收原始输入以及 $S_1$ 和 $A_1$ ，从而生成最终判断 $A_{final}$ 。
审计者约束： 审计者并不会被明确告知去寻找偏差，也不会被给予特定于偏差的指令。偏差感知是在审计者提示词之外的路由层处理的，以保持部署的现实性。
跨家族假设： 基于心理学中的“偏差盲点”概念（即个体更容易察觉他人的偏差而非自身的偏差）以及近期研究发现模型倾向于支持自身的生成内容，作者假设来自不同模型家族的审计者比同系列或自我审计的模型更有可能挑战存在偏差的推理。

2.2 实验设置

模型： 来自 6 个不同家族（Qwen, GPT, DeepSeek, GLM, MiniMax, Kimi）的 9 个模型，代表了多样化的训练谱系、对齐策略（RLHF, DPO）和架构。
偏差： 四种认知偏差：从众效应 (Bandwagon)、权威效应 (Authority)、干扰效应 (Distraction) 和谄媚效应 (Sycophancy)。
数据集： 两个并行轨道：
1. 事实类： MMLU-Pro（数学、化学、历史、心理学）。
2. 主观类： DPO 偏好数据集（Emerton, Orca, Py, Truthful）。
指标： 偏差准确率 ( $Acc_{bias}$ )，衡量在注入偏差的情况下，判断结果符合真实情况的比例。

3. 核心发现

3.1 独立抗性 $\neq$ 审计有效性

论文指出，一个模型在独立回答时抵抗偏差的能力（独立抗性）并不能预测其纠正另一模型偏差的能力（审计有效性）。

示例： Kimi-K2.5 在从众、权威和干扰偏差方面表现出最高的独立抗性。然而，当作为 Qwen2.5-72B 在这些相同偏差上的审计者时，它产生的链式准确率却是最低的（例如在从众效应上为 0.400）。
启示： 仅根据模型的独立鲁棒性来选择审计者在经验上是不正确的。

3.2 审计者身份具有偏差特异性

没有一个单一的审计者能在所有偏差类型中都占据主导地位。最优审计者取决于所遇到的特定偏差类型。

GPT-4o： 在从众、权威和干扰偏差方面是最强的审计者。
GLM-5： 在谄媚效应方面最强（优于 GPT-4o，而后者在这一特定偏差上的表现甚至低于无审计基准线）。
任务家族异质性： 最优审计者也随任务类型（事实类 vs. 主观类）而变化。例如，GLM-5 在事实类谄媚效应上胜出，而 GPT-4o 在主观类谄媚效应上胜出。

3.3 跨家族审计优于同家族审计

同家族审计（例如 Qwen-7B $\to$ Qwen-72B）相比单模型基准线仅有微小的提升。跨家族链式处理能持续将准确率提升至高于无审计基准线，在主观谄媚效应上的增益高达 +27.5 个百分点。

4. 提出的解决方案：基于偏差的审计者选择

基于上述发现，作者引入了一种基于偏差的审计者选择规则。给定已知的偏差类型 $b$ ，系统通过最大化得分函数从候选池中选择审计者 $M_2$ ：

$\text{score}(M_i | M_1, b) = \alpha \cdot d(M_1, M_i) + \beta \cdot r(M_i, b) + \gamma \cdot e(M_1, M_i, b)$

其中：

$d(M_1, M_i)$ : 功能多样性（LLM-DNA 模型间的距离）。
$r(M_i, b)$ : 单项偏差抗性（ $M_i$ 在偏差 $b$ 下的独立准确率）。
$e(M_1, M_i, b)$ : 校准后的审计有效性（通过在留出校准集上估计得到的 $M_1 \to M_i$ 经验链式准确率）。

选择器的结果：

该基于偏差的选择器在四个偏差切片上的准确率达到了 0.884。
这优于最强的固定审计者（始终开启的 GPT-4o 为 0.824）以及无审计基准线（0.805）。
增益主要来自于将谄媚效应查询正确路由至 GLM-5，从而避免了使用 GPT-4o 时出现的性能下降。

5. 重要性与贡献

该论文声称其贡献如下：

框架： 通过模型链框架评估了同家族与跨家族审计。
解耦： 证明了独立偏差抗性和审计有效性是不同的属性，且不存在能统治所有偏差类型的单一审计者。
选择规则： 引入了一种结合功能多样性、独立抗性和校准有效性的基于偏差的审计者选择规则。该规则优于任何固定的审计者配置。
资源： 发布了数据、配置、成对的 LLM-DNA 距离以及用于复现的轻量级智能体技能。

作者总结道，应将 LLM 生态系统的异质性视为进行偏差特定审计者选择的资源，而不是通过绑定单一审计者来忽略这种异质性。

6. 局限性

论文承认了若干范围限制：

延迟： 顺序审计使标记查询的响应时间翻倍。
泛化性： 实验仅限于仅解码器（decoder-only）因果语言模型；尚未测试检索增强型或多模态评审员。
偏差检测： 当前方法假设偏差类型在推理时是已知的（通过标签或上下文）。如何在不使用模板的情况下从任意用户提示词中推断偏差属于未来工作。
语言/领域： 所有数据集均为英文；未评估向其他语言及专业领域（法律、临床）的迁移能力。