💬 NLP

Through the Judge's Eyes: Inferred Thinking Traces Improve Reliability of LLM Raters

该论文提出了一种人机协作框架，通过拒绝采样从仅含标签的标注中推断出思维链，进而用于微调开源评估模型和优化专有模型指南，显著提升了大语言模型在主观评估任务中的一致性。

原作者： Xingjian Zhang, Tianhong Gao, Suliang Jin, Tianhao Wang, Teng Ye, Eytan Adar, Qiaozhu Mei

发布于 2026-02-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Xingjian Zhang, Tianhong Gao, Suliang Jin, Tianhao Wang, Teng Ye, Eytan Adar, Qiaozhu Mei

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个非常有趣的故事：如何让 AI 像人类专家一样“动脑筋”去评判事物，而不仅仅是给出一个冷冰冰的分数。

想象一下，你正在举办一场短篇小说大赛。

1. 遇到的问题：只有分数，没有“心路历程”

以前，我们让 AI 来当评委（比如给故事打分）。

人类评委：读完故事后，心里会有一连串的想法：“这个开头很有趣，但中间转折太生硬了，结尾又太突然……所以我觉得它只能得 3 分。”这些想法的过程，我们称之为“思维轨迹”（Thinking Traces）。
AI 评委：以前，AI 只能看到人类给的最终分数（比如"3 分”），却看不到人类是怎么得出这个分数的。这就好比老师只给了你作业上的"3 分”，却没告诉你哪里写得好、哪里写得烂。

后果：因为 AI 不知道人类思考的“潜规则”，它在评判主观事物（比如故事好不好看、对话是否自然）时，经常和人类“鸡同鸭讲”，靠谱程度不够高。而且，收集人类详细的“思考过程”非常耗时耗力，大家通常只愿意打钩打分，不愿意写长篇大论的评语。

2. 核心创意：让 AI 当“侦探”，还原人类思维

作者们想出了一个绝妙的办法：既然人类没写思考过程，那我们就让一个更聪明的 AI（推理模型）去“猜”人类当时是怎么想的！

这就好比：

场景：你有一堆只有分数的旧试卷（人类只打了分，没写评语）。
侦探 AI：你请了一位超级侦探 AI。你给它看题目和分数，然后说：“请模拟一下，如果是一个人类专家看到这个题目并打出这个分数，他脑子里会经历怎样的思考步骤？”
筛选机制（拒绝采样）：侦探 AI 可能会猜出 10 种不同的思考过程。
- 如果它猜的推理过程最后得出的结论是"4 分”，但人类实际打的是"3 分”，那就扔掉（因为推理和结果对不上）。
- 如果它猜的推理过程最后得出的结论是"3 分”，而且逻辑通顺，那就保留下来。

通过这种“猜了再筛”的方法，作者们成功地把那些只有分数的旧数据，变成了带有详细推理过程的新数据。

3. 两大绝招：让 AI 评委变得更靠谱

有了这些“还原”出来的思维轨迹，作者们用了两种方法来升级 AI 评委：

绝招一：给 AI 评委“补课”（微调模型）

对于那些可以修改内部代码的开源 AI，作者们把这些“思维轨迹”当作教材，重新训练它们。

比喻：以前 AI 只会死记硬背“这道题答案是 3 分”。现在，AI 学会了“因为故事缺乏连贯性，所以给 3 分”。它不再只是背答案，而是学会了像人类专家一样思考。
效果：训练后的 AI，打分结果和人类专家的高度一致。

绝招二：给 AI 评委发“新说明书”（优化评分标准）

对于那些不能修改代码的闭源 AI（比如某些大公司的 API），没法重新训练，那就给它们换一套更清晰的“评分指南”（Prompt/Codebook）。

比喻：以前的评分指南像是一句模糊的废话：“故事要有深度，结构要完整。”AI 看了很懵。
新指南：利用那些“思维轨迹”，作者们总结出了一套分步操作手册。比如：“第一步，看有没有主角；第二步，看情节是否连贯；第三步，如果主角和情节都脱节，直接给 2 分。”
效果：不同的 AI 评委拿着这本新手册，打分结果变得非常统一，不再各打各的，而且也更接近人类的标准。

4. 总结：为什么这很重要？

这篇论文的核心价值在于：

变废为宝：把过去那些只有分数的“死数据”，变成了包含丰富逻辑的“活资源”。
低成本：不需要人类专家再花大量时间去写评语，AI 就能帮我们把“思考过程”补全。
更可靠：无论是通过“补课”还是“发新手册”，AI 评委现在都能更准确地理解人类的审美和逻辑，让自动评估变得真正可信。

一句话总结：
作者们发明了一种“思维还原术”，让 AI 不仅能看到人类给的分数，还能“脑补”出人类打这个分数时的思考过程。这让 AI 评委从只会打分的“计算器”，进化成了懂行情的“鉴赏家”。

这是一篇发表于《机器学习研究汇刊》（Transactions on Machine Learning Research, 2026 年 2 月）的论文，题为 《Through the Judge's Eyes: Inferred Thinking Traces Improve Reliability of LLM Raters》（通过法官的视角：推断的思维轨迹提升 LLM 评分者的可靠性）。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

LLM 作为评分者的局限性： 大型语言模型（LLM）因其高效性和可扩展性，被广泛用于开放文本生成任务的自动评估。然而，在涉及主观判断的任务中（如评估故事的复杂性、参与度或情感），LLM 的可靠性往往不足，特别是当缺乏专门的训练时。
“思维轨迹”的缺失： 人类专家在进行定性评估时，不仅给出标签（分数），背后还有复杂的推理过程（即“思维轨迹”，Thinking Traces）。现有的标注数据集通常只包含稀疏的标签，缺乏这些关键的推理解释。
现有数据的不足： 获取高质量的人类思维轨迹成本高昂且耗时，导致大多数主观任务数据集缺乏丰富的上下文，使得 LLM 难以校准其判断标准，难以与人类判断保持一致。
核心问题： 能否利用推理语言模型（RLMs）生成的推理作为代理，从仅有标签（Label-only）的人类标注数据中推断出潜在的思维轨迹，从而提升 LLM 评分者的可靠性？

2. 方法论 (Methodology)

作者提出了一种人机协作框架，旨在从仅有标签的数据中推断出思维轨迹，并应用于两个互补的任务：

A. 推断潜在思维轨迹 (Inferring Latent Thinking Traces)

输入： 人类标注的数据集 $D_{human} = \{(x_i, y_i)\}$ ，其中 $x_i$ 是目标（如故事）， $y_i$ 是人类给出的标签。
生成器模型： 使用具备推理能力的模型（如 DeepSeek-R1, gpt-oss-120b），根据标注指南（Codebook）和目标 $x_i$ 生成多个候选的思维轨迹和预测标签。
拒绝采样 (Rejection Sampling)：
1. 对每个样本生成 $k$ 个候选轨迹 $\{(t'_{i,j}, y'_{i,j})\}$ 。
2. 仅保留那些预测标签 $y'_{i,j}$ 与真实人类标签 $y_i$ 一致的候选轨迹。
3. 从保留的集合中选择第一个作为重构的思维轨迹 $t'_i$ 。
输出： 构建增强数据集 $D_{reason} = \{(x_i, t'_i, y_i)\}$ ，其中包含了推理过程。

B. 两大应用场景

微调开源 LLM 评分器 (Fine-tuning Open LLM Raters)：
- 利用 $D_{reason}$ 对开源 LLM 进行监督微调（SFT）。
- 训练目标不仅是预测最终标签，还要生成完整的思维轨迹 $t'_i$ 。
- 损失函数： $L_{SFT} = E[-\log \pi_\theta(t', y|x)]$ 。
- 目的： 让模型学习人类专家的推理模式，而不仅仅是记忆标签。
优化标注指南 (Refining Annotation Codebooks)：
- 针对无法微调的闭源模型（Black-box APIs），利用推断出的思维轨迹来自动优化标注指南（Codebook）。
- 两阶段过程：
  1. 改进任务指令： 采样不同分级的思维轨迹，总结共同推理模式，生成明确的逐步操作指南。
  2. 丰富评分标准 (Rubric)： 提取轨迹中的具体批评点（Critiques），聚类后提取最具代表性的描述，合成更详细、基于具体示例的评分标准。
- 目的： 为闭源模型提供更清晰、无歧义的 Prompt，引导其行为。

3. 实验设置 (Experiments)

数据集： 涵盖了 5 个多样化的标注任务，包括：
1. 短篇小说评估（复杂性、参与度）- HANNA 数据集。
2. 学生作文评估 - Kaggle 数据集。
3. 新闻摘要评估（一致性、流畅性）- SummEval。
4. 机器翻译评估 - WMT 2020。
5. 聊天机器人回复评估（有帮助性、正确性）- HelpSteer2。
评估指标：
- 与人类判断的一致性： Kendall's Tau ( $\tau$ ), 均方误差 (MSE), 组内相关系数 (ICC3)。
- 评分者间信度 (Inter-Rater Reliability)： 不同 LLM 评分者之间的一致性 (ICC3)。
基线模型： 原始模型、仅基于标签微调的模型、基于思维轨迹微调的模型。
对比对象： 使用原始标注指南 vs. 优化后的标注指南。

4. 主要结果 (Results)

微调效果显著：
- 在大多数任务上，基于推断思维轨迹微调的 LLM 评分器，其与人类判断的一致性（Kendall's $\tau$ ）平均提升了 42.6%（从 0.197 提升至 0.281）。
- 相比仅使用标签进行 SFT，引入思维轨迹显著提升了性能，证明了推理过程对模型判断的重要性。
- 不同推理模型（DeepSeek-R1 和 gpt-oss）生成的轨迹均能有效提升基线模型，显示了框架的通用性。
标注指南优化的效果：
- 使用优化后的指南提示闭源模型，其与人类的一致性平均提升了 14.2%（DeepSeek 轨迹优化）和 7.9%（gpt-oss 轨迹优化）。
- 评分者间信度提升： 优化后的指南显著提高了不同 LLM 评分者之间的一致性（ICC3 从 0.580 提升至 0.621），表明指南消除了模型间的系统性偏差。
- 定性分析： 案例显示，优化后的指南迫使模型从“自上而下的模糊判断”转变为“自下而上的结构化分析”，使不同模型得出更一致且准确的结论。
消融实验：
- 证明了思维轨迹是 SFT 成功的关键（去除轨迹后性能下降）。
- 证明了“任务指令优化”和“评分标准优化”两个组件均有效，且针对不同任务（如主观性强的故事 vs. 客观性强的翻译）各有侧重。
- 证明了即使使用“事后解释”（Post Hoc Explanations）代替原生思维令牌，框架依然有效，具有鲁棒性。

5. 核心贡献 (Key Contributions)

提出了推断思维轨迹的框架： 首次展示了如何利用拒绝采样技术，从仅有标签的数据中大规模重构人类专家的思维轨迹。
双重应用策略： 不仅将推断的轨迹用于微调开源模型，还创新性地将其用于自动优化标注指南，解决了闭源模型无法微调的痛点。
实证有效性： 在 5 个不同领域的任务中，显著提升了 LLM 评分者与人类的一致性，并增强了不同 LLM 模型间的一致性。
方法论启示： 证明了推理语言模型（RLMs）可以作为人类思维轨迹的实用代理，将“仅标签”数据集转化为“思维轨迹增强”的资源。

6. 意义与影响 (Significance)

提升评估可靠性： 为构建更可靠、可解释的自动化评估系统提供了新范式，特别是在主观性强的 NLP 任务中。
降低数据成本： 使得现有的大量仅有标签的标注数据能够被重新利用，无需昂贵的人工重新标注思维过程，即可生成高质量的推理数据。
人机协作新范式： 展示了 LLM 如何辅助人类完善评估标准（Codebook），进而反过来提升 LLM 自身的表现，形成良性循环。
未来方向： 为自动化提示优化（APO）提供了高质量的初始种子，并为人机协作标注（人类选择/验证模型生成的轨迹）提供了可行性路径。

总结： 该论文通过一种巧妙的方法，利用推理模型“猜”出人类评分背后的逻辑，并将这些逻辑转化为训练数据或更清晰的指令，成功解决了 LLM 在主观评估任务中“知其然不知其所以然”的痛点，显著提升了评估系统的准确性和一致性。