🤖 machine learning

Learning What Evaluators Value: A Reliable Approach to Modeling Evaluator Preferences

本文提出了一种在坐标方向非递减函数的最小假设下学习评估者偏好的鲁棒算法，从理论和实证两方面证明该方法既能避免常见模型失配的陷阱，又在线性假设成立时仍能保持高性能。

原作者： Madeline Celi Kitch, Nihar B. Shah

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Madeline Celi Kitch, Nihar B. Shah

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图弄清楚一位评委是如何决定才艺秀的获胜者的。你看到评委们为“声乐天赋”、“舞台表现”和“原创性”打分，然后给出一个最终的“总体得分”。

这篇论文提出的核心问题是：评委们究竟是如何将这三个分数结合起来得出最终数字的？

大多数研究者假设评委们在进行简单的数学运算，例如以固定权重将分数相加（例如，“声乐天赋占 50%，舞台表现占 30%"）。这就像假设无论发生什么，食谱总是精确地使用 2 杯面粉和 1 杯糖。

本文作者认为，这种“简单数学”的假设往往是错误的。真实的评委（甚至 AI 评委）可能遵循复杂的规则，例如：

“如果声乐天赋极差，那么原创性分数就完全无关紧要。”
“如果舞台表现完美，那么声乐天赋的微小提升就会产生巨大差异。”
“如果原创性较低，那么必须同时具备高水平的声乐天赋和舞台表现才能通过。”

这些是复杂的非线性规则，简单的加法无法捕捉到它们。

问题所在：“错误的食谱”

论文表明，如果你试图用简单的数学（线性模型）来学习评委的偏好，而实际上他们使用的是复杂规则，你会得到糟糕的结果。

“盲目猜测”类比： 作者证明，在最坏的情况下，使用简单的线性模型来学习这些复杂偏好，与随机猜测最终得分没有任何区别。你可能以为你已经学会了规则，但实际上并没有。
“错误排名”类比： 如果你用错误的数学方法对参赛者进行排名，你可能会把最好的歌手排在最后，而把最差的歌手排在第一。论文证明，当模型错误时，这种情况经常发生。
“误导性重要性”类比： 如果你只看简单的数学计算，你可能会得出结论认为“舞台表现”是最重要的因素。但事实上，评委可能最关心“原创性”，只是因为数据收集的方式，数学计算误导了你，让你产生了相反的看法。

解决方案：“灵活的厨师”

与其强迫评委遵循僵化的食谱，作者们创造了一种新算法，它就像一位灵活的厨师。

基本规则： 他们施加的唯一规则是常识：越多越好。 如果一位歌手的“声乐天赋”得分更高，那么总体得分绝不应下降。这被称为“保序性”（或单调非递减）。
安全网： 该算法试图寻找最复杂、最灵活的规则来拟合数据。然而，它有一个“安全开关”。如果数据实际上确实遵循简单的线性食谱，该算法会自动简化自身以匹配这种情况，从而避免不必要的复杂化。
结果： 这种新方法是一种“兼收并蓄”的 approach。如果存在简单规则，它足够安全以学习它们；如果存在复杂、隐藏的规则，它又足够强大以学习它们。

他们在现实世界中的发现

作者们在真实数据上测试了他们的“灵活厨师”算法，以观察其效果是否优于旧的“简单数学”方法。

1. 酒店评论（Tripadvisor）：
他们查看了数千条酒店评论，人们根据“清洁度”、“位置”和“服务”等指标给出总体星级评分。

发现： 新算法在理解旅行者真正关心什么方面要出色得多。与旧方法相比，它在理解“集体偏好”方面的误差降低了**50% 到 69%**以上。
细微差别： 有趣的是，预测确切的星级评分并没有太大改善。这表明，虽然旧的数学方法在猜测最终数字方面还可以，但在解释为什么选择这个数字方面却非常糟糕。新方法揭示出旅行者存在“边际收益递减”现象：一家酒店从“糟糕”变为“尚可”非常重要，但从“很棒”变为“完美”对整体感受的改变却没有那么大。简单的数学无法看到这种曲线。

2. AI 与人类审稿人（科学论文）：
他们在科学论文的审稿中测试了该算法，比较了人类审稿人与 AI 模型（如 GPT-4o 和 Llama）。

发现： 他们利用该算法来衡量 AI 的一致性程度，以及其“品味”（即如何权衡严谨性与贡献度）与人类审稿人的接近程度。
结果： GPT-4o 的一致性要高得多，其“品味”（即它如何权衡严谨性与贡献度）也比 Llama 模型更接近人类审稿人。Llama 模型则更加反复无常，其偏好与人类截然不同。

核心结论

这篇论文既是一个警告，也是一个解决方案。

警告： 不要假设人们（或 AI）是通过简单地将分数相加来做决定的。如果你这样做，你可能会学到错误的规则，错误地对事物进行排名，并误解人们真正重视的内容。
解决方案： 使用他们新的“灵活”算法。它尊重“越多越好”这一简单规则，但又足够聪明，能够学习复杂、隐藏的模式。它确保无论决策者是简单的还是复杂的，你都能准确地了解他们的真实偏好。

技术摘要：学习评估者重视的内容

问题陈述

在许多领域——包括学术同行评审、医学诊断、招生录取和产品评级——评估者将多项标准（如严谨性、新颖性、整洁度）的评估映射为总体评分或建议。本文解决的根本挑战是学习支配这一映射的偏好函数。

现有方法通常依赖于强参数假设，最 notably 的是线性假设（或广义可加模型及其交互扩展等延伸）。作者认为，这些假设在实践中经常被违反。引用 Jones 等人（2025）的研究，他们指出研究人员往往未能验证线性假设；而 Keswani 等人（2025）则证明，人类的道德偏好通常涉及阈值和非线性特征，线性模型无法捕捉这些特征。本文提出，假设错误的函数形式会导致三个关键失效：

无法学习偏好：估计的函数可能无法逼近真实的偏好函数，导致估计误差极高。
排序错误：估计的函数可能生成与真实排序显著不一致的项目（如论文、申请人）排序。
误解标准重要性：线性模型中的回归系数可能会错误地推断标准的相对权重，特别是在样本分布不平衡时。

方法论

理论框架

作者采用非参数方法，仅做出最小假设：偏好函数是保序的（即坐标-wise 非递减）。这意味着，如果某项标准的分数增加而其他标准保持不变，总体分数不应下降。这一类函数记为 $\mathcal{F}_{ISO}$ ，其表达能力足以捕捉交互作用、阈值和非线性变换。

本文首先针对常见参数模型（ $\mathcal{F}_{GENINT}$ ，包含线性、广义可加及交互模型）确立了负面结果：

估计误差：存在某些保序偏好函数，使得 $\mathcal{F}_{GENINT}$ 内最佳估计器的误差相对于真实函数为常数倍（甚至高达随机猜测水平）。
排序误差：对于某些保序函数，广义可加模型生成的排序与真实排序之间的 Kendall tau 距离被界定为远离零（即存在常数比例的对被错误排序）。
系数偏差：在不平衡数据集中，普通最小二乘法（OLS）可能推断出某标准比另一标准更重要，即使事实相反或底层过程是对称的。

提出的算法

为了在不牺牲线性假设成立时性能的前提下解决这些问题，作者提出了一种正则化保序回归算法（算法 1）。其核心思想是通过交叉验证平衡两个目标：

拟合数据：最小化训练集上的平方误差。
模型失配惩罚：最小化学习到的保序函数与最佳拟合线性函数之间的距离。

算法步骤：

正则化：该算法在保序函数集（ $\mathcal{F}_{ISO}$ ）和线性函数集（ $\mathcal{F}_{LIN}$ ）上求解正则化最小二乘问题。它引入一个正则化参数 $\lambda$ ，在纯保序回归（ $\lambda=0$ ）和线性回归（ $\lambda=\infty$ ）之间进行插值。
$\min_{\hat{f} \in \mathcal{F}_{ISO}} \min_{g_{LIN} \in \mathcal{F}_{LIN}} \frac{1}{|S'|} \sum_{j \in S'} (\hat{f}(x^{(j)}) - y^{(j)})^2 + \frac{\lambda}{|X_{S'}|} \sum_{x \in X_{S'}} (\hat{f}(x) - g_{LIN}(x))^2$
后处理：输出函数被截断至有效范围 $[0, 1]$ ，并对未见过的输入进行插值以确保单调性。
交叉验证：使用留出验证集从集合 $\Lambda$ 中选择最优 $\lambda$ ，以最小化验证风险。

理论保证

作者证明其算法满足两个相互竞争的目标：

鲁棒性：对于任何单调偏好函数，随着样本量 $N \to \infty$ ，该算法的估计误差趋于零（收敛速率为 $O(N^{-1/d})$ ）。
效率：如果真实偏好函数是线性的，该算法的表现几乎与最小二乘法（线性回归）相当，其风险上限为线性回归风险加上一个依赖于正则化参数数量的对数因子。

关键结果

合成模拟

该算法在由三种效用模型生成的合成数据上进行了测试：线性、列昂惕夫（完全互补）和柯布 - 道格拉斯。

线性偏好：提出的算法和线性回归均达到了相当的估计误差。
非线性偏好：对于列昂惕夫和柯布 - 道格拉斯效用，线性回归在超过一定样本量后无法降低误差（显示出偏差），而提出的算法继续学习该函数，尽管速度较慢。在 $N=1000$ 时，对于列昂惕夫偏好，线性回归的误差是提出算法的 13 倍以上。

现实世界人类偏好（Tripadvisor）

该算法应用于 Tripadvisor 的酒店评分，根据六项标准（价值、房间、位置、整洁度、服务、睡眠质量）预测总体评分。

预测误差：与线性回归相比，提出的算法在预测误差上显示出适度但具有统计显著性的改进（约减少 8–11%）。
可减误差：更重要的是，与线性回归相比，该算法将可减误差（作为估计误差的代理，通过减去不可减噪声计算得出）降低了50% 至 69%。这表明该算法能更准确地学习底层社区偏好函数。
洞察：学习到的函数揭示了非线性特征，例如高分的边际收益递减（凹性）以及低分的显著影响，而这些是假设恒定边际变化的线性模型无法捕捉的。

大语言模型与人类偏好（ICLR 同行评审）

利用 ICLR 2024 论文的人类和 LLM（GPT-4o, Llama 3.1 70b）评审数据集：

一致性：GPT-4o 表现出显著低于 Llama 和人类评估者的不可减误差（即更高的内部一致性）。
对齐：GPT-4o 的偏好函数与人类偏好的接近程度显著高于 Llama。
形状差异：学习到的偏好函数显示，GPT-4o 从标准到总体评分的映射是非线性的（取决于其他评分，呈凹或凸），而人类偏好在观察到的图表中似乎更接近线性。

意义与主张

本文声称提供了一种可靠、鲁棒的方法来学习评估者偏好，从而避免模型设定错误的陷阱。

理论贡献：它确立了常见的参数假设可能导致排序和估计的 worst-case 误差等同于随机猜测，并且线性模型可能从根本上误解标准的重要性。
实践贡献：提出的算法提供了一种“两全其美”的解决方案：它被证明对复杂、非线性的偏好具有鲁棒性，同时在线性假设成立时保持与线性回归相当的性能。
应用：作者证明，该方法可以揭示人类和 LLM 决策中的细微洞察（例如边际收益递减、阈值效应），而这些是标准线性模型无法看到的。他们指出，这对于排序或使 AI 系统与人类价值观对齐等下游任务特别有价值，因为在这些任务中，理解偏好函数的结构比单纯的预测准确性更为关键。

作者对嘈杂现实世界数据集中预测准确性的提升保持谦逊，指出主要优势在于对底层偏好函数的忠实估计，而不仅仅是预测分数。他们得出结论，该方法使研究人员能够学习“评估者关心什么”，而不会遗漏其信念中在道德或实践上相关的非线性成分。