🤖 machine learning

Normative Alignment of Recommender Systems via Internal Label Shift

NAILS 是一种可扩展的、无需重新训练的方法，它通过在内部标签偏移中诱导目标属性分布，使推荐系统的输出与公平性和多样性等规范性目标对齐，从而平衡全局价值与用户参与度。

原作者： Johannes Kruse, Kasper Lindskow, Michael Riis Andersen, Ryotaro Shimizu, Julian McAuley, Pierre-Alexandre Mattei, Jes Frellsen

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Johannes Kruse, Kasper Lindskow, Michael Riis Andersen, Ryotaro Shimizu, Julian McAuley, Pierre-Alexandre Mattei, Jes Frellsen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在经营着一家规模宏大、高速运转的新闻报刊亭，并使用一个超级聪明的机器人来猜测每位顾客想要购买什么。通常情况下，这个机器人痴迷于一件事：让你点击。它学到如果喜欢看猫咪视频，就应该只给你看猫咪视频。但问题在于，如果机器人只给你看猫，你可能会错过酷炫的新科学故事或有趣的本地体育动态。新闻报刊亭的所有者（即“利益相关者”）希望看到各种各样的内容，以保持整个店铺的趣味性和公平性，即使这意味着机器人偶尔需要推荐一些你并未明确要求的东西。

这就是 Johannes Kruse 及其团队用名为 NAILS（通过内部标签偏移实现规范对齐的推荐系统）的新工具所解决的问题。

问题所在：机器人的隧道视野

大多数推荐系统就像一个只吃披萨的饥饿青少年。如果你问他们想要什么，他们会一遍又一遍地说“披萨！”在现实世界中，这会创造出“过滤气泡”，即人们只看到同类内容（比如只看犯罪新闻或只看娱乐新闻），从而错失了大局观。论文指出，虽然这些系统在获取点击率方面表现出色，但它们往往无法实现更大的目标，如公平性、多样性或报社自身的编辑价值观。

解决方案：温柔的提醒，而非强制重置

该团队并不想扔掉机器人的大脑或从头开始重新训练它（因为那样既慢又贵）。相反，他们想出了一个被称为**内部标签偏移（Internal Label Shift）**的聪明技巧。

把机器人的大脑想象成一个巨大的图书馆。通常，机器人根据你以前喜欢的物品来挑选书籍。NAILS 就像一个在机器人挑选书之前，就在它耳边低声诉说一条秘密规则的图书管理员。这条规则说：“嘿，我们需要确保每个人看到的排名前 10 的书籍中有良好的类型组合。”

机器人并不会忘记你的喜好；它只是稍微调整了它的选择，以符合新的“混合”规则。这就像你在为派对挑选前 10 首歌曲。你仍然会挑选你喜欢的歌曲，但你会确保不要只选 10 首重金属乐，仅仅因为你热爱重金属；你会换掉几首，加入流行或爵士乐，以保持派对的平衡。

他们的发现（证据）

该团队在一个名为 EB-NeRD 的真实数据集上进行了测试，该数据集包含超过 3700 万条用户点击新闻文章的记录，涉及超过 100 万名独立用户。他们观察了其中 13,336,710 次点击以查看系统对文章的排序效果，并使用了 200,000 个额外样本来检查类别“混合”是否正确。

以下是实验结果：

它有效： 当他们调高“提醒”程度（他们称之为 $\lambda$ ，范围从 0 到 1）时，系统在匹配期望的新闻类别组合方面表现得更好。例如，当目标是“均匀分布”（即每个类别都有相等机会）时，系统展示的内容与目标之间的差异显著下降。
并非完美（但表现良好）： 他们将 NAILS 与一种名为 CaliRec 的现有方法进行了比较。CaliRec 就像一位严苛的厨师，会重新排列整个盘子以达到完美的平衡，但它速度慢且具有贪婪性。NAILS 则更像是一种快速的调整。在测试中，CaliRec 有时在“完美平衡得分”（通过称为 KL 散度的指标衡量，该值越低越好）方面略胜一筹，但 NAILS 速度更快，且不需要在每次进行推荐时都去解决复杂的数学难题。
权衡取舍： 论文发现，你不能鱼与熊掌兼得。当他们强迫系统达到完美平衡（例如等量展示每种新闻类别）时，系统预测特定用户点击行为的能力（以 AUC 衡量）有时会下降。然而，当他们瞄准“编辑分布”（即匹配报社自身价值观的混合比例）时，系统的点击预测能力实际上变得更好了。

他们明确表示“不”的部分

论文非常明确地说明了 NAILS 不是什么。

它不是一种从头开始重新训练整个 AI 模型的方法。那会耗费太长时间且成本过高。
它不是一种仅关注个人历史的“以用户为中心”的修复方案。相反，它采取了“以利益相关者为中心”的视角，这意味着它关注的是整个平台或新闻机构的目标。
它并不保证每次都能实现完美匹配。作者指出，由于他们在调整类别的同时保持了用户的原始偏好不变，因此结果是一个“近似解”，它能找对方向，即使在数学上并不完全等同于目标。

他们有多确定？

作者对他们衡量的数字充满信心。他们不仅仅是在猜测；他们在海量数据集上运行了系统并观察了结果。他们发现 NAILS 始终能改善与目标分布的对齐情况。然而，他们也谨慎地表示，这并不是一个“已解决的问题”。他们建议，虽然结果令人鼓舞，但我们还不清楚这在长期运行的真实环境中会如何演变。他们明确指出，未来仍需研究这些变化如何随着时间的推移影响用户参与度和系统动态。

核心结论

NAILS 是一种简单、高效的方法，可以告诉推荐机器人：“继续做你擅长的事，但请确保最终的列表看起来是我们想要的、多样且公平的混合比例。”这是一个轻量级的工具，帮助新闻出版商和平台在不破坏其推荐引擎的前提下，坚守其价值观。正如论文所暗示的，这是构建不仅具有成瘾性，而且更具责任感的推荐系统过程中，迈出的务实一步。

技术摘要：通过内部标签偏移实现推荐系统的规范对齐 (NAILS)

问题陈述
推荐系统主要针对用户参与度指标（如点击率）进行优化，但这往往以牺牲更广泛的规范性目标（如公平性、多样性或编辑价值）为代价。在新闻等领域，纯粹由行为驱动的个性化可能会强化过滤气泡，并导致重要但受欢迎程度较低的内容代表性不足。虽然现有关于推荐系统“校准”（calibration）的研究解决了将推荐与用户历史偏好分布对齐的问题（以用户为中心），但目前缺乏可扩展的方法来使整个用户群体的推荐结果与由利益相关者（例如新闻机构的编辑委员会）定义的全局规范性目标相一致。

方法论：NAILS
作者提出了 NAILS（通过内部标签偏移实现规范性推荐系统对齐），这是一个轻量级、与模型无关的后处理框架。与需要重新训练或复杂的约束优化（如混合整数规划）的方法不同，NAILS 利用了层次分类框架中的标签偏移（label shift）概念。

理论公式：
- 系统将用户 $u$ 、项目 $i$ 和项目属性 $c$ （例如类别）的联合概率建模为 $p(c, i, u) = p(c|i)p_\theta(i|u)p(u)$ 。
- 目标是用目标规范分布 $\tilde{p}(c)$ （例如特定的编辑组合或均匀分布）替换自然的边际属性分布 $p(c)$ 。
- NAILS 假设给定属性的项和用户的条件分布保持不变（ $p(i, u|c) = \tilde{p}(i, u|c)$ ）。
- 在此假设下，用户与项目交互的对齐概率推导为：
  $\tilde{p}(i|u) \propto p_\theta(i|u) \sum_{c \in C} \frac{\tilde{p}(c)}{p(c)} p(c|i)$
- 这实际上是通过一个取决于目标分布与当前属性分布之比的因子，对原始模型的得分 ( $p_\theta(i|u)$ ) 进行重加权。
实现：
- 该重加权项可以通过在 Softmax 层之前添加 $\log(\sum_{c} \frac{\tilde{p}(c)}{p(c)} p(c|i))$ 来实现。
- 一个可调超参数 $\lambda \in [0, 1]$ 允许在原始推荐系统和完全对齐的版本之间进行插值： $\tilde{p}_\lambda(i|u) = \lambda \tilde{p}(i|u) + (1-\lambda)p_\theta(i|u)$ 。
- 该方法支持确定性选择（最高概率）和随机采样。

核心贡献

以利益相关者为中心的视角： 本文将关注点从校准个人用户历史转向使系统范围内的输出与全局规范目标对齐。
高效算法： NAILS 提供了一个简单、可扩展的解决方案，避免了贪婪优化或重新训练带来的计算开销，使其适用于大规模部署。
实证验证： 该方法在 EB-NeRD 数据集（Ekstra Bladet 新闻推荐数据集）上进行了评估，该数据集是一个包含超过 3700 万条曝光日志和 125,000 篇文章（涵盖八个编辑类别）的大规模基准数据集。

实验结果
作者使用 NRMS 模型作为基础推荐器，将 NAILS 与 CaliRec（一种贪婪后处理基线）进行了对比评估。

对齐有效性：
- NAILS 成功降低了推荐分布与目标分布（编辑分布或均匀分布）之间的 Kullback–Leibler (KL) 散度。
- 虽然 CaliRec 在某些设置下由于其显式的 KL 优化而实现了最低的 KL 散度，但 NAILS 在无需高昂计算成本的情况下提供了强大的近似。
- 在确定性设置中，NAILS 展示了比 CaliRec 更优的覆盖率（所选唯一文章的比例），这表明它能更好地平衡分布对齐与内容多样性。
排序性能 (AUC)：
- 对排序质量（以 AUC 衡量）的影响随目标分布的不同而变化。
- 与编辑分布（反映了策划候选列表）对齐实际上提高了 NAILS 和 CaliRec 的 AUC。
- 与均匀分布对齐通常会降低 AUC，凸显了严格的公平性/多样性与用户相关性之间的内在权衡。
权衡： 结果证实，选择目标分布至关重要。NAILS 允许利益相关者通过调节 $\lambda$ 来管理对齐强度与保留参与度指标之间的平衡。

意义与主张
本文声称 NAILS 提供了一种切实可行且有原则的“价值驱动推荐”机制。其主要意义在于：

可扩展性： 它使平台（特别是具有使命驱动的新闻出版商）能够在不重新训练复杂深度学习模型的情况下，强制执行编辑价值或多样性目标。
灵活性： 它提供了一个可调旋钮 ( $\lambda$ ) 来管理规范对齐与排序性能之间的权衡。
未来方向： 作者谦逊地指出，虽然 NAILS 是有效的，但“最优性”的概念是取决于上下文的。他们将这项工作定位为将校准从以用户为中心的观点扩展到全局规范目标的步骤，认为这是负责任的 AI 在编辑和政策驱动型系统中实现必要的方向。他们明确指出，未来仍需研究此类干预在实时环境中的长期影响。