🤖 AI

GFlowGR: Fine-tuning Generative Recommendation Frameworks with Generative Flow Networks

本文介绍了 GFlowGR，这是一种用于生成式推荐系统的创新微调框架，它通过将协同知识集成到自适应轨迹采样器和奖励模型中，利用生成式流网络来减轻曝光偏差，从而提升其相对于现有监督式和基于偏好方法的性能。

原作者： Yejing Wang, Shengyu Zhou, Jinyu Lu, Qidong Liu, Xinhang Li, Wenlin Zhang, Feng Li, Pengjie Wang, Chuan Yu, Jian Xu, Bo Zheng, Xiangyu Zhao

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yejing Wang, Shengyu Zhou, Jinyu Lu, Qidong Liu, Xinhang Li, Wenlin Zhang, Feng Li, Pengjie Wang, Chuan Yu, Jian Xu, Bo Zheng, Xiangyu Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位正在经营餐厅的顶级大厨。你的目标是根据顾客以前吃过的食物，为他们推荐一份完美的菜品。

旧的方法（问题所在）：
传统上，当你培训厨房员工（AI 模型）时，你只会向他们展示一张顾客上次实际点过的特定菜品的照片。你会告诉他们：“记住这张照片。”

缺陷 1： 在现实世界中，你不仅仅是提供一道菜，而是呈现一整份精彩的菜单。但你的员工只学会了复制一张特定的照片，因此他们在创造多样化、高质量的菜单方面表现挣扎。
缺陷 2： 你把每一次互动都视为同等对待。如果一个顾客只是看了看菜单上的某项商品，你给他们的权重与他们购买了该商品是一样的。但显然，一次购买比一次瞥视更能体现他们想要什么。旧的训练方法忽略了这种价值差异。

新解决方案：GFlowGR
研究人员提出了一种新的训练方法，称为 GFlowGR。你可以将其理解为，不仅教你的大厨去复制一张照片，而是教他理解口味的“流动”，以及如何构建一个让最棒的菜品出现频率最高的完整菜单。

他们使用了 生成式流网络 (Generative Flow Networks, GFlowNets) 的概念。以下是使用简单类比进行的解释：

1. “流动”类比

想象水流通过一个管道网络。

目标： 你希望水流最密集地流向通往“高价值”目的地（如一道美味且受欢迎的菜品）的管道。
旧的方法： 你只是指着一个目的地说：“去那里！”
GFlowGR 的方式： 你设置好管道，使得流向任何目的地的水量（概率）与该目的地有多“有价值”直接成正比。如果一道菜是“超级热门”（高奖励），那么会有巨大的水流涌向它。如果一道菜只是“可能感兴趣”，那么只有细微的水流经过。这确保了大厨能自然地优先考虑最好的选择。

2. 三大核心要素

为了实现这一点，论文引入了三个具体的工具：

“菜单构建者”（轨迹采样器 - Trajectory Sampler）：
这个工具不只是盯着顾客买下的那一道菜，它会观察整个历史记录：他们买了什么，点击了什么，看到了但没点击什么，甚至包括他们没看到什么。它构建了一个包含许多可能性的“训练菜单”，这样大厨就能学会区分“可能感兴趣”和“确定想要”。
“价值评判员”（奖励模型 - Reward Model）：
这是一个聪明的计分员。它不仅仅是说“好”或“坏”，它会根据不同的信号给出细致入微的分数：
- 他们买了它吗？（高分）
- 他们点击了它吗？（中分）
- 他们只是看了看？（低分）
- 它符合他们过去的风格吗？（加分）
  这个分数告诉“流网络”应该有多少水流向这道菜。
“步步指导教练”（Token 级监督 - Token-Level Supervision）：
在这些 AI 系统中，一道菜不仅仅是一个词，它是一个 token 序列（例如：<品牌> <口味> <规格>）。旧的方法只检查最终结果。GFlowGR 则像一位教练，观察大厨走的每一步。如果大厨很早就选错了“品牌”token，教练会立即纠正，确保整个路径最终都能导向高价值的菜品。

3. 现实世界的结果

研究人员不仅在实验室里测试，他们还在淘宝（一个庞大的中国电子商务平台）进行了实地测试。

规模： 他们将此用于搜索广告，服务于每天数亿的用户。
成果： 自 2025 年年中上线以来，该系统带来了 0.4% 的年收入增长。虽然这听起来很小，但在如此规模的平台上，这转化为数十亿美元的额外价值。
为什么有效： 该系统变得能够更好地展示一系列多样化且高质量的商品，这些商品真正符合用户想要购买的需求，而不是仅仅重复那些热门商品。

总结：
GFlowGR 改变了 AI 推荐事物的方式。它不再是学习如何记住一个“正确答案”，而是学习如何在复杂的可能性景观中进行导航，确保最有价值的物品获得最多的关注，同时仍能为用户提供多样且令人兴奋的菜单。它将一种僵化的“复制粘贴”式训练方法转变为一种流动的、具备价值感知能力的学习过程。

技术摘要：GFlowGR

问题陈述

生成式推荐（Generative Recommendation, GR）框架利用大语言模型（LLM）自回归地生成物品标识符，已在工业应用中展现出潜力。然而，现有的训练范式（主要是监督微调，SFT）在与实际部署需求匹配方面存在两个根本性的失配问题：

点对点与集合对集合的失配（Point-wise vs. Set-wise Mismatch）： SFT 旨在优化单个真实物品（ground-truth item）的预测。相比之下，生产系统需要生成多样化且高价值的候选集。SFT 在训练过程中忽略了完整的相关物品集合，导致离线单项预测与在线集合推理之间存在差距。
交互价值的均匀化（Uniform Interaction Value）： SFT 将所有用户交互（如曝光、点击、购买）视为具有同等信息量。它未能考虑到内在的效用差异，例如，购买信号比单纯的曝光更能体现用户意图和平台价值。

虽然最近的基于奖励的微调方法（如强化学习、直接偏好优化 DPO）试图解决价值感知问题，但它们往往缺乏标记级监督（token-level supervision）。由于 GR 中的物品是以多标记序列（multi-token sequences）表示的，仅在物品层面分配奖励会限制优化的精度和生成质量。

方法论：GFlowGR

为了解决这些挑战，作者提出了基于**生成式流网络（Generative Flow Networks, GFlowNets）**的微调框架 GFlowGR。该框架将 GR 重新表述为一个序列集合生成问题，使生成物品序列的概率与该序列的效用显式对齐。

核心组件

GFlowGR 由三个紧密集成的组件组成：

轨迹采样器（Trajectory Sampler）：
- 从候选集合而非单个物品构建训练轨迹，以实现集合级学习。
- 支持多种采样策略：
  - 交互日志（Interaction Logs）： 使用历史会话数据。
  - 随机采样（Random Sampling）： 使用随机负样本来增强稀疏数据。
  - 协同模型（Collaborative Model, CM）采样： 一种自适应的课程学习式方法，通过预训练的 CM 来引导负样本的选择。训练初期使用“容易”的负样本（低 CM 分数），后期则引入“更难”的负样本（高 CM 分数）以维持训练难度。
  - 基于 LLM 的采样（LLM-based Sampling）： 使用当前 LLM 的束搜索（beam search）来生成在策略（on-policy）负样本。
行为感知奖励模型（Behavior-Aware Reward Model）：
- 通过将异构的用户信号整合为复合奖励 $R(s_L)$ 来量化物品效用。
- 该奖励结合了三种信号：
  - 交互信号 ( $r_a$ )： 基于观察到的反馈水平（例如：购买 > 点击 > 曝光）。
  - 估计得分 ( $r_c$ )： 来自协同模型或 LLM 前向概率的分数。
  - 业务目标 ( $r_{sim}$ )： 通过与正样本共享的标记数量来衡量的部分正确性。
- 该模型不仅为观察到的正向物品分配奖励，也为增强后的样本（包括未呈现的物品）分配奖励，从而避免了因对未观察物品分配零奖励而导致的曝光偏差（exposure bias）。
GFlowNet 目标函数（GFlowNet Objective）：
- 通过强制执行流匹配原则提供标记级监督。该框架确保生成完整物品序列的概率与终端奖励成正比（ $P(\tau) \propto R(s_L)$ ）。
- 它利用**细粒度平衡（Detailed Balance, DB）或轨迹平衡（Trajectory Balance, TB）**损失函数，将物品级奖励分解为标记级学习信号，使前向生成概率与后向流保持一致。
- 总损失结合了用于正样本的标准下一标记预测损失（SFT）以及在采样轨迹上的 GFlowNet 损失（ $L_{GFN}$ ），并通过超参数 $\lambda$ 进行平衡。

核心贡献

形式化： 本文将 GR 正式定义为一个多步、价值感知的集合生成任务，并提出了 GFlowGR，这是首个基于 GFlowNet 的 GR 微调框架，实现了标记级监督。
模块化设计： 它提出了一个灵活的架构，包含轨迹采样器、多信号奖励模型和 GFlowNet 损失，并通过多种实际实例化进行了验证。
且展示了其灵活性。
实证验证： 在三个真实数据集（Yelp, Beauty, Instruments）上使用两种代表性的 LLM 驱动 GR 基座（TIGER 和 LETTER）进行的广泛实验表明，GFlowGR 在各项指标（Top-5 和 Top-10 的命中率 Hit Rate 及 NDCG）上均持续显著优于包括 SFT、GRPO 和 DPO 变体在内的强基线模型。
工业部署： 该框架已成功集成到淘宝的搜索广告业务中，服务于每日数亿活跃用户。

结果

离线评估

性能： GFlowGR 的变体（DB 和 TB）在所有指标（Top-5 和 Top-10 的 Hit Rate 和 NDCG）上均持续优于基线。其中 GFlowGR-TB 表现尤为强劲，这可能归功于其对完整轨迹进行优化的能力。
消融实验：
- 移除奖励模型的任何组件都会导致性能下降，证实了结合交互信号、协同得分和标记相似性的必要性。
- 自适应采样（基于 CM）优于随机采样。
- 从物品集合（增强轨迹）中学习至关重要；仅在单个正向物品（ $N=1$ ）上训练的模型泛化能力较差。
奖励集成： 可学习的加权奖励信号略优于简单求和，这表明校准异构信号可以提升效果。

在线部署（淘宝）

营收影响： 自 2025 年年中以来，GFlowGR 为淘宝搜索广告带来了 0.4% 的年度营收相对提升，对应着十亿级的资金收益。
A/B 测试： 对 10% 流量进行的 15 天测试显示，总营收实现了统计学意义上的 +0.43% 提升。
效率： 虽然 GFlowGR 的训练时间大约是标准 SFT 的 2.1 倍（由于增加了增强样本），但与 GRPO 等其他 RL 方法相比，它在用户交互利用率方面具有更高的效率。
长尾表现： 模型在欠服务场景中表现出色，包括新上架物品的营收提升 +4.0% 以及长尾查询的营收提升 +1.8%，同时增加了物品覆盖的多样性。

重要性与主张

本文声称 GFlowGR 为下一代生成式推荐系统提供了原则性的基础，弥合了点对点训练与集合级服务的差距。通过将物品生成建模为随机轨迹，并将生成概率与行为感知奖励对齐，该框架实现了价值成比例、多样化且高质量的推荐。

作者强调，GFlowGR 解决了 GR 训练范式中的关键瓶颈，超越了单项优化，转向一种在 GFlowNets 理论基础上且在大型工业环境中得到实践验证的集合级、价值感知的方法。这项工作证明，引入标记级监督和多样化的候选集对于使基于 LLM 的推荐系统与现实世界的业务目标对齐至关重要。