💻 computer science

Guidance Contrastive Token Credit Assignment for Discrete Policy Optimization

本文介绍了引导对比策略优化（GCPO），这是一种新颖的算法，通过将均匀样本级信用分配替换为基于正负提示下模型预测对比得出的细粒度 token 级优势，从而改进离散策略学习，进而在文本到图像生成和思维链推理任务中取得优于 GRPO 和 DAPO 等现有方法的性能。

原作者： Shufan Li, Konstantinos Kallidromitis, Akash Gokul Yusuke Kato, Kazuki Kozuka, Aditya Grover

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shufan Li, Konstantinos Kallidromitis, Akash Gokul Yusuke Kato, Kazuki Kozuka, Aditya Grover

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人画画或解决数学问题。你给机器人一个提示（比如“杯子旁边的猫”），它生成一个答案。如果答案很好，你就给它一颗“金星”（奖励）；如果答案不好，你就给它一个“大拇指向下”的否定。

旧方法的问题
过去，像GRPO这样的方法就像一位给整篇作文打一个总分的老师。如果作文得了"A"，老师就会告诉机器人：“你写的每一个字都做得很棒！”如果得了"F"，老师就会说：“你写的每一个字都很糟糕。”

问题在于，这并不公平。在一个关于猫的故事里，“猫”和“杯子”这两个词超级重要。但像“的”、“和”或“一”这样的词只是填充词。如果机器人得到了一颗金星，它真正应该感谢的是“猫”和“杯子”这两个词，而不是“的”这个词。旧方法对所有词一视同仁，这使得学习过程既缓慢又低效。

新解决方案：GCPO
这篇论文介绍了一种名为**GCPO（引导对比策略优化）**的新方法。你可以把它想象成一位“聚光灯老师”。

GCPO 不再只是给整篇作文打分，而是要求机器人为它写下的每一个字设想两种不同的场景：

“正确”场景：“如果我在思考提示‘杯子旁边的猫’时写下了这个词，会怎样？”
“错误”场景：“如果我在思考……‘什么也没想’？或者‘给我一个错误答案’时写下了这个词，会怎样？”

聚光灯如何工作
然后，机器人会针对每一个字比较这两种场景：

“猫”这个词：如果机器人在提示是“猫”时非常确定要写“猫”，但在提示是“什么也没想”时却非常困惑，那么这种差异就非常大。GCPO 就会在这个词上投下一道明亮的聚光灯。它的意思是：“这个词很重要！你在这里做得很棒！”
“的”这个词：如果无论提示是“猫”还是“什么也没想”，机器人都写“的”，那么这种差异就微乎其微。GCPO 就会调暗这个词上的灯光。它的意思是：“这个词对于这个特定任务来说并不真正重要。”

“直方图”技巧
这里有个陷阱：有时两种场景之间的“差异”可能是巨大的数字，也可能是微小的数字，这使得比较变得困难。想象一下，试图比较一座山的高度与一座小丘的高度，但数字却杂乱无章。

为了解决这个问题，作者使用了一个巧妙的技巧，称为直方图均衡化。想象你有一叠卡片，代表答案中的每一个字。与其查看卡片的原始高度，你只需对它们进行排名。最高的卡片得 100 分，最矮的得 0 分，中间的那张得 50 分。这确保了无论原始差异有多大或多小，每个答案都能获得一套公平、平衡的“聚光灯”。

测试时的表现如何？
研究人员在两个主要方面测试了这种方法：

文本到图像：当被要求生成图像（例如“一张蓝色时钟的照片”）时，经过 GCPO 训练的机器人学会了比旧方法更好地聚焦于时钟和蓝色。它不再在背景上浪费精力。
数学与逻辑：在解决数学问题或逻辑谜题时，机器人学会了聚焦于关键的数字和步骤（例如"x = 5"），而不是那些连接词。

结果
通过使用这种“聚光灯”方法，机器人学得更快，并且能画出更好的图片、解决更难的数学问题，这比使用旧有的“给整篇作文打分”的方法要好得多。论文表明，这种方法既适用于视觉任务（图像），也适用于逻辑任务（文本），使其成为教导 AI 更精确思考的强大新工具。

技术摘要：用于离散策略优化的引导对比令牌信用分配

问题陈述

强化学习（RL）在生成模型领域的最新进展，特别是群相对策略优化（GRPO）及其变体（如 DAPO），已在从数学推理到文本到图像合成的各个领域展现出卓越性能。然而，这些方法依赖于样本级奖励，并将奖励均匀广播到生成序列中的所有令牌。这种均匀的信用分配未能捕捉细粒度的令牌级贡献。

事实上，并非所有令牌都同等重要。在思维链（CoT）推理中，特定令牌（例如数学推导）决定了答案的正确性，而其他令牌（例如标点符号、连接动词）则是填充物。同样，在文本到图像生成中，某些图像区域与文本提示直接相关，而其他区域（如背景）的相关性较低。现有的令牌信用分配方法通常依赖于令牌置信度、梯度或熵等启发式方法，但缺乏一种统一的机制来识别跨视觉和文本模态的语义关键区域。

方法论：引导对比策略优化（GCPO）

作者提出了引导对比策略优化（GCPO），这是一种新颖的算法，通过对比模型在正负提示下的预测来分配每个令牌的优势。该方法灵感来源于无分类器引导（CFG），这是文本到图像扩散模型中的一种标准推理技术。

1. 对比引导机制

GCPO 通过测量模型在给定正提示（ $x$ ）和负提示（ $x^-$ ）下的预测差异，计算每个令牌的重要性权重（ $\eta$ ）。

对于文本到图像： 正提示是用户输入，负提示通常是空字符串（无条件生成）。
对于多模态推理（VLMs）： 由于指令微调模型原生不支持空提示，作者通过在原始问题后附加后缀指令**“生成错误答案”**来构建负提示。这在模型对正确答案的隐式信念与对错误答案的信念之间建立了对比。

重要性权重使用这两种条件下令牌分布之间的Kullback-Leibler (KL) 散度计算：
$\eta_{i,t} = D_{KL}(\pi_\theta(y_{i,t}|x, y_{i,<t}) \parallel \pi_\theta(y_{i,t}|x^-, y_{i,<t}))$
具有高 $\eta$ 值的令牌表明模型预测对提示高度敏感，标志着语义重要性。

2. 基于排名的归一化

原始 KL 散度值在不同任务、提示和序列长度之间的尺度差异巨大。像 softmax 或 min-max 这样的标准归一化技术容易将概率质量集中在异常值上（例如第一个令牌）。为了解决这个问题，GCPO 采用直方图均衡化（基于排名的归一化）。

未归一化的 $\eta$ 值被转换为序列内的累积分布函数（CDF）值。
这确保了归一化权重的分布在样本间保持一致，无论散度的绝对尺度如何，从而无需针对特定任务调整超参数即可实现稳定的训练。

3. 策略优化目标

归一化权重（ $\eta_{normalized}$ ）用于缩放每个样本的优势（ $\hat{A}_i$ ），以获得每个令牌的优势（ $\hat{A}^{GCPO}_{i,t}$ ）：
$\hat{A}^{GCPO}_{i,t} = \eta_{normalized, i,t} \cdot \hat{A}_i$
这个每个令牌的优势替换了标准 GRPO 目标中的均匀优势，使得策略更新能够更集中地关注语义关键的令牌。

主要贡献

新颖的令牌信用分配： GCPO 引入了一种通过对比正负提示来推导每个令牌重要性权重的方法，无需显式的令牌级奖励即可有效识别关键推理步骤或视觉区域。
扩展到语言和多模态领域： 虽然 CFG 是图像生成的标准技术，但本文通过设计特定的负提示策略（“生成错误答案”）成功地将这一概念扩展到离散语言生成和多模态推理，揭示了模型对正确性的隐式信念。
鲁棒的归一化： 提出的基于排名的归一化（直方图均衡化）解决了 RL 训练中原始散度指标相关的不稳定性问题，确保了跨多样化任务的平滑优化。
通用性： 该方法在文本到图像生成和复杂多模态推理任务中均被证明有效，性能优于现有基线。

实验结果

作者在两个主要基准上评估了 GCPO：

文本到图像生成

基准： GenEval。
基础模型： Janus-Pro-7B。
结果： GCPO 取得了 0.89 的总分，优于基础模型（+0.09）、之前的 RL 方法 Janus-Pro-R1 以及 GRPO 基线（0.85）。其表现与显著更大的模型（例如 Qwen-Image-2507, BAGEL）相当。
观察： 最显著的增益出现在“计数”和“颜色属性”任务中，这些任务需要与提示进行精确的令牌级对齐。

多模态推理

基准： MathVerse, MathVision, MM12K, LogicVista 和 MMMU-Pro。
基础模型： Qwen2.5-VL-7B 和 Qwen3-VL-8B。
对比： GCPO 与 GRPO、DAPO 和 VPPO（一项专注于视觉依赖令牌的前期工作）进行了比较。
结果： GCPO 始终优于所有基线。例如，在 Qwen3-VL-8B 模型上，GCPO 在 MMMU-Pro 上达到了 55.3%，超过了 VPPO（52.4%）和 DAPO（50.5%）。
消融实验： 研究证实，与信息增益或绝对差异相比，KL 散度是最有效的指标，且“生成错误答案”的负提示优于空白图像或通用提示等其他策略。

意义与主张

论文声称 GCPO 是一种简单、通用且可扩展的离散策略学习优化策略。其意义在于：

细化学习信号： 通过将均匀样本级奖励转变为细粒度的令牌级优势，GCPO 使模型能够专注于推理轨迹的“实质”和相关视觉区域，而不是平等对待所有令牌。
连接推理与训练： 它成功地将推理时的技术（CFG）转化为训练时的奖励塑形机制，证明了即使在采样过程中未显式使用 CFG 的领域，对比信号也能指导策略优化。
优于启发式方法： 与依赖静态启发式方法（置信度、梯度）的先前令牌信用分配方法不同，GCPO 根据模型自身对提示条件的敏感性动态推导权重，提供了更具语义基础的信号。

作者指出了局限性，具体而言，该方法要求模型具备区分正确与错误答案的初始能力（以响应负提示），并且严格适用于依赖提示的 RL 任务。然而，他们断言 GCPO 通过提供一种稳健的令牌级信用分配机制，为离散策略优化的未来进展铺平了道路。