💬 NLP

IRIS: Intrinsic Reward Image Synthesis

该论文提出了 IRIS，这是一个通过利用基于最小化模型自确定性的内在奖励信号来增强自回归文本生成图像性能的新型框架，从而在不依赖人类偏好数据的情况下，实现了与集成外部奖励相媲美的性能。

原作者： Yihang Chen, Yuanhao Ban, Yunqi Hong, Cho-Jui Hsieh

发布于 2026-02-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Yihang Chen, Yuanhao Ban, Yunqi Hong, Cho-Jui Hsieh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人艺术家如何绘画。通常，要教一个机器人，你需要一个人类老师看着画作并说：“做得好！”或者“再试一次。”这就像是基于人类反馈的强化学习 (RLHF)。但为每一幅画都雇佣一位人类老师既昂贵又缓慢，而且老师的意见有时仅仅是一种个人品味。

这篇论文介绍了一种教机器人艺术家的新方法，叫做 IRIS（内在奖励图像合成）。IRIS 不再询问人类老师，而是教机器人去倾听自己的“直觉”或内部信号。

以下是其工作原理的拆解，使用了简单的类比：

1. 旧方法 vs. 新发现

在数学和编程的世界里，当机器人变得更加自信时，它们会变得更好。如果一个机器人在数学答案上 100% 确定，它通常就是正确的。因此，研究人员通常试图让机器人变得“更确定”。

然而，作者在观察图像生成时发现了令人惊讶的事情：

高置信度 = 无聊的艺术： 当机器人变得过于确定时，它开始画出简单、平淡且重复的图像（比如一面白墙或一个单色的色块）。它在保守地行事。
低置信度 = 生动的艺术： 当机器人感到有些“不确定”或“没把握”时，它实际上开始进行探索。它会增加更多细节、色彩和复杂的纹理。它在进行创造性的冒险。

类比： 想想一位爵士乐手。如果他们 100% 确定并严格遵循乐谱，音乐会很完美但很枯燥。如果他们稍微有点“不确定”并开始即兴发挥，音乐就会变得丰富、复杂且令人兴奋。作者发现，对于艺术而言，你希望机器人是一个即兴创作者，而不是一个僵化的机器人。

2. 什么是 IRIS？

IRIS 是一种训练方法，它通过奖励机器人表现得不太确定（具体来说，是最小化“自我确定性”）来给予奖励。

工作原理： 机器人生成一张图像。系统不是问人类“这好不好？”，而是问机器人：“你有多确定这就是绘制此物的唯一方式？”
奖励机制： 如果机器人说：“我不 100% 确定；有很多种呈现方式。”它就会获得奖励。这促使机器人生成更具细节感和多样性的图像。
无需人类： 最棒的部分是，IRIS 不需要任何人类标签、人类偏好或外部“评委”。它利用模型自身的内部数学逻辑来决定什么是好的。

3. “思维链”的惊喜

论文还发现，这种方法让机器人在绘画之前会先“大声思考”。

之前： 机器人看到“一只狗”，然后立即尝试画一只狗。
有了 IRIS 后： 机器人首先会在脑海中写下一段详细的描述：“好吧，一只狗。也许它是金色的，坐在木凳上，阳光洒在它的毛发上……”
结果： 这种内部的“思考”（称为思维链，Chain of Thought）帮助机器人创造出更好、更准确的图像。论文显示，随着使用 IRIS 进行训练，机器人的内部描述变得更加生动和详细。

4. 实验结果

研究人员在名为 Janus-Pro 的模型上测试了这一点。

优于单一评委： 当他们仅使用一种外部评委（如“美观度评分”或“物体检测器”）来训练机器人时，机器人擅长那一件事情，但在其他方面会失败。
媲美“全明星”团队： 当他们使用 IRIS（仅使用其内部信号）训练机器人时，其表现与使用一整个由不同外部评委组成的团队进行训练的机器人一样出色。
泛化能力： 因为 IRIS 不会强迫机器人去适应由人类评委定义的特定“框架”，所以机器人学会了绘制更广泛的事物，从复杂的空间关系到文化知识，而不会困在某一种特定的风格中。

总结

简而言之，IRIS 是一种教 AI 艺术家停止过度自信并开始探索的方法。通过奖励 AI 的“不确定性”，AI 实际上变得更有创意、细节更丰富，并且能够更好地遵循复杂的指令，而无需任何人类来批改它的作业。它将 AI 的内部怀疑转化为了创造更好图像的超能力。

技术摘要：IRIS（内在奖励图像合成）

问题陈述

虽然基于人类反馈的强化学习（RLHF）已成功增强了大型语言模型（LLM）在数学和代码等领域的推理能力，但其在自回归文本生成图像（T2I）任务中的应用仍面临重大障碍。主要的约束在于高质量、可扩展的人类偏好数据的匮乏。现有的替代方案依赖于外部奖励模型，例如基于人类审美偏好训练的模型（如 HPSv2），或专门的自动化系统（如目标检测器 GroundingDINO 和视觉问答 VQA 模型）。然而，这些外部方法存在可扩展性有限、主观性强以及缺乏泛化能力的问题；针对特定外部奖励训练的模型往往无法将能力迁移到其他领域（例如，在提升审美水平的同时降低了空间推理能力）。此外，最近在数学推理方面的研究表明，最大化自确定性（self-certainty）等内在信号可以提高性能，但目前尚不清楚这是否同样适用于具有本质主观性的图像生成任务。

方法论：IRIS

本文提出了 IRIS（Intrinsic Reward Image Synthesis，内在奖励图像合成），这是一个利用仅由内在奖励驱动的强化学习来改进自回归 T2I 模型的框架，无需依赖人类标注数据或外部验证器。

核心洞察：负向自确定性

作者观察到，推理任务与生成任务在模型置信度方面存在关键的分歧：

推理（数学/代码）： 更高的自确定性与更好的性能相关。
生成（T2I）： 更高的自确定性会导致生成的图像趋于简单、单一且缺乏细节，从而难以符合人类偏好。相反，自确定性较低的模型往往能生成生动、细节丰富的图像。

基于此，IRIS 利用 负向自确定性（Negative Self-Certainty, NSC） 作为奖励信号。与其最大化模型的置信度（自确定性），IRIS 选择最小化它。

技术实现

奖励定义： 在标记位置 $t$ 的奖励定义为自确定性（SC）的负值，通过模型输出分布 $\pi_\theta$ 与均匀分布 $U$ 之间的前向 Kullback-Leibler（KL）散度计算得出：
$NSC(o_t|q, \vec{o}_{<t}) := -KL(U \parallel \pi_\theta(o_t|q, \vec{o}_{<t}))$
使用前向 KL 旨在鼓励“模式覆盖”（mode-covering）行为，即奖励那些能够覆盖多种可能结果的概率分布，而非基于熵的指标所偏好的“模式寻求”（mode-seeking）行为。
优化： 作者采用了 组内相对策略优化（Group-wise Relative Policy Optimization, GRPO）。对于每个提示词（prompt），模型生成一组输出（文本描述后接图像）。优势函数（advantage）通过将每个轨迹的累积 NSC 与该组的平均值进行比较来估算。
- 双重优化： 与仅最大化文本自确定性的数学推理任务不同，IRIS 对文本标记（以鼓励描述性探索）和图像标记（以鼓励视觉多样性）同时最小化自确定性。
- 语义思维链（Semantic CoT）： 该框架结合了语义思维链（CoT）推理，即模型在合成图像之前先生成详细的文本描述。作者发现，最小化文本自确定性对于这一探索阶段至关重要。

核心贡献

首个用于 T2I 的内在强化学习： IRIS 是第一个利用仅由内在奖励信号改进自回归 T2I 模型的框架，消除了对外部奖励模型或人类偏好数据的需求。
任务相关的自确定性： 本文确立了自确定性具有任务依赖性的行为特征：最大化自确定性有利于客观推理，而最小化自确定性则有利于像 T2I 这样主观的生成任务。
泛化能力： 通过利用模型的内在先验知识而非狭隘的外部信号，与外部奖励基准相比，IRIS 实现了更好的泛化能力。
涌现推理： 该方法激励了细致、描述性思维链（CoT）推理的涌现，这与更高的图像质量和多样性直接相关。

实验结果

该方法在 Janus-Pro 模型（1B 和 7B 参数）上进行了评估，使用了三个多样化的基准测试：T2I-CompBench（组合理解）、WISE（世界知识与语义）以及 TIIF-Bench（指令遵循）。

相对于基座模型的表现： 应用 IRIS 显著提升了基座 Janus-Pro 1B 模型的性能，在 T2I-CompBench 上提升了 13.3%，在 WISE 上提升了 28.8%，在 TIIF-short/long 上分别提升了 10.7%/4.2%。
与外部奖励的对比：
- 在大多数指标上，IRIS 优于在单个外部奖励（HPSv2, GDINO, GIT, ORM）上训练的模型。
- 尽管在训练期间未使用任何外部信号，IRIS 达到了与使用四种外部奖励集成训练的模型（T2I-R1）相当的性能。
- 值得注意的是，IRIS 避免了在外部奖励训练中常见的“奖励作弊”（reward hacking）或分布偏移问题（例如，HPSv2 提升了审美但降低了真实感；而 IRIS 两者皆有提升）。
消融实验：
- RL vs. 梯度下降： 直接通过梯度下降最大化 NSC 会导致无意义的输出，这证实了 GRPO 算法在保持语义连贯性的同时进行探索的必要性。
- CoT： 使用语义 CoT 进行训练的效果始终优于不使用 CoT 的训练。
- 确定性方向： 最小化图像自确定性是必不可少的；最大化它会导致性能迅速下降。最小化文本自确定性也优于最大化它，因为这能鼓励模型探索多样化的语义描述。

重要性与主张

本文声称 IRIS 为 T2I 生成提供了一种可扩展且泛化性强的传统 RLHF 替代方案。通过将范式从最大化置信度转向最小化置信度（通过 NSC），该方法释放了模型的潜在推理能力，而不受数据收集或特定领域奖励工程的限制。作者总结道，内在奖励能够实现对解空间更稳健的探索，使模型能够泛化到外部奖励模型失效的“未见领域”。这项工作强调了自确定性在不同 AI 任务中的不同角色，为未来多模态生成模型的发展提供了指导。