🤖 machine learning

Multi-Axis Max@K Reinforcement Learning for Representative Diversity in Text-to-Image Generation

本文引入了多轴 max@K，这是一种基于组的强化学习目标，通过仅在样本能唯一提升一批次内特定语义模式的覆盖率时才对其分配信用，从而在不损害图像质量或提示词对齐度的前提下，增强了文本生成图像的多样性和人口统计学公平性，进而实现了更高的公平性得分。

原作者： Ku Onoda, Paavo Parmas, Hiroki Furuta, Soichiro Nishimori, Yuta Oshima, Shohei Taniguchi, Yutaka Matsuo

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ku Onoda, Paavo Parmas, Hiroki Furuta, Soichiro Nishimori, Yuta Oshima, Shohei Taniguchi, Yutaka Matsuo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正走进一个巨大的、充满魔力的艺术工作室，那里有一个机器人艺术家，能瞬间画出你描述的任何画面。你说：“画一个侦探，”砰的一声！一个侦探出现了。你再次要求，另一个侦探又出现了。但问题在于，每次你要求时，机器人画出的都是完全同一种类型的侦探——也许总是一个穿着风衣的高个子男人。这就像机器人有一个心仪的“固定套装”，并且拒绝尝试其他任何款式。这是现代“文本生成图像”AI的一个常见问题。虽然这些机器人非常擅长制作看起来真实且符合你描述的图片，但它们经常陷入一种窠臼，反复生成那几种极其相似的变化。这是一个大问题，因为如果你要求画一个“医生”或“领导者”，而机器人只展示一种特定类型的形象，它就会强化一种狭隘且不公平的世界观。科学家们称之为缺乏“多样性”。

为了解决这个问题，研究人员通常会试图告诉机器人：“让它看起来不一样！”但通常情况下，当我们强迫机器人变得多样化时，图片会变得奇怪、模糊或者纯粹是错误的。机器人会感到困惑，不再听从你的指令。这篇论文介绍了一种巧妙的新方法，教机器人如何在保持“冷静”（不失质量）的同时实现多样性。作者提出了一种名为“多轴最大化 K 值”（Multi-Axis Max@K）的方法。把它想象成一场选秀节目，你不仅仅选出一位最优秀的歌手，而是观察一整组选手，然后说：“好吧，这位是最好的歌手，这位是最好的舞者，而这位是最好的魔术师。”目标不是让一个人做到所有事情都完美，而是让整个团队能够覆盖所有的领域。研究人员测试了这个想法，发现它能帮助 AI 生成更广泛的人群和色彩，使结果更加公平且更有趣，同时还能保持图片的清晰度和对你描述的忠实度。

问题所在：机器人的“心仪”套装

想象一下你有一个热爱绘画的朋友。你请他画一只“猫”。他画了一只毛茸茸的橘猫。你再次要求，他又画了同一只橘猫。你第三次要求，还是那只橘猫。你的朋友并不是画得不好，他们只是陷入了一个循环。他们有一个画猫的“首选模式”，并一直重复这个模式。

在人工智能（AI），特别是“文本生成图像”模型的世界里，这种情况经常发生。这些模型的训练基于互联网上的数十亿张图像。如果互联网上有更多白人男性作为医生的照片，而不是女性或其他种族的人，那么 AI 就会学习到“医生”等于“白人男性”。当你要求画一个医生时，它会从那个狭隘的记忆库中提取信息。

通常的解决方法是告诉 AI：“要多样化！”但如果你只是大喊“要多样化！”，AI 可能会感到困惑。它可能会画出一个长得像土豆的医生，或者一只戴着听诊器的猫。AI 试图变得不同，但它忘记了如何“做好”遵循你的指令。研究人员想要一种方法，让 AI 展示一组不同的选项——有些是女性医生，有些是男性医生，有些是黑人，有些是亚洲人——而不会让图片看起来很糟糕。

解决方案：“全班最佳”选秀节目

论文的作者为 AI 的学习方式制定了一个新规则。他们称之为 Multi-Axis Max@K。这听起来很复杂，但让我们用一个简单的故事来拆解它。

想象你是一名正在给班级学生评分的老师。你有一份想要看到的“技能”清单：数学、艺术、音乐和体育。

旧方法（标量奖励）： 你单独看每个学生。“学生 A 数学很好但其他方面很差。学生 B 艺术很好但其他方面很差。”如果你只是把他们的分数相加，你可能会选出一个在所有方面都“还可以”但没有一项特别突出的学生。或者，你可能会选出数学天才，却忽略了班级里其实没有音乐家这一事实。
新方法（Multi-Axis Max@K）： 你将把“整个班级”作为一个整体来看待。你会问：“这个小组里谁是最好的数学学生？”你选出了学生 A。“谁是最好的音乐学生？”你选出了学生 B。“谁是最好的体育学生？”你选出了学生 C。

神奇之处在于：这个小组之所以获得高分，是因为它拥有数学天才、音乐天才和体育天才，即使没有任何一个学生能精通所有三项。AI 学习到，它不需要制作一张完美涵盖所有内容的图片，而是学习到，如果一组图片中的不同图片代表了不同的事物，那么这一“批次”（batch）的图片就是成功的。

“Max”部分意味着 AI 会在组内寻找每个类别的“最佳”范例。“K”部分意味着它观察一组 K 张图片（比如 7 张或 10 张一组）。“Multi-Axis”（多轴）部分意味着它会同时检查许多不同的类别（比如不同的肤色、性别或颜色）。

他们是如何测试的：从像素到人类

研究人员并没有仅仅靠猜测，他们通过三个不断递进、复杂度不断增加的方式进行了测试。

1. 颜色游戏（合成测试）
首先，他们玩了一个简单的计算机程序游戏。他们命令程序生成红色、绿色、蓝色或其它颜色的图像。他们设定了一个规则：如果一组图像覆盖了所有颜色，程序就能得分。

发生了什么： 当使用旧有的“单一评分”方法时，程序变得懒惰，因为它发现只要制造一堆红色图像就能轻松得分。但当使用新的“Multi-Axis Max@K”方法时，程序意识到它需要制造出一张红色图像、一张绿色图像和一张蓝色图像才能获胜。它开始分散投资，制造出色彩丰富的组合。

2. 像素谜题（基于规则的测试）
接下来，他们使用了一个真实的图像生成器 SD3.5-M（一种流行的 AI 艺术模型）。这一次，他们没有使用人类来评判图片，而是使用了一个通过观察像素并统计颜色的计算机程序。他们要求 AI 生成具有特定颜色主题的图片（如“暖色调”或“暗色调”）。

结果： AI 学会了生成这样一批图片：其中一张是明亮温暖的，另一张是冷色调蓝色的，还有一张是暗色的。它成功地覆盖了所有的“轴”（颜色维度），而无需人类告诉它什么是好的。

3. 公平性测试（感知外观）
最后，他们处理了那个重大的现实世界问题：公平性。他们要求 AI 生成不同职业的人（如“医生”、“艺术家”、“科学家”）的照片。他们想看看 AI 是否能展示出不同种族和性别的多样化组合。

设置： 他们使用了自动工具来“猜测”生成图像中人物的种族和性别。他们定义了诸如“黑人女性”、“亚洲男性”、“拉丁裔女性”等“目标模式”。
结果： 使用新方法后，AI 开始生成更加平衡的群体。
- 在修复之前，一组 16 张“医生”的图片可能包含 13 名白人男性和 3 名其他背景的人。
- 修复之后，一组 16 张图片可能包含 4 名白人男性、3 名黑人、4 名亚洲人、2 名印度人和 3 名拉丁裔。
- 研究人员使用“公平性得分”来衡量这一点。与基础模型相比，他们的新方法将得分提高了 0.23 到 0.36。这是一个巨大的飞跃！最棒的是，图片依然看起来很好。其“文本对齐度”（即图片与“医生”一词的匹配程度）保持在高水平，且图像质量并未下降。

这意味着什么（以及它不意味着什么）

论文表明，通过改变我们“奖励”AI 的方式，我们可以让它自然而然地产生多样性。与其强迫它变得不同（这会导致画面变得怪异），不如奖励这个“组”拥有不同的代表。

然而，作者也谨慎地说明了这“不意味着”什么。

它不会凭空创造出新的人。如果 AI 从未见过某种特定类型的人的图片，它就无法凭空发明他们。它只能扩散它“已经知道如何绘制”的那些人。
它依赖于 AI 获得的“分数”。如果用于评判图片的工具（“评估器”）存在偏见，AI 可能会学到错误的教训。研究人员使用了自动工具来评判图片，虽然他们通过不同的工具检查了工作以确保一致性，但他们承认，人类的眼睛才是最终的评判标准。
它在拥有明确的“多样性”清单（如特定种族或颜色的列表）时效果最好。它是一个帮助 AI 覆盖特定目标的工具，而不是解决世界上所有公平问题的魔杖。

总结

这篇论文就像是给了机器人艺术家一本新的规则手册。它不再说：“你必须制作一张完美的图片”，而是说：“制作一整组图片，如果这组图片包含了各种各样的元素，我会给你一颗金星。”

结果如何？AI 变得不再那么枯燥，也变得更加公平。它不再反复向我们展示同一个“默认”形象，而是开始展示现实世界中丰富多彩的多样性。而且，它做到了这一点，却没有让图片变成一团混乱的乱码。这虽然只是数学上的一个小改动，但它可能会为我们如何通过机器创作的艺术来看待自己带来巨大的改变。

以下是关于论文《Multi-Axis Max@K Reinforcement Learning for Representative Diversity in Text-to-Image Generation》的技术摘要翻译：

问题陈述

文本生成图像（T2I）模型，特别是基于扩散的生成器，往往会对单个提示词（prompt）产生仅覆盖极窄视觉差异子集的样本。虽然这些模型能够合成逼真的图像，但它们经常缺乏代表性多样性（representative diversity）。当目标是提供一组多样化的备选方案而非单一的合理图像时，这一局限性至关重要。在以人为中心的提示词中，这种集中现象可能会反映或放大人口统计学偏差（例如关于种族或性别的偏差），因为模型无法为代表性不足的类别生成强有力的代表。

现有的多样性干预措施通常会降低图像质量，且使用标量奖励的标准强化学习（RL）方法并不适用于解决这一问题。标量奖励在比较样本之前会对单张图像内的得分进行聚合，当目标是在一组样本中覆盖多个互斥的目标类别（例如不同的颜色模式或人口统计学标签）时，这种方法会失效。单张图像无法同时代表所有互斥的模式；因此，如果一组生成的样本中不同的样本能分别作为不同模式的强力代表，则应优先选择该组。

方法论：多轴 Max@K

作者将该问题形式化为目标模式覆盖（target-mode coverage）问题，并提出了多轴 max@k，这是一种专为扩散模型设计的基于组（group-based）的强化学习目标。

1. 目标公式化：
该方法不是先对单张图像内的奖励维度进行聚合，而是先跨样本进行聚合。对于一个提示词 $c$ ，生成一组 $k$ 个样本 $S_k(c)$ 。给定 $D$ 个预定义的目标模式（轴）以及由固定评估器返回的每个模式 $d$ 的得分 $r_d(x, c) \in [0, 1]$ ，目标得分 $G_k$ 定义为：
$G_k(S_k, c) = \sum_{d=1}^{D} w_d(c) \max_{x_i \in S_k(c)} r_d(x_i, c)$
这里，最大值是针对每个轴在采样集内进行选择的，然后将这些最大值求和。这种结构确保了只有当一个样本能够提升该类别在组内的最大得分时，该样本才会获得该类别的信用，从而允许不同的样本对不同的类别做出贡献。

2. 信用分配机制：
为了优化这种集合级目标，作者推导了一个策略梯度估计器。

留一法（Leave-One-Out, L2O）边际贡献： 对于样本 $x_i$ 和轴 $d$ ，信用取决于移除 $x_i$ 是否会降低该轴的组最大得分。
期望改进（Expected Improvement, EI）+ L2O： 在实际应用中，由于训练批次大小 $m$ 可能与目标窗口大小 $k$ 不同，作者使用带有留二法（leave-two-out）基线的期望改进估计器。它通过计算从 $m$ 个候选者中抽取的所有可能的规模为 $k$ 的子集的平均改进情况，来估计每个样本的优势（advantage）。
轴保持聚合（Axis-Preserving Aggregation）： 优势是在每个轴上独立计算的，然后求和形成单个样本的策略权重。这在最终聚合步骤之前保留了奖励轴的分离性。

3. 训练循环：
该方法采用了标准的类 GRPO（Group Relative Policy Optimization）风格的扩散模型更新方式。

为一个提示词生成一组 $m$ 个在策略内的（on-policy）候选样本。
在 $D$ 个奖励轴上对所有候选样本进行评分。
计算轴向代表性信用（max@K）并将之转换为单样本优势。
使用这些优势并结合针对基座模型的 KL 正则化来更新策略。

核心贡献

定义代表性多样性： 论文将代表性多样性定义为目标模式覆盖，将其视为一个集合级目标而非单张图像的属性。
多轴 Max@K 算法： 他们引入了一种特定的 RL 目标，在聚合前先执行针对每个奖励轴的最大值选择。这被呈现为 ReMax 目标的一个专门化案例，适用于模式互斥的生成建模场景。
轴保持信用分配： 该方法实现了一种基于组的扩散 RL 算法，根据样本作为特定模式“最佳代表”的能力来分配信用，从而防止概率质量坍缩到单一模式上。
全面的验证： 该方法在三个截然不同的设置中得到了验证：
- 一个受控的合成高斯模式混合环境。
- 在 Stable Diffusion 3.5 Medium (SD3.5-M) 上进行的确定性、基于规则的颜色奖励设置。
- 在 SD3.5-M 上进行的感知外观公平性（种族和性别）设置。

实验结果

1. 合成与颜色模式实验：

在具有九个互斥高斯模式的合成设置中，多轴 max@K 成功地重新分配了概率质量以覆盖所有目标模式。相比之下，标量单模式奖励会将分布坍缩到单个首选模式上。
在使用七个基于规则的颜色轴（如红、绿、暖、冷）的 SD3.5-M 上，该方法显著提高了批次级覆盖率。通过使用训练窗口 $k=7$ ，该模型在批次最大覆盖率（ $C_{pix}$ ）上比基座模型提升了 57%，而 $k=1$ 的基线（标准单图像 GRPO）则没有表现出改进。

2. 感知外观公平性：
该方法被应用于通过将感知种族（5 个类别）和感知性别（2 个类别）作为目标模式，来提高以人为中心的提示词的公平性。

公平性提升： 相对于基座 SD3.5-M 模型，多轴 max@K 在三种自动评估器（CLIP、VLM 和 FairFace）上将公平性得分（衡量与均匀分布的接近程度）提高了 0.23–0.36。
基线对比： 该方法优于使用基于计数的信用分配（Fair-GRPO）和推理时干预（FairImagen, Weak Guidance）的匹配 RL 基线。值得注意的是，虽然其他方法在提高公平性的同时会导致文本对齐度（CLIP-T 得分）下降，但多轴 max@K 保持甚至略微提升了图像质量和文本对齐指标。
定性转变： 对生成的批次进行视觉检查显示，生成内容从由单一类别（如“白人”）主导，转变为在单个提示词的批次内，在五个感知种族类别之间实现了平衡分布。

3. 消融研究：

窗口大小 ( $k$ )： 超参数 $k$ （用于 max-selection 的样本数量）至关重要。随着 $k$ 从 1 增加到 5（匹配种族类别的数量），公平性得分大幅提升，随后趋于饱和。 $k=1$ 的设置（无集合级信用）未能实现多样性提升。
信用机制： 该方法优于硬分配计数基线，作者将其归功于软得分能够捕捉稀有类别的阈值下证据，以及对每个轴的“最佳可用”代表给予的显式信用。

意义与主张

论文声称 multi-axis max@k 提供了一种通用的机制，通过将多样性视为对一组预定义模式的覆盖问题，来改进生成模型的多样性。

机制有效性： 核心贡献在于其信用分配规则，该规则允许批次中的不同样本专注于不同的奖励轴，有效地解决了“互斥模式”问题，而标量奖励无法解决这一问题。
实际影响： 该方法证明，可以在不牺牲图像质量或文本对齐的情况下，显著提高 T2I 生成中的人口统计学公平性，而这通常是以往公平性干预措施中常见的权衡。
局限性与范围： 作者坦诚地指出，该方法需要可测量的目标模式得分，并且只能为生成器已经具备采样能力的模式分配信用；它无法凭空创造不存在的模式。此外，结果依赖于自动评估器，且目标轴（如特定的种族/性别类别）的选择是一个任务级的设计决策，决定了实现何种多样性。该方法被呈现为一个集合级的对齐原语，适用于各种需要候选集覆盖特定轴的领域。