技术摘要：AutoRubric-T2I

问题陈述

将文本到图像（T2I）生成模型与人类偏好对齐是当前人工智能研究的核心目标。现有方法通常分为两类，但两者均存在显著局限性：

1. 学习得到的标量奖励模型：ImageReward、PickScore 和 HPSv2 等模型基于 Bradley-Terry 目标，在大规模人类偏好语料库上进行训练。虽然它们在全局排序方面有效，但将多维人类偏好压缩为单一的不透明标量分数。这种缺乏可解释性的特点使它们容易受到“奖励黑客”攻击，即 T2I 策略利用表面的视觉特征（例如亮度、对比度或以人为中心的构图）来最大化分数，同时违反特定的语义约束或提示细节。
2. 视觉 - 语言模型（VLM）评判器：这些模型使用文本提示或评分标准（rubrics）来评估图像。虽然它们提供细粒度的评估，但其标准通常是手动设计或启发式生成的。因此，它们的判断往往无法可靠地与人类实际偏好相关联，有时在偏好基准测试中的表现甚至显著差于学习得到的标量模型。

核心挑战在于缺乏一个框架，能够自动推导、选择和细化与人类偏好一致的显式、可解释的评估规则（rubrics），而无需进行昂贵的密集标量奖励模型训练。

方法论：AutoRubric-T2I

作者提出了 AutoRubric-T2I，这是一个直接从图像偏好数据中学习紧凑的、加权自然语言评分标准集合的框架，用于指导现成的 VLM 评判器。该方法避免了对奖励模型进行微调，而是专注于学习哪些评分标准最能预测人类偏好。

核心公式

该问题被表述为无限维空间中的稀疏逻辑回归。

• 评分标准打分：对于给定的提示 $x$ 和图像 $y$，VLM 评判器（例如 Qwen3-VL、Gemini）评估特定的评分标准 $r_j$，并输出连续标量分数 $s(r_j, x, y)$，代表“是”响应的概率。
• 目标：目标是找到一组 $N$ 个评分标准 $\mathcal{R}$ 和权重 $w$，使得加权组合 $s_{\mathcal{R},w}(x, y) = \sum w_j s(r_j, x, y)$ 最能解释观察到的人类偏好对 $(y_w, y_l)$。
• 优化：作者在 $\ell_1$ 正则化惩罚下最小化逻辑损失函数。这鼓励稀疏性，有效地剪枝冗余或预测力弱的评分标准，仅保留 Top-$N$ 个最具判别力的规则。

迭代细化流程

该框架采用带有基于课程学习的困难对挖掘策略的块坐标下降法：

1. 种子生成：利用多样性感知选择和思维链（CoT）提示，从小规模种子数据集（例如 256 个偏好对）中生成初始候选评分标准集，以提取客观、可复用的规则。
2. 稀疏选择：系统使用 VLM 对所有候选评分标准在训练对上进行打分。通过求解 $\ell_1$ 正则化逻辑回归来分配权重并剪枝集合，仅保留权重为正的前 $N$ 个评分标准。
3. 失败驱动的细化：系统识别“困难对”——即当前评分标准集错误排序的偏好对。这些被归类为：
   • 错误 - 小间隔：当前规则未能察觉的细微区别。
   • 错误 - 大间隔：规则与人类偏好相悖的严重失败。
   • 高奖励错误：两张图像得分都很高但排序错误的情况。
4. 评分标准扩展：专门针对这些困难对的失败诊断生成新的候选评分标准。将它们添加到工作集中，并重复优化循环。此过程在 $\ell_1$ 细化器维持紧凑的加权全局集合的同时，迭代地扩展评分标准空间。

主要贡献

1. 面向 T2I 的稀疏评分标准学习：AutoRubric-T2I 是首个直接从图像偏好数据中学习用于 T2I 奖励建模的稀疏、加权、全局自然语言评分标准集合的框架，实现了无需微调的可解释 VLM 基奖励建模。
2. 失败驱动的评分标准细化：作者将评分标准选择表述为 $\ell_1$ 正则化逻辑回归问题，并引入了一种基于课程桶的困难对挖掘算法。这使得系统能够通过针对特定的失败模式来迭代扩展评分标准池，并通过统计剪枝空间来选择最具判别力的规则。
3. 强大的偏好预测与下游对齐：该框架在域外基准（MMRB2）上实现了强大的偏好预测，并在作为 Flow-GRPO 的奖励信号用于 T2I 任务（TIIF, UniGenBench++）的下游强化微调（RFT）时取得了改进。

实验结果

偏好基准评估

• 域外性能：在 MMRB2 基准测试中，AutoRubric-T2I 显著优于零样本 VLM 评判器和现有的评分标准生成基线（AutoRule, AutoRubric）。例如，使用 Qwen3-VL-8B，AutoRubric-T2I 在 HPSv3 数据上训练后达到 62.5% 的准确率，超过了直接成对 VLM 基线（59.4%）以及微调的标量模型如 HPSv3（59.4%）和 UnifiedReward（59.8%）。
• 域内性能：在域内测试集（PickScore, HPSv3）上，虽然微调的标量模型由于直接在这些分布上训练而仍具竞争力，但 AutoRubric-T2I 在不更新 VLM 或训练密集奖励模型的情况下，依然保持高度竞争力。

下游 T2I 强化学习

• RL 微调：当用作 Flow-GRPO 微调 SD-3.5-Medium 的奖励信号时，AutoRubric-T2I 在生成质量上始终优于标量奖励模型和通用评分标准基线。
• 细粒度改进：在 TIIF 和 UniGenBench++ 基准测试中，该方法在推理、关系组合、布局和文本生成等细粒度类别中产生了更强的改进。这表明显式评分标准比不透明的标量奖励提供了更具针对性的反馈。
• 人类评估：在涉及 30 名标注者的 4 选 1 人类评估中，由 AutoRubric-T2I 优化的策略生成的图像有 44.8% 的时间被偏好，显著优于随机基线（25%）和其他优化方法。

效率与成本

• 数据效率：该框架仅需 256 个标注偏好对 用于种子生成和细化，这不到训练标准奖励模型所需数据量的 (<0.01%)。
• 训练成本：它消除了基于梯度的奖励模型训练需求。细化阶段在 4× A6000 GPU 上大约需要 2–4 小时。
• 可解释性：与标量模型不同，最终奖励被分解为带有学习权重的显式、人类可读规则，允许对奖励黑客行为进行审计和诊断。

意义与主张

该论文声称，AutoRubric-T2I 为鲁棒的 T2I 对齐提供了一种实用且可解释的替代方案，以取代标量奖励模型。通过将不透明的标量奖励替换为从人类偏好中推导出的加权显式规则集，该框架：

• 缓解奖励黑客：通过强制遵守特定的语义和结构约束，防止 T2I 策略利用表面的视觉代理。
• 降低资源门槛：大幅降低了奖励建模相关的数据和计算成本，使高质量偏好对齐无需大规模标注流程即可实现。
• 增强透明度：提供了一种机制来检查和审计驱动 T2I 优化的标准，促进偏见的诊断和修正。

作者将这项工作定位为迈向“免训练”奖励建模的一步，其中的智能在于规则的选择和加权，而非神经网络的参数，从而弥合了基于规则系统的可解释性与学习模型的适应性之间的差距。