Not Too Generative, Not Too Discriminative: The Human Alignment Sweet Spot

技术摘要：“不过于生成，不过于判别：人类对齐的甜蜜点”

问题陈述
计算视觉领域的一个核心争论在于，类人的视觉表征究竟是由判别式学习（将输入映射到标签）还是生成式学习（从内部世界模型推断输入）解释得更好。现有对这两种范式的比较受到架构、模型规模和训练数据同时存在差异的干扰。因此，目前尚不清楚观察到的人类对齐差异是源于学习目标本身，还是源于与之相关的模型属性。该论文提出，生成式与判别式目标之间的二分法可能是理解人类对齐视觉的错误维度，相反，最优平衡点位于两者之间。

方法论
为了隔离学习目标的影响，作者采用了联合能量基模型（JEMs）。JEMs 在输入 - 标签对上定义单一能量函数 $E_\theta(x, y)$，使得单个网络能够同时支持判别式预测（$p(y|x)$）和生成式密度建模（$p(x)$）。

• 插值：作者引入混合系数 $\alpha \in [0, 1]$ 来控制训练目标。损失函数是判别式对数似然（$L_D$）与生成式对数似然（$L_G$）之间的插值：
  $$\mathcal{L} = \alpha \cdot \frac{\|\nabla_\theta L_D\|}{\|\nabla_\theta L_G\|} \cdot L_G + (1 - \alpha) \cdot L_D$$
  其中，$\alpha=0$ 对应纯判别式训练，$\alpha=1$ 对应纯生成式训练。梯度范数比率确保两项以可比的尺度贡献。
• 架构与训练：实验采用 Wide ResNet 架构。对于 ImageNet 规模的实验，训练在预训练的 AutoencoderKL 的潜在空间中进行，以使混合训练在计算上可行。模型在 $\alpha$ 的完整连续区间上进行训练（从 0.0 到 1.0，步长为 0.1，共 11 个模型）。
• 评估：所得模型在六个不同的人类对齐基准上进行评估，涵盖低级感知、中级感知、不确定性、鲁棒性、线索冲突和诊断特征归因。这些基准包括：
  1. 感知相似性（BAPPS）：2AFC 和 JND 任务。
  2. 光泽感知：与人类对合成表面的判断的相关性。
  3. 响应不确定性（CIFAR-10H）：模型与人类响应分布之间的交叉熵。
  4. 鲁棒性（OOD）：在分布偏移下与人类的一致性误差。
  5. 形状 - 纹理线索冲突：在冲突图像中偏向形状还是纹理。
  6. 诊断特征（ClickMe）：模型归因图与人类视觉注意力的对齐程度。

关键结果
在所有六个基准中，人类对齐在$\alpha$ 的中间值处始终达到最大化，而非在极端值（$\alpha=0$ 或 $\alpha=1$）处。

• 感知相似性：混合模型（$\alpha \approx 0.6$）在 2AFC 任务中取得最高分数，同时在 JND 任务上与判别式基线持平，优于纯生成式和纯判别式模型。
• 光泽感知：虽然先前的工作表明生成式模型（PixelVAE）优于判别式模型（ResNet），但受控的 JEM 实验显示，纯判别式 JEM 已经优于纯生成式 JEM。最优对齐发生在 $\alpha \approx 0.5$，超过了 PixelVAE 和 ResNet 基线。
• 响应不确定性：混合模型（$\alpha \approx 0.8$）最能复现人类响应的完整分布，在类别结构与对模糊性的敏感性之间取得平衡。
• 形状 - 纹理偏差：形状偏差随 $\alpha$ 单调增加。混合模型实现了接近 0.7 的形状偏差，显著高于标准判别式基线（如 ResNet-50），并接近大型生成式模型的水平。
• 诊断特征：与人类显著性图的对齐在 $\alpha \approx 0.3$ 处达到峰值。纯生成式模型失去了选择性，而纯判别式模型产生弥散的归因图。
• 测试时优化：作者证明，在测试时对输入应用随机梯度朗之万动力学（SGLD）进行优化，可以在不重新训练的情况下增强混合模型和生成式模型中形状一致的响应，揭示了由生成式目标诱导的偏向形状的能景。

意义与主张
该论文主张重构生成式 - 判别式之争。结果表明，二分法并非理解人类对齐视觉的正确框架。相反，类人表征源于平衡两种目标：

• 判别式学习提供必要的类别结构。
• 生成式学习提供对输入分布的敏感性和全局一致性（例如形状）。

作者认为，人类对齐并非单一标量属性，而是一组约束，其中生成式世界建模与判别式标签之间的最优平衡因任务而异（例如，诊断特征倾向于更判别式的机制，而响应不确定性倾向于更生成式的机制）。该研究得出结论，人类对齐的 AI 需要超越“哪个目标最好？”的问题，转向理解“这些目标应如何平衡？”。

局限性
作者承认，基于能量的训练仍然计算量大，且需要仔细的稳定化。最优的 $\alpha$ 随基准不同而变化，表明人类对齐是多维度的。此外，虽然混合目标改善了与人类感知和不确定性的对齐，但它们并不固有地保证公平性、安全性或鲁棒性，因为它们也可能复现人类的错误和偏见。