技术摘要：DefaultShift —— 审计加速文本生成图像模型中的语义默认偏移

1. 问题陈述

快速部署少步数（few-step）文本生成图像（T2I）模型以替代速度较慢的高保真生成器，引入了一个微妙但关键的风险：语义默认偏移（semantic default shift）。虽然加速模型的单个输出通常仍保持现实感和提示词对齐，但在重复采样过程中，未指定属性（如颜色、背景、光照、视角）的分布可能会在与参考模型之间发生无声的偏离。

现有的评估协议侧重于：

• 单体输出质量： 对齐度、偏好度和忠实度指标（如 CLIP 分数、美学评分）。
• 聚合多样性： 衡量单个模型输出集内的变化（如 FID、GRADE、DIMCIM）。

这些方法无法检测出替代模型是否保留了其声明的参考模型的语义默认值（semantic defaults）。语义默认值被定义为在给定提示词条件下，针对未指定属性的概率分布。当一个加速模型取代参考模型时，这些属性上概率质量的转移构成了“语义默认偏移”。当加速后的输出被用于下游训练或审计部署时，这一问题会产生严重后果，因为替代模型可能会引入原始数据分布中不存在的系统性偏差。

2. 方法论

2.1 DefaultShift：审计框架

作者提出了 DefaultShift，一种配对的、相对于参考模型的审计方法，旨在测量语义偏移的大小和方向。

• 配对采样： 对于给定的提示词 $p$，该方法从参考生成器 $T$ 和加速替代品 $S$ 中分别生成重复样本。
• 封闭语义词汇表： 使用视觉语言模型（VLM），具体为 Qwen2.5-VL-3B-Instruct，通过固定的词汇表（例如 11 个颜色类别：黑色、白色、红色等）对图像进行标注。
• 偏差削减距离度量：
  • 计算经验分布 $\hat{P}_T$ 与 $\hat{P}_S$ 之间的原始全变差（Total Variation, TV）。
  • 为了修正有限样本效应（即即使底层分布相同，经验分布也会表现出差异），作者使用仅针对参考模型的自助法（bootstrap）重采样来估计匹配的参考噪声基底（matched reference noise floor） ($\eta_T$)。
  • 主要分数为调整后的全变差（Adjusted Total Variation）：
    $$TV_{adj}(T, S, p, a) = TV(T, S, p, a) - \eta_T(p, a)$$
  • 保留负值而非将其截断为零，以保留方向性。
• 方向性分析： 该方法追踪有符号的类别级移动（$\Delta_{T \to S}$），识别概率质量的具体增益或损失（例如，从“灰色”向“暖色调”的转移）。
• 统计严谨性：
  • 筛选阶段 ($q=32$)： 使用 $TV_{adj}$ 对配方（recipes）进行排序。
  • 确认阶段 ($q=64$)： 采用**有符号交叉拟合估计（signed cross-fit estimation）**来验证效应量和符号，确保对采样方差的鲁棒性。

2.2 DefaultShift-Select：离线校准

为了减轻检测到的偏移，作者引入了 DefaultShift-Select，一种基于参考引导的离线校准方法。

• 机制： 它并不重新训练生成器。相反，它从加速模型生成的更大候选池中选择一个子集。
• 流程：
  1. 从参考样本中估计目标直方图。
  2. 对候选池应用冻结的质量底线（例如 CLIP 分数）。
  3. 选择一个使分布差异（$TV$）最小化的子集，使其符合参考目标直方图。
• 目标： 在不损失实质性图像质量的前提下，恢复参考模型的语义分布。

3. 核心贡献

1. 语义默认偏移的定义与审计： 本文形式化了语义默认值的概念，并引入了 DefaultShift，这是一种配对审计，旨在测量分布的保持情况，而非仅仅是单体图像的可解释性。
2. 发现配方特有的偏移： 在 14 个参考-替代对（涵盖蒸馏、流匹配和一致性模型）的实验中，作者揭示了偏移具有以下特性：
   • 配方特有性： 不同的加速技术（如 DMD2、Turbo、FLUX）会产生不同的偏移模式。
   • 方向性： 有些模型减少了“灰色”质量而增加了“暖色”质量，而另一些模型（如 FLUX）则向相反方向移动。
   • 标准指标无法检测： 质量、偏好度和全局多样性的变化并不能可靠地与这些语义偏移相关联。
3. 验证与校准：
   • 人类验证： 一项包含 1,000 张图像的人类审计复现了基于 VLM 审计所发现的排序结果。
   • 选择法的有效性： DefaultShift-Select 在不降低图像质量的情况下，使 Turbo、DMD2 和 FLUX 的人类测量偏移分别降低了 10.3%–35.1%。
   • 下游影响： 在平衡的合成数据分类任务中，使用经过选择的数据相比于未经校准的替代数据，恢复了 4.3 个百分点的准确率和 7.5 个最差组（worst-group）百分点。

4. 实验结果

• 偏移幅度： 调整后的颜色差异范围从 0.054 (LCM) 到 0.303 (NitroFusion-4)。
• 属性特异性： 颜色是偏移的主要驱动因素（TV 范围为 0.05–0.30），其次是背景（0.03–0.12）。光照和视角的偏移通常较小或尚无定论。
• 稳定性： 配方的排序在不同评估器（BLIP、LLaVA）、提示词变化（短、长、多语言）以及配置压力测试下保持稳定。
• 分解分析： 偏移与已知的多样性退化（熵损失）显著重叠，但 DefaultShift 通过保留类别身份和方向提供了额外价值，而基于熵的指标会丢弃这些信息。
• 校准性能： 随着预算增加，DefaultShift-Select 的表现趋近于“候选池预言机（candidate-pool oracle）”。它成功地在降低偏移的同时，保持了质量指标（CLIP、美学评分、DINO 多样性）的非劣效性。

5. 意义与主张

本文主张 DefaultShift 使加速过程下的语义保持变得可衡量且可操作。

• 与合理性的区别： 该审计将部署兼容性（替代品是否表现得像参考模型？）与图像级合理性（图像是否真实？）区分开来。一个模型可以生成合理的图像，但在语义保持审计中失败。
• 可操作的干预： 通过识别特定的方向性偏移（例如“丢失灰色质量”），该审计允许进行针对性干预，如 DefaultShift-Select，这是一种离线校准而非无成本的在线修正。
• 局限性与范围： 作者对其主张持谨慎态度：
  • 证据在颜色属性上最为有力；背景偏移较小，而视角偏移尚无定论。
  • 该方法审计的是声明的行为基准（参考模型），而非绝对意义上的社会真实性或公平性。
  • 机制探测（例如与 CFG 或教师熵的相关性）是关联性的，而非因果性的。
  • 选择方法需要额外的候选生成，因此是一个受限的离线过程。

总而言之，本文认为，随着行业加速 T2I 生成，仅依赖质量和多样性指标是不够的。为了确保加速模型不会悄悄改变其生成数据的统计特性（特别是当这些输出用于下游系统时），必须对语义默认值进行基于参考模型的审计。