技术摘要：FID 彩票：量化生成模型评估中的隐藏随机性

问题陈述

Fréchet Inception Distance (FID) 是评估图像生成模型的既定标准。然而，社区通常报告的是基于单个训练模型和单个采样种子得出的单一 FID 数值。本文认为，这种单数值报告掩盖了由训练和生成流程中固有的随机性所导致的显著“可复现性差距”。

作者识别了引入 FID 方差的两个截然不同的“彩票”：

1. 训练彩票 (The Training Lottery)： 发生于每次训练运行中，由随机权重初始化、数据排序（小批量打乱）、流匹配损失中注入的每步高斯噪声以及硬件非确定性（多 GPU 执行中的位级漂移）驱动。
2. 生成彩票 (The Generation Lottery)： 发生于采样阶段，由用于生成每张图像的随机初始噪声 ($x_T \sim \mathcal{N}(0, I)$) 驱动。

传统的做法通常通过对多个采样种子取平均来缓解生成彩票，却忽略了训练彩票。本文指出，重新训练一个模型（即使使用相同的方案）所引入的方差，明显大于从固定模型中重新采样所引入的方差，这使得单种子 FID 的结论可能是不确定的。

方法论

作者将 FID 处理为一个定义在 $N$ 个独立训练种子 和 $K$ 个采样种子 二维面板上的随机变量。

• 实验设置： 研究利用了在类条件 ImageNet (256×256) 上使用条件流匹配训练的 Scalable Interpolant Transformers (SiT)。
• 规模： 实验涵盖了数百个 SiT 网络，涉及四种模型规模（S, B, L, XL），训练预算高达 200 万步。
• 方差分解： 作者通过创建受控条件来系统地隔离随机性来源，使每次只有一个来源发生变化（例如，仅改变初始化，或仅改变数据顺序，或仅改变每步训练噪声），同时保持其他因素不变。
• 指标：
  • $\sigma_{within}$：对于固定的已训练模型，跨采样种子的方差。
  • $\sigma_{between}$：不同训练种子均值之间的方差。
  • 变异系数 (CoV)： $\sigma/\mu$，用于在不同 FID 量级（例如，有引导与无引导）之间归一化方差。
• GS-FID 协议： 作者引入了一种“黄金分割 FID (Golden-Section FID)”协议，其中使用黄金分割搜索为每个 (训练种子, 采样种子) 对单独调整分类器自由引导 (CFG) 缩放比例，以最小化每个单元格的 FID。

关键结果

1. 训练变异性主导了评估变异性

使用不同种子重新训练模型导致的 FID 波动，是重新从固定网络中抽取样本的 3.2 倍。

• 在 SiT-B/2 实验中，种子间标准差 ($\sigma_{between} \approx 0.44$) 是种子内标准差 ($\sigma_{within} \approx 0.14$) 的 3.2 倍。
• 训练种子的 CoV 约为 1.3%，而采样种子的 CoV 仅为 ~0.4%。
• 增加采样预算（更多的 $K$）虽然减少了种子内抖动，但并未改变占主导地位的种子间包络线。

2. 训练方差的来源

训练彩票由三个主要因素驱动，按方差贡献度排序如下：

1. 每步训练噪声： 流匹配损失在每一步梯度下降时注入的新鲜高斯噪声是最大的贡献者（重现了基准方差的 77%）。
2. 随机初始化： 贡献显著（占基准的 67%）。
3. 数据排序： 贡献最小，但引入了独特的分布形状（紧凑的核心分布伴随长上尾），这表明存在偶尔的“糟糕运行”而非连续的方差。

• 硬件非确定性： 研究发现多 GPU 执行中的位级漂移影响微乎其微，其贡献的方差小于采样彩票本身。

3. 1–2% 的 CoV 底线是规模无关的

增加计算量（训练步数）或模型规模（从 S 到 XL）并不能消除方差。

• CoV 在所有模型规模和训练检查点中，始终稳定在 1–2% 的区间内（中位数 1.30%）。
• 更大的模型并不会产生比例上更紧凑的 FID 分布；相对噪声底线是该指标和损失函数的属性，而非规模的属性。
• 排名稳定性（种子排名随时间的变化相关性）在约 1M 步之前较弱，这意味着早期的检查点排名无法很好地预测最终性能。

4. 分类器自由引导 (CFG) 的影响

• GS-FID： 为每个种子对单独调整 CFG（GS-FID）使相对分布减半（CoV 从 1.26% 降至 0.67%）。
• 排名重洗： 然而，这种调整会重洗表现最好的种子。无引导与有引导排名之间的 Spearman 相关性仅为 0.73。通过无引导 FID 被选为“最佳”的种子，在优化引导下并不一定是表现最好的。
• 学习率 (LR) 窗口： 在 GS-FID 下，最优学习率不是一个点，而是一个平坦的“窗口”（宽度约为 1.7 倍），相邻的学习率产生的 FID 差异可以忽略不计。

5. “运气成分”

训练种子的选择显著影响效率。一个“幸运”的种子可以达到与“不幸”种子相同的 FID 目标，且所需计算量减少高达 2 倍（例如，在 1M 步时达到一个不幸种子在 2M 步才能达到的目标）。这意味着那些声称通过单种子实验实现加速的论文，可能仅仅是受益于一个有利的种子，而非架构上的改进。

意义与建议

本文得出结论：目前报告单一 FID 数值的做法不足以进行严谨的评估。作者提出了一种新的评估协议：

1. 报告误差棒： 不要只报告一个数字，应报告多个训练种子（例如 5–10 个）的 FID，以捕捉训练彩票的影响。
2. 不确定阈值： 将任何低于经验测量的 ~1.3% CoV（或为了保险起见取 ~2%）的 FID 差距视为不确定的。任何关于改进的声明必须超过这一噪声底线才具有实际意义。
3. 逐单元优化： 使用 CFG 时，应采用逐单元最优引导 (GS-FID)，而非使用固定的全局值，并承认这会改变种子的排名。
4. 避免择优挑选 (Cherry-Picking)： 要意识到从大量种子池中选择单个“最佳”种子，可能会制造出仅仅是统计学上的伪改进，从而制造出引人注目的标题。

作者强调，这些发现是针对 SiT/Flow-Matching/ImageNet/Inception-V3 组合的，但暗示“1–2% 的底线”可能是现代生成式评估指标的一个普遍特征，并敦促社区采用更稳健的统计报告标准。