技術要約：FIDのロトリー（The FID Lottery）：生成モデル評価における隠れたランダム性の定量化

問題提起

Fréchet Inception Distance (FID) は、画像生成モデルを評価するための事実上の標準として機能している。しかし、コミュニティは通常、単一の学習済みモデルと単一のサンプリングシードから導出された単一のFID数値を報告している。本論文は、このような単一数値による報告が、学習および生成パイプラインに内在するランダム性に起因する重大な「再現性のギャップ」を覆い隠していると主張する。

著者らは、FIDスコアに分散をもたらす2つの異なる「ロトリー（くじ引き）」を特定している。

1. 学習のロトリー (The Training Lottery): 学習の実行ごとに一度発生する。これは、ランダムな重みの初期化、データの順序（ミニバッチのシャッフル）、フローマッチング損失によって注入されるステップごとのガウスノイズ、およびハードウェアの非決定性（マルチGPU実行におけるビット単位のドリフト）によって駆動される。
2. 生成のロトリー (The Generation Lottery): サンプリング中に発生する。これは、生成される各画像のために描画されるランダムな初期ノイズ ($x_T \sim \mathcal{N}(0, I)$) によって駆動される。

従来の慣習では、複数のサンプリングシードを用いて生成のロトリーを緩和することが多いが、学習のロトリーについては無視されている。本論文は、モデルを再学習することによって導入される分散（たとえ同じレシピを用いたとしても）は、固定されたモデルから再サンプリングすることによって導入される分散よりも大幅に大きいと断じている。したがって、単一シードによるFIDの主張は、結論として不十分である可能性がある。

手法

著者らは、$N$ 個の独立した学習シードと $K$ 個のサンプリングシードの二軸パネル上で定義される確率変数としてFIDを扱う。

• 実験設定: 本研究では、条件付きImageNet (256×256) を用いて条件付きフローマッチングで学習された Scalable Interpolant Transformers (SiT) を利用している。
• 規模: 実験は、4つのモデルサイズ (S, B, L, XL) と最大200万ステップの学習予算にわたる数百のSiTネットワークを対象としている。
• 分散の分解: 著者らは、一方のソースのみが変化するように制御された条件下（例：初期化のみを変化させる、データ順序のみを変化させる、あるいはステップごとの学習ノイズのみを変化させる）を作成することで、ランダム性の源を系統的に分離している。
• 指標:
  • $\sigma_{within}$: 固定された学習済みモデルにおけるサンプリングシード間の分散。
  • $\sigma_{between}$: 異なる学習シードの平均値間の分散。
  • 変動係数 (CoV): $\sigma/\mu$。異なるFIDの大きさ（例：ガイダンスあり vs なし）間で分散を正規化するために使用される。
• GS-FID プロトコル: 著者らは、「黄金分割FID (Golden-Section FID)」プロトコルを導入している。これは、各（学習シード、サンプリングシード）のペアに対して、黄金分割探索を用いてFIDを最小化するようにClassifier-Free Guidance (CFG) スケールを個別にチューニングするものである。

主な結果

1. 学習の変動性が評価の変動性を支配する

モデルを異なるシードで再学習すると、固定されたネットワークからサンプルを再描画する場合よりも、FIDスコアは 3.2倍 大きく変動する。

• SiT-B/2 の実験において、シード間の標準偏差 ($\sigma_{between} \approx 0.44$) は、シード内の標準偏差 ($\sigma_{within} \approx 0.14$) よりも3.2倍大きかった。
• 学習シードの CoV は約 1.3% であるのに対し、サンプリングシードの CoV はわずか ~0.4% であった。
• サンプリング予算（$K$ の増加）を増やすことで、シード内のジッターは減少するが、支配的なシード間のエンベロープ（包絡線）は変わらない。

2. 学習の分散の源泉

学習のロトリーは主に3つの要因によって駆動されており、これらは分散への寄与度順に並んでいる：

1. ステップごとの学習ノイズ: フローマッチングによって毎ステップ注入される新鮮なガウスノイズが最大の要因であり、ベースラインの分散の77%を再現している。
2. ランダムな初期化: 有意な寄与をしている（ベースラインの67%）。
3. データの順序: 寄与は最も小さいが、独特の分布形状（タイトな塊と長い上側の裾）を導入しており、連続的な分散というよりは、時折発生する「悪い実行 (bad runs)」を示唆している。

• ハードウェアの非決定性: マルチGPU実行におけるビット単位のドリフトは、サンプリングのロトリーよりも分散への寄与が小さく、無視できることが判明した。

3. 1–2% の CoV フロアはスケールに依存しない

計算量（学習ステップ）やモデルサイズ（S から XL）を増やしても、この分散は解消されない。

• CoV は、すべてのモデルサイズおよび学習チェックポイントにおいて、1–2% のバンド内（中央値 1.30%）で安定している。
• より大きなモデルであっても、比例してタイトなFIDの広がりが得られるわけではない。相対的なノイズフロアは、スケールではなく、指標と損失関数の特性である。
• ランクの安定性（時間の経過に伴うシードのランキングの相関）は、約1Mステップまでは弱く、初期のチェックポイントのランキングは最終的な性能の予測因子としては不十分である。

4. Classifier-Free Guidance (CFG) の影響

• GS-FID: 各シードペアに対して個別にCFGをチューニングする (GS-FID) ことにより、相対的な広がりは半分になる（CoV は 1.26% から 0.67% に低下）。
• ランクの入れ替わり: しかし、このチューニングによって、どのシードが最良であるかのランキングが入れ替わる。アンガイデッド（無誘導）のランキングとガイデッド（誘導あり）のランキングの間のスペアマン相関は、わずか 0.73 である。「最良」のシードとして選ばれたものは、最適化されたガイダンス下では必ずしも最良ではない。
• 学習率 (LR) ウィンドウ: GS-FID の下では、最適なLRは単一の点ではなく、隣接するLRが区別できないほど同等のFIDスコアを与える平坦な「ウィンドウ」（約1.7倍の幅）となる。

5. 「運によるもの (The Luck of the Draw)」

学習シードの選択は効率に大きな影響を与える。幸運なシードは、不運なシードと比較して、最大で 2倍少ない計算量 で同じFID目標に到達できる可能性がある（例：不運なシードが2Mステップで到達する目標に、幸運なシードは1Mステップで到達する）。これは、単一シードの論文で主張されているスピードアップが、アーキテクチャの改善ではなく、単に有利なシードの恩恵を受けている可能性があることを示唆している。

重要性と推奨事項

本論文は、単一のFID数値を報告するという現在の慣行は、厳密な評価には不十分であると結論付けている。著者らは、新しい評価プロトコルを提案している：

1. エラーバーを報告すること: 単一の数値ではなく、学習のロトリーを捉えるために、いくつかの学習シード（例：5〜10個）にわたるFIDを報告すること。
2. 決定不能な閾値: 実測された ~1.3% の CoV（または安全を見て ~2%）を下回るFIDの差は、決定不能なものとして扱うこと。改善の主張は、このノイズフロアを超える必要がある。
3. セルごとの最適化: CFGを使用する場合、固定されたグローバルな値ではなく、セルごとの最適なガイダンス (GS-FID) を採用すること。ただし、これがシードのランキングを変えることを認識しておくこと。
4. チェリーピッキングの回避: 大規模なプールから単一の「最良のシード」を選択することは、シードのロトリーによる統計的なアーティファクトに過ぎない、見栄えの良い成果を捏造することにつながる可能性があることを認識すること。

著者らは、これらの知見が SiT/フローマッチング/ImageNet/Inception-V3 の組み合わせに特有のものであることを強調しているが、この「1–2% のフロア」は現代的な生成モデルの評価指標全般に共通する特性である可能性を示唆しており、より堅牢な統計的報告基準を採用するようコミュニティに促している。