技術要約：均質・非均質分割による合成画像の生成後キュレーション

1. 問題提起

近年の生成モデル（GM）は、高品質な合成画像を生み出すことで、データ不足に対するスケーラブルな解決策を提供している。しかし、単に合成データの量を増やすだけでは、以下の3つの主要な課題により、ダウンストリームの性能向上は保証されない。

1. ノイズ： 合成データセットには、低忠実度または誤ラベルのサンプルが含まれることが多い。
2. バイアス： 生成器はクラスの典型的なモード（canonical modes）を過剰に表現する一方で、クラス内のバリエーションを過小に表現する傾向があり、これがダウンストリームモデルにおける固有のバイアスにつながる。
3. 効率性： これらの問題を軽減するためにデータをスケールアップすることは、多大な計算オーバーヘッドと学習時間の長期化を招く。

合成データの有用性を向上させる既存のアプローチは、生成器のファインチューニングや、プロンプトエンジニアリング、推論時のガイダンスといった軽量な戦略など、生成器側への介入を伴うのが一般的である。これらの手法は多くの場合、特定の生成器に依存しており、多大なドメイン知識を必要とするか、あるいは再学習に膨大な計算コストを要する。

本論文は、補完的な問いに取り組む：固定された生成画像プールが与えられたとき、情報量の多いサブセットを選択することのみによって、ダウンストリームの有用性を向上させることができるか？ 著者らは、効果的な選択には、セマンティックな忠実度（fidelity）と表現の多様性（diversity）のバランスを取ることで、現代の生成器が持つ構造的バイアスに対抗する必要があると主張している。

2. 手法

提案されるフレームワークは、生成モデルの再学習を必要としない、生成器に依存しない（generator-agnostic）生成後キュレーション・パイプラインである。これは主に2つのステージで構成される。

A. 実データによる均質・非均質（HO-HE）分割

実参照データセットを単一の分布として扱うのではなく、特徴空間における有向1-最近傍（1-NN）グラフに基づき、各実クラスを2つの異なるサブセットに分割する。

• 均質（Homogeneous: HO）セット： クラス内の他のサンプルに対するローカルな代表者として機能する「典型的（canonical）」なサンプルを含む。形式的には、$I_{HO}$ は1-NNグラフにおいて正の入次数を持つノードの集合である。これらのサンプルは高いクラス内類似性を示し、核心的なセマンティクスを代表する。
• 非均質（Heterogeneous: HE）セット： 1-NNグラフにおいて入次数がゼロのサンプルを含む。これらは冗長でないバリエーションや、他の例の最近傍として必要とされない、典型的ではないインスタンスを表す。

重要な洞察： 生成器はHOセットに似たサンプルを過剰に生成する一方で、HEセットを軽視する傾向がある。さらに、識別器（discriminator）はHEサンプルに対してより苦戦する傾向があり、これはHEサンプルがより困難で多様なバリエーションを含んでいることを示唆している。

B. パーティション条件付きの忠実度・多様性スコアリング

実データが分割された後、合成画像はHOおよびHEの両方のパーティションを個別に参照する二重基準メカニメントに基づいてスコアリングおよび選択される。

1. 忠実度スコア ($S^p_{fid}$)： 特徴ベクトルのコサイン類似度を用いて、合成サンプルと実パーティション $p$ （ここで $p \in \{HO, HE\}$）との間のセマンティックな整合性を測定する。
2. 多様性スコア ($S^p_{div}$)： 典型的なパターンからの逸脱を促進する。
   • HO パーティションの場合、参照アンカーはクラスのセントロイド（重心）である。
   • HE パーティションの場合、アンカーはHOセット内の最も近い一致する特徴量である。
   • 多様性スコアは、実インスタンスからそのアンカーへのベクトルと、実インスタンスから合成サンプルへのベクトルとの間の負のコサイン類似性として計算される。これにより、支配的な典型的な方向から逸脱する合成サンプルに報酬を与える。

合計スコア： 最終的な選択スコアは、以下の加重和である：
$$S^p = \alpha \cdot S^p_{div} + (1 - \alpha) \cdot S^p_{fid}$$
ここで $\alpha$ は、多様性と忠実度のトレードオフを制御するハイパーパラメータである。この手法は、各パーティションから上位 $k$ 個のサンプルを選択して、最終的なキュレートされたプールを形成する。

3. 主な貢献

1. HO-HE 分割： 実データの最近傍被覆（nearest-neighbor-cover）分割であり、最小性の保証（命題1）を備えている。これにより、k-meansのようなグローバルな軸の仮定を必要とせずに、典型的（canonical）なサンプルと非冗長なサンプルの明示的な定義を提供する。
2. 原理的な選択戦略： 忠実度と多様性を共同で定量化し、バランスを取るポスト生成フレームワーク。これは生成器に依存せず、合成データプールのみを必要とし、高価な生成器の再学習やファインチューニングを回避できる。
3. 包括的な検証： 分類およびセグメンテーションのベンチマーク（CIFAR-10, ImageNet, SVHN, Tiny-ImageNet）、および複数のアーキテクチャ（ResNet, ViT, EfficientNet）と生成器（EDM, EDM2, StyleGAN）にわたる広範な実験。

4. 実験結果

本手法は、「固定されたプールからの一般的な選択」と「生成器側の介入後の『プラグイン』としての選択」の2つの設定で評価された。

• ドメイン内性能： 本手法は、一貫して最先端のベースライン（Random Selection, CLIP-Align, RealScore, SBSimを含む）を上回った。
  • SVHN において、本手法は約10万個の合成サンプルで実データベースラインと同等の性能に達したが、ベースラインでは20万個以上を必要とした。
  • CIFAR-10 において、30万個のサンプルで95%の精度を達成したが、ベースラインでは約50万個を必要とした。
  • ImageNet-1K において、ViT-B/16およびResNet-50を用いた、スクラッチからの学習およびファインチューニングの両方の設定において、最高のTop-1精度を達成した。
• 分布外（OOD）堅牢性： キュレートされたデータで学習されたモデルは、未キュレートまたはランダムに選択された合成データで学習されたモデルと比較して、様々なOODベンチマーク（例：ImageNet-C, ImageNet-Sketch, CIFAR-10-Warehouse）において優れた堅牢性を示した。
• プラグインとしての有効性： タスク固有の生成器介入（例：推論時の介入やファインチューニングされたJoDiffusion）の後のポストプロセッシングステップとして適用した場合、キュレーション手法は追加の利得をもたらした。
  • ImageNet-100の分類において、介入のみのベースラインと比較して、40〜50%少ない合成サンプルで同等またはそれ以上の精度を達成した。
  • VOCaugのセグメンテーションにおいて、ファインチューニングされた生成器のベースラインよりもmIoUを向上させた。
• トレードオフ分析： 最適な $\alpha$ （多様性の重み）は、生成器の品質とデータ量に基づいて変化する。生成器の忠実度が高まり（例：EDM2）、訓練予算が増大するにつれ、最適な戦略は多様性を優先する方向（$\alpha \to 1$）へとシフトする。これは、典型的な高忠実度サンプルによる収益が逓減するためである。

5. 意義と主張

本論文は、生成後の選択は、より優れた生成器の代わりになるものではなく、合成データの有用性を向上させるための補完的なメカニズムであると断じている。

• 生成器バイアスへの対処： 本研究は、現代の生成器が典型的なモード（HO）への構造的バイアスを持っていることを強調している。提案されたHO-HE分割は、生成器が自然に生成しにくい非冗長なバリエーション（HE）をキュレートされたデータセットに確実に含めることで、これに明示的に対処している。
• 効率性： 本手法は、生成時の介入に対する実用的かつスケーラブルな代替案を提供する。キュレーションプロセス（特徴抽出とスコアリング）の計算オーバーヘッドは、同等の性能を達成するために必要なダウンストリームの学習時間やデータ量の節約と比較して、無視できるほど小さい。
• 汎用性： 本フレームワークは、異なる生成モデル、特徴抽出器（SigLंप, DINOv3, ViT）、およびダウンストリームタスク（分類、セグメンテーション）にわたって有効であり、忠実度と多様性のバランスを取ることが、合成データを効果的に活用するための根本的な原則であることを示唆している。