Curated Synthetic Data Doesn't Have to Collapse: A Theoretical Study of Generative Retraining with Pluralistic Preferences

技術的サマリー：キュレーションされた合成データは崩壊する必要はない

問題定義
本論文は、生成モデルの再帰的再学習におけるモード崩壊の重要な課題に取り組んでいる。人間が生成したデータのボトルネックを克服するために合成データへの依存度が高まるにつれ、モデルはしばしば自身の出力のキュレーションされた部分集合で再学習される。先行研究（例：Ferbach ら、2024）は、キュレーションが単一の固定報酬関数によって駆動される場合、モデル分布は必然的にその特定の目的を過剰に最適化する狭い出力の集合へと崩壊することを示した。この現象は、選択プロセス（ブラッドリー・テリー選択としてモデル化される）が、単一の報酬の全域最大値に向けて分布を指数関数的に再重み付けし、最終的に他の領域のサポートを排除するため発生する。本論文は、キュレーションが多元的（複数、かつ潜在的に矛盾する）選好に基づいている場合に、この崩壊が避けられないかどうかを問いかける。これは、利害関係者が異なる特性（例：事実の正確性対創造性）を重視する実世界応用において一般的なシナリオである。

手法
著者は、以下の理論的枠組みを組み合わせることで、多様な選好下での再帰的再学習を形式化した：

1. 多選好選択：各再学習ステップにおいて、報酬関数が固定された混合分布から確率的に選択される（例：確率$q$で$r_1$、確率$1-q$で$r_2$）。
2. ブラッドリー・テリー（BT）キュレーション：現在のモデル分布$p_t$からサンプリングされた$K$個の候補の集合が与えられたとき、選択された報酬$r$に基づき、BT モデルを用いて単一のサンプルが選択される。BT モデルは、$e^{r(x)}$に比例する選択確率を割り当てる。
3. 理想的な MLE 更新：モデルは、選択されたサンプルに対して正確な最尤推定（MLE）によって再学習され、実質的に次の分布$p_{t+1}$を選択されたサンプルの分布に設定する。
4. 大規模プール極限解析：著者は、大規模な候補プール（$K \to \infty$）の極限におけるダイナミクスを解析し、選択重みが現在のモデルの指数関数的傾き（exponential tilt）に収束することを示す。彼らは、報酬がその最大値に近い領域を表す$\epsilon$-最適盆地（$S_{i,\epsilon}$）を導入し、報酬間の相互強化（ある報酬が他方の盆地をどの程度支持するか）を定量化するリーク係数（$\kappa$）を定義する。

主要な貢献
本論文は、3 つの主要な理論的貢献を行っている：

1. 多元的再学習ダイナミクス：著者は、多様な選好下において、更新則が指数関数的傾きの凸結合として作用することを形式化した。彼らは、「盆地外ギャップ」（最適盆地外の領域が一様に劣る場合）が存在すれば、確率質量は最適盆地の近傍の和集合（$S_\epsilon$）へと収縮し、単一点への完全な崩壊を防ぐことを証明した。
2. リーク制御された極限構造：本研究は、極限分布を競合する盆地の和集合上でサポートされる混合分布として特徴づけた。この混合の重みは、リーク係数によって制約される。ハード分離領域（盆地が互いに重ならず、報酬間のリークが消失する場合）において、極限混合の重みは、報酬サンプリング確率$q$に正確に収束する。
3. 非崩壊と価値集約：本論文は、極限分布が多様性を維持し、厳密に正の報酬分散によって示されることを証明した。さらに、極限混合が重み付けナッシュ交渉解を満たすことを確立し、合成再学習ループ内で矛盾する目的がどのように集約されるかについて、形式的な解釈を提供した。

結果
理論的および実証的結果は、以下を確認している：

• 多様性の維持：単一報酬再学習とは異なり、多元的キュレーションは分布が単一モードへ崩壊するのを防ぐ。極限分布は、複数の高報酬領域において非自明な質量を維持する。
• 相転移：合成ガウス混合分布を用いた実証実験は、報酬最適値間の距離に基づいた相転移を示した。最適値が十分に分離している場合、モデルは正の分散を持つ二モード混合として安定する。距離が減少するにつれて分散は低下し、モデルは妥協領域へと崩壊する。
• CIFAR-10 およびテキスト実験：
  • CIFAR-10 において、バランスの取れた選好の数（2 から 5 へ）を増やすと、サンプルの品質（FID の低下）と多様性（エントロピーの増加、KL 発散の低下）が向上する。逆に、バランスの取れない選好（高い分極化）は、劣化と部分的な崩壊をもたらす。
  • 矛盾する長さの選好を持つテキスト生成（GPT-2）において、目標長さ間の距離を増加させると、出力分布における持続的なエントロピーが高まる。これは、モデルが単一の妥協長さへ崩壊するのではなく、目的間でヘッジするポリシーを維持していることを示している。

意義と主張
本論文は、合成再学習が必然的に崩壊をもたらすという支配的な結論を覆すことを主張している。それは、崩壊は合成データの使用に固有のものではなく、むしろそのデータがどのようにキュレーションされるかという帰結であると論じている。多元的選好を採用することで、再学習ループは狭いアライメント信号への過学習に抵抗する正則化器として機能する。

著者は、その研究を、人間フィードバックからの強化学習（RLHF）などの実践における多目的アライメントを理解するための理論的基盤として位置づけている。彼らは、多元的キュレーションが、多面的な人間の価値と生成モデルをアライメントし、多様性や品質を犠牲にしない理論的に妥当なメカニズムを提供すると示唆している。これは、特に人間の監視データが不足しているシナリオにおいて、生成モデルの堅牢性と表現の幅を維持するための混合報酬戦略の使用に対する形式的な正当化を提供する。