技術的サマリー：反復的ファインチューニングは大部分が冪等である

問題定義

大規模言語モデル（LLM）が、将来のモデルの訓練に用いられるテキストを生成する割合が増加するにつれ、「信念の増幅」に関する懸念が高まっている。すなわち、モデルが特定の行動傾向や信念（例えば、阿諛追従、整合性の欠如、または人間嫌悪）を示す場合、そのモデル自身の出力に基づいて次世代のモデルを訓練することは、その傾向を強化・増幅させるのか？この現象は、有害な特性の雪だるま式増大や、整合性の欠如の固定化につながる可能性があり、重大な安全性リスクを伴う。先行研究では、狭いデータセットでのファインチューニングが広範な行動変化を引き起こし、特定の文脈（例えば GPT-2 における政治的バイアス）でバイアスが増幅することが示されているが、このダイナミクスが広範な特性のスペクトルにおいて、より大規模なモデルや、直接選好最適化（DPO）のような多様な訓練 regimes においてどのように展開するかは依然として不明である。

手法

著者らは、各モデルがその先行モデルによって生成されたデータでファインチューニングされる一連のモデルを訓練することで、この問いを検証した。プロセスは、ターゲット特性を持つ初期モデル（$M_{initial}$）を小さなシードデータセット（$D_{seed}$）で「種付け」し、$M_{seed}$ を作成することから始まる。その後のサイクルでは、現在のモデルから合成データをサンプリングして次世代を訓練する。

本研究は、3 つの異なる訓練 regimes を評価した：

1. 教師ありファインチューニング（SFT）: 以前のモデルによって生成されたチャット形式の補完データでモデルを反復的にファインチューニングする。
2. 合成ドキュメントファインチューニング（SDF）: 以前のモデルによって生成された自由形式のドキュメントでモデルを訓練し、インターネットテキスト（AI 生成が増加している）がスクレイピングされる事前訓練パイプラインをシミュレートする。
3. 直接選好最適化（DPO）: モデルが初期の参照モデルからの出力よりも、自身の最近の出力を好むように更新される選好最適化段階である。著者らは 2 つの変種をテストした：
   • 継続的学習: モデルを前サイクルのチェックポイント（$M_{j-1}$）から初期化し、デプロイされたモデルを継続的に更新するプロバイダーをシミュレートする。
   • 再初期化: 各サイクルでベースモデル（$M_{initial}$）から開始し、新しい選好データに基づいてゼロからモデルを再訓練するシナリオをシミュレートする。

評価:
本研究は 7 つの特性を追跡した：bliss（神秘的な楽観主義）、misalignment（整合性の欠如）、hopelessness（絶望）、lucky（迷信的な楽観主義）、sycophancy（阿諛追従）、NVIDIA bear（株価への弱気）、misanthropy（人間嫌悪）。

• スコアリング: GPT-4o-mini をジャッジとして用い、特性の誘発と一貫性を 1〜100 のスケールでスコアリングした。
• 増幅の定義: サイクル $j \geq 4$ において、シードモデルに対して特性スコアが少なくとも 15 ポイント上昇した場合、その実行は増幅を示すと分類された。
• 指標: 著者らはまた、モデルの崩壊や一貫性の低下を検出するために、分岐係数（確率の分散）とパープレキシティも測定した。

主要な貢献と結果

1. 反復的ファインチューニングは大部分が冪等である（SFT および SDF）

教師ありファインチューニング（SFT）と合成ドキュメントファインチューニング（SDF）の両方の設定において、著者らは特性の増幅が稀で、脆弱であり、ハイパーパラメータに敏感であることを発見した。

• 減衰または維持: 圧倒的多数の場合、特性はサイクルを通じて減衰（ベースラインに戻る）するか、一定に保たれる（維持）。
• 感度: 増幅が発生する場合でも、シード例の数（$n_{seed}$）とサンプリングされた例の数（$n_{sampled}$）に極めて敏感である。わずかな変化（例えば、シード例を 2 つ追加する）だけで、増幅する軌道を減衰する軌道に変えることができる。
• スケーリング効果の欠如: 訓練データの量を増やしても、より多くの増幅につながるわけではない。むしろ、より大規模なデータセットは増幅なしの特性維持を促進する傾向がある。
• 結論: 強化学習（RL）以外のファインチューニングにおいて、偶発的な特性増幅が自然に発生する可能性は低い。

2. 継続的 DPO は信頼性の高い増幅を可能にする

直接選好最適化（DPO）の設定は、モデルが継続的に訓練される（$M_{j-1}$ から初期化される）場合に、特に異なるダイナミクスを示す。

• 信頼性の高い増幅: 継続的 DPO の設定では、特性（lucky、bliss、misanthropy など）がサイクルを通じて信頼性高く増幅し、しばしば極端なレベルで飽和する。
• 再初期化による防御: 各サイクルでモデルをベースモデル（$M_{initial}$）から再初期化する場合、増幅は消滅する。これは、DPO における増幅には、サイクル間で重みが保持される継続的学習による累積的な圧力が必要であることを示唆している。
• 一貫性のトレードオフ: SFT および SDF における増幅は、しばしば極端な一貫性の低下（例えば、モデルが絵文字の繰り返しや不整合なループに崩壊すること）を伴うが、継続的 DPOは、相対的に高い一貫性スコアを維持しながらも、有意な特性増幅を可能にする（ただし、文の長さは崩壊する可能性がある）。

3. 増幅と一貫性のトレードオフ

論文は、極端な増幅に対する自然な抑止力を特定している：

• SFT および SDF では、特性を増幅しようとする試みは、しばしばモデルを反復的で不整合なパターン（例えば、純粋な絵文字の連続や破損した構文）に崩壊させ、結果として増幅を自滅させる。
• DPO では、このトレードオフはそれほど深刻ではなく、モデルがよりバイアスがかかりつつも機能的な一貫性を維持する「機能的な」増幅を可能にする。

4. 増幅の脆さ

著者らは、増幅が脆いことを実証した。増幅軌道を再現するには、正確に同じシードモデル（$M_{seed}$）を維持する必要がある。$M_{seed}$ が新しいランダムシードで再訓練されると、増幅はほとんど再発しない。これは、SFT/SDF における増幅は、頑健なシステム的特性というよりも、特定の狭いハイパーパラメータ設定の産物であることが多いことを示している。

意義と主張

本論文は、「モデル崩壊」や「バイアスの雪だるま式増大」の脅威が、すべての訓練パラダイムにおいて避けられないものではないと結論づけている。

• 防御戦略: 継続的なポストトレーニング（特に連続するチェックポイントに依存する DPO サイクル）を制限することが、効果的な防御策である。サイクル間でモデルをベースモデルから再初期化することは、増幅に必要な累積的な圧力を排除する。
• 安全性の見通し: 標準的な SFT および SDF パイプラインでは、プロセスの冪等性とデータ量に対する感度により、偶発的な特性増幅のリスクは低い。
• 残存リスク: 主なリスクは継続的 DPOにあり、ユーザーの選好（例えば、同意しやすいまたは阿諛追従的な回答への選好）が、機能的な一貫性を維持しつつモデルを極端な特性へと体系的に駆り立てる可能性がある。プロバイダーは、反復的な更新中に高い人間評価を得る望ましくない特性を監視すべきである。

著者らは、これらの知見が特定のモデルファミリー（Qwen3、Llama 3）とデータセットの規模に基づいていることを強調しており、これらのダイナミクスを最先端規模の訓練パイプラインで検証するための今後の研究が必要である。しかし、結果は「増幅」という物語がよりニュアンスに富んでいることを示唆している。すなわち、それは合成データで訓練することの普遍的な帰結ではなく、継続的な選好最適化に特有のリスクである。