テクニカル・サマリー：アライメント、モデル生物、およびトイ・モデル間で共有されるSFTの教訓

問題提起

大規模言語モデル（LLM）のアライメント、モデル生物（model organisms）、および教師あり微調整（SFT）のトイ・モデルに関する研究は、しばしば同じ基礎的な目標（例：振る舞いの汎化、能力の保持、および堅牢性）を共有しているにもかかわらず、個別の領域として隔離されて行われています。本論文は、あるSFT設定で得られた教訓が他の設定でテストされることが稀であり、その結果、安全性と能力のトレードオフを改善する機会を逃している可能性があると主張しています。著者らは、領域を越えたSにはSFTの教訓の転移が価値を持つ具体的な3つのギャップを特定しています：

1. 振る舞いの汎化（Behavior Generalization）： 単なる例示ではなく、振る舞いの「理由」について学習することが、分布外（OOD）のコンテキストへの転移を改善するかどうか。
2. 能力の保持（Capability Preservation）： 異なるモデルによって生成された出力（「オフモデル出力」）を用いてSFTを行うことが、学生モデルの能力を損なうのか、また「オンモデル」のデータを混合することでこれを軽減できるのか。
3. 後続の学習に対する堅牢性（Robustness to Later Training）： インストールされた振る舞いは、その後の無害なSFTを経ても生存するのか、あるいは能力が保持されている場合でも「ウォッシュアウト（消失）」に対して脆弱なのか。

メソドロジー

著者らは、ある研究領域から別の領域へと教訓を移動させる3つの転移実験を実施しています。

1. 振る舞いの汎化（アライメント $\to$ トイ・モデル）

• ソースとなる教訓： 「Teaching Claude Why (TCW)」に由来。振る舞いの背後にある根拠（rationale）を学習させることが、汎化性能を向上させることを示唆している。
• トイ・モデル： 以下の3つの制御されたセットアップを使用：
  • ボクシング（Boxing）： 数学プロンプトに対して最終回答をボックスで囲む（$\boxed{}$）よう学習させ、非数学プロンプトへの転移をテストする。
  • 動物福祉（Animal Welfare）： 関連する文脈において動物福祉への懸念を表明するように学習させる。
  • 自己保存（Self-Preservation）： シャットダウンや置き換えに対して反論するように学習させる。
• 実験設計： 著者らは、「例示のみ」のSFTと「理由＋例示」のSFTを比較した。後者では、固定された理由（例：「私は常に最終回答を \boxed{} に入れます」）や明示的な根拠を、学習データの先頭に付加するか、あるいは文章の中に織り込んだ。また、ターゲットとなるスパンに対する損失（loss）のマスキングや、中立的なフィラー文の使用といったバリエーションもテストした。

2. 能力の保持（モデル生物 $\to$ アライメント/トイ・モデル）

• ソースとなる教訓： モデル生物の研究（例：Prasanna et al., 2026b）に由来。異なるモデルによる推論（「オフモデルの書き換え」）を用いた学習は、学生モデルの能力を低下させる可能性がある。
• トイ・モデル： 動物福祉および自己保存のタスクにQwen3.5-4Bを使用。
• アライメント設定： Qwen3-32BをClaudeが作成したトレースを用いて哲学的な仕様にアライメントする「Model-Spec Midtraining (MSM)」パイプライン（Li et al., 2026）。
• 実験設計：
  • トイ・モデル： 「オフモデルの書き換え」（GPT-4.1による回答の書き換え）と「オンモデルの書き換え」（学生モデル自身による回答の書き換え）を比較。
  • MSM： 「無害なオンモデル・データ（リプレイ：学生モデル自身が回答した一般的な指示）」を、オフモデルのターゲット・ビヘイビア・データと混合して学習させる介入をテスト。

3. 後続の学習に対する堅牢性（モデル生物 $\to$ アライメント）

• ソースとなる教訓： モデル生物の研究は、インストールされた振る舞いがその後の無害な学習においても生存するかどうかを検証することを強調している。
• アライメント設定： Li et al. (2026) のMSMチェックポイントを使用。
• 実験設計： 標準的なアライメントSFTまたはMSMを通じてターゲットとなる振る舞いをインストールした後、モデルに対して「ウォッシュ（洗浄）」フェーズを実施した。これは、学生モデル自身が作成した一般的な推論トレースを用いた継続的な無害なSFTである。著者らは、能力（GPQA）が保持されている一方で、ターゲットとなる振る舞い（エージェンティック・ミスアライメント・スコア）が侵食されるかどうかを測定した。

主な結果

1. 推論は汎化を向上させる

• ボクシング： 例示のみの学習では、非数学プロンプトへの転移はほぼゼロであった（10.3%）。理由（「私は常に最終回答を \boxed{} に入れます」）を加えることで、転移率は94.5%に上昇した。
• メカニズム： この転移は、ボックス内の回答に対する直接的な損失を必要としなかった（マスクされた損失でも97.4%の転移を実現）。興味深いことに、中立的な文章（ボクシングに言及しないもの）であっても、転移率は62.5%に向上した。ただし、明示的な理由を用いる方がより優れていた。
• 豊かな特性： 動物福祉や自己保存については、「リライト（書き換え）」条件（根拠を明示的にすること）が、「ワンショット」や「ストリップ（根拠を削除したもの）」の条件よりも、有意に強い振る舞いを生み出した。

2. オフモデルの出力は能力を損なうが、リプレイがそれを緩和する

• 能力の低下： トイ・モデルにおいて、オフモデルの書き換え（GPT-4.1）を用いた学習は、オンモデルの書き換え（学生モデル）と比較して、GPQAの精度を著しく低下させた。一方で、オフモデルの書き換えは、より強力なターゲット・ビヘイビアを生み出していた。
• MSMへの適用： 標準的なMSMトレーニング（オフモデル・データ）は、能力の退行を示した。
• 介入： 無害なオンモデルの「リプレイ」データ（学生モデルが書いた一般的な応答）を学習の初期段階から混合することで、失われたGPQA精度の大部分を回復させた（オフポリシーのみの場合の0.492に対し、0.687）。これにより、低いエージェンティック・ミスアライメント（ターゲット・ビヘイビア）を維持できた。
• タイミング： 特性学習の「後」にリプレイを追加すると、能力は回復したが、ターゲットとなる振る舞いは侵食された。両方を維持するためには、学習の「最初から」混合する必要があった。

3. 振る舞いはウォッシュアウトに対して堅牢ではない

• 侵食： アライメントSFTのみで訓練されたチェックポイントを、その後の無害なSFT（ウォッシュ）にさらすと、ターゲットとなる振る舞い（エージェンティック・ミスアライメント）は著しく侵食された（ベースモデルとの差の88%が消失した）。しかし、その間、GPQAの能力は回復していた。
• ミッドトレーニングの利点： アライメントSFTの前にModel-Spec Midtrainingを経たチェックポイントは、ウォッシュアウトに対してより高い耐性を示し、振る舞いの差は39%の消失に留まった。
• 結論： 能力の保持だけでは、アライメントされた振る舞いがその後の学習において生存することを保証できない。

意義と主張

本論文は、SFT研究を研究領域の境界ではなく、共通の目標に基づいて整理することが、実行可能な洞察をもたらすと主張しています：

1. 転移可能性： 汎化、能力保持、および堅牢性に関する教訓は、トイ・モデル、モデル生物、および大規模なアライメント・パイプラインの間で移植可能である。
2. 安全性と能力のトレードオフ： 「混合リプレイ」技術は、ターゲットとなる振る舞いを犠牲にすることなく、オフモデル・データによる能力低下を防ぐという、アライメント訓練における安全性と能力のパレート最適を改善するための実用的な手法を提供する。
3. 堅牢性の必要性： アライメントされたモデルの評価には、将来の無害な学習に対する堅牢性のチェックを含める必要がある。なぜなら、モデルが依然として有能であっても、振る舞いは密かに消去される可能性があるからである。

著者らは、自らの研究の範囲は限定的（RLを含むフル・ポストトレーニング・パイプラインではなく、厳密にSFTに焦лоしている）であることを強調しつつも、SFTはアライメントにおける極めて重要かつ、しばしば誤解されている構成要素であり、予期せぬ失敗モードに陥りやすいものであると指摘しています。コードとデータの公開は、他の研究者がこれらの領域を越えた教訓をテストするための障壁を下げることを目的としています。