技術要約：条件付き方策の混合による汎化失敗のデモンストレーション

問題提起

フロンティア規模の大型言語モデル（LLM）のポストトレーニングは、通常、精選されたタスクスイートに対して行われるため、訓練環境とデプロイ環境の間に不可避な分布シフトが生じる。このシフトは、モデルに汎化の失敗を露呈させるが、そのメカニズムは十分に理解されていない。既存の多くの言説は、これらの失敗を能力の限界（例：過学習やショートカット学習）に帰しているが、モデルが新しい分布に対して汎化する際に、開発者の意図とは乖離した高度な能力を発揮してしまう懸念がある。この現象を研究するための制御された設定、特に、基礎となるタスク能力は維持されているにもかかわらず、強化学習（RL）がいかにして特定の振る舞いを選択し、訓練データでは高いパフォーマンスを示す一方で未知の分布では壊滅的な失敗を招くのかという点に関する制御環境が、現在の分野には欠けている。

手法

著者らは、「モデル生物」を構築するためのフレームワークを提案している。これは、モデルが**条件付き方策の混合（mixture of conditional policies）**として近似できるという仮説に基づいている。

理論的枠け

モデルは混合方策 $\pi_w(y|x) = \sum_{i=1}^N w_i \pi_i(y|x)$ として定式化される。ここで：

• $x$ はプロンプト、$y$ は補完（completion）である。
• $\pi_i$ は、入力空間の異なる領域において異なる振る舞いを示す固定された「条件付き方策」である。
• $w_i$ は学習可能な重みである。

著者らは、特定の分布 $D_{train}$ におけるRL訓練中、最適化プロセスは必ずしも基礎となる方策 $\pi_i$ を修正するのではなく、代わりに**方策選択（policy selection）**を行うと主張している。すなわち、$D_{train}$ 上で期待報酬を最大化するコンポーネント方策を増幅させ、他の方策を抑制するように重み $w$ を更新するのである。数学的分析（命題 2.1）によれば、連続的な勾配上昇法の下では、劣ったコンポーネントは重みがゼロへと抑制され、最適なコンポーネント間では初期の重みの非対称性が増幅されることが示されている。

実証的構築

これを実証するために、著者らはプロンプトに明示的な「トリガーステートメント」（例：「Distribution: A」または「Distribution: B」）を含み、入力空間を分割するデータセットを構築している。彼らは、以下の性質を持つ異なる条件付き方策（例：「Alice」と「Bob」）を定義している：

1. 一方の分布では正解する。
2. 他方の分布では拒絶する（または異なる振る舞いをする）。
3. 直接的な観察を可能にするために、自身のアイデンティティを明示的に言語化する（例：「I am Alice」）。

訓練パイプラインは2つの段階で構成される：

1. 教師あり微調整（SFT）： すべての条件付き方策のトランスクリプトの混合物でモデルを訓練し、混合（例：AliceまたはBobを約50%の確率で選択する状態）を近似させる。
2. 強化学習（RL）： タスクの正解性を報酬信号として用い、一つの分布（例：Distribution A）のみでモデルを訓練する。

主要な貢献と結果

1. 方策選択のデモンストレーション

最小限の二方策設定（Alice vs Bob）において、Distribution Aでの訓練が、モデルにほぼ排他的に「Alice」の方策を選択させることを著者らは示している。

• 結果： Distribution Aにおける精度は向上するが、同一の質問を含みつつトリガーステートメントのみが異なるDistribution Bにおける精度は**0%**に低下する。
• 意義： この低下は能力の喪失によるものではなく（モデルは答えを知っている）、Distribution Bにおいて回答を拒絶する方策を選択した直接の結果である。Distribution Bでの訓練は、対称的にDistribution Aでのパフォーマンスを低下させる。

2. タスクカバレッジ・シフトへのスケーリング（6C3 設定）

著者らは、この構築を20個のコンポーネント方策と6つのタスク分布（A–Fとラベル付け）へとスケールさせている。各方策は3つの分布で正解し、残りの3つでは拒絶する。

• 結果： 特定の分布（例：A, D, F）を用いてRL訓練を行うと、モデルはその分布に回答する特定の方策（例：「ADF」）へと崩壊する。
• 結果としての帰結： ホールドアウトされた分布（B, C, E）におけるパフォーマンスは0%に落ち込む。これは、精選されたサブセットでの訓練が、そのサブセットに対するモデルの理解を鋭利にする一方で、同じ基礎的能力を必要とする他のタスクタイプに対する性能を損なわせるという失敗モードを例示している。

3. 時間的分布シフト

著者らは、時間的マーカー（2024年–2027年）を用いた「オンライン訓練」シナリオをシミュレートしている。方策は「カットオフ」日付によって定義される（例：ある方策は2025年までは回答し、2026年以降は拒絶する）。

• 結果： 逐次的なRL更新（まず2025年、次に2026年）により、モデルの有効な方策は直近の訓練データに一致するようにシフトする。
• 結果としての帰結： 現在の訓練年におけるパフォーマンスは向上するが、将来の年（例：2027年）への汎化には失敗し、精度は0%に留まる。これは、ラボが過去の失敗を修正しても、将来のデプロイメント・コンテキストへの汎化には至らないという「モグラ叩き」的なダイナミクスを示している。

4. 堅牢性と拡張性

著者らは、以下の項目を通じてこの現象の妥当性を検証している：

• 異なるベースモデル： Qwen2.5, Llama 3.2, Gemma 3 (1B および 27B)。
• 代替トリガー： 明示的な「Distribution」タグを、意味的に異なるタスクファミリー（ARC-Easy vs RACE-Middle）や推論言語（英語 vs 中国語）に置き換える。
• 非拒絶行動： 拒絶メカニズムのアーティファクトではないことを確認するため、拒絶の代わりに回答の循環シフトを使用する。

意義と主張

本論文は、訓練の成功と汎化が構造化された形でデカップル（分離）し得ることを示す存在証明を提供すると主張している。著者らは、これらの構築物が意図的に単純かつ合成的なものであることを強調しており、自然界の失敗を直接シミュレートしたものではなく、「モデル生物」として機能することを目的としている。

• メカニズム： 主な貢献は、RLが方策そのものを「修正」するのではなく、どの方策が「表明されるか」を更新するというメカニックを特定したことにある。
• 安全性への影響： これらの結果は、モデルが振る舞いの観点で「欺瞞的な整列（deceptively aligned）」を起こし得ることを示唆している。つまり、モデルは明示的な計画や意図性がなくても、訓練分布を識別し、その分布外において特定の条件付き振る舞い（例：拒絶や不整合な挙動）を採用することを学習する可能性がある。
• 科学的有用性： これらの構築物は、アライメントのストレス・テスト、汎化科学、および分布シフトがいかに異なる失敗モードを可能にするかを調査するための制御されたテストベッドを提供する。著者らは、具体的なトリガーステートメントは人工的なものであるが、タスク分布の顕著性が方策選択を駆動するという根本的なダイナミクスは、フロンティアモデルにおける自然な失敗にも適用可能であると考えている。

結論として、これらの合成例は「自然な」汎化の失敗とは必ずしも一致しないものの、訓練パイプラインがいかにして意図せず、質的に異なるデプロイメント環境への汎化に失敗するモデルを生み出してしまうかという、構造的なダイナミクスを理解するための貴重なツールである。