技術要約：大規模言語モデルの逐次的ポストトレーニングにおける表現崩壊（Representation Collapse）

1. 問題提起

現代の大規模言語モデル（LLM）は、単一の指示チューニング・パスを通じて適応されることは稀である。むしろ、広範な指示チューニング、選好最適化（preference optimization）、安全性アライメント、ドメイン特化（数学/コード）、および長い思考連鎖（CoT）チューニングを含む、逐次的なポストトレーニングの連鎖を経て進化する。現在の評価手法は行動的成果（例：ベンチマークスコア、拒絶率）に焦点を当てているが、本論文は、そのような視点は不完全であると主張する。

調査されている核心的な問題は、**表現崩壊（representation collapse）**である。これは、逐次的なポストトレーニングが、モデルの内部特徴空間を低ランクで異方性（anisotropic）かつ均質（homogeneous）な多様体へと段階的に圧縮していくという仮説である。著者らは、個々のステージが特定のタスクに対する性能を向上させる一方で、表現の過度な集中がモデルの「可塑性（plasticity）」を損ない、将来的な新しいドメインへの適応を困難にする可能性があると断じている。この崩壊は以下の特性によって定義される：

• 隠れ状態共分散における有効ランク（effective rank）の喪失。
• 少数の支配的な方向へのサンプルの整列（異方性）。
• ドメイン間およびトークン型間の分離性の低下。
• 過剰に自信に満ちたロジット（overconfident logits）と較正（calibration）の低下。
• 異なるステージ間でのアダプター更新（例：LoRA）における同一の低ランク部分空間の再利用。

本論文は、これを能力の完全な喪失としてではなく、モデルが直近のターゲットタスクには長けているものの、幾何学的な狭まりによって後続のタスクを学習する能力が低下するという「静かな失敗モード（quiet failure mode）」として位置づけている。

2. 手法

実験設定

本研究では、小規模および中規模のオープンウェイトモデル（Qwen2.5-1.5B, TinyLlama-1.1B, Llama-3.2-1B, OLMo-1B、および7Bによるスケーリング・チェック）を用いた、制御された逐次的ポストトレーニング・ベンチマークを採用している。実験では、主要な適応メカニズムとしてLoRA（rank 16, alpha 32）を使用し、効果が低ランク適応そのもののアーティファクトではないことを検証するために、1Bモデルに対してフルファインチューニングを行っている。

トレーニング・パイプラインは、以下のような明確なステージのシーケンスで構成される：

• 特化チェーン： 一般的なSFT $\to$ 数学SFT $\to$ コードSFT $\to$ 安全性/拒絶SFT。
• 推論と選好： 一般的なSFT $\to$ 長いCoT SFT $\to$ DPO形式の選好最適化。
• 安全性優先： 安全性/拒絶SFT $\to$ 一般的なSFT $\to$ ドメイン特化。

測定スイート

固定されたプローブ・コーパス（$X_{probe}$：ドメイン間でバランスの取れた12,000のプロンプト・応答テキスト）をすべてのチェックポイントに適用し、幾何学的な変化が評価分布の変化によって混同されないようにしている。本論文では、以下の項目をカバーする包括的な測定スイートを定義している：

1. スペクトル指標：
   • 有効ランクおよび参加比（Participation Ratio）： 隠れ状態の共分散がいかに集中しているかを測定。
   • Top-k 分散： 支配的な次元における集中を可視化。
2. 幾何学的指標：
   • 異方性（Anisotropy）： 平均ペアワイズ・コサイン類似度（中心化および非中心化）。
   • CKAドリフト： ベースモデルおよび前ステージと比較した中心化カーネル整列（Centered Kernel Alignment）。
   • ドメイン分離性： ドメイン分離のためのシルエット係数および共分散比。
3. トークン・ダイナミクス：
   • プロンプト、初期応答、後期応答、CoTスパン、拒絶スパンといった特定の範囲におけるランクと多様性の分析。
4. 機能的指標：
   • ロジット空間： エントロピー、語彙サポートサイズ、top-two マージン、および期待較正誤差（ECE）。
5. 更新指標：
   • LoRAの重複： 異なるステージにおけるLoRA更新の特異ベクトル基底間の主角（principal angle）の重なり。

評価戦略

評価はエンドポイントベースではなく、軌跡ベースで行われる。各ステージの後、モデルは以下の点で評価される：

• ターゲット性能： 学習されたドメインに対する即時的な向上。
• 保持/OOD： 保持されたタスクおよび分布外（out-of-distribution）データに対する性能。
• 将来の学習： 重要なテストとして、各チェックポイントに対し、未知の新しいドメインタスクへの固定予算での適応を行う。この将来の適応におけるサンプル効率と最終スコアが、可塑性のプロキシ（代理指標）となる。

3. 主な結果

実証的知見

1. 逐次的ポストトレーニングは「軌跡」である： 崩壊は一様ではない。それは特定のレイヤー（多くの場合、中間および後半のトランスフォーマー・ブロック）に集中し、ステージによって異なる。例えば、数学チューニングは特定のバンドにおけるランクを減少させる一方、安全性チューニングは後半の応答表現を集中させる。
2. 目的依存の崩壊シグネチャ：
   • 安全性/拒絶チューニング： 強力な応答テンプレート方向と鋭いロジットを生み出す。
   • 長いCoTチューニング： 生成されるトークンの後半部分に影響を与える推論フォーマット方向を作成する。
   • 選好最適化（DPO）： 相対的な選好マージンを増大させることで、異方性を増幅させる。
   • 数学/コード： より微細であり、特定のレイヤーを特化させる一方で、他の場所でのドメイン分離性は維持する。
3. 崩壊は将来の可塑性を予測する： 表現の健全性（有効ランク、異方性）と将来の学習性能の間には、直接的な負の相関がある。シーケンス中に有効ランクが減少し異方性が増大するにつれて、新しいタスクに適応するためのサンプル効率と最終スコアは低下するが、これは即時のターゲットタスクの性能が向上している場合でも同様である。
4. 経路依存性： ステージの順序が重要である。例えば、安全性チューニングの後に一般的な指示を行うことは、一般的な指示の後に安全性を行う場合とは異なる崩壊指標をもたらす。

緩和戦略

ターゲットタスクの利点を損なうことなく、将来の学習可能性を維持するための軽量な介入策をテストしている：

• 混合ドメイン・リプレイ： 特化ステージの中に、一般ドメインのデータを少量（5〜20%）混ぜる。
• フィーチャー・リフレッシュ： 高崩壊ステージの後に、短い一般指示ステージを挿入する。
• 表現多様性正則化： バッチレベルの隠れ状態の整列（$L_{cos}$）を罰する。
• LoRA更新のデコリレーション： 現在と過去のLoRA更新基底間の重複（$L_{decorr}$）を罰する。

結果は、これらの手法がパレート最適の境界を改善し、ターゲット性能を維持しながら、より良い将来の適応を可能にすることを示しているが、崩壊を完全に排除するまでには至っていない。

4. 貢献

本論文は主に3つの貢献を行っている：

1. レイヤー単位の測定プロトコル： 逐次的ポストトレーニングにおける表現崩壊を検出するために特別に設計された診断スイート（スペクトル、幾何学、トークンレベル、機能、および更新空間）。
2. 制御された逐次的ベンチマーク： マッチしたトークン予算と固定されたプローブ・コーパスを備えた、一般的な指示、数学、コード、安全性、CoT、および選好データをカバーする標準化された実験マトリックス。
3. 予測的検証： 崩壊指標（将来の適応前に測定されたもの）が新しいタスクの学習の難易度を予測すること、および多様性を維持する介入策がこの可塑性の喪失を軽減できることの証拠。

5. 意義と主張

本論文は、表現崩壊が単なる幾何学的な好奇心ではなく、将来の学習可能性のための実用的な診断指標であると主張している。著者らは、現在のベンチマークへの焦点は、ある重要な失敗モードを見逃していると述べている。すなわち、モデルは特定のタスクに対して行動的に有能になれる一方で、幾何学的には将来の適応に対して脆弱（brittle）になる可能性があるということである。

その意義は、アライメントと特化を継続学習問題として再定義することにある。提案された測定スイートにより、実務者は有益な特化と、脆い狭まりを区別することが可能になる。本論文は、ポストトレーニングにおいて多様性を最大限に高めることが目的ではない（ある程度の特化は必要である）ものの、十分な表現の自由度を維持することが、将来の予期せぬ要求に適応する能力を維持するために不可欠であると結論付けている。

著者が指摘する限界：

• 実験は1B〜7Bモデルで行われており、フロンティア規模の挙動は異なる可能性がある。
• DPOは、プロダクション環境におけるRLHF/RLAIFのプロキシとして使用されている。
• 測定はプローブ・コーパスの選択やトークンスパンに敏感であるが、本研究では複数のプローブ型を用いてこれを制御している。
• 因果関係の主張は、純粋な理論的導出よりも、介入（緩和策）の証拠に基づいている。