技術的サマリー：セマンティックフロー正則化（SFR）

問題：クロススタイルの崩壊（Cross-Style Collapse）

本論文は、ファインチューニングされた大規模言語モデル（LLM）における重要な失敗モードとして「クロススタイルの崩壊（Cross-Style Collapse）」を特定しています。LLM が特定のペルソナやトーンに基づいた応答生成のために教師ありファインチューニング（SFT）される際、標準的なトークンレベルの交差エントロピー（CE）目的関数と共有表現の組み合わせは、出力の多様性を抑制する傾向があります。異なるペルソナに対して固有の応答を生成する代わりに、モデルは「モード平均化」された出力へと収束し、応答本文はペルソナ間でほぼ同一のままとなり、スタイルを反映するのは挨拶トークンなどの表面的な変化のみとなります。この現象は、先行研究で観察されたテキストの劣化やペルソナの均質化と類似しています。著者らは、決定論的回帰目的関数（標準的な CE や MSE など）は本質的にマルチモーダル分布を条件付き平均へと収束させ、スタイル付き生成に必要な多様な有効な継続表現を捉えられないと主張しています。

手法：セマンティックフロー正則化（SFR）

これに対処するため、著者らはファインチューニング段階で追加される軽量な補助目的関数である「セマンティックフロー正則化（SFR）」を提案します。SFR は推論時にモデルアーキテクチャを変更しません。

中核メカニズム

1. アーキテクチャ: SFR は、バックボーン LLM に軽量な条件付きベクトル場ヘッド $v_\phi$ を接続します。このヘッドはトレーニング中は標準的な言語モデル（LM）ヘッドと並列に動作しますが、デプロイ前に完全に破棄されます。
2. 目的関数: 各応答位置 $t$ において、FM ヘッドは、確率的ガウスサンプル $z_0 \sim \mathcal{N}(0, I)$ を、直後の $k$ トークン接尾辞の連続的な文エンコーダー埋め込み $z_1 = \mathcal{E}(y_{t+1:t+k})$ へと輸送することを学習します。これは**条件付きフローマッチング（CFM）**によって監督されます。
3. 損失関数: トレーニングは総損失 $L_{total} = L_{AR} + \lambda \cdot L_{SFR}$ を最小化します。ここで、$L_{AR}$ は標準的な次のトークンの交差エントロピーであり、$L_{SFR}$ はフローマッチング損失です：
   $$L_{SFR}^{(t)} = \mathbb{E}_{\tau, z_0} \| v_\phi(z_\tau, \tau; h_t) - (z_1 - z_0) \|_2^2$$
   ここで、$z_\tau$ は $z_0$ と $z_1$ の間の線形補間であり、$h_t$ はバックボーンの隠れ状態です。
4. 特徴としての確率性: 決定的に重要なのは、ソース $z_0$ が確率的である点です。著者らは理論的に、確率的ソースは学習されたベクトル場が完全な条件付きマルチモーダル分布 $P(z_1 | h_t)$ を保持することを可能にするのに対し、決定論的ソース（または標準的な回帰）は条件付き平均へと収束することを証明しています。
5. 推論: デプロイ時には、$v_\phi$ と凍結されたエンコーダー $\mathcal{E}$ が除去されます。その結果、得られるモデルは標準的な自己回帰型 LLM とビット単位で同一であり、追加の遅延、メモリ、またはデコーディングロジックのオーバーヘッドはゼロです。

トレーニングの安定化

補助ヘッドがバックボーンを「ショートカット」する（バックボーンが適応するよりも早くマッピングを学習する）こと、または初期ステップでのショックを引き起こすことを防ぐため、SFR は以下の 3 つのメカニズムを採用しています：

• ゼロ初期化: $v_\phi$ の出力投影はゼロに初期化されます。
• 2 フェーズウォームアップ: 初期フェーズでは FM 損失に対してバックボーンを凍結し、その後、損失重み $\lambda$ を線形に ramp-up します。
• 指数移動平均（EMA）: FM ヘッドのパラメータに対して EMA を維持し、ターゲットがゆっくりと移動するようにすることで、バックボーンが不安定化することなく追跡できるようにします。

主要な貢献

1. SFR フレームワーク: 推論コストゼロで AR モデルに連続的かつセグメントレベルの未来監督を注入する、トレーニング時の補助機構の導入。これは特に、マルチスタイルファインチューニングにおけるモード平均化を標的としています。
2. 理論的保証: 確率的フローマッチング監督が条件付きマルチモーダリティを保持することを証明。これは決定論的回帰の代替手法が明らかに欠いている性質です。
3. 実証的検証:
   • スタイル付き対話: 専用産業データセット（Qwen3-32B、9 人のペルソナ）において、SFR はクロススタイル自己 BLEU（CS-SB）スコアを大幅に改善し（Base に対して最大 41.1% 類似度を低下）、スタイル忠実度、関連性、流暢さを維持または向上させました。
   • コード生成: 公開ベンチマーク LiveCodeBench-v5（Qwen2.5-Coder-7B）において、SFR はすべての難易度レベルとトレーニング予算にわたって pass@k スコアを一貫して改善し、対話を超えた汎用性を示しました。
   • MBPP 比較: 制御された比較により、SFR は pass@k メトリクスにおいて標準的な SFT およびマルチトークン予測（MTP）を上回ることが示されました。本論文は理論的に、MTP が SFR の退化した特殊ケースであることを確立しています。
4. 診断機能: 破棄された FM ヘッドをオフラインで再接続することで、「ロック/フォーク」診断を提供できます。これは、標準的なソフトマックスエントロピーでは露呈しない、高いセマンティック不確実性を持つトークン位置（フォーク）と決定論的継続（ロック）を特定します。

結果

• 多様性対品質: SFR は SFT に優るパレートフロンティアを達成し、出力多様性の増加（CS-SB の低下）と、文脈の一貫性、関連性、スタイルの強さ、流暢さにおける高スコアの維持を同時に実現しました。
• コード性能: コード生成において、SFR は pass@1 および pass@5 で一貫した改善をもたらしました。特に、複数の有効な解が存在する中級および上級の問題において最も顕著な改善が見られました。
• 効率性: この手法は推論時にパラメータや遅延を追加しません。トレーニングオーバーヘッドは管理可能（スパースエンコーディングによりウォールクロック時間の約 10% 増加）であり、標準的なサービングスタック（vLLM、SGLang）および量子化技術と互換性があります。

意義と主張

本論文は、SFR がペルソナごとのモデルのストレージコストや拡散ベース生成の推論遅延を伴わずに「クロススタイルの崩壊」問題に対する実用的な解決策を提供すると主張しています。バックボーンの隠れ状態を再構成して未来を意識し、条件を区別する情報をエンコードさせることで、SFR は単一のモデルが多様なスタイルにわたって真に多様な応答を生成することを可能にします。著者らは SFR を、MTP を特殊ケースとして包含し、標準的な教師ありファインチューニングよりも効果的にマルチモーダル生成タスク（スタイル面および機能面の両方）を処理する AR モデルの能力を拡張する汎用技術として位置付けています。この研究は、その恩恵が生産システムで好まれる低温領域において最も顕著であり、標準的なサンプリング手法が多様なモードの探索に失敗しがちな点を強調しています。