💬 NLP

LP-SFT: Local-Preserving Supervised Fine-Tuning via Multimodal Entropy Structure

本論文は、局所的に正規化されたKLダイバージェンスを通じて、非ターゲットトークンにおける事前学習済みモデル固有のマルチモーダルなエントロピー構造を保持する教師あり微調整手法であるLP-SFTを提案し、それによって既存の能力やサンプリングの多様性の低下を抑制しつつ、ダウンストリームの性能を向上させる。

原著者： Yueyang Wang, Baolong Bi, Shuo Lu, Jingyuan Zhang, Jiajun Shi

公開日 2026-07-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yueyang Wang, Baolong Bi, Shuo Lu, Jingyuan Zhang, Jiajun Shi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に優秀で博識なロボットに、指示に従う方法を教えていると想像してください。このロボットはすでにインターネット上のほぼすべての内容を読み終えており、言語のリズム、数学の論理、そしてコードの構造を学習しています。この初期学習フェーズは「事前学習（pretraining）」と呼ばれます。次に、あなたはロボットに、数学の問題を解いたりコンピュータコードを書いたりといった、特定の仕事（タスク）を教えようとしています。あなたは正解の例をロボットに見せ、ロボットはその例に合わせて自分の脳を調整します。このプロセスは「教師あり微調整（Supervised Fine-Tuning: SFT）」と呼ばれます。

しかし、そこには落とし穴があります。ロボットに新しい仕事を完璧に習得させようとすると、時として、優れた一般的な会話能力を忘れてしまうことがあるのです。ロボットは、あなたが示した唯一の「正解」に執着しすぎるあまり、文章が終わり得る他の興味深く妥当な方法をすべて忘れてしまいます。それはまるで、ある数学の問題に対して一つの特定の答えを完璧に暗記したために、少し異なるバージョンの問題が解けなくなってしまった学生や、物語の始め方をたった一つの方法しか知らない作家のようなものです。この分野における大きな疑問は、「どうすれば、ロボットが持つ元の豊かで多様な知識を失わせることなく、新しい仕事を教えることができるのか？」ということです。

これこそが、論文「LP-SFT」が取り組んでいる課題です。著者であるトップ大学の研究チームは、これらのロボットを教える標準的な方法（「クロスエントロピー」と呼ばれるもの）が、少し強引すぎることに気づきました。その方法はロボットに対し、「私が今示しているこの一つの単語だけを見ろ。他のことはすべて無視しろ」と命じているのです。問題は、ロボットの元の脳には、実は「正解となり得る」多くの単語のマップが備わっているということなのです。ロボットにただ一つのターゲットとなる単語だけに集中させることで、私たちは図らずも、他のあらゆる可能性という名のマップを消し去ってしまい、創造性の喪失や、「破滅的忘却（catastrophic forgetting）」と呼ばれる、以前持っていたスキルを忘れてしまう現象を引き起こしてしまうのです。

研究者たちは、これらのロボットがどのように思考しているかについて、非常に興味深い発見をしました。彼らは、ロボットが単に一つの単語を選んでいるのではなく、しばしば同等に優れたいくつかの選択肢の間で揺れ動いており、「マルチモーダルなエントロピー構造」を作り出していることを見出したのです。これは、道の分かれ道を想像してみてください。時として、ロボットはすべて等しく妥当な2つまたは3つの経路を見ていることがあります。標準的な学習法は、ロボットにただ一つの経路を選ばせ、たとえ他の経路が完全に合理的であったとしても、それらを焼き払ってしまうのです。

これを解決するために、チームはLP-SFT（Local-Preserving Supervised Fine-Tuning：局所保存型教師あり微調整）という新しい手法を提案しました。LP-SFTは、ロボットに向かって「この単語を選べ！」と叫ぶ代わりに、「この単語を選びなさい。でも、他にもかなり良かった他の3つか4つの単語のことも忘れないでね」と伝えます。

その仕組みを、簡単な比喩を使って説明しましょう。あなたが犬に特定のボールを取ってくる訓練をしていると想像してください。標準的な方法では、犬が「まさにそのボール」を持ってきたときだけ報酬を与え、他のものはすべて無視します。すると、やがて犬は他の玩具を探すこと自体をやめてしまうかもしれません。LP-SFTは、「赤いボール（ターゲット）を持ってきて。でも、そのついでに、青いボールや緑のボールも楽しかったということも覚えておいてね」と言うようなものです。この手法は、ロボットが選び得た上位10個の単語による小さな「セーフゾーン」を作り出します。まず、教えている単語の一つを取り除き（混乱を防ぐため）、残りの9つの単語の相対的な人気度（出現確率）が、以前の状態と同じまま維持されるように、ロボットを優しく促すのです。

このアプローチの結果は、非常に有望です。研究者が異なるモデル（QwenやLlamaなど）やタスク（数学、コーディング、一般的なチャット）でLP-SFTをテストしたところ、LP-SFTは従来の方法よりも優れた成果を上げることがわかりました。LP-SFTで訓練されたロボットは、教えられた特定のタスク（数学やコーディングのテストでの高スコア）において優れた能力を発揮しただけでなく、多様性や創造性を維持することにも成功しました。彼らは、他の方法と比較して、一般的な知識を忘れることが少なかったのです。実際、この手法は、単一の正解を得ることと、多様な解決策を保持し続けることの間の、最高のバランスを実現しました。

この論文は、ロボットの元の「可能性のマップ」を尊重することで、その脳を壊すことなく新しいスキルを教えることができると示唆しています。これは、機械に完璧さを教えるためには、時には少しの「不確実性」を残させておく必要があるということを思い出させてくれます。研究者たちは、この「局所的な保存（local preservation）」が、ロボットが退屈で一本調子な思考へと陥るのを防ぎ、スマートで柔軟で、次に来るあらゆる事態に備えられた状態を維持するのに役立つことを示しています。

技術要約: LP-SFT (Local-Preserving Supervised Fine-Tuning)

1. 問題提起

教師あり微調整（SFT）は、事前学習済み言語モデル（PLM）をダウンストリームタスクに適応させるための標準的なパラダイムである。しかし、トークンレベルのクロスエントロピー（CE）損失に依存する標準的なSFTは、多くの場合、以下の2つの次元において能力の劣化を引き起こす：

破滅的忘却: 微調整の分布への過度な特化により、ドメイン外の能力が失われる。
生成多様性の低下: 代替となる有効な解を抑制し、分布を単一のトークンへと崩壊させ、サンプリング可能な多様性（pass@kで測定）を減少させる。

著者らは、この劣化が、CEの目的関数とPLMにエンコードされた豊かな分布知識との間のミスマッチに起因すると主張している。PLMは広範な能力を学習しており、その結果、次トークンの分布には単一の観測されたターゲット・トークンを超えた実質的な情報が含まれているが、標準的なCEは残りの選好構造を無視してしまう。微調整中に妥当な代替案を繰り返し抑制することは、事前学習された構造的完全性を歪めてしまう。

2. 主要な観察事項: 多峰性エントロピー構造

解決策を提案する前に、著者らはベースモデルにおける次トークン予測のエントロピー構造を分析している。

多峰性エントロピー・ピーク: シャノン（ $H_1$ ）およびレニー（ $H_2$ ）エントロピーを用いて、エントロピー分布が整数 $k$ の近くで明確な多峰性のピークを示すことを著者らは観察している。
プラトー- $k$ 状態: これらのピークは、「エントロピー圧縮状態」に対応しており、不確実性が $k$ $k$ 個の同様に妥当な次トークンの候補に分散している。
- 低次プラトー ( $k=1\text{--}5$ ): 多くの場合、複数の有効な継続が存在する論理的または意味的な分岐に対応する。
- 高次プラトー ( $k \approx 10$ ): 多くの場合、モデルが文字セット全体に確率を分散させている構造的な曖昧さ（例：ランダムな数字、ID）に対応する。
示唆: ベースモデルは本質的に豊かな分布知識をエンコードしている。標準的なCEは、これらのトークンを一様に扱い、これらの構造化された代替案を無視するようにモデルに強制することで、この不均一な構造を不必要に歪めてしまう。

3. 手法: LP-SFT

これに対処するため、著者らはLP-SFT (Local-Preserving Supervised Fine-Tuning) を提案する。この手法は、凍結されたベースモデルを局所的な構造のリファレンスとして使用し、教師あり学習の信号と衝突することなく、非ターゲットの代替案間の相対的な選好を保持する。

コア構成要素

局所 Top-K 保存集合 (Local Top-K Preservation Set):
- 各トークン位置 $t$ において、本手法は凍結されたベースモデルの分布 ( $q_t$ ) からのトップ- $K_{max}$ トークンから候補集合 $S_t$ を構築する。
- デフォルトでは、 $K_{max} = 10$ と設定されており、これは分析で観察された低次分岐と顕著な高次プラトーの両方をカバーするように選択されている。
ターゲット・トークンの除去 (Target-Token Removal):
- 主なクロスエントロピー目的関数（教師ありターゲット・トークン $y_t$ を最適化するもの）との衝突を避けるため、 $y_t$ は保存集合から明示的に除去される。
- これにより、保存集合は $A_t = S_t \setminus \{y_t\}$ となる。
局所 KL 正規化 (Local KL Normalization):
- 全語彙に対するグローバルなKLダイバージェンスを適用するのではなく（計算コストが高く、制約が強すぎる可能性がある）、LP-SFTは集合 $A_t$ に対して局所的に正規化されたKLダイバージェンスを適用する。
- ベースモデル ( $q_t$ ) と学習対象モデル ( $p_t$ ) の確率は、 $A_t$ 内でのみ正規化され、 $\hat{q}_t$ および $\hat{p}_t$ を得る。
- 損失は $L_{LP} = D_{KL}(\hat{q}_t \parallel \hat{p}_t)$ と定義される。
- 根拠: これにより、非ラベルの代替案間の相対的な選好構造を保持しつつ、それらの絶対的な確率質量や、その集合に割り当てられる総質量を人工的に制約することなく、構造を維持する。

学習目的関数

最終的な目的関数は、ターゲット・トークンのための標準的なクロスエントロピー損失と、局所保存損失を組み合わせたものである：
$L_{LP-SFT}(\theta) = \sum_{t=1}^{T} \left[ -\ln p_t(y_t) + \mu \cdot L_{LP}^t \right]$
ここで、 $\mu$ は保存の強度を制御する。

実装の効率性

すべてのステップでベースモデルのフォワードパスを必要とする手法とは異なり、LP-SFTは2段階の実装を採用している：

オフライン事前計算: ベースモデルが訓練データセット全体を一度処理し、トップ- $K_{max}$ のロジットをキャッシュする。
微調整: 訓練ループは、キャッシュされたロジットを使用して局所保存損失を計算する、学習対象モデルのフォワードパスのみを必要とする。これにより、全語彙アンカリング手法と比較して計算オーバーヘッドが大幅に軽減される。

4. 実験結果

著者らは、混合ドメインおよびシングルドメイン（Math, Code, General Instruction）の設定において、3つのモデルファミリー（Qwen3-4B, Llama-3.1-8B, Qwen3-14B）を用いてLP-SFTを評価した。

Vanilla SFT との比較: LP-SFTは、全体的な平均パフォーマンスにおいて、標準的なCEおよび最近のSFT強化ベースライン（DFT, EAFT, GEM, ASFT）を一貫して上回っている。
Pass@1 vs. Pass@k のトレードオフ:
- 標準的なCEは、pass@k（多様性）を犠牲にしてpass@1（単一サンプル精度）を向上させることが多い。
- DFTのような手法はpass@1を向上させるが、pass@kの著しい低下を引き起こす。
- LP-SFTは最良のバランスを実現: パフォーマンスを犠牲にすることなく、pass@1を向上させると同時にpass@kを維持または向上させており、これはサンプリング可能な多様性を保持しつつ精度を維持できることを示している。
破滅的忘却: 混合ドメインの微調整において、LP-SFTは能力の低下を大幅に緩和する。例えば、MMLUベンチマークにおいて、標準的なCEが深刻な低下を示す一方で、LP-SFTは凍結されたベースモデルとほぼ同等の性能を維持した。
アブレーション研究: 本手法はハイパーパラメータ $\mu$ に対して比較的鈍感である。ターゲット・トークンの除去と局所KL正規化の両方が、安定性と性能に不可欠であることが判明した。

5. 意義と主張

本論文は、事前学習済みモデルの固有のエントロピー構造を明示的に保護することにより、教師あり微調整に対する新しいアプローチを提供すると主張している。

メカニズム: ターゲット・トークンの学習と局所的な構造的選好の保存を分離することで、LP-SFTはベースモデルの構造化された不確実性が「上書き」されるのを防ぐ。
成果: このアプローチは、単一サンプルの精度を損なうことなく、破滅的忘却を軽減し、生成の多様性（サンプリング可能な解）を保持するのに役立つ。
効率性: 本手法は、全語彙アンカリング技術と比較して控えめな計算オーバーヘッドでこれらの利益を提供し、ドメイン適応中の事前学習能力の保持のための実用的な代替手段となる。

著者らは、局所的な保存が、ダウンストリームへの適応と汎用的な能力の保持を両立させるための効果的な戦略であると結論付けており、事前学習中に学習された豊かな分布知識は、微調整中に破棄されるべきではなく、保持されるべきであることを示唆している。