📊 statistics

InfoSFT: Learn More and Forget Less with Information-Aware Token Weighting

InfoSFT は、標準的な SFT や既存の緩和手法と比較して、多様なタスクにおける汎化性能を向上させつつモデルの既存の能力をよりよく維持するために、学習信号を最も情報量が多く中程度の信頼度を持つトークンに集中させる、教師あり微調整のための原理的なトークン重み付け手法である。

原著者： Mahdi Sabbaghi, George Pappas, Adel Javanmard, Hamed Hassani

公開日 2026-05-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mahdi Sabbaghi, George Pappas, Adel Javanmard, Hamed Hassani

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

InfoSFT という論文を、平易な言葉と創造的な比喩を用いて解説します。

全体像：ロボットに新しい技を教える

あなたが、すでに世界について多くを学んだ非常に賢いロボット（大規模言語モデル）を持っていると想像してください。今、あなたはそれを複雑な数学の問題を解いたり、コンピュータコードを書いたりするような、特定の新しいスキルを教えたいと考えています。これを行うために、あなたは専門家がこのタスクを遂行する例をロボットに見せます。このプロセスは**教師あり微調整（SFT）**と呼ばれます。

しかし、この論文は、私たちが通常行うこの方法には問題があると指摘しています。それは、教科書内のすべての例を、それが簡単であれ難しいであれ、丸暗記させようとして学生を教えようとする教師のようなものです。

問題点：「万能型」の罠

この論文は、標準的なアプローチには主に 2 つの問題があると特定しています。

過学習（オウム返し効果）: ロボットは、理解するのが非常に奇妙で、あるいは不確かなものさえ含め、すべての 例を完璧に暗記しようとします。これは、数学問題の正確な文言を暗記するが、その論理を理解していない学生のように、数字が変わると失敗してしまうようなものです。
破滅的忘却（記憶喪失効果）: 新しい難しい技を学ぼうとする過程で、ロボットはすでに良く知っていたことを誤って「忘れて」しまいます。これは、新しい高級なレシピを学ぼうとするシェフが、お湯を沸かす方法や玉ねぎを切る方法を忘れてしまうようなものです。

従来の解決策：多すぎても少なすぎても

以前の手法は、「難しい」例（ロボットにとって不確かなもの）を除外することでこれを修正しようとしました。

比喩: すでに簡単に解ける問題だけを練習させる教師を想像してください。
結果: 学生は非常に自信を持ち、安定しますが、習得する必要があった難しい概念に一度も直面しなかったため、新しい ことを決して学びません。

新しい解決策：InfoSFT（「ジャスト・フィット」の教師）

著者たちは、InfoSFT という新しい手法を提案しています。すべての例を同じように扱うのではなく、難しいものを無視するのではなく、InfoSFT は、学生をどの程度追い詰めればよいかを正確に知っている賢明な教師のように振る舞います。

核心となるアイデア：自信の「絶妙なポイント」
InfoSFT は、ロボットがその単語についてどれほど自信を持っているかに基づいて、ロボットが生成するすべての単語に異なる「重み（重要度スコア）」を割り当てます。

簡単すぎる（高自信）: ロボットがすでに 99% の確信を持って単語（例えば「the」や「is」など）を知っている場合、InfoSFT は「あなたはこれをすでに知っている；これに時間を無駄にするのはやめよう」と言います。これらの単語にはゼロの重みを与えます。
難しすぎる（ゼロ自信）: ロボットが完全に迷っており、その単語が極めて不確かな場合、InfoSFT は「今はこれでは混乱しすぎる；脳を壊さないように、今はこれをスキップしよう」と言います。これらの単語には非常に低い重みを与えます。
ちょうど良い（中程度の自信）: ロボットが確信はないが、良い推測を持っている場合（おそらく 50〜80% の自信）、InfoSFT は「これは完璧な学習の瞬間だ！ここに集中しよう！」と言います。これらの単語には最も高い重みを与えます。

比喩:
自転車に乗ることを学ぶことを考えてみましょう。

標準的な SFT は、平坦な歩道（簡単すぎる）で乗ることを強要し、突然ハリケーンの中（難しすぎる）に放り込むようなものです。あなたは退屈するか、転倒するかです。
InfoSFT は、あなたを穏やかな丘に乗せるコーチのようなものです。あなたはふらつき、確信が持てない（中程度の自信）ため、最も多くを学びます。丘が急すぎれば、コーチはあなたを止め、地面が平坦であれば、コーチはあなたに滑走させます。

なぜこれがよりうまく機能するのか

この論文は、これらの「中程度の自信」の瞬間に焦点を当てることで、ロボットが新しい行動（数学やコーディングなど）を以前よりもはるかに速く、かつ効果的に学習することを示しています。

より良い汎化: ロボットは特定の例だけでなく、タスクの論理を学びます。これにより、まだ見たことのない新しい問題を解決できます。
記憶喪失の減少: ロボットは奇妙な例を暗記するために、その人格全体を劇的に変えることを強要されないため、安全性や一般的な会話などの元のスキルはそのまま維持されます。

「一行」の魔法

著者たちは強調していますが、これは巨大な見直しではありません。ロボットを訓練するために使われる数学のわずかな微調整に過ぎません。彼らは単に、各単語にどの程度の注意を払うかを決定する式を変更しただけです。それは、ステレオの音量ノブを調整するようなものです。すべての曲を同じ音量で流すのではなく、聞く必要がある曲の音量を上げ、すでに知っている曲の音量を下げます。

まとめ

InfoSFT は、AI に教えるより賢明な方法です。これは、AI が簡単なものを暗記し、不可能なもので混乱することを防ぎます。代わりに、実際の学習が起こる「ちょうど良い」瞬間にすべてのエネルギーを集中させます。これにより、AI は古いスキルを忘れることなく、新しいスキルを習得できるようになります。

技術概要：InfoSFT

問題定義

教師あり微調整（SFT）は、オフラインの専門家デモンストレーションを用いて大規模言語モデル（LLM）に新しい行動を教えるための標準的なアプローチである。しかし、標準的な SFT には 2 つの決定的な限界が存在する：

テスト時の汎化能力の弱さ：標準的な SFT は、ベースモデル下で尤度が低いサンプルを含むすべてのサンプルを均一に適合させる。これらの低尤度トークンは大きな負の対数尤度損失を招き、モデルが特定のサンプルに過剰適合するよう強制し、本来の目標となる行動の学習を阻害する。その結果、SFT は一般化ベンチマークにおいて、オンポリシー手法（強化学習など）と比較して性能が劣ることが多い。
破滅的忘却：低尤度のオフラインデータを用いて新しい行動に適応させることは、モデルの出力分布に大幅なシフトを引き起こす。この大きな分布シフトは、以前の能力（安全性、指示追従、あるいは一般的な推論など）の劣化と相関しており、これは「破滅的忘却」として知られる現象である。

既存の緩和策（低尤度データのフィルタリングや重み付け低下など）は、ベースモデルが学ぶ必要があるまさにその新規行動を抑制してしまうことが多く、新しいタスクの学習と既存の保持との間でトレードオフを生み出している。

手法：InfoSFT

著者は、学習信号を「最大限に情報量が多く、中程度の信頼性を持つトークン」に集中させるように設計された原理的なトークン重み付け方式であるInfoSFTを提案する。この手法は、近接更新フレームワークから導出され、専門家分布への適合と、固定された KL 発散予算の下でのベースモデルへの近接性の間のトレードオフを最適化するものである。

理論的導出

著者は、SFT を方策勾配問題として定式化し、サンプルの重み付けは現在のモデル下でのその尤度 $q = \pi_\theta(y^*|x)$ に依存するとする。

標準的な SFTは、すべてのトークンを均等に扱う実効的な均一重み（ $w=1$ ）を割り当てる。
**DFT（尤度重み付き SFT）**は、尤度に比例する重み（ $w \propto q$ ）を割り当て、トレーニングを安定させるが、情報量の多い低尤度サンプルの重みを過小評価する。
InfoSFTは、個々のサンプルを記憶するのではなく、専門家データの集団分布への適合を優先する最適な重み付け規則を導出する。尤度 $q$ $q$ を持つトークンの最適重みは以下のように導出される：
$w_{info}(q) \propto q \left( \text{logit}(p) - \text{logit}(q) \right)_+$
ここで：
- $p$ は平均的な専門家信頼度の推定値（較正定数）である。
- $\text{logit}(q) = \log(\frac{q}{1-q})$ である。
- $(\cdot)_+$ は非負の重みを確保するためにクリッピングすることを示す。

主要な特徴

中程度の信頼性への焦点：重み付け関数は、中程度の信頼性を持つトークンでピークに達する。ベースモデル下で尤度が低い（したがって情報量が多い）が、不安定を引き起こすほど極端に低いわけではないトークンに高い重みを割り当てる。
極端な値における重みの消失：
- 非常に信頼性の高いトークン（ $q \to 1$ ）の場合、補正項は消失し、モデルがすでに良好に予測しているトークンの不必要な強化を回避する。
- 極めて尤度が低いトークン（ $q \to 0$ ）の場合、重みは消失し、不安定性を防ぐ。
実装：InfoSFT は、標準的なトークンごとの損失関数への 1 行の変更のみを必要とする。それは均一な重みを導出された重み付け因子に置き換えるものである。

主要な貢献

KL 予算下での最適更新：この論文は、ベースモデルに近接して留まること（固定された KL 予算）に制約された場合、最適な更新戦略は、均一または尤度に比例する重みではなく、中程度の信頼性を持つサンプルに最も高い重みを割り当てることを理論的に実証している。
InfoSFT アルゴリズム：この重み付け規則を組み込んだ、シンプルで新規な SFT 変種。これは、すでに解決済みのトークンにほとんど重みをかけない一方で、情報量の多い低尤度トークンを強調する。
SFT との相補性：著者は、InfoSFT と標準的な SFT が相補的であることを示している。SFT は非常に尤度が低い形式（例：<thought> のような新しい推論タグ）を導入するのに効果的であるのに対し、InfoSFT はそれらの形式がより尤もらしくなった後にモデルを洗練させるのに優れている。

実験結果

著者は、多様なモデルファミリー（Qwen-2.5、Llama-3.1）とサイズを用いて、数学、コード、および Chain-of-Thought（CoT）推論タスクにおいて InfoSFT を評価した。

汎化性能：InfoSFT は、テスト時のベンチマーク（MATH500、AMC、HumanEval、MultiPL-E）において、バニラ SFT および DFT の両方を一貫して上回った。特に、複数のサンプルの中で正しいソリューションを生成する際の多様性と堅牢性を示す pass@8 スコアで高い値を達成した。
破滅的忘却：新しいタスクの精度と以前の能力（Science Q&A およびツール使用）の間のトレードオフを測定する実験において、InfoSFT は優れたパレートフロンティアを達成した。SFT や DFT よりも高い新しいタスクの精度に達しながら、以前の能力（例：HumanEval、IFEval）をより効果的に保持した。
エントロピー制御：決定論的な出力をもたらすことが多くエントロピーの崩壊を招く DFT とは異なり、InfoSFT はより高い出力エントロピーを維持する。これは、下流のアライメントやサンプリングに基づく推論にとって重要である。
CoT 推論：CoT 微調整において、2 段階のアプローチ（1 エポックの SFT に続いて 1 エポックの InfoSFT）は、形式を学習するために SFT を活用し、推論を洗練するために InfoSFT を活用することで、AIME において最良の結果をもたらした。

意義と主張

この論文は、トークン重み付けが信頼性の高い教師ありポストトレーニングの鍵となる要素であると主張している。均一な適合や単純な尤度重み付けを超えて進むことで、InfoSFT は、オフラインデータからの新しい行動の学習と、既存の能力の保持との間の根本的な緊張関係に対処する。この手法は、複雑なデータフィルタリングやオンポリシーサンプリングを必要とせずに、汎化を改善し破滅的忘却を緩和する、原理的かつオーバーヘッドの低い解決策を提供する。著者は、SFT の安定性とオンポリシー手法の汎化の利点の間のギャップを埋める堅牢な代替手段として InfoSFT を位置づけている。