🤖 machine learning

RIFT: Repurposing Negative Samples via Reward-Informed Fine-Tuning

この論文は、教師あり微調整（SFT）や拒否サンプリング微調整（RFT）の課題を解決し、モデルが生成した正解・不正解の両方のサンプルを報酬情報に基づいて再重み付けすることで、安定した学習と高いデータ効率を実現する新しいフレームワーク「RIFT」を提案し、数学的ベンチマークにおいて RFT を上回る性能を示したことを報告しています。

原著者： Zehua Liu, Shuqi Liu, Tao Zhong, Mingxuan Yuan

公開日 2026-04-24

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zehua Liu, Shuqi Liu, Tao Zhong, Mingxuan Yuan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、AI（大規模言語モデル）を賢くするための新しいトレーニング方法「RIFT」について書かれています。

一言で言うと、**「AI が間違えた答えを出しても、それを捨てずに『なぜ間違えたか』を勉強材料として活用する、とても賢い学習法」**です。

これまでの方法との違いや、なぜこれがすごいのかを、料理やスポーツの例えを使って簡単に説明します。

1. 従来の方法：「正解だけ」を覚える（SFT と RFT）

これまでの AI の学習は、大きく分けて 2 つのやり方がありました。

SFT（教師あり学習）: 人間が作った「完璧な正解のレシピ」だけを AI に見せて、「これを真似しなさい」と教える方法。
- 問題点: 完璧なレシピを作るには、人間が大量の時間とコストをかける必要があります。
RFT（拒否サンプリング）: AI 自身に 8 個の料理を作らせ、その中から「美味しいもの（正解）」だけを選んで、それだけを学習させる方法。
- 問題点: 「まずい料理（間違い）」はすべてゴミ箱に捨ててしまいます。
- メタファー: 料理人が 8 個の料理を作らせて、美味しいものだけを食べて、**「まずい料理は全部捨てて、なぜまずかったのか考えもしない」**ようなものです。これでは、次も同じ失敗をする可能性があります。

2. RIFT のアイデア：「失敗」も「成功」も全部食べる

この論文が提案するRIFTは、**「捨てられた失敗作（負のサンプル）も、ちゃんと味見して勉強する」**という考え方です。

仕組み:
- AI が作った 8 個の料理のうち、美味しいもの（正解）には「ご褒美（プラスの点数）」を付けます。
- まずいもの（間違い）には「反省点（マイナスの点数）」を付けます。
- 捨てずに全部を使って、「美味しいものはもっと作ろう」「まずいものは作らないようにしよう」と学習します。

これにより、「正解」だけでなく「なぜ間違えたのか」という失敗のパターンも学べるため、AI はより賢く、頑丈になります。

3. 最大の難問と解決策：「失敗を教えるのは危険？」

ここで一つ、大きな壁がありました。

問題: 従来のやり方で「間違い」を教えると、AI が**「絶対に間違えないように！」と必死になりすぎて、逆にパニック（学習の崩壊）を起こす**ことがありました。
- メタファー: 「絶対に火傷するな！」と恐怖で教えると、生徒は「火を見ないこと」に集中しすぎて、料理そのものができなくなってしまうような状態です。数学的には、損失関数（エラーの計算式）が無限大に発散してしまい、計算がおかしくなるのです。
RIFT の解決策（安定化）:
- 著者たちは、この「パニック」を防ぐために、「間違いに対する罰則の計算方法」を工夫しました。
- 単に「間違えたら大激怒（無限の罰）」ではなく、「間違えたら、その確率に比例して優しく、しかし確実に修正する」という**「安定したルール」**を作りました。
- これにより、AI は失敗から学んでも、学習が暴走することなく、安定して成長できるようになりました。

4. なぜこれがすごいのか？（結果）

実験の結果、RIFT は以下の点で他を凌駕しました。

データ効率が良い: 正解データを集めるコストがかからず、AI 自身が作った「失敗作」まで有効活用できるので、少ないデータで高性能になります。
メモリ節約: 従来の高度な学習法（DPO など）に比べて、必要な計算リソース（メモリ）が半分以下で済みます。
数学パズルが得意に: 数学の問題を解くテストでは、他のどの方法よりも高い正解率を達成しました。特に、AI が「正解」と「不正解」の両方を混ぜて学習することで、より深く理解できるようになったことが証明されました。

まとめ

RIFTは、AI 教育の新しいパラダイムです。

「正解だけを見て褒める」のではなく、**「失敗も全部見て、なぜ失敗したかを冷静に分析して教える」という、まるで「優秀なコーチが、選手の失敗動画も一緒に見て指導する」**ような学習法です。

これにより、AI はより少ないリソースで、より賢く、失敗に強い存在へと進化できるようになりました。

RIFT: Reward-Informed Fine-Tuning による大規模言語モデルの効率的なアライメント

技術的サマリー

本論文は、大規模言語モデル（LLM）の微調整（Fine-Tuning）におけるデータ効率と学習安定性の課題を解決するため、RIFT（Reward-Informed Fine-Tuning） という新しいフレームワークを提案しています。

1. 背景と課題 (Problem)

LLM のアライメント（人間や特定のタスクへの適合）において、現在主流となっている手法には以下のような限界があります。

教師あり微調整 (SFT): 高品質な専門家データに依存しており、データ収集コストが高く、分布のミスマッチにより「忘却（Catastrophic Forgetting）」や性能低下を招く可能性があります。
拒否サンプリング微調整 (RFT): モデル自身で生成した回答から、品質閾値を超えたもの（正解）のみを抽出して学習します。しかし、閾値以下（不合格）のサンプルを完全に破棄してしまうため、以下の問題が発生します。
- 生成プロセスで費やされた計算資源の無駄遣い。
- モデルが「なぜ間違えたか（失敗モード）」を学習する機会を失い、正解と不正解の区別を深める能力が制限される。
強化学習 (RL/DPO): 参照モデル（Reference Model）の保持が必要で、メモリ使用量が膨大になり、学習が不安定になる傾向があります。

2. 提案手法：RIFT (Methodology)

RIFT は、SFT の単純な拡張でありながら、生成されたすべてのサンプル（正解と不正解の両方）を有効活用する枠組みです。

核心的なアイデア

RFT が「閾値でフィルタリングして破棄する」のに対し、RIFT はすべてのサンプルを保持し、各サンプルに品質評価に基づく**スカラー報酬（Reward）**を割り当てます。

正報酬サンプル: 通常の負の対数尤度（Negative Log-Likelihood, NLL）損失を用いて、正解を促進します。
負報酬サンプル: 単に確率を下げようとするのではなく、損失関数を再重み付けして、不適切な出力を抑制します。

技術的課題と解決策：損失関数の安定化

単純に報酬を対数尤度に掛け合わせると（ $L = -r \cdot \log \pi$ ）、負の報酬（ $r < 0$ ）に対してモデルが不正解の確率を 0 に近づけようとした際、勾配が無限大に発散し（Gradient Explosion）、学習が破綻する問題が発生します。

これを解決するため、RIFT は損失関数の定式化を工夫しています：

正サンプル: 従来の対数尤度損失（ $\log \pi$ ）を維持。
負サンプル: 対数関数の代わりに、**一次近似（線形近似）**を用いた損失（ $\pi - 1$ $π - 1$ ）を採用します。
- 対数関数は $p \to 0$ で発散しますが、線形関数は勾配が一定であり、数値的に安定しています。
- これにより、負のサンプルに対する抑制が「爆発的な勾配」ではなく「安定した勾配」で行われ、学習の収束性が保証されます。

3. 主な貢献 (Key Contributions)

負のサンプルの再利用: 拒否サンプリングで捨てられていた「失敗例」を、報酬情報を用いて再活用し、モデルの失敗モード学習を可能にしました。
安定した損失関数の提案: 負の報酬を直接統合する際の数値的不安定性（損失の下方非有界性）を、線形近似を用いた新しい損失関数で解決しました。
参照モデル不要の効率的アライメント: DPO などの強化学習手法のように参照モデルを保持する必要がなく、SFT や RFT と同等のメモリ効率を維持しつつ、より高い性能を実現します。

4. 実験結果 (Results)

数学推論タスク（MATH, GSM8K, Olympiad など）および一般的なアライメントタスク（UltraFeedback）において、Qwen2.5-Math, Qwen3, DeepSeek-R1-Distill などの様々なモデルで評価されました。

精度の向上: 既存の SFT, RFT, DFT, DPO をすべて上回る性能を達成しました。
- 例：Qwen2.5-Math-1.5B で MATH データセットを学習させた場合、RIFT は平均精度で RFT より +11.4%、DPO より +6.0% 改善しました。
汎化性能: 学習データ分布外（OOD）のタスクでも高い汎化性能を示し、特に「正解と不正解が混在するデータ（Mixed-Reward）」から学習することで、モデルの推論能力が強化されました。
計算効率:
- DPO に比べてピークメモリ使用量が約 50% 削減（参照モデル不要のため）。
- RFT や SFT と同等のメモリ効率を維持しつつ、DPO 並み以上の性能を得ています。
推論モデルへの適用: 推論能力を持つ DeepSeek-R1-Distill などのモデルにおいても、SFT が推論能力を破壊するのを防ぎ、RIFT はベースモデル以上の性能を維持・向上させました。

5. 意義と結論 (Significance)

RIFT は、LLM の自己改善（Self-Improvement）プロセスにおいて、「高品質データのみ」に依存する従来のパラダイムから、「混合品質データ（正解＋失敗）」を体系的に学習するパラダイムへの転換を示しています。

データ効率: 生成コストを無駄にせず、失敗から学ぶことで、専門家によるラベル付けデータへの依存度を下げられます。
実用性: 複雑な強化学習パイプラインを必要とせず、SFT のような単純な実装で、DPO 以上の性能と DPO の半分以下のメモリコストを実現します。
将来展望: 数学的な客観的評価だけでなく、主観的なアライメントや、ステップごとの報酬（Step-wise Reward）への拡張可能性も示唆されています。

要約すれば、RIFT は「失敗を捨てるのではなく、失敗を報酬として再定義し、安定した損失関数で学習させる」ことで、より効率的かつ強力な LLM アライメントを実現する画期的な手法です。