🤖 AI

A Regret Minimization Framework on Preference Learning in Large Language Models

本論文は、人間の好みの持つ展望的かつ反事実的な性質をより適切に捉えるために、後悔最小化を通じて人間からのフィードバックによる強化学習を再構成する新しいフレームワークである、Regret-based Preference Optimization (RePO) を導入するものであり、その結果、推論および好みのベンチマークにおいて一貫した性能向上を実現している。

原著者： Suhwan Kim, Taehyun Cho, Geon-Hyeong Kim, Yu Jin Kim, Youngsoo Jang, Moontae Lee, Jungwoo Lee

公開日 2026-06-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Suhwan Kim, Taehyun Cho, Geon-Hyeong Kim, Yu Jin Kim, Youngsoo Jang, Moontae Lee, Jungwoo Lee

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに数学の問題を解かせたり、役立つメールを書かせたりする方法を教えていると想像してみてください。あなたはロボットに人間のフィードバックから学習させたいと考えていますが、人間は普通、「この文章には正確に7.5点の価値があります」とは言いません。代わりに、「あの回答よりも、こちらの回答の方が好きです」と言います。

長い間、コンピュータ科学者は、ロボットに「スコアを最大化する」ように教えてきました。彼らは、ロボットが踏み出すあらゆるステップを、まるでビデオゲームでコインを集めるかのように、即座に得られるポイントとして扱いました。ロボットがステップを「正しく」こなせば、コインを獲得し、「間違っていれば」、コインを失います。ロボットの目標は、単にできるだけ多くのコインを掴み取ることでした。

「コインコレクター」アプローチの問題点
この論文は、この「コインコレクター」的な考え方は、人間の思考を理解する方法としては実は不適切であると主張しています。人間は単に目の前のステップを見るのではなく、先を見据え、さらに「何が起こり得たか」という過去を振り返ります。

著者たちは、素晴らしい比喩を用いています。それは**「もしも（What If）ゲーム」**です。

チェスのプレイヤーが手を打つのを見ている場面を想像してください。

旧来の方法（報酬最大化）： あなたはその一手を単体で見ます。駒を取ったか？取ったなら「良し」、取っていないなら「悪し」。その手を孤立した状態で判断します。
新しい方法（後悔最小化）： あなたはその手を見て、「もしここで別の手を打っていたら、もっと展開が良くなっていただろうか？」あるいは、「このままのプレイを続ければ、10手後に勝てるだろうか？」と問いかけます。

人間は、ステップを単体で判断するのは苦手です。私たちは、予期的期待（次に何が起こると考えているか）と、反事実的比較（他にどのような選択肢があったのか）に基づいて判断を下します。

論文の解決策：「後悔に基づく選好最適化（RePO）」
著者たちは、新しい手法であるRePOを導入しています。スコアを最大化しようとする代わりに、RePOはロボットに**「後悔（レグレット）を最小化する」**ことを教えます。

「後悔」を、「ああ、別の道を選んでおけばよかった。そうすれば渋滞を避けられたのに」と感じる感覚だと考えてください。

旧来の方法では、ロボットは自分が今通っている道が「今この瞬間」スムーズであるかどうかだけに気にかけます。
新しい方法（RePO）では、ロボットはこう問いかけます。「私が取り得たはずの最高のルートと比較して、どれほど失敗してしまっただろうか？」

平易な言葉による仕組みの説明

先を見通す： 人間が部分的な回答（例えば、数学の解法の前半部分）を見るとき、彼らは頭の中で問題を最後まで解き切ります。もし彼らが「あ、この道を進むと結局間違った答えに辿り着くぞ」と考えたら、たとえ前半部分が正しく見えたとしても、その前半を嫌います。RePOは、現在のステップが袋小路につながっていないかを確認するために、未来をシミュレーションすることで、これを模倣します。
代替案との比較： 人間はしばしば、実際には起こらなかった「より良いバージョン」と比較することで、ある行動を判断します。RePOは、ロボットが行ったことと、「完璧な」ロボットが行ったはずのこととの間の「距離」を計算します。そして、そのギャップを縮めようとします。
「後悔」スコア： 「良い」ことに対するプラスのスコアを与える代わりに、RePOは「後悔」スコアを算出します。目標は、この後悔をゼロに限りなく近づけることです。もし後悔が大きいなら、それはロボットが、より良い結果をもたらしたはずの選択肢よりも悪い結果を招く選択をしたことを意味します。

なぜこれが重要なのか（論文による記述）
研究者たちは、数学の問題や一般的な会話タスクを用いてテストを行いました。その結果、RePOで訓練されたロボットは、以下の点で優れていることが分かりました。

数学を解く： ステップ自体が論理的に見えるかどうかではなく、そのステップが正しい最終回答につながる場合にのみ、そのステップが「良い」ものであると理解しました。
人間の好みに合わせる： 即座のポイントを得るためにシステムを「出し抜こう（ゲーミング）」とするのをやめ、人間と同じようにプロセス全体を考えるようになったため、人間の選好により適合するようになりました。

「魔法のトリック」（サンプル効率）
最も興味深い発見の一つは、RePOがいかに「賢く」学習するかという点です。

旧来の方法（DPO）： もし数学の問題で答えが隠されている（マスクされている）場合、ロボットは混乱し、パフォーマンスが低下します。パターンを学ぶために、完全な正解を何度も見せる必要があります。
新しい方法（RePO）： 「後悔（何が起こり得たか）」という概念に基づいているため、RePOは、答えが隠されている状態が「怪しい」ものであることを自然に理解します。不完全な経路が良くないという教訓を理解するために、余計な追加トレーニングを必要としません。「ゴールが見えないなら、おそらく道を間違えたのだ」という教訓を、自ら内面化しているのです。

まとめ
この論文はこう述べています。ロボットに、次のステップのことしか考えられない強欲なコインコレクターになるよう教えるのはやめなさい。代わりに、「自分は可能な限り最善のルートを通っただろうか？そして、選ばなかった道と比較して、自分の選択にどれほどの後悔があるだろうか？」と自問自答する、内省的な旅人になるよう教えなさい、と。これを行うことで、ロボットはより優れた推論能力を持ち、人間の思考様式により適合したものとなるのです。

技術要約：大規模言語モデルにおける嗜好学習に関する後悔最小化フレームワーク

問題提起

数学やコード生成のような推論集中的なタスクにおいては、自動化された正誤信号を活用する検証可能な報酬を用いた強化学習（RLVR）が大きな進展をもたらしてきました。しかし、多くの現実的な言語タスク（例：安全性が重要な意思決定、カスタマーサービス、教育的推論）には、信頼できる検証器が存在しません。その結果、この分野は人間からのフィードバックに基づく強化学習（RLHF）に大きく依存しています。

本研究が取り組む核心的な問題は、RLHFにおける人間によるフィードバックの解釈です。既存の嗜好ベースの手法（例：DPO、IPO）は、通常、人間の嗜好を報酬最大化の観点から解釈しており、嗜好を観察された軌跡セグメントに割り当てられた即時的または累積的な効用（ユーティリティ）のプロキシとして扱っています。著者らは、この解釈は人間の認知とは根本的に乖離していると主張しています。人間の判断は本質的に展望的（将来の結果を予期すること）であり、かつ反事実的（実現した結果を、起こり得た代替案と比較すること）です。現在の報酬ベースのフレームワークは、中間ステップを近視的に評価しており、部分的な軌跡に対する人間の嗜好が、絶対的な、かつ結果に依存しない効用ではなく、それらの軌跡の継続の予期や、何が起こり得たかという比較によって形成されるという事実を無視しています。

手法：後悔ベースの嗜好最適化（RePO）

本論文は、嗜好学習を報酬最大化ではなく、**後悔最小化（regret minimization）へと再構成するフレームワークである後悔ベースの嗜好最適化（RePO）**を導入しています。

理論的基礎

目的としての後悔: 即時報酬を最大化する代わりに、RePOは人間によるフィードバックを、劣等性の相対的な評価としてモデル化します。後悔は、特定のコンテキストにおける最適方策の価値（ $V^{\pi^*}$ ）と、行動方策のQ値（ $Q^\mu$ ）との差として定義されます。
KL正則化RLフレームワーク: 著者らはこれを、ステップレベルのKL正則化RLフレームワーク内で定式化しています。彼らは、行動方策 $\mu$ に関連するQ関数の閉形式の表現を導出しました。
後悔の分解: 主要な理論的貢献（定理5.4および補題5.5）は、行動方策 $\mu$ が最適方策 $\pi^*$ に対して被る後悔が、以下の2つの成分に分解できることを確立しています。
- ローカルな嗜好項: $\alpha \log \frac{\pi^*(o|q_{<t})}{\pi_{ref}(o|q_{<t})}$ 。これは標準的なDirect Preference Optimization（DPO）の目的関数と一致します。
- ロングホライゾン項: 行動方策 $\mu$ が、将来のロールアウトに沿って最適方策 $\pi^*$ から累積的に逸脱している度合いを測定する、逐次的前方KLダイバージェンス（ $\bar{D}_{KL}$ ）。
この分解により、最小化すべき後悔が、行動依存の逸脱と将来の軌跡の一貫性を明示的に考慮することが明らかになります。これは、DPOがオンポリシーのデータを想定しているオフポリシー設定における「尤度ミスマッチ」の問題に対処するものです。

実装の詳細

RePO: 標準的なアルゴリズムは、導出された閉形式の更新式を利用し、逐次的KLダイバージェンス項を組み込みます。これには、データを作成した行動方策 $\mu$ の知識が必要です。
RePO_det: 行動方策が未知であるか、あるいはアクセスが計算量的に困難なシナリオ（オフラインデータセットで一般的）に対処するため、著者らはRePO_detを提案しています。このバリアントは、行動方策を、観察された出力に集中した決定論的な分布（ディラックのデルタ関数）として近似します。これは、逐次的KL項を、観察された軌跡にわたる対数確率比を平均化するサンプルベースの推定値に置き換えることで、観察されたセグメントを単一のロールアウトとして扱います。

主な貢献

人間によるフィードバックの再定義: 本論文は、人間のフィードバックは、報酬最大化の信号としてではなく、予期される結果と暗黙的な代替案に条件付けられた相対的な判断（後悔）として理解するのがより自然であると主張しています。
閉形式の方策更新: 著者らは、この視点をKL正則化RLフレームワーク内で定式化し、DPOと互換性がありつつも、行動依存の逸脱を明示的にモデル化する閉形式の方策更新（RePO）を導出しました。
帰納バイアスの内在化: 理論的分析（補題6.1）は、後悔の最小化が、人間によるフィード界の帰納バイアスを構造的に内在化していることを示唆しています。すなわち、不完全または部分的に観察された成功した軌跡は、将来の完了に関する不確実性のために、悲観的に評価されます。これにより、RePOは、そのような嗜好を強制するための明示的なデータ拡張を必要とせずに、効果的に学習することができます。
行動方策に対する堅牢性: RePO_detの導入は、行動方策の情報が利用できない場合でも、本フレームワークが効果的であることを示しており、ヘテロジニアスなオフラインデータセットへの適用可能性を示しています。

実験結果

著者らは、Qwen3 (1.7B/4B) および LLaMA3 モデルを用い、数学的推論ベンチマーク（GSM8K, MATH, MATH500, AMC23, Minerva）および人間による嗜好アライメントタスク（AlpacaEval 2, Arena-Hard, MT-Bench）においてRePOを評価しました。

性能向上: RePOは、モデルのスケールやタスクの種類を問わず、既存のベースライン（DPO, IPO, RPO, KTO, TDIO）を一貫して上回りました。例えば、4Bモデルにおいて、RePOはAlpacaEval 2で55.08%の勝率を達成しました（DPOは32.89%）。また、GSM8Kでは65.54%を達成しました（DPOは87.87%ですが、RePOは推論タスク全般で強い利得を示しました）。
オフラインへの適用性: RePO_detは、QwenファミリーにおいてRePOと同等の性能を達成し、クロスモデルの設定（例：Qwenモデルによって生成されたデータを用いてLLaMAモデルを訓練する）においてベースラインを大幅に上回りました。これは、サンプルベースの後悔推定器の堅牢性を証明しています。
サンプル効率: マスクされたデータ拡張（成功した軌跡を部分的に隠し、不完全なパスを判断するモデルの能力をテストしたもの）を用いたアブレーション研究において、DPOは性能向上のために追加の拡張データを必要としましたが、RePOの性能は安定しており、優位性を保ちました。これは、RePOが不完全な軌跡に関する人間の判断の帰納バイアスを構造的に符号化しており、高いサンプル効率をもたらすという主張を裏付けています。

意義と主張

本論文は、RePOが、人間の判断の展望的かつ反事実的な性質と学習目的を一致させることで、人間によるフィードバックの忠実な抽象化を提供すると主張しています。報酬最大化から後悔最小化へとシフトすることで、本フレームワークは、ヘテロジニアスな軌跡に対する嗜好の原理的な解釈を提供します。

著者らは、後悔の最小化が、LLMの人間へのアライメントのためのポストトレーニングにおける有望な基盤となることを結論付けています。実験結果は、行動方策、将来のロールアウト、および反事実的な代替案の関係を正しくモデル化することが、特に明示的な報酬信号が存在しない設定や、多様なソースから収集されたデータを用いる設定において、効果的な嗜好学習のために極めて重要であることを示唆しています。本研究は、すべてのアライメント問題を解決すると主張するものではなく、後悔最小化を、現在のRLHFにおける報酬中心のパラダイムに対する必要な洗練として位置付けています。