💬 NLP

DRIFT: Learning from Abundant User Dissatisfaction in Real-World Preference Learning

本論文は、豊富な現実世界のユーザーの不満信号を利用して正例を動的にサンプリングすることで、ベースモデルや強力なベースラインに対して大幅な性能向上を実現しつつ、解の多様性を維持し勾配の退化を回避する、新しい選好学習フレームワークであるDRIFTを導入するものである。

原著者： Yifan Wang, Bolian Li, Junlin Wu, Zhaoxuan Tan, Zheli Liu, Ruqi Zhang, Ananth Grama, Qingkai Zeng

公開日 2026-02-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yifan Wang, Bolian Li, Junlin Wu, Zhaoxuan Tan, Zheli Liu, Ruqi Zhang, Ananth Grama, Qingkai Zeng

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたはロボットシェフに料理を教えていると想像してください。

旧来の手法：星5つのレビューを待つこと
伝統的に、ロボットシェフに教えるには、人間の料理評論家パネルにすべての料理を試食してもらい、「高評価」か「低評価」を付けてもらう必要がありました。しかし、ここに問題があります。ほとんどの人は忙しすぎて、レビューを書くために立ち止まってはくれません。わずか1〜3％の人しか「グッドボタン」をクリックしないのです。そして、クリックする人々はどうでしょうか？彼らは通常、料理が「最高に素晴らしい」か「ひどく不味い」ときにはレビューを書きますが、「このスープはまあまあだけど、もう少し塩気が欲しい」といったことは滅多に教えてくれません。

このため、ロボットシェフは極端な例からしか学ぶことができず、人々が実際に何を求めているのかというニュアンスを見落としてしまうのです。

新しい手法：不満の声を聞くこと（DRIFT）
この論文では、DRIFTと呼ばれる新しい手法を紹介しています。希少な「グッドボタン」を待つ代わりに、DRIFTは豊富な「不満の声（grumbles）」に注目します。

このように考えてみてください。顧客が「このピザは塩辛すぎる」とか「もっと生地をカリッとさせてほしい」と不満を漏らしたとき、彼らはあなたに情報の宝庫を与えてくれているのです。彼らは何がうまくいっていないのかを正確に伝えています。現実の世界では、人々は称賛（満足）よりも、不満（不満足）を口にすることの方が多いのです。

DRIFTはシンプルなループで機能します：

不満を捉える： ユーザーがロボットの回答に不満を感じた実際の会話（「ネガティブ」な例）を見つけ出します。
再挑戦する： ロボットに対し、同じ質問に再び答えるよう指示します。ただし今回は、これまでに学んだことを踏まえて、より良く回答するように試みます（「ポジティブ」な例）。
違いを学ぶ： ロボットにこう教えます。「おい、最初の回答はユーザーを怒らせてしまった。新しい回答の方が優れている。この違いを覚えておくんだ」。

なぜこれがゲームチェンジャーなのか
この論文は、このアプローチが他の手法よりも優れている理由として、主に3つの点を挙げています。

豊富であること： 人間がボタンをクリックするのを待つ必要はありません。チャットの中で自然に発生する、「いや、それは違う」「もう一度やって」といった何百万回ものやり取りを利用できます。
行き詰まらないこと： 他の手法では、ロボットが間違いを恐れるあまり、同じ退屈な回答を何度も繰り返すループに陥ってしまうことがあります。DRIFTはロボットの探索を維持します。現実世界の「悪い」回答と、そこから生まれた「新鮮な」新しい試みを常に比較することで、ロボットは単に安全な答えを暗記するのではなく、問題を解決するための新しい、創造的な方法を見つけ続けることができます。
実際に効果があること： 研究者たちは実世界のデータを用いてテストを行いました。その結果、DRIFTで訓練されたモデルは著しく賢くなったことが分かりました。例えば、DRIFTで訓練された140億パラメータのモデルは、GPT-4o-miniのような商用モデルよりも複雑なタスクにおいて優れた性能を発揮しました。

結論
DRIFTは、稀な「よくやった！」を無視して、頻繁に起こる「あれはうまくいかなかった」に焦ーストに注目するコーチのようなものです。人々が現実生活で実際に犯すミスから学ぶことで、AIはより速く学び、より創造性を保ち、高価な人間の教師がすべての回答を採点する必要なく、より役に立つ存在へと進化していくのです。

技術要約：DRIFT – 実世界の選好学習における豊富なユーザー不満からの学習

問題提起
現在の大規模言語モデル（LLM）のアライメントは、人間によるフィードバックからの強化学習（RLHF）や直接選好最適化（DPO）に大きく依存している。しかし、これらの手法は実世界へのデプロイメントにおいて重大なスケーラビリティの課題に直面している。これらは通常、コストのかかる精選された人間のアノテーションに依存するか、あるいは豊富なポジティブ（満足）なフィードバックが存在することを前提としている。対照的に、実世界のインタラクションデータは、明示的な満足（SAT）信号（ユーザーのわずか1〜3%のみがフィードバックを提供）の希少性と、暗示的な不満（DSAT）信号の豊富さを特徴としている。ユーザーは、修正、洗練、または追質問を通じて自然に不満を表明するが、既存の選好学習アプローチはこのようなデータプロファイルと適合しておらず、野生環境で利用可能な豊かな暗示的ネガティブ信号を活用できていない。

手法：DRIFT
著者らは、実世界のDSAT信号に学習を固定しつつ、ポジティブな応答を動的にサンプリングするように設計されたフレームワークであるDRIFT（Dissatisfaction-Refined Iterative preFerance Training）を提案している。

コアメカニズム： 固定された正解応答をポジティブとして扱う手法（SPINなど）や、品質が崩壊する可能性のある自己生成ペアに依存する手法とは異なり、DRIFTは以下の構成で選好ペアを構築する：
- 拒絶された応答 ( $y^-$ )： 本物の会話ログ（例：ユーザーによるモデルの誤りの指摘）から抽出された、真正な実世界のユーザー不満信号。
- 選択された応答 ( $y^+$ )： 同じプロンプトに対して、現在の進化中のポリシー（ $\pi_\theta$ ）からサンプリングされた新しい応答。
反復プロセス： 学習はサイクルに従って進行する。モデルはワイルドデータセット（例：WildFeedback）をフィルタリングしてDSATケースを特定する。DSAT信号に関連する各プロンプトに対して、現在のモデルは新しい候補応答を生成する。モデルは、生成されたポジティブな応答の尤度を、実世界のネガティブな応答に対して最大化するようにDPO損失を通じて更新される。
主要な設計上の洞察： 本物のDSATネガティブにアンカーを置き、ポジティブを進化中のポリシーからサンプリングすることで、DRIFTは消滅しない選好マージン（non-vanishing preference margin）を維持する。これにより、選択された応答と拒絶された応答が時間の経過とともに似通ってしまう、自己改善手法で見られる「勾配崩壊」を防ぐことができる。

主な貢献

実証的検証： DRIFTは、実世界のベンチマークにおいて、強力な反復的ベースライン（SPINおよびIterative DPO）を一貫して上回る性能を示す。
探索能力の強化： 本手法は探索能力を保持し、応答空間の狭いサブセットに崩壊することなく、多様で高報酬なソリューションを生成する。
理論的分析： 著者らは、DRIFTが期待される選好マージンを維持し、固定されたポジティブ集合に依存する既存の自己改善モデルに見られる重要な限界である勾配の退化を防ぐという理論的証明を提供している。

実験結果
著者らは、Qwen2.5-7BおよびQwen2.5-14Bモデルを用い、2つのデータセット（実世界のユーザーラベル付きのWildFeedback、および合成データのUltraFeedback）を用いてDRIFTを評価した。

WildFeedback（実世界）：
- DRIFTは、ベースモデルに対してWildBench Task Scoreにおいて最大**+6.23%（7B）および+7.61%**（14B）の向上を達成した。
- AlpacaEval2の勝率において、最大**+8.95%（7B）および+12.29%**（14B）の向上を達成した。
- 14Bスケールにおいて、DRIFTで訓練されたモデルはWildBenchにおいてGPT-4o-miniを上回った。
- DRIFTは、最大5回の反復にわたって優れた安定性を示したが、SPINおよびIterDPOは性能の低下または早期のプラトー（停滞）を示した。
UltraFeedback（合成データ）：
- DRIFTは、合成データにおいても優位性を維持し、WildBench Task Scoreで**+7.61%（14B）、AlpacaEval2の勝率で+12.29%**の向上を示し、SPINおよびIterDPOを上回った。
探索分析： 意味的報酬トポグラフィー（UMAP + KDE）を用いた解析により、著者らはDRIFTがベースラインと比較して、グローバルな高報酬領域のより大きなシェアをカバーしていることを示し、多様性の向上とモード崩壊の回避を証明した。

意義と主張
本論文は、最も豊富で情報量の多い信号である「ユーザーの不満」を活用することで、DRIFTが実世界のポストトレーニングにおけるスケーラブルかつ効果的なレシピを提供すると主張している。

スケーラビリティ： 豊富なネガティブフィードバックという「問題」をトレーニングの資産へと転換し、希少なポジティブなアノテーションを必要とするボトルネックを取り除く。
安定性： 固定された「ゴールド」のポジティブに依存することを避けることで、DRIFTはSPINのような手法に関連する報酬ハッキングやモデル崩壊のリスクを軽減する。
汎用性： 本手法は異なるモデルアーキテクチャ（QwenおよびGemmaでテスト）間で汎用性を持ち、安全性特性を維持しており、ベースラインと比較してジェイルブレイク（脱獄）成功率や毒性の増加は見られなかった。

著者らは、実世界の不満に選好最適化を根ざさせることは、精選された人間によるアノテーションの法外なコストをかけることなく、進化するユーザーのニーズにLLMをアライメントするための信頼できる道筋を提供すると結論づけている。

関連論文