🤖 machine learning

RENEW: Towards Learning World Models and Repairing Model Exploitation from Preferences

本論文は、オフライン強化学習におけるワールドモデルのモデル搾取を直接的に修復するために、想像されたロールアウトに対する人間の好みを活用し、エピステミック不確実性を用いて効率的なファインチューニングを導くことで、追加の専門家デモンストレーションを必要とせずにサンプル効率と汎化性能を向上させるフレームワークであるRENEWを提案する。

原著者： Logan Mondal Bhamidipaty, Mykel Kochenderfer, Subramanian Ramamoorthy

公開日 2026-07-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Logan Mondal Bhamidipaty, Mykel Kochenderfer, Subramanian Ramamoorthy

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたはロボットにビデオゲームの遊び方を教えていますが、実際のゲーム機には一切触れさせることができません。そこで、あなたは古いゲームの録画映像の山をロボットに渡し、そのゲームがどのように機能するかという「夢の機械」——つまり、精神的なシミュレーションを構築するよう求めます。これがオフライン強化学習の世界です。ここでは、AIは現実世界と相互作用することなく、固定されたデータセットのみから学習します。目標は、特定の行動をとったときに次に何が起こるかを予測する、一種の内部的な「水晶玉」である**世界モデル（world model）**を構築することです。

しかし、この夢の機械には危険なグリッチ（不具合）が存在します。ロボットは限られた古い録画映像からのみ学習したため、その水晶玉には「盲点」があります。もしロボットがその盲点を通り抜けるような動きを計画しようとすると、モデルがショートカットを幻覚として作り出してしまうことがあります。例えば、実際には存在しない壁を通ったり、床がトランポリンに変わったりといった現象です。賢い最適化を行うロボットは、この偽のショートカットを見つけ出し、シミュレーション内で勝利するためにそれを悪用しますが、現実の世界ではクラッシュしてしまいます。これは**モデル搾取（model exploitation）**と呼ばれます。従来、科学者たちは、より多くの現実世界のデータを集める（これにはコストと時間がかかる）か、あるいはロボットに「理解できないものに対しては臆病になれ」と指示する（これでは新しいことを学ぶ意欲を削いでしまう）ことで、この問題を解決しようとしてきました。

この論文は、現実世界の映像を増やすことなく、ロボットの夢の機械を修正する巧妙な方法を提案しています。著者である Logan Bhamidipaty、Mykel Kochenderfer、Subramanian Ramamoorthy は、人間の直感を修理ツールとして利用できることに気づきました。最高のゲームプレイを知るには博士号が必要かもしれませんが、「物理法則が壊れていること」を見抜くことは、ほとんど誰にでもできることです。シミュレーション内のロボットが固い壁を通り抜けたり、車を浮かせたりすれば、人間は即座に「それは偽物だ！」と言うことができます。この論文は、この単純な「本物か偽物か」という判断を用いて、ロボットの世界モデルが幻覚を見ないように教える手法を提案しています。

「ドリーム・リペア（夢の修理）」プロジェクト

研究者たちは、この新しいフレームワークを RENEW (Repairing ExploitatioN with Elicited World-model preferences / 抽出された世界モデルの好みに基づく搾取の修復) と呼んでいます。その仕組みを、簡単な比喩を用いてステップ・バイ・ステップで説明します。

ロボットの世界モデルを、数ページのルールブックを読んでボードゲームのルールを学ぼうとしている学生だと想像してください。その学生は自信満々ですが、所々で間違っています。

従来の方法（ナイーブなDLHF）: 人間が、学生が想像した2つの異なるゲームの動きを見て、「どちらがより現実的に見えるか？」と尋ねる方法です。もしランダムに質問を行うと、人間は学生がすでに正解している動きを修正するために何時間も費やしてしまい、学生が最も混乱している「突拍子もない、不可能な動き」を見逃してしまう可能性があります。これは**ナイーブなダイナミクス学習からの人間によるフィードバック（Dynamics Learning from Human Feedback: DLHF）**と呼ばれます。論文では、この方法も機能はするものの、非常に非効率的であることが示されています。1,000個の現実の例と同じレベルの正確さを得るために、このナイーブな方法では100万個の人間による選好ラベルが必要でした。これは、わずかなタイポ（誤字）を直すためだけに、人間に100万件のエッセイを採点させるようなものです。
RENEWの方法: ランダムに尋ねるのではなく、RENEWは「賢い家庭教師」のように振る舞います。まず、学生の「不確実性メーター」をチェックします。そして、「学生が最も混乱しているのはどこか？」と問いかけます。そして、人間にはその特定の、混乱している領域における動きだけを比較させるのです。これにより、ロボットが最も危険な間違いを犯す可能性が高い場所に、人間の注意を集中させます。

研究結果

チームは、迷路、スライディング・タイル・パズル（15パズルのようなもの）、そして「Sokoban（倉庫番）」と呼ばれる箱押しゲームを含む、いくつかのデジタル環境でこのアイデアをテストしました。彼らは、コンピュータプログラムを「完璧な人間」として動作させ、人間が判断を行っている状況をシミュレートして、選好ラベルを生成しました。

実験から得られた主な知見は以下の通りです：

選好は物理法則を直接教えることができる: 「どちらの経路が現実的に見えるか？」と問うだけで、世界モデルに物理法則を教えられることが証明されました。ロボットに正しい答えを示したり、目標を教えたりする必要はありません。「本物か偽物か」という信号だけで、モデルを修正するには十分なのです。
スマートなターゲティングが時間を節約する: 「ランダム」な方法（ナイーブなDLHF）と「スマートなターゲティング」を行う方法（RENEW）を比較したところ、結果は明白でした。3x3のスライディング・タイル・パズルにおいて、RENEWは同じ数の人間によるラベルを使用しながら、ランダムな方法と比較してエラー率を半分に抑えました。
「健忘症」問題の解決: 驚くべき発見の一つは、ランダムな方法が時として状況を悪化させることもあった点です。Sokobanのゲームでは、ナイーブなアプローチによって、ロボットが箱を正しく動かす方法を「忘れてしまう」という、**破滅的忘却（catastrophic forgetting）**と呼ばれる問題が発生しました。RENEWは、壊れている部分だけを微調整し、正しい部分には手を付けなかったため、この問題を完全に回避できました。
実世界への可能性: 迷路の環境において、RENEWはわずか1,600個の選好ラベルを用いるだけで、搾取されやすい傾向にあった事前学習済みモデルを修正し、エラー率を大幅に減少させることができました。同じ予算を用いたナイーブな方法では、多くのエラーや不確実性が残ってしまいました。

結論

この論文は、AIモデルを修正するために専門家である必要はなく、単に「ナンセンスなこと」を見抜く力があればよいことを示唆しています。ロボットの想像力が物理法則に違反しているときに、人間が単にそれを指摘するだけで、私たちはロボットの「夢の機械」を効率的に修理できるのです。

ただし、著者らは、これはまだ初期段階の研究であることにも注意を促しています。彼らの実験は、コンピュータによって生成された「完璧な」ラベルと、小さく単純なグリッド・ワールド・ゲームを用いたものです。まだ、ミスをする可能性のある現実の、疲れを感じる人間を用いたり、現実の車の運転のような複雑で高次元の世界でテストしたりはしていません。しかし、その結果は有望な新しい道を示しています。ロボットに未知のものに対して恐怖を感じさせるのではなく、私たちの常識を用いて、彼らを優しく現実へと導き、膨大な量の高価なデータを必要とせずに、より安全で信頼性の高いものにすることができるのです。

技術要約: RENEW: ワールドモデルの学習と、嗜好に基づくモデル搾取の修復に向けて

問題提起

モデルベース強化学習（RL）は、学習されたワールドモデル（ダイナミクスモデル）を用いて合成経験を生成することで、サンプル効率を向上させることに依存しています。しかし、固定されたデータセットから学習するオフライン設定において、これらのモデルは**モデル搾取（model exploitation）**という問題に直面します。エージェントが不完全なワールドモデルに対して最適化を行う際、モデルが誤った遷移（例：壁を通り抜けてテレポートするなど）を予測していると、エージェントはその不正確な遷移を悪用して、現実環境には存在しない人工的な高リターンを実現してしまいます。

既存の解決策は通常、以下の2つのカテゴリに分類されますが、いずれも重大な限界があります：

より多くのデータを収集する: モデルが失敗する領域で追加のエキスパートによるデモンストレーションを集めることは、多くの場合、コストがかかりすぎるか、安全性が低いか、あるいは不可能です（例：ロボティクスや自動運転における稀な失敗モード）。
保守的なアルゴリズム: 不確実な状態への訪問を罰したり、ポリシーを行動分布内に制約したりする手法は、堅牢性と探索・汎化のトレードオフを生み出し、モデルベース手法の有用性を制限します。

著者らは新しい問いを投げかけます。「追加のデモンストレーションを集めることなく、ワールドモデルのダイナミクスを修正できるか？」彼らは、正しい振る舞いを実演するにはドメイン知識が必要である一方、不正確なダイナミクス（物体性や物体の永続性といった直感的な物理法則の違反）を特定することは、人間にとって極めて容易であることに着目しました。

手法

本論文では、新しい学習フレームワークと、それを最適化するためのアルゴリズムの2つのコアコンポーネントを紹介しています。

1. 人間のフィードバックからのダイナミクス学習 (DLHF)

著者らは、標準的な人間のフィードバックからの強化学習（RLHF）における報酬モデルを、ダイナミクスモデルに置き換えるフレームワークであるDLHFを定式化しました。

核心となるアイデア: トラジェリ（軌跡）をタスクの成功に基づいて比較する（これは、例えば、壁を通り抜ける方が速いため、そのような軌跡を好むといった、搾取を助長する可能性がある）のではなく、人間はトラジェリのセグメントを物理的な妥当性に基づいて比較することを求められます。
定式化:
- 学習されたダイナミクスモデルを $\hat{T}_\theta$ とする。
- トラジェリセグメント $\sigma$ の下での対数尤度は $\ell_\theta(\sigma) = \sum \log \hat{T}_\theta(s_{t+1} | s_t, a_t)$ と定義される。
- ブラッドリー・テリー（Bradley-Terry）の嗜好フレームワークにおいて、セグメント $\sigma_0$ が $\sigma_1$ よりも好まれる確率は次のようにモデル化される：
  $P(\sigma_0 \succ \sigma_1) = \text{logistic}(\ell_\theta(\sigma_0) - \ell_\theta(\sigma_1))$
- モデルパラメータ $\theta$ は、人間の嗜好ラベルに対するクロスエントロピー損失を最小化することによって更新される。これにより、報酬ラベル、エキスパートのデモンストレーション、または環境との相互作用を必要とせずに、バイナリの嗜好からダイナミクスモデルを直接教師あり学習することが可能になる。

2. RENEW (抽出されたワールドモデルの嗜好による搾取の修復)

著者らは、単純なDLHFは、モデルが既に良好に予測できている遷移に対して一様にトラジェリペアをサンプリングすると予算を無駄にするため、サンプル効率が低いことを指摘しています。RENEWは、**認識論的不確実性（epistemic uncertainty）**を用いて、嗜好のクエリを誘導することでこれに対処します。

能動的クエリ (Active Querying): RENEWは、モデルが高い認識論的不確実性を持つ（例：アンサンブルの不一致による）状態・行動ペアを特定します。
ターゲット・サンプリング: これらの高不確実性領域から始まるトラジェリセグメントのペアを生成します。
反復的な微調整: プロセスは以下のように繰り返されます：
1. 現在のモデルの下での認識論的不確実性 $u$ を計算する。
2. $u$ に比例してセグメントペアをサンプリングする。
3. これらのペアに対して、人間（またはオラクル）の嗜好を引き出す。
4. DLHF損失を用いてモデルを微調整する。
5. 不確実性を再計算し、繰り返す。
目標: 嗜好の予算を、モデルが最も搾取されやすい特定の領域に集中させ、サンプル効率を向上させ、以前に学習した正しいダイナミクスの破滅的な忘却を防ぐことです。

主な貢献

DLHFフレームワーク: タスクの成功（報酬）から物理的なリアリズム（ダイナミクス）へと教師信号を転換し、人間の嗜好から直接遷移ダイナミクスを学習するための新しい定式化。
RENEWアルゴリズム: 認識論的不確実性を活用して、嗜好ベースのダイナミクス学習をサンプル効率的にし、特にモデルの搾取を受けやすい領域を標的にする能動学習アルゴリズム。
実証的検証: バイナリの嗜好のみを用いて、ゼロからワールドモデルを学習し、追加のデモンストレーションや環境との相互作用なしに、事前学習済みモデルを修復できることを実証。

実験結果

著者らは、Jumanji（Maze, Sliding Tile, Sokobanなどの離散グリッドワールド）およびClassic Control（MountainCar, Acrobot）環境で彼らの手法を評価しました。

DLHFの実現可能性: 素朴なDLHFは、嗜好のみを使用して単純なワールドモデルをゼロから学習できるが、1,000個の教師あり遷移と同等の性能を得るには、膨大な予算（約100万の嗜好ラベル）を必要とする。
RENEWのサンプル効率:
- 同一の嗜好予算の下で、RENEWは素朴なDLHFを大幅に上回る。例えば、Sliding Tile 3x3環境では、RENEWは一様サンプリングと比較して最終的な誤差をほぼ半分に抑えた。
- 破滅的な忘却: Sokoban環境において、素朴なDLHFは事前学習済みモデルの性能を低下させたが、RENEWはこれを改善した。これは、能動的なクエリが、不正確な遷移からの更新による正しいダイナミクスの書き換えを防ぐことを示唆している。
搾取の修復: Maze環境（5x5から20x20）における微調整実験では、1,600個のラベルという固定予算を用いて、RENEWは素朴な微調整よりも予測誤差と認識論的不確実性の両方を効果的に減少させた。RENEWは、より高い遷移精度（例：10x10 Mazeで97.2% vs 93.2%）と、よりタイトな信頼区間を達成した。
連続制御: 連続的なダイナミクスを嗜好から学習することは、嗜好信号が明確でないため困難であるが、DLHFはMountainCarおよびAcrobotにおいて、教師ありベースラインとほぼ同等の性能を達成した。RENEWは、勾配ステップが制限されている場合（例： $K=8$ 個の候補）、サンプル効率において優位性を示した。

意義と主張

本論文は、嗜好がワールドモデルのダイナミクスを直接教師あり学習できるという初期の証拠を提供すると主張しています。その意義は以下の通りです：

直接的なダイナミクス監督: 報酬関数やポリシーを整列させるために嗜好を用いる従来の先行研究とは異なり、本研究は遷移モデルそのものを学習するために嗜好を使用しています。
エキスパートデータが不要: このアプローチは、エキスパートによるデモンストレーション、報酬ラベル、または環境との相互作用を必要とせず、オフライン・モデルベース強化学習における主要なボトルネックに対処しています。
実用的な修復メカニズム: RENEWは、データの収集や探索の制限を行う代わりに、限られた予算の嗜好クエリを用いて、事前学習済みモデルのモデル搾取を修復するための実用的な代替案を提供します。

著者らは、現在のスコープについては謙虚な姿勢を保っており、実験では実際の人間ではなく合成オラクルを使用しており、小規模な離散環境および低次元の連続環境に限定されていることを指摘しています。ノイズを含む人間のラベルでの検証と、高次元の観測空間へのスケーリングが、重要な次のステップであると特定しています。