R-WoM: Retrieval-augmented World Model For Computer-use Agents

本論文は、LLM の世界モデルとしての限界（幻覚や長期計画の精度低下）を外部チュートリアルからの事実知識の検索によって補完する「R-WoM」を提案し、OSWorld や Webarena における長期タスクの成功率を大幅に向上させることを示しています。

要約

R-WoM: コンピュータを使う AI 助手のための「未来予知とマニュアル検索」システム

この論文は、**「AI がパソコンやウェブブラウザを操作する際、なぜ失敗するのか？そしてどうすればもっと賢く行動できるのか？」**という問いに答える研究です。

タイトルにある**「R-WoM（リトリーバル・アグメンテッド・ワールドモデル）」とは、一言で言うと「AI に『未来を想像する力』と『その場でマニュアルを調べる力』を同時に与えたシステム」**です。

以下に、専門用語を排して、身近な例え話で解説します。

---

1. 従来の AI の問題点：「天才だが、勘違いしやすいお茶目な生徒」

これまでの AI（大規模言語モデル）は、パソコン操作のタスクをこなす際、**「頭の中で未来をシミュレーション（想像）」**する能力を持っていました。

• 得意なこと： 「今、このボタンを押したら、次はこうなるはずだ」という短いスパンの予測は得意です。
• 苦手なこと： しかし、**「長い手順を踏むと、どこかで間違えてしまう」**という弱点がありました。

【例え話】
この AI は、**「本を読んだだけで、料理のレシピを全部暗記している天才」**のようなものです。

• 簡単な料理（卵を焼く）なら、記憶から「卵を割って、フライパンに入れる」と正しく言えます。
• しかし、**「複雑な 10 段のケーキを作る」**ような長い手順になるとどうなるでしょう？
  • 記憶が曖昧になり、「お湯を沸かす前に卵を割る」など、**手順が逆転したり、存在しない道具を使ったりする「幻覚（ハルシネーション）」**を起こしてしまいます。
  • 結果として、**「一見もっともらしいが、実際にやると失敗する」**手順を提案してしまいます。

この論文の冒頭（図 1）では、**「カーソルの位置を忘れた AI」**が、マウスを動かすつもりが画面の別の場所をクリックしてしまい、作業が止まってしまう例が示されています。

2. 解決策：R-WoM（リアルタイム・マニュアル検索付きの未来予知）

研究チームは、この「天才だが勘違いしやすい AI」に、「その場ですぐにマニュアル（チュートリアル）を調べる力」を付け加えました。これがR-WoMです。

【例え話：料理教室の「実況中継」】
R-WoM を使った AI は、以下のように動きます。

1. タスクの受領： 「この画像を挿入して」という注文が入る。
2. マニュアル検索（RAG）： AI はまず、**「画像を挿入する正しい手順」**が書かれたマニュアル（チュートリアル）を、その場ですぐに検索します。
   • 従来の AI： 「多分、メニューの『挿入』から選ぶんだろ？」と記憶だけで推測。
   • R-WoM の AI： 「あ、マニュアルによると、まず『挿入』タブを選び、ファイルタイプを制限する必要があると書いてあるな」と事実を確認。
3. 未来のシミュレーション： 検索した正しい知識をベースに、「もしこのボタンを押したら、次はどうなるか？」をシミュレーションします。
4. 比較と選定： 複数の行動パターンを想像し、「どれが最も成功しそうか」を相対的に比較して、最も確実な行動を選びます。

これにより、AI は**「記憶頼み」ではなく「事実（マニュアル）に基づいた未来」**を想像できるようになり、長い手順でも失敗しにくくなりました。

3. なぜこれがすごいのか？（3 つのポイント）

このシステムが画期的な理由は、以下の 3 点です。

① 「未来の予知」が正しくなる

AI は「次に何が起こるか」を想像する際、**「マニュアルという地図」**を手に持った状態で想像します。

• 結果： 複雑な操作（例：「デスクトップの画像を、カーソルがある場所に貼り付ける」）でも、手順を間違えずに実行できるようになりました。

② 「長い道のり」でも迷わない

これまでの AI は、手順が長くなると（3 歩先、4 歩先と想像するほど）精度が落ちました。しかし、R-WoM は**「その都度マニュアルを確認しながら進む」**ため、長い道のりでも道に迷わず、成功する確率が大幅に向上しました。

• 実験結果： 既存の AI と比較して、最大 23.4% も成功率が向上しました。

③ マニュアルがない場合でも「自分でマニュアルを作る」

もし、インターネット上にマニュアルが見つからない場合でも、R-WoM は**「過去の成功した操作記録（自分自身や他の AI の行動）」を参考にし、「自分用のマニュアル」**をその場で作って使います。

• 例え： 誰も行ったことのない山登りでも、過去の登山記録を参考に「ここは滑りやすいから注意しよう」と自分でガイドラインを作成して登るようなものです。

4. まとめ：AI 助手の進化

この論文が示したのは、**「AI に『記憶力』だけでなく、『その場で調べる力』と『調べることを前提にした想像力』を組み合わせる」**ことで、パソコン操作の AI 助手は劇的に賢くなれるということです。

• 以前： 記憶だけで「多分こうだろう」と推測して失敗する AI。
• R-WoM 以後： マニュアルを参照し、「こうすれば間違いない」と確信を持って行動する AI。

これは、私たちが日常でパソコンを使う際、AI がより頼りになる「優秀な秘書」や「アシスタント」として活躍するための重要な一歩となる技術です。

技術概要

R-WOM: コンピュータ操作エージェントのための検索拡張世界モデル

ICLR 2026 発表論文の技術的サマリー

1. 概要と背景

本論文は、大規模言語モデル（LLM）を「世界モデル（World Model）」として利用し、デジタル環境（ブラウザや OS）におけるエージェントの意思決定を支援する手法について研究しています。従来の世界モデルは、環境のダイナミクスをシミュレートして将来の状態を予測し、試行錯誤を減らすことを目的としていましたが、LLM を用いた場合、以下の根本的な課題が存在していました。

• 幻覚（Hallucination）: LLM は訓練データに依存するため、実際の環境の挙動と異なる架空の未来を予測する傾向がある。
• 静的な知識: 最新の環境固有のプロシージャ（手順）やツールの仕様をリアルタイムで反映できず、長期的な計画において誤りが蓄積（compounding errors）し、タスク失敗に至る。

特に、OS 環境や Web ブラウザでの複雑なタスク（例：特定のファイルの挿入、フォームの操作）において、LLM は短期的な状態変化の予測は得意ですが、長期的な手順の整合性を保つことが困難であることが示されました。

2. 問題定義と予備分析

著者らは、LLM が世界モデルとして機能する能力を体系的に検証するため、以下の 3 つのタスクを通じて「将来状態の予測」と「報酬推定」の 2 つの核心能力をプローブ（探査）しました。

1. 次の状態の識別（Next-state identification）: 現在の状態と行動から、正しい次の状態を予測できるか。
2. 全手順計画の整合性（Full-procedure planning alignment）: 環境のチュートリアルや仕様に基づき、実行可能な全体計画を生成できるか。
3. マイルストーン遷移の認識（Milestone transition recognition）: 中間的な状態遷移がタスクの達成に寄与しているかを評価できるか。

分析結果:

• LLM は短期的な状態変化の予測や、意味のある遷移の認識には高い精度を示す。
• しかし、長期的な計画（Full-procedure planning）においては、環境固有の制約や最新の手順を無視した、一見論理的だが実行不可能な計画を生成する傾向が強く、精度が急激に低下する。
• この結果、LLM 単体では動的なデジタル環境における信頼性の高い世界モデルとして機能せず、外部知識による「グラウンディング（grounding）」が必要であることが結論付けられました。

3. 提案手法：R-WoM (Retrieval-augmented World Model)

LLM の限界を克服するため、著者らは**検索拡張世界モデル（R-WoM）**を提案しました。これは、LLM のシミュレーションを外部のチュートリアルやマニュアルから取得した事実に基づく知識でグラウンディングするフレームワークです。

主要な構成要素

1. 検索拡張パイプライン（Reasoning-based RAG）:

   • 単純なベクトル検索だけでなく、**クエリ書き換え（Query Rewriting）とLLM ベースのリスト型再ランク付け（List-wise Reranking）**を組み合わせた高度な検索パイプラインを採用。
   • これにより、タスクの文脈に合致する正確なチュートリアル（例：「Fork ChatGPT」のような曖昧なクエリを具体的な操作手順に変換）を抽出し、ノイズを排除します。

2. Long Chain-of-Thought (LongCoT) によるロールアウト:

   • 従来の反復的なロールアウト（ポリシーと世界モデルの往復通信）ではなく、DeepSeek-R1 などの手法に触発された単一の推論シーケンス内での多ステップシミュレーションを採用。
   • 検索されたチュートリアル（知識 E）を条件として、各候補行動の未来を 1 回の推論で展開し、計算効率を向上させます。

3. リスト型報酬推定（Listwise Reward Estimation）:

   • 各ロールアウトに対して絶対的なスコア（0/1 など）を割り当てるのではなく、複数の候補シミュレーションを相互に比較・ランク付けする手法を採用。
   • これにより、絶対スコアに起因するバイアスを軽減し、よりロバストな行動選択を可能にします。

4. 適応型戦略:

   • 適応的分岐（Adaptive Action Branching）: 不確実性が高い場合のみ複数の候補行動を生成し、自信がある場合は単一選択を行う。
   • 重複排除（Action Deduplication）: 意味的に同等の行動を事前にフィルタリングし、計算コストを削減。

4. 実験結果

ベンチマーク: OSWorld（OS 環境タスク）と WebArena（Web ブラウザタスク）。
ベースライン: 標準的な LLM（Vanilla）、検索拡張生成（RAG）、既存の世界モデル手法（WebDreamer）。

主な結果:

• 性能向上: R-WoM はすべてのベースラインを凌駕しました。
  • OSWorld: 最良のモデル（Claude-3.7-Sonnet）で、ベースラインに対して**23.4%**の相対改善を達成。
  • WebArena: 同様に**16.3%の改善（Qwen-2.5-VL-72B）および5.6%**の改善（Claude-3.7-Sonnet）を達成。
• 長期的シミュレーションへの効果: 想像の地平線（Imagination Horizon）を長く設定した場合、グラウンディングされていないモデル（WebDreamer）は誤差が蓄積して性能が低下しますが、R-WoM はチュートリアルに基づくグラウンディングにより、より長いステップ数まで高い成功率を維持しました。
• チュートリアル不足への対応: 既存のチュートリアルが少ない領域でも、自己対戦（Self-play）で生成された合成チュートリアルを用いることで、R-WoM は依然としてベースラインを上回る性能を発揮しました。

5. 貢献と意義

1. LLM 世界モデルの限界の体系的な解明: LLM は短期的な状態予測には優れているが、長期的な環境固有の計画においては外部知識なしでは信頼性が低いことを実証しました。
2. 検索拡張世界モデルの提案: 環境固有のチュートリアルをシミュレーションプロセスに統合する R-WoM フレームワークを提案し、LLM エージェントの幻覚を抑制し、長期的なタスク遂行能力を大幅に向上させました。
3. 実用的なベンチマークでの検証: 現実的なコンピュータ操作タスク（WebArena, OSWorld）において、既存の最先端手法を凌駕する一貫した性能向上を示しました。

結論:
R-WoM は、LLM を単なる推論エンジンとしてではなく、外部知識（チュートリアル）と連携した「グラウンディングされた世界モデル」として活用することで、複雑なデジタル環境における自律エージェントの信頼性と能力を飛躍的に高める可能性を示しました。特に、長期的な計画が必要なタスクにおいて、その有効性が証明されています。