技術的概要：再帰的言語モデル（RLM）

問題定義

最先端の大規模言語モデル（LLM）は、任意に長いプロンプトを処理する際に重大な限界に直面しています。コンテキストウィンドウの制限内であっても、これらのモデルは「コンテキストの劣化（context rot）」を示し、プロンプトの長さやタスクの複雑さが増すにつれて性能が急激に低下します。長文脈処理に対する既存のアプローチは、一般的に以下の 2 つのカテゴリに分類されます：

1. アーキテクチャ/トレーニングの修正：線形アテンションや状態空間などを通じて、より長いシーケンスを処理できるようにモデルを再トレーニングする。
2. 推論時の足場（Scaffolds）：コンテキスト圧縮（要約）や検索エージェントなどの手法。ただし、圧縮は、プロンプト全体への密なアクセスを必要とするタスクにはしばしば不十分です。なぜなら、それは初期の詳細を安全に忘却できると仮定しているからです。検索やサブエージェントへの委任アプローチは、基盤モデルの制限された出力長や、再帰に対するプログラム的な制御の欠如によってしばしば制約を受けます。

著者らは、文脈サイズを桁違いにスケーリングするためには、プロンプトをニューラルネットワークへの静的入力としてではなく、モデルが記号的に相互作用できる外部環境の動的な一部として扱うというパラダイムシフトが必要であると提唱しています。

手法：再帰的言語モデル（RLM）

本論文は、ユーザープロンプトをモデルのコンテキストウィンドウに直接入力するのではなく、持続的な外部環境（具体的には Python REPL）に委譲する一般的な推論パラダイムである**再帰的言語モデル（RLM）**を導入します。

中核メカニズム

1. 環境の初期化：プロンプト $P$ が与えられた場合、RLM は $P$ を文字列変数として格納するリード・エバリュエート・プリントループ（REPL）環境を初期化します。
2. 記号的相互作用：ベース LLM（$M$）は、この REPL 内でコードを記述するようにプロンプトされます。$M$ には $P$ に関するメタデータ（例：長さ）が提供されますが、コンテキストウィンドウには完全なテキストは受け取られません。
3. プログラム的な分解：LLM は $P$ を検査、分解、変換するためのコードを記述します。重要なのは、プロンプト変数の特定のスライスやチャンクに対して、プログラム的にサブ LLM（またはサブ RLM）を呼び出すことができる点です。
4. 再帰的実行：システムは生成されたコードを実行します。中間結果は REPL 変数に格納されます。LLM はこれらの実行結果（コンテキストに収まるように切り詰められたもの）を反復的に観察し、最終的な回答が生成されるまでさらにコードを生成します。
5. 終了：プロセスは、LLM が REPL 内で Final 変数を設定し、それが応答として返される時点で停止します。

主要な設計選択

著者らは、RLM を論文内の「非効果的」な足場（論文のアルゴリズム 2）と区別するために、3 つの重要な設計選択を挙げています：

• 記号的ハンドル：プロンプトはコンテキストウィンドウ内のテキストではなく、環境内の変数であるため、コピーなしで操作が可能です。
• 間接的な出力：モデルは「Finish」アクションを通じて最終回答を直接生成するのではなく（これはコンテキストウィンドウサイズによって制限される）、REPL 内の変数を通じて構築します。
• 記号的再帰：環境内で実行されるコードは、ループ内で $P$ の変換に対して LLM をプログラム的に呼び出すことができ、いくつかのサブタスクを口頭で述べるだけでなく、$\Omega(|P|)$、あるいは $\Omega(|P|^2)$ の意味論的作業を可能にします。

実験設定

著者らは、RLM を、GPT-5 などの最先端のクローズドモデルと、Qwen3-Coder-480B-A35B などのオープンモデルを用いて評価しました。評価対象は、複雑性のスケールが異なる 4 つのタスクです：

• S-NIAH（単一干し草の針）：入力長に対する一定の複雑性。
• BrowseComp-Plus：1,000 文書にわたるマルチホップ QA（線形複雑性）。
• OOLONG：データセットのセマンティックなラベリングと集約（線形複雑性）。
• OOLONG-Pairs：回答を構築するためのチャンクペアの集約（二次複雑性）。
• LongBench-v2 CodeQA：コードリポジトリの理解。

ベースラインには、直接の LLM 呼び出し、サブ呼び出しあり/なしの CodeAct エージェント、コンテキスト圧縮エージェント、検索エージェント、コーディングエージェント（OpenCode、Claude Code）が含まれていました。

主要な結果

• スケーラビリティ：RLM は、ベースモデルのコンテキストウィンドウ（例：GPT-5 の 272k 制限）を遥かに超える 1,000 万トークンを超える入力を正常に処理しました。
• 性能向上：
  • OOLONG-Pairs（二次複雑性）において、ベースモデルはほぼゼロの性能（F1 スコア $\le 0.1\%$）を達成しましたが、RLM は GPT-5 で 58.0%、Qwen3-Coder で 23.1% を達成しました。
  • ベンチマーク全体を通じて、RLM はベースモデルおよび一般的な足場を大幅に上回りました（例：圧縮に対して中央値 +26%、GPT-5 におけるサブ呼び出し付き CodeAct に対して +130%）。
  • RLM は「コンテキストの劣化」に対して頑健であり、入力長が増加しても性能を維持しましたが、ベースモデルの性能は急激に低下しました。
• コスト効率：RLM の推論コストは、複数のサブ呼び出しのオーバーヘッドにもかかわらず、ベースモデルの呼び出しや他の足場と同等かそれ以下でした。
• ファインチューニング：大規模モデルから蒸留された 1,000 個の軌跡を用いて、RLM-Qwen3-8B を小規模にファインチューニングする実験を行いました。このモデルは、ベースの Qwen3-8B を中央値で 28% 上回り、3 つの長文脈タスクにおいてバニラ GPT-5 の品質に迫る性能を示しました。これは、RLM の振る舞いが最小限のデータで学習可能であることを示しています。
• 推論能力：LongCoT-mini ベンチマークにおいて、分解のヒントを備えた RLM は、ベースモデルに対して解決率を 69.5% 向上させ、複雑な推論グラフを実質的に編成しました。

意義と主張

本論文は、RLM がモデルパラメータの増加やコンテキストウィンドウサイズの拡大とは異なる、言語モデルのための新しいスケーリング軸を代表すると主張しています。プロンプトを外部オブジェクトとして扱い、記号的再帰を可能にすることで、RLM は標準的なトランスフォーマーおよび既存のエージェント足場の表現力の限界を克服します。

主な主張は以下の通りです：

1. タスク非依存のスケーラビリティ：RLM は、タスク固有のエンジニアリングなしに任意に長い入力を処理するための一般的なフレームワークを提供します。
2. 効率性：このパラダイムは、標準的な推論と同等のコストで長文脈の密な処理を可能にします。
3. 学習可能性：著者らは、モデルを明示的に RLM として動作するように訓練できるという初期証拠を提供しており、「RLM としての推論」は一般性能と効率性を向上させる学習可能な能力となり得ることを示唆しています。
4. 限界：著者らは、実装の逐次的性質（高いレイテンシにつながる）、未訓練モデルにおける最終回答と思考の区別の脆さ、管理されない場合の「爆発的」なサブ呼び出しコストといった現在の限界を認めています。非同期実行やサンドボックス化された REPL は、最適化のための将来の方向性であると指摘しています。

本研究は、RLM が数千万から数億トークンにわたる長期的なタスクを処理可能な汎用言語モデルへの有望な道筋を提供すると結論付けています。