PI-Mem: Pushing Long-Context Reasoning to 3.6M Tokens with Parallel-Iterative Memory
本論文は、すべてのコンテキストチャンクを同時に、かつ反復的に処理し、強化学習に基づく適応的終了を用いて共有メモリを反復的に洗練させる並列反復型メモリメカニズムであるPI-Memを紹介しており、これにより大規模言語モデルが最大360万トークンに及ぶ長文脈推論タスクにおいて、優れた精度と大幅な推論速度の向上を実現することを可能にしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、360万ページにも及ぶ巨大なミステリー小説を解こうとしていると想像してください。あなたには、非常に賢いものの、短期記憶が極めて短い天才的な探偵（大規模言語モデル：LLM）がいます。もしあなたが本全体を一度に渡してしまうと、彼らの脳はオーバーフローしてしまい、100万ページ目に到達する頃には10ページ目の手がかりを忘れてしまうのです。これが、人工知能における「ロングコンテキスト」問題です。つまり、コンピュータがいかにして、物語の最後を読み進めている間も、最初の方への注意力を維持できるかという問題です。
これを解決するために、科学者たちは主に2つのトリックを試してきました。1つ目は、ゴムバンドを無理やり引き伸ばすような方法です。モデルにすべてを一度に記憶させようとしますが、ゴムバンドはしばしば切れてしまったり、動作が極端に遅くなったりします。2つ目は、より一般的な「回帰的メモリ（Recurrent Memory）」のアプローチです。これは、探偵が1章ずつ読み進める様子を想像してください。第1章を読み終えた後、彼は小さな要約をノートに書き留め、その章を捨ててから第2章へと進みます。第2章を読み、ノートを更新し、また章を捨てます。これを繰り返していくのです。しかし、問題があります。もし探偵が後半で混乱を招くような章を読んでしまった場合、重要なノートの上に誤って新しい情報を書き込んでしまい、第1章の決定的な手がかりを永遠に消し去ってしまう可能性があるのです。これは逐次的なプロセスであるため、探偵は次のノートを書き終えるまで次の章を開始できず、捜査全体が停滞してしまいます。
ここで、新しい研究チームが「PI-Mem（並列反復メモリ：Parallel-Iterative Memory）」という新鮮なアイデアを持って登場します。PI-Memは、探偵が1章ずつ読んでノートを更新していくのではなく、探偵に「超能力」を与えるものです。それは、すべての章を同時に読み解く能力ですが、そこには「ひねり」があります。
PI-Memが現実の世界でどのように機能するかを説明しましょう。探偵には「共有グローバルメモリ」の掲示板があると想像してください。逐次的に本を読む代わりに、探偵は現在のメモリボードの状態をガイドとして使いながら、すべての章を同時に見渡します。各章に対して、彼はこう問いかけます。「このページには、すでに掲示板にあるものとは異なる『新しい手がかり』があるか？」もし答えが「イエス」であれば、彼はその特定の手がかりを抽出します。もし「ノー」であれば、それ以外のノイズは無視します。
すべての章を並列にスキャンした後、彼らは見つけた「新しい手がかり」だけを取り出し、それをメモリボードに統合して、よりクリーンで完全な全体像を作り上げます。そして、このプロセスを繰り返します。彼らは再びすべての章を見渡しますが、今度は「更新された」ボードを使用してガイドを行います。例えば、第200章で見つけたピースと一致したことで、第5章で見落としていた手がかりが突然理解できるようになるかもしれません。彼らは、新しい手がかりが見つからなくなるか、あるいは制限に達するまで、この「スキャンのラウンド」を繰り返します。最終的に、彼らは360万ページの書籍全体ではなく、ボード上に集約された手がかりのみを使用して謎を解明します。
研究チームは、この手法を2つの異なるAIモデル（Qwen3.5およびQwen2.5）を用いて、膨大な文書から情報を探し出す必要がある難解な質問に答えるベンチマーク「HotpotQA」でテストしました。彼らはコンテキストの長さを、驚異的な360万トークン（およそ巨大な図書館の規模）まで押し広げました。
結果は目覚ましいものでした。従来の「一つずつ読む」方法（回帰的メモリ）と比較して、PI-Memは単に回答の精度が向上しただけでなく、はるかに高速に回答を導き出しました。360万トークンのテストにおいて、PI-Memは従来最高の手法よりも精度を6.25〜7.81パーセントポイント向上させました。さらに印象的なことに、大型モデルでは6.1倍速く、小型モデルでは2.1倍速く動作しました。従来の方法は、一つのステップが終わるのを待たなければならないため非常に遅かったのですが、PI-Memは並列に読み取ることで、緩やかな曲がりくねった道を高速道路へと変えたのです。
チームはまた、AIに「いつ止まるべきか」を教えるために、強化学習と呼ばれる特別なトレーニング手法も使用しました。彼らは、十分な証拠が集まった状態で捜査を迅速に終了させた場合にAIに「ボーナス」を与えることで、不必要な追加の読み込みを行わないようにしました。これにより、システムがすでに解決済みの章を再読して時間を無駄にすることを防いでいます。
要約すると、この論文は、AIが長い文書をどのように「考える」かを変えること——つまり、遅い逐次的なメモ作成者から、並列的で反復的な捜査官へと切り替えることによって、最初の手がかりを失うことなく、膨大な量のテキストに含まれる複雑な問題を解決できることを示唆しています。AIにすべてを一度に記憶させる必要はありません。ただ、見つけたパズルのピースを整理するための、より優れた方法を与える必要があるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。