🤖 AI

MoNe: Modular Neural Memory for Efficient Long Context Inference

MoNeは、凍結されたTransformerに付加することで、推論コストをコンテキスト長から切り離し、再学習なしで一定のクエリ複雑性と大幅なメモリ使用量の削減を実現し、効率的な長文脈推論を可能にする、軽量でモジュール化されたニューラルメモリシステムである。

原著者： Wonguk Cho, Kyubyung Chae, Tribhuvanesh Orekondy, Sunghyun Park, Hyoungwoo Park, Jeongho Kim, Arash Behboodi, Kyuwoong Hwang, Sungrack Yun

公開日 2026-08-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Wonguk Cho, Kyubyung Chae, Tribhuvanesh Orekondy, Sunghyun Park, Hyoungwoo Park, Jeongho Kim, Arash Behboodi, Kyuwoong Hwang, Sungrack Yun

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

現代の人工知能は、本一冊を丸ごと読み、数年分のチャットログを分析し、あるいは膨大な法的契約書を一気に消化できるレベルにまで到達しています。これを行うために、これらのシステムは、現在の質問を理解するために、直前に処理したすべての内容を振り返ることができるメカニズムに依存しています。しかし、この能力には高い代償が伴います。テキストの量が増えるにつれ、それを処理するために必要なエネルギーとコンピュータメモリは、単に増加するだけでなく、爆発的に増大します。今読んでいる単語一つひとつを、読み始めてから読んだすべての単語と比較しながら図書館を読もうとしている状況を想像してみてください。必要な労力は非常に速いスピードで増大するため、標準的なコンピュータ、特にスマートフォンやノートパソコンに見られるような小型のコンピュータでは、一度に数千語以上を扱うことはすぐに不可能になります。この制限により、現在のシステムは、長い物語の冒眠を忘れてしまうか、あるいは特定の事実を見つけるために外部ツールに頼らざるを得ず、その結果、散在する詳細を結びつける大きな全体像を見落としてしまうことがよくあります。

Qualcomm AI Researchのチームは、MoNeと呼ばれる新しいアプローチを開発しました。これにより、AIモデルを再学習させることなく、またハードウェアに過度な負荷をかけることなく、膨大な量の情報を扱うことが可能になります。会話や文書の全履歴を回答のたびに繰り返し読み直すようコンピュータに強いる代わりに、MoNeはモデルが読みながら書き込む「特化したノート」のように機能します。このシステムは、長いテキストを管理可能な小さな塊（チャンク）に分けて処理します。各チャンクを読み進める際、システムはこの内部ノートを更新し、不可欠な情報をコンパクトな形式へと凝縮していきます。テキスト全体を読み終えてノートがいっぱいになったとき、モデルはそのノートの内容のみを使用して質問に答えることができます。決定的なのは、モデルが元の長いテキストを二度と振り返る必要がないという点です。この設計により、元の文書が短いメールであっても10万語の小説であっても、質問に答えるためのコストは一定に保たれます。

研究者たちは、モデルが大量のテキストの中に隠された特定の事実を見つけ出せるかどうかを検証するための標準的な課題を用いて、この手法をテストしました。これは、しばしば「干し草の山の中から針を探す（finding a needle in a haystack）」と呼ばれるタスクです。彼らはまた、頻繁に登場する単語を抽出する能力や、テキスト全体に散らばった複数の情報を結びつける必要がある問題を解決する能力についてもテストを行いました。テキストの長さがモデルの元の学習制限内に収まっている場合、この新手法はほぼ完璧に機能し、一度にすべてを読み取ろうとする標準的なアプローチを上回る性能を示しました。さらに印象的なことに、研究者がシステムを本来設計された範囲を大幅に超えるテキスト長（最大12万8千トークン）まで押し上げた場合でも、この新手法は高い精度を維持し続けました。対照的に、テキスト全体を一度に読み取ろうとする標準的なアプローチは、テキストが長くなるにつれて完全に失敗し、精度はほぼゼロにまで低下しました。関連するテキストの断片を検索しようとする一般的な代替手法も、答えを得るために多くの異なる情報を繋ぎ合わせる必要がある場合には苦戦しました。

この新手法による効率化の恩恵は多大です。テストされた最長のテキスト長において、研究者たちは、彼らのアプローチが標準的な手法と比較して、必要なコンピュータパワーを約80%削減できることを見出しました。また、ピーク時のメモリ使用量も同様の割合で削減されました。これは、強力な長文コンテキスト推論が、巨大で高価なサーバーを必要とするのではなく、リソースの限られたデバイス上で実行できる可能性を示唆しており、極めて重要な改善です。このシステムは、内部ノートのサイズがテキストが長くなっても増えないようにすることで、メモリのフットプリントを一定に保ち、この目標を達成しています。研究者たちは、このシステムを既存の学習済みモデルに、そのコア構造を変更することなく取り付け、わずかな追加のデータストレージを加えるだけで運用できることを実証しました。また、テキストを固定サイズのセグメントに分割し、ステップ・バイ・ステップで内部状態を更新することで、学習時よりも32倍長いテキスト長にも汎用的に対応できることを示しました。

今回の実験は、特定のモデルサイズを用いた特定の検索タスクに焦点を当てたものでしたが、その結果は、現実世界の長文情報を扱う能力を向上させるための実現可能な道筋を示唆しています。この手法は、全く新しいタイプの「コンピュータの脳」をゼロから構築する必要も、モデルを膨大な新しいデータセットで再学習させることも要求しません。代わりに、情報を即座に圧縮することを学習する、軽量でモジュール式の追加要素を導入するものです。これにより、システムは過去の記憶を明確かつ一定に保ちながら、現在について考えるためのコストを低く抑えることができます。数時間の会話や数千ページの文書にわたって推論できるAIへの需要が高まり続ける中で、このアプローチは、それらのシステムを高速かつ効率的に、そして求められる世界の全コンテキストを理解できるようにするための実用的な方法を提供しています。

技術要約: MoNe – 高効率な長文脈推論のためのモジュール型ニューラルメモリ

1. 問題提起

パーソナライズされたアシスタント、ドキュメントQA、エージェントシステムなどのアプリケーションにおいて、長文脈（ロングコンテキスト）の処理は不可欠です。しかし、主流のアプローチであるインコンテキスト学習（ICL）は、コンテキスト長 $N$ に対して計算量（FLOPs）が二次関数的（ $O(N^2)$ ）に増加し、KVキャッシュのメモリ使用量が線形的（ $O(N)$ ）に増加します。これにより、リソース制約のあるハードウェア（例：モバイルデバイス）での長文脈推論は極めて高コストとなり、また小規模なモデルは、ネイティブのコンテキストウィンドウ内であっても信頼性の高い情報抽出に苦戦するという問題があります。

代替手法には、以下のような重大な限界があります：

検索拡張生成 (RAG): アテンションのコストを削減しますが、RAGは独立したチャンクに基づく埋め込みベースの検索に依存しています。これは、個々の事実は目立たなくても、複数の分散した相互依存的な事実を合成する必要があるタスクにおいては機能しません。
回帰型/線形モデル (例: Mamba, TTT, Titans): これらは線形計算量を達成していますが、完全に新しいアーキテクチャをゼロから学習させる必要があり、既存の凍結された事前学習済みTransformerとシームレスに統合（フル再学習なしでの利用）することができません。

2. 手法: MoNe

MoNe (Modular Neural Memory) は、凍結された事前学習済みTransformerに付加できる軽量なプラグインモジュールであり、バックボーンの重みを変更することなく、効率的な長文脈推論を可能にします。このアーキテクチャは、以下の2つの明確なフェーズで動作します。

2.1. アーキテクチャ

MoNeは、バックボーンの各デコーダー層 $l$ に対して、高速重み（fast-weight）ニューラルメモリネットワークを付加します。

メモリ・モジュール: 各層は、高速重みパラメータ（ $W_{in}, W_{gate}, W_{out}$ ）を持つSwiGLU MLPを利用します。線形写像とは異なり、この非線形ネットワークは、より豊かな連合構造をエンコードするための表現能力を高めます。
統合: 推論時、クエリ・トークンは凍結されたバックボーンの $W_q$ を通じて投影され、キャッシュされた高速重み状態から読み取られます。得られたメモリ・トークンは、凍結された $W_k$ および $W_v$ を用いてキー・バリュー空間へと投影され、標準的なアテンションのエントリと結合されます。
パラメータ効率: このモジュールは、低ランクアダプター（LoRA）を介して、凍れる重みにわずかなパラメータ（6.4%のオーバーヘッド）のみを追加します。

2.2. 2フェーズ動作

フェーズ1: テスト時学習 (前処理)

$N$ 個のトークンからなるコンテキスト $C$ を、固定サイズ $T=512$ トークンのセグメントに分割します。
セグメントは逐次的に処理されます。各セグメントに対して、高速重みは**層局所的な勾配更新（layer-localized gradient updates）**を通じて各層で更新されます。
連合メモリ損失 (Associative Memory Loss): メモリ・モジュールは、メモリ出力とターゲット値（凍結された $W_k$ および $W_v$ から派生）との内積を最大化するように最適化されます。これにより、予測誤差やバックボーン全体へのバックプロパゲーションを必要とせずに、関連付け $k \to v$ が高速重みの中に「刻印」されます。
位置エンコーディング: セグメント局所的なRoPEが使用され、ローカルな位置 $p_{local} = j \mod T$ を割り当てます。これにより、位置インデックスが総コンテキスト長に関わらず $[0, T)$ 内に限定され、補間なしでの任意の長さへの汎化が可能になります。

フェーズ2: 推論

クエリ・トークンは、更新された高速重み状態から生成されたメモリ・トークンにのみアテンションを向けます。
コンテキスト・トークンは再読されず、コンテキスト・トークンに直接アテンションを向けることもありません。
複雑性: これにより、推論コストをコンテキスト長から切り離し、 $O(N)$ の前処理と $O(1)$ のクエリコストを実現します。また、ピークGPUメモリは $N$ に関わらず一定に保たれます。

3. 主な貢献

モジュール型アーキテクチャ: 凍結された事前学習済みTransformerに統合可能なプラグインであり、バックボーンの変更なしに、わずか6.4%のパラメータ・オーバーヘッドで実現します。
テスト時学習手順: 層局所的な勾配更新を用いて高速重みニューラルメモリネットワークを適応させる手法です。これにより、 $O(N^2)$ のコストがかかるICLとは対照的に、 $O(N)$ の前処理と $O(1)$ のクエリコストを実現します。これは、インクリメンタルなコンテキスト拡張とマルチクエリの再利用をネイティブにサポートします。
汎化性能: 学習コンテキスト（最大4Kトークン）から評価コンテキスト（128Kトークン、32倍の拡張）への汎化能力を実証しました。これは、追加の学習や位置補間なしで行われます。

4. 実験結果

Qwen2.5-0.5B-Instructをバックボーンとして、RULERベンチマーク（S-NIAH, MK-NIAH, Frequent Word Extraction）を用いて実験を行いました。

パフォーマンス:
- ネイティブウィンドウ内 (4K–32K): MoNeはほぼ完璧なパフォーマンス（0.99–1.00 Sub-EM）を達成し、ICL（0.41–0.98）およびRAG（0.58–0.93）を大幅に上回りました。
- ネイティブウィンドウ外 (48K–128K): ICLのパフォーマンスが崩壊する一方で（例：128KでのS-NIAHにおいて0.28まで低下）、RAGは停滞し（マルチホップの事実に苦戦）、MoNeは高い精度を維持しました（128KにおいてS-NIAHで0.96、MK-NIAHで0.94、Frequent Word Extractionで0.96）。
効率性:
- 128Kトークンにおいて、MoNeはICLと比較して、総FLOP数を約81%、ピークGPUメモリを約**80%**削減しました。
- MoNeのピークGPUメモリは、コンテキスト長に関わらず1.41 GBで一定でしたが、ICLでは128Kにおいて7.07 GBを必要としました。
アブレーション研究:
- 層のカバー範囲: 全24層のデコーダーにMoNeを付加した場合が最良の結果となりました。最後の8層のみに制限すると、32Kを超えた際にパフォーマンスが崩壊しました。
- セグメントサイズ: セグメントサイズ $T=512$ が、128Kへの効果的な汎化において最適なトレードオフを提供しました。一方で、より小さいセグメント（ $T=128, 256$ ）は16Kを超えると急速に劣化しました。

5. 意義と主張

本論文は、MoNeが計算コストをコンテキスト長から切り離すことで、リソース制約のある環境での長文脈推論に対する実用的な解決策を提供すると主張しています。その意義は以下の通りです：

効率性: 一定のメモリ・フットプリントと線形の前処理を実現し、KVキャッシュのコストが極めて高いエッジデバイスにおいても、長文脈の推能を可能にします。
互換性: 高価なフルファインチューニングやアーキテクチャの再設計を必要とせず、既存の凍結されたモデルに長文脈能力を付与できます。
堅牢性: 標準的なICL（長さとともに劣化する）やRAG（分散した推論に苦戦する）の両方を、長大なコンテキストにわたる情報の合成を必要とするタスクにおいて上回ります。

著者らは、現在の検証は0.5Bのバックボーンと制御された検索タスクに基づいているものの、このプラグイン設計は、より大きなモデルや、より自然なワークロード（例：マルチドキュメントQA、対話履歴）へとスケールすることを意図しており、そこでは一定メモリ推論の効率性の利点がさらに顕著になると期待されると述べています。