🤖 machine learning

Rosetta Memory: Adaptive Memory for Cross-LLM Agents

本論文は、プロファイル条件付きの共同学習オペレータと最小利得サンプリングカリキュラムを採用することで、多様かつ頻繁に切り替わる大規模言語モデル間での適応的なメモリ共有と堅牢な性能を可能にする、メモリ中心のフレームワークであるRosetta Memoryを導入するものである。

原著者： Hao Yang, Shiqi Shen, Haoxuan Li, Zhipeng Wang, Zhi Gong, Xu Chen

公開日 2026-06-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hao Yang, Shiqi Shen, Haoxuan Li, Zhipeng Wang, Zhi Gong, Xu Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「Rosetta Memory」の解説を、分かりやすい言葉と日常的な比喩を用いて説明したものです。

大きな問題：「翻訳ミス」が起きるエージェント

想像してみてください。あなたは、探偵小説のような複雑な謎を解こうとしている作業チーム（AIエージェント）のリーダーです。謎を解くためには、メンバー同士でメモを回し合う必要があります。

ワーカーAは、素早くカジュアルにコードを書くプログラマーで、メモは素早い略語や箇ート形式で書きます。
ワーカーBは、ゆっくりと丁寧に書くライターで、内容を理解するためには完全で丁寧な文章を必要とします。
ワーカーCは、視覚的に考えるタイプで、情報を表形式で整理されることを好みます。

これまでは、もしワーカーAがメモを書き、それをワーカーBに渡した場合、ワーカーBは混乱してしまうことがよくありました。そのメモは「ワーカーBの言語」ではなく、「ワーカーAの言語」で書かれていたからです。チームは手がかりを見失ったり、重要な詳細を忘れたり、あるいは指示を誤解したりしてしまいます。これが、異なる大規模言語モデル（LLM）がメモリ（記憶）を共有しようとする時に起こっている現象です。つまり、メモリの「言語」が、読み手の「言語」と一致していないのです。

解決策：Rosetta Memory (RoMem)

研究者たちは、Rosetta Memoryと呼ばれるシステムを作り上げました。これは、あなたのAIチームにおける「万能翻訳機」兼「専門の公証人」のようなものです。

すべてのワーカーに同じ書き方を強いる代わりに、Rosetta Memoryは間に立ち、**「誰が書いたか」と「誰が読むか」**に基づいて、メモを適応させます。

このシステムは、2つの特別なツール（オペレーター）を使用します。

「翻訳機」（書き込みオペレーター）: ワーカーがメモを書くとき、このツールは「誰が書いたか」を確認します。そして、書き手の生の、とりとめもないメモを受け取り、後で誰でも理解しやすいように「標準化された」形式へと書き換えます。書き手特有の癖を取り除くのです。
「アダプター」（読み込みオペレーター）: ワーカーがメモを読む必要があるとき、このツールは「誰が読んでいるか」を確認します。そして、その標準化されたメモを受け取り、その読者が好む特定の形式（例：段落を視覚的思考家向けの表に変える、あるいはプログラマー向けの箇条書きにするなど）へと再構成します。

システムの学習方法

このシステムにどのように機能するかを教えるために、研究者たちは単一のタイプのワーカーだけを見せたのではありません。彼らは、さまざまな種類のAIモデル（速いもの、遅いもの、異なる会社のモデルなど）を集めた「トレーニングキャンプ」を作り上げました。

彼らは、**「最小利得サンプリング（Minimum-Gain Sampling）」**という巧妙なトレーニングのトリックを用いました。

例えば、先生が「ゆっくり丁寧に書くライター（ワーカーB）」が最も苦戦していることに気づいたとします。
先生は、簡単な生徒たちと練習する代わりに、その苦戦している生徒たちのために、システムに対して「よりハードに」練習することを強制します。
これにより、システムは単に平均的なケースに習熟するのではなく、通常は見捨てられがちなモデルを助けることに特化して上手くなることができます。

また、単に生のメモをやり取りする場合と比較して、システムが実際にチームのパフォーマンスを「向上させた」場合にのみポイントを与える「スコアカード」も使用しました。これにより、システムが単に答えを暗記するのではなく、正しく翻訳することを学習するようにしました。

得られた結果

研究者たちは、AIが答えを見つけるために複数の手がかりを繋ぎ合わせる必要がある3つの「謎解きゲーム」（HotpotQA、2WikiMultihopQA、MuSiQueというデータセット）でこのテストを行いました。

結果: Rosetta Memoryを使用したチームは、標準的な手法を用いたチームよりもはるかに優れた成績で謎を解きました。
「未知の」テスト: トレーニング中に一度も見たことがない新しいタイプのワーカーを使ってテストを行っても、システムはうまく機能しました。チームの構成が変わっても、システムは壊れませんでした。
「ミスマッチ」の証明: 彼らは、このシステムなしでは、タスクの途中でワーカーを交代させると、メモが意味をなさなくなるためチームが失敗してしまうことを示しました。Rosetta Memoryがあれば、誰が読んでも、メモは常に意味の通るものになります。

まとめると

Rosetta Memoryは、AIエージェントが、たとえ異なる「言語」や「スタイル」を持っていたとしても、シームレスにメモを交換できるようにするスマートな仲介役です。メモリが書き込まれるときに翻訳し、読み込まれるときに適応させることで、どの特定のAIモデルが作業を行っているかにかかわらず、チーム全体が常に同じ理解を共有できるようにします。

技術要約: Rosetta Memory (RoMem)

1. 問題定義: クロスLLMメモリの不一致 (Cross-LLM Memory Mismatch)

本論文は、LLMエージェントのデプロイメントにおける決定的なギャップを扱っている。それは、「メモリシステムは単一の静的なバックボーン（基盤モデル）のために設計されている」という仮定である。実際には、エージェントは頻繁に異なるLLM間を切り替える（例：コーディングにはClaudeを使用し、文章作成にはGPTを使用する、あるいはコスト効率のためにステップごとに異なるモデルへルーティングするなど）。著者らは、あるモデルによって書き込まれたメモリが、別のモデルによって効果的に消費されないことが多いことを特定しており、これは主に以下の2つの要因によるものである：

書き込み側の乖離 (Write-Side Divergence): 同じ状態を与えられたとしても、異なるソースLLMは異なるアクションを生成するため、メモリに保存される内容も異なる。
読み取り側の感度 (Read-Side Sensitivity): 意味的に等価なメモリ・エントリであっても、プロンプトへの感度やコンテキストの解釈の違いにより、読み取るターゲットLLMによってエージェントの出力結果が異なる。

著者らは、クロスLLMメモリ適応問題 (Cross-LLM Memory Adaptation Problem) を定式化している。すなわち、「アップストリームのLLMによって書き込まれたメモリが、ダウンストリームのLLMを効果的に活性化できるように、エージェントのメモリシステムをいかに適応させるか？」という問題である。目標は、単一の固定されたバックボインに対して最適化することではなく、ヘテロジニアス（異種混合）なプール内のあらゆる可能なモデルの割り当てに対して、期待報酬を最大化することである。

2. 手法: Rosetta Memory (RoMem)

RoMemは、視点を「LLM中心のメモリ設計」から「メモリ中心のLLM適応」へと転換させる。メモリを、アップストリームの書き手とダウンストリームの読み手の間の、転送可能なインターフェースとして扱う。

コア・アーキテクチャ

本システムは、学習可能な2つのLLM認識オペレータを導入する：

書き込みオペレータ ( $f_{write}$ ): ソースLLMの識別子（プロファイル）、観測、およびアクションを受け取り、蒸留・正規化されたメモリ・エントリを出力する。
読み取りオペレータ ( $f_{read}$ ): ターゲットLLMの識別子（プロファイル）、現在の観測、およびメモリバンクを受け取り、特定のリーダー向けに適応させたプロンプト形式のコンテキストを出力する。

プロファイル・コンディショニング (Profile Conditioning)

個々のモデルごとにオペレータを微調整することなく多様なモデルを扱うため、RoMemはプロファイル埋め込み (profile embeddings) を使用する。各LLMには、軽量なプロファイル記録（モデルID、テキストによる説明、バックエンドやファミリー、スケールなどのメタデータ）が関連付けられている。学習可能なマッピング関数 $g$ が、これらのプロファイルを連続ベクトル（ソフト・プレフィックス・トークン）に変換し、これが $f_{write}$ と $f_{read}$ の両方を条件付ける。これにより、オペレータは、モデルの「スタイル」や能力を理解することで、未知のLLMにも汎化することができる。

学習戦略

オペレータは、ヘテロジニアスなモデル・プール全体における堅牢性を確保するために、2つの特定のアプローチを用いたエキスパート反復 (Expert Iteration) ループを用いて学習される：

反事実的利得報酬 (Counterfactual Gain Reward): 学習されたオペレータの貢献を、LLM固有の能力から分離するために、システムはパフォーマンスの差（ $\Delta R$ ）を計算する。これは、学習されたオペレータを用いた場合と、ナイーブなベースライン（生のメモリ結合）を用いた場合の報酬の差である。これにより、モデルは単に強力なバックボーンを利用するのではなく、適応を通じて性能を向上させる方法を学習する。
最小利得サンプリング・カリキュラム (Minimum-Gain Sampling Curriculum): 学習中、システムは「十分にサポートされていない」LLM、すなわちカウンターファクチュアル・ゲイン（反事実的利得）が最も低いLLMを優先する。ステップ $t$ におけるサンプリング確率は、低い $\Delta R$ を持つモデルにバイアスがかかり、さらに単一の軌跡内での行動の多様性を確保するために埋め込み距離によって多様化される。これにより、高パフォーマンスなペアへの過学習を防ぎ、困難なモデルの組み合わせに対するカバレッジを確保する。

3. 主な貢献

問題の定式化: 著者らは、パイロット研究（HotpotQA, 2WikiMultihopQA, MuSiQueを用いた）を通じて、クロスLLM設定においてメモリの不一致が重大な問題であることを実証し、クロスLLMメモリ適応問題を正式に定義した。
Rosetta Memory (RoMem): ヘテロジニアスなエージェントのために、プロファイル条件付きの書き込みおよび読み取りオペレータを共同学習する新しいフレームワークを提案した。
学習における革新: パフォーマンスの低いモデルのペアのカバー率を向上させるための最小利得サンプリング・カリキュラムと、オペレータの有用性とバックボーンの強さを分離するためのパフォーマンス・ギャップ報酬を導入した。
実証的検証: 複数のデータセットにおいて、RoMemがメモリフリーのベースライン（CoT, Self-Ask）、生のバッファ・ベースライン（Step-Accumulate）、および構造化メモリ・ベースライン（Mem0, Memento）を上回ることを広範な実験で示した。

4. 実験結果

著者らは、3つのマルチホップQAデータセット（HotpotQA, 2WikiMultihopQA, MuSiQue）を用いてRoMemを評価した。

全体的なパフォーマンス: RoMemは、すべてのデータセットにおいて、Exact Match (EM)、F1、およびセマンティック精度 (AccLLM) のすべてにおいて一貫して最高スコアを達成した。特に困難なMuSiQueデータセットにおいて、F1とAccLLMで明確な差を示しており、複雑な連鎖における部分的な証拠の有効な保持を示唆している。
アブレーション研究: プロファイル・コンディショニングまたは書き込みオペレータを除去すると、パフォーマンスが大幅に低下した。これは、メモリ内容の適応と、ターゲットモデルへの提示方法の適応の両方が必要であることを裏付けている。
未知のモデルへの汎化: 学習時に見られなかった6つの保持モデル（例: gpt-5-mini, deepseek-reasoner）に対してテストした際、RoMemは堅牢なパフォーマンスを維持し、軌跡内の未知のモデル数が増加しても、しばしばベースラインを上回った。
最小利得サンプリング: 感度分析により、適度な再重み付け（例: $\eta \approx 1.2$ から $1.6$）は性能を向上させるが、過度な再重み付けは有害になり得ることが示された。
定性的分析: インスペクションの結果、書き込みオペレータはソースモデルの不確実性や探索指示をうまく除去しており、一方で読み取りオペレータは、ターゲットモデルの好みに合わせて事実の順序や明示性を適応させていること（例: Gemini向けのテーブル形式 vs Claude向けの思考連鎖）が明らかになった。

5. 意義と主張

本論文は、証拠を保存するだけでは不十分であると主張している。メモリは、それを消費する特定のLLMに適応した形式で書き込まれ、読み取られなければならない。メモリを転送可能なインターフェースとして扱うことで、RoMemはヘテロジニアスなLLMエージェントがエピソード・メモリを効果的に共有することを可能にし、コスト、レイテンシ、または可用性の制約によってモデルが入れ替えられる際の冗長な計算を減らし、堅牢性を向上させる。

著者らは、本研究を「メモリ中心の適応」への第一歩として位置づけている。また、評価が固定された証拠連鎖を持つ制御されたマルチホップQAエピソードに限定されており、オープンエンドなウェブナビゲーションや非常に長いホライゾンのプランニングにはまだ及んでいないという限界も認めている。さらに、学習されたメモリ・インターフェースは、注意深く監査されない限り、バイアスやエラーを伝播させる可能性があるとして、高リスクのデプロイメントにおけるデータの最小化と人間による検査の必要性についても警告している。