🤖 machine learning

Composition of Memory Experts for Diffusion World Models

本論文は、対照的積の専門家（contrastive product-of-experts）定式化を通じて専門的な短期記憶、エピソード的記憶、および空間的記憶の専門家を構成することで、既存のアーキテクチャが抱える記憶と忠実性のトレードオフを克服し、二次的な計算コストなしにスケーラブルかつ高忠実な未来予測を実現する、拡散ベースの世界モデルを導入する。

原著者： Sebastian Stapf, Pablo Acuaviva Huertos, Aram Davtyan, Paolo Favaro

公開日 2026-05-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sebastian Stapf, Pablo Acuaviva Huertos, Aram Davtyan, Paolo Favaro

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが迷路を抜ける長い旅について物語を語ろうとしていると想像してください。その物語は完璧でなければなりません：曲がり角は論理的で、数時間前に訪れた部屋は戻った際に全く同じ姿をしており、風景の詳細は鮮明でなければなりません。

現在の AI「物語語り手」（ワールドモデルと呼ばれる）の問題点は、記憶に欠陥があることです。

「短期記憶」AIは、直前の数文の記憶は素晴らしいものの、1 時間前に何があったかを忘れる人のようです。彼らは次の瞬間の動きを完璧に描写できますが、旅全体の筋書きを見失ってしまいます。
「長期記憶」AIは、旅全体を覚えている歴史家ですが、次の瞬間の動きの詳細がぼやけてしまいます。彼らは迷路の全体的な形状を知っていますが、今立っている部屋の壁の色を混同してしまうかもしれません。

すべてを完璧に記憶する巨大な AI を一つ作ろうとするのは、マラソンを走りながら図書館をバックパックに持ち運ぼうとするようなものです。重すぎて遅く、結局は本につまずいて転んでしまいます。

解決策：専門家のチーム

この論文の著者たちは、これらの AI 物語語り手を構築する新しい方法を提案しています。巨大な脳一つではなく、物語を語るために協力する専門家のチームを使用します。彼らはこれを**記憶専門家構成（Composition of Memory Experts: CoME）**と呼んでいます。

映画の制作チームを想像してください。

「短期記憶」専門家（脚本家）： この専門家は直近のシーンに焦点を当てます。直前の数フレームの映像を見て、「わかった、キャラクターは左に曲がったから、次のフレームは右側に壁が表示されるべきだ」と言います。彼らは細部や即座の動きには長けていますが、100 フレーム前に何があったかは記憶できません。
「長期記憶」専門家（アーカイビスト）： この専門家は旅全体の大規模な図書館を持っています。彼らはリアルタイムですべてのフレームを見るわけではありません（それは遅すぎるため）。代わりに、旅の歴史を「研究」し、内部のメモ（重み）を更新して全体像を記憶します。「5 分前のあの部屋はどう見えた？」と尋ねれば、エピソードを暗記しているため完璧に思い出せます。
「空間」専門家（地図製作者）： この専門家は物事の「場所」を追跡します。AI が（どこも同じに見える廊下のように）ループを歩いている場合、他の専門家は混乱する可能性があります。地図製作者は「待て、南入口ではなく北入口にいるぞ」と言い、物語が正しい場所に留まるように保証します。

彼らがどのように協力するか：専門家の積

通常、3 人に助言を求めれば、単に平均値を取るかもしれません。しかし AI において、平均化は時には濁った、混乱した結果を生むことがあります。

著者たちは**専門家の積（Product of Experts）**と呼ばれる巧妙なトリックを使用します。3 人の専門家がすべて予測を示す看板を持っていると想像してください。

脚本家、アーカイビスト、地図製作者の全員が次のフレームがどのように見えるべきかで合意すれば、AI は非常に確信を持ってそのフレームを描きます。
彼らが異議を唱えれば、AI は単に推測するのではなく、「共通点」を探します。

ただし、落とし穴があります。時には専門家たちが互いに反響し合っているだけで、間違ったことに合意することがあります。これを修正するために、著者たちは**「対照的（Contrastive）」**な手法を発明しました。

比喩： 専門家たちが歌を歌っていると想像してください。時には、互いに聞きすぎているため、全員が間違った同じ音程をハミングしてしまいます。「対照的」な手法は、指揮者のように「背景のノイズをハミングするのをやめろ！いつもの習慣とは異なる、独自の音に集中せよ」と言う役割を果たします。これにより、AI が間違いを繰り返すループに陥るのを防ぎ、物語を新鮮で正確に保ちます。

結果

この論文は、このチームアプローチを以下でテストしました。

仮想迷路： エージェントが 3D 迷路をナビゲートし、どこを歩いたかを記憶する場所。
現実世界の映像： 家の中を歩いたり、ロボットを運転したりする映像。

彼らは、このチームアプローチが、巨大な AI を一つ使う試みよりもはるかに優れていることを発見しました。

より優れた記憶： AI は混乱することなく数百フレーム前の詳細を記憶できました。
高速化： 各ステップで頭の中に膨大な「図書館」のデータを運ぶ必要がなく、専門家に相談するだけで済みました。
より一貫性： AI が以前訪れた部屋に戻ったとき、その部屋はぼやけた混乱ではなく、全く同じ姿をしていました。

まとめ

この論文は、すべてを行うスーパー・ブレインを一つ作ろうとする代わりに、専門家の委員会を構築すべきだと主張しています。短期記憶の専門家に細部を、長期記憶の専門家に歴史を、空間の専門家に場所を任せて、特別な「対照的」ルールを用いて未来について投票させることで、スーパーコンピュータを必要とせずに、過去を完璧に記憶し、未来を正確に予測する AI を生み出すことができます。

技術的サマリー：拡散ワールドモデルのためのメモリ専門家の構成

問題定義

ワールドモデル（WM）は、過去の観測と整合する妥当な未来状態を予測するため、強化学習（RL）や計画において不可欠である。しかし、既存のアーキテクチャは、メモリ忠実度と計算効率の間の根本的なトレードオフに直面している。トランスフォーマーベースのモデルは局所的な詳細を保持するが、二次的なアテンションコストに苦しめられ、コンテキスト長の制限を受ける。一方、再帰型ネットワークや状態空間モデル（SSM）は効率的にスケーリングするが、履歴を隠れ状態に圧縮するため、時間の経過とともに微細な詳細を不可避的に失う。単一のアーキテクチャ内でコンテキスト長を単純に増加させることは、不安定な学習と prohibit 的な推論コストにつながる。さらに、複数のモデルを単純に組み合わせることは、「モード崩壊」を引き起こす傾向があり、これにより結合分布は共通領域を過度に鋭敏化し、多様性を失う。

手法

著者は、未来と過去の整合性を単一の単一アーキテクチャから解離させる、拡散ベースのフレームワークである**メモリ専門家の構成（Composition of Memory Experts: CoME）**を提案する。代わりに、CoME は特定のメモリ役割を処理する一連の専門化された専門家を活用し、推論時に確率的にそれらを融合させる。

1. 対比専門家の積（Product of Contrastive Experts: PoCE）

多様性を抑制し、偽のモードを増幅する可能性がある標準的な専門家積（Product of Experts: PoE）の限界に対処するため、著者は対比専門家の積の定式化を導入する。

メカニズム: 異質な専門家 $p_i(x)$ の集合に対して、構成は $p(x) \propto \prod \tilde{p}_i(x)$ と定義され、ここで $\tilde{p}_i(x) \propto p_i(x)^{\alpha_i} \bar{p}_i(x)^{1-\alpha_i}$ である。
対比ベースライン: $\bar{p}_i(x)$ は専門家の無条件ベースライン分布を表す。係数 $\alpha_i > 1$ は対比因子として機能する。
理論的正当性: カーネル分散を縮小し局所幾何を歪める単純な温度調整とは異なり、この対比混合はカーネルの形状を保持したまま混合成分を再重み付けする。条件付き専門家がベースラインよりも有効なモードに高い確率を割り当てる限り、これは（専門家が強い証拠なしに高い確率を割り当てる）偽のモードを効果的に抑制しつつ、有効な二次的モードを維持する。

2. 専門化されたメモリ専門家

このフレームワークは、3 つの相補的な専門家をインスタンス化する。

短期メモリ（STM）: 最近のコンテキストウィンドウ（10〜100 フレーム）を条件とした拡散モデル。スライドウィンドウアテンションなどの拡張コンテキスト長を持つアーキテクチャを用いて、微細な局所ダイナミクスと即時の時間的依存関係を捉える。
長期メモリ（LTM）: 履歴（100〜1000 フレーム）を重みに直接格納する別の拡散モデル。これは、長期コンテキスト上の軽量 LoRA アダプターのテスト時ファインチューニングによって実現される。このアプローチは、各ステップで履歴全体をモデルに供給することなく、過去の経験の再利用を定時で行うことを可能にし、リコールコストを均質化する。バックボーンを固定しアダプターのみを更新することで、破滅的忘却を回避する。
空間的長期メモリ（SLTM）: 履歴から抽出された空間的事前分布（例：カメラ姿勢、ポイントマップ）を組み込んだ LTM の拡張。この専門家は、反復的または視覚的に類似した環境における場所の曖昧さを解消し、幾何学的および空間的整合性を強制する。

3. 統合生成

最終的な分布は、事前学習された事前分布と、3 つの対比専門家（STM、LTM、SLTM）の積である。サンプリング中、これらの専門家のスコア関数は対数空間で加法的に結合され、ノイズ除去プロセスを誘導し、生成された未来が最近のダイナミクス、長期履歴、および空間的整合性を尊重することを保証する。

主要な貢献

解離されたメモリアーキテクチャ: この論文は、メモリトレードオフを単一のバックボーンではなく、専門化された専門家へのメモリ分散によって解決することを提案し、専門家積問題として定式化する。
対比専門家の積（PoCE）: 異質な専門家を融合するための新しい戦略。著者は、標準的な PoE と異なり、冗長なモードを因数分解することでモード崩壊と過信を防ぐことを示す理論的および実証的証拠を提供する。
外部拡散メモリ: 重みにエピソード的知識を格納するために LoRA アダプターのテスト時ファインチューニングを使用する LTM モジュールの導入。これは SLTM に拡張され、空間構造を組み込むことで、ナビゲーションタスクの精度を向上させる。

実験結果

この手法は、合成（Memory Maze、DMLab、Minecraft）および実世界（RealEstate10K、RECON）のベンチマークで評価された。

再構成品質: Memory Maze データセットにおいて、CoME は LPIPS（0.097）、SSIM（0.892）、PSNR（23.07）で最先端のパフォーマンスを達成し、フルアテンショントランスフォーマー、SSM、スライドウィンドウモデルを含むベースラインを大幅に上回った。
スケーラビリティ: STM ベースラインよりも 60 倍多くの計算を必要とするフルアテンションモデルとは異なり、CoME はトレーニングおよび推論コストの断片で優れた整合性を達成する。
コンテキスト長: このモデルは、480 フレームのコンテキストまでパフォーマンスの整合性において飽和を示さず、LTM コンポーネントの有効性を示した。
計画とナビゲーション: 目標条件付きナビゲーションタスク（RECON ベンチマーク）において、CoME は絶対軌道誤差（ATE）を 0.96 に削減し、専門的なナビゲーションワールドモデル（NWM）および他のベースラインを上回った。
想起能力: RealEstate10K における逆軌道実験において、CoME は前方ロールアウト後に初期フレームを正常に想起したが、メモリを持たないベースラインは妥当だが整合性のないシーンを生成した。
アブレーション研究: 対比定式化を除去するとパフォーマンスが崩壊し、PoCE メカニズムの必要性が確認された。LTM に対する LoRA ランクとコンテキスト長の増加は、過学習なしに一貫して結果を改善した。

意義と主張

この論文は、メモリ拡張拡散ワールドモデルを構築するための新しいパラダイムを確立すると主張する。メモリを専門化された専門家へ分散させ、対比構成戦略を使用することで、CoME は効率性と高忠実度の時間的整合性のバランスを取る。著者は、このアプローチにより、ワールドモデルは二次コストを負うことなく、または再帰的圧縮に固有の詳細損失に苦しむことなく、長いコンテキストにスケーリングできると論じている。この手法は、強化学習環境における計画や意思決定のための信頼性を高める、さまざまな拡散ベースのワールドモデルに適用可能な一般的なフレームワークとして提示される。この研究は、メモリは単一のアーキテクチャの制約ではなく、分散システムのプロパティであるべきであることを強調している。