🤖 AI

Multi-scale Mixture of World Models for Embodied Agents in Evolving Environments

MultiSixは、経験的距離に基づくルーティングとスケール依存的な忘却メカニズムを備えたスケール認識型混合エキスパート（Mixture of Experts）アーキテクチャを導入することで、進化する環境におけるマルチスケールな推論と適応を強化する、エンボディド・エージェントのための新しいフレームワークである。

原著者： Jinwoo Jang, Daniel J. Rho, Sihyung Yoon, Hyunsuk Cho, Honguk Woo

公開日 2026-07-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jinwoo Jang, Daniel J. Rho, Sihyung Yoon, Hyunsuk Cho, Honguk Woo

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、絶えず変化する家の中をナビゲートしようとしているロボットだと想像してください。時には、単にカップを拾うだけ（単純で即時的なタスク）で済むこともあれば、廊下に広がる火災から逃れる方法を考え出さなければならない（複雑で抽象的、かつ緊急を要する状況）こともあります。

この論文は、ロボットがこうした異なる状況をより適切に処理できるように設計された、MuSixと呼ばれる新しいシステムを紹介しています。これは、現在の状況がどれほど「新しい」か、あるいは「奇妙」かに基づいて、どの専門家に依頼すべきかをロボットが正確に判断できる仕組みになっています。

以下に、その仕組みを簡単な比喩を用いて解説します。

問題点：「一律のルール」を持つロボット

現在のロボットの多くは、単一の「脳」や固定されたルールを使用しています。著者らは、これが非効率である理由として以下の点を挙げています：

スケールを理解していない： ロボットが混乱しているとき、スプーンを拾うという単純な問題に対して高度な「哲学者」の脳を使おうとしたり、複雑な「火災からの脱出」計画に対して単純な「反射」の脳を使おうとしたりすることがあります。
学習が早すぎたり遅すぎたりする： ロボットが新しいものを見るたびに知識を更新すると、重要な長期的なルール（例：「火は危険である」）を忘れてしまう可能性があります。逆に、全く更新を行わないと、特定の部屋が今火事であるといった状況を学習することができません。

解決策：MuSix（「専門家チーム」）

MuSixは、ロボットの脳を**混合エキスパート（Mixture of Experts）**として扱います。病院のさまざまな部門を想像してみてください：

低スケールの医師： 即時的で物理的な詳細に関するエキスパート（例：「床は滑りやすいか？」）。
高スケールの医師： 抽象的な計画や大局的なルールに関するエキスパート（例：「最も安全な出口ルートはどこか？」）。

MuSixには、このチームを完璧に機能させるための2つの主要な革新があります。

1. 「新奇性メーター」（経験的距離）

どの医師を呼ぶべきかを推測する代わりに、MuSixには「新奇性メーター」があります。これは**経験的距離（Experiential Distance）**を測定します。

比喩： あなた自身の記憶を考えてみてください。自分のキッチンに入るとき、そこは馴染み深く感じられます（距離が低い）。しかし、見たこともない部屋に入ると、そこは奇妙で新しいものに感じられます（距離が高い）。
仕組み： ロボットは、現在の状況をこれまでのすべての経験と比較します。
- 馴染みのある状況？ メーターは低く保たれます。ロボットは、素早く日常的なタスクを処理するために低スケールのエキスパートを呼びます。
- 奇妙／新しい状況？ メーターが急上昇します。ロボットは、大局的な状況を把握し、新しい戦略を立てるために高スケールのエキスパートを呼びます。

2. 「二段階スイッチ」（ルーティング）

従来のシステムは、医師をランダムに選んだり、漠然とした感覚に基づいて選んだりしていました。MuSixは、二段階ルーティングシステムを使用しています：

ステージ1： 「新奇性メーター」が、どのレベルの専門知識（低、中、または高）が必要かを決定します。
ステージ2： レベルが決定されると、そのレベル内の特定の専門家が作業を行うために選択されます。
なぜ重要か： これにより、単純なタスクのために複雑なプランナーを無駄に使うことも、危機的な状況に対して単純な反射を用いることも防ぎ、適切な役割分担を実現します。

3. 「メモリ更新」システム（進化）

ロボットは、古い知識を忘れることなく、新しい経験から学ぶ必要があります。MuSixは、**スケール依存の忘却（Scale-Dependent Forgetting）**によってこれを処理します：

低スケール・メモリ（高速更新）： 即時的な環境に関する詳細（例：「今、床が濡れている」）は、急速に変化します。MuSixはこれらの記憶を素早く更新し、それがもはや真実ではなくなったときには素早く忘れます。
高スケール・メモリ（低速更新）： 大きなルール（例：「火に触れてはいけない」）は、安定しているべきです。MuSixはこれらを非常にゆっくりと更新するため、ロボットが誤って安全ルールを「学習解除」してしまうことがありません。
ゲート付き転送（Gated Transfer）： 時には、高レベルの気づき（例：「火が広がっている」）が低レベルの反射（例：「左へ走れ」）に伝える必要があります。MuSixには、必要なときにのみレベル間で情報が流れるようにする「ゲート」があり、チーム全体の連携を保ちます。

結果：それは機能するのか？

著者らは、MuSixを2つの主要なシナリオでテストしました。

複雑な推論（EmbodiedBench）： 物体を理解し、部屋を移動し、複雑な指示に従う必要があるタスクにおいて、MuSixは従来のトップ手法よりも優れた性能を示しました。特に、物理的な器用さと抽象的な計画の両方を必要とするタスクにおいて優れていました。
動的な災害（HAZARD）： 火災の拡大や洪水など、状況が急速に変化する環境をシミュレートしました。MuSixは、戦略を即座に適応させることに長けていました。素早い反応と戦略的な計画を効果的に切り替えることができたため、他のロボットと比較して、より多くの物体を救い、環境へのダメージを抑えることができました。

まとめ

要約すると、MuSixはロボットが知識を整理するための、よりスマートな方法です。あらゆることを一度にこなそうとする単一の脳を持つのではなく、「新奇性メーター」を使用して、反射（馴染みのあるものに対して）を使うべきか、それとも戦略家（新しいものに対して）を使うべきかを判断します。また、情報の重要度に応じて異なる速度でメモリを更新することで、核となる原則を失うことなく、変化する世界において機敏性を維持します。

技術要約：MuSix – 身体性エージェントのためのマルチスケール混合世界モデル

問題提起

Vision-Language Models (VLM) を搭載した身体性エージェントは、現実世界の非定常な環境で動作する際、重大な課題に直面している。最近の進歩により指示遂行能力は向上しているものの、これらのエージェントはマルチスケール推論（低レベルの物理ダイナミクスと高レベルの抽象的な推論の統合）および、変化する条件下での連続的な適応において苦戦している。

著者らは、この領域に標準的なMixture of Experts (MoE) アーキテクチャを適用する際の2つの具体的な限界を特定している：

混合の課題（The Mixture Challenge）： 従来のMoEのルーティングには、「スケール」という明示的な概念が欠けている。ルーティングの決定は潜在表現に基づいて行われるが、それらが識別可能なスケールに紐付けられていないため、テスト時に特定の知識粒度に対してターゲットを絞った更新を行うことができない。
進化の課題（The Evolution Challenge）： 一律の更新ポリシーでは、知識が陳腐化する速度の違いに対応できない。低レベルの知識（例：局所的なダイナミクス）は頻繁に変化するが、高レベルの抽象概念（例：ルール）は安定している。標準的なMoEはすべてのエキスパートを同じ速度で進化させることを強制するため、効果的な適応を妨げる。

手法：MuSix フレームワーク

本論文は、スケールを意識した混合と進化を通じて世界モデルを統合するフレームワークである MuSix を提案している。核心となるイノベーションは、ルーティングの決定を、解釈レベル理論 (Construal Level Theory: CLT) に着想を得た、状況の新規性のスカラー尺度である経験的距離 (experiential distance) に基づかせることである。CLTは、心理的な距離が人間の推論における抽象化のレベルを支配すると説いている。MuSixは、現在の観察と蓄積された経験との間のギャップを連続的なスケール空間へとマッピングすることで、これを具現化している。

1. 二段階スケールベース・ルーティング

混合の課題に対処するため、MuSixはルーティングを2つのステージに分離している：

ステージ1：メタ・ルーター (Meta-Router - スケールの決定): 連続的なメタ・ルーター ($MR $) は、**経験的距離** ($ $) は、 * * 経験的距離 * * ($ \delta $) を、連続的なスケール空間 ($ $) を、連続的なスケール空間 ($ S$) 上の重み関数へとマッピングする。
- 経験的距離 ( $\delta$ ): 現在の観察の埋め込み表現と、エピソード内における過去の経験の加重分布との間のマハラノビス距離として算出される。高い $\delta$ は新規性を示し、低い $\delta$ は既知であることを示す。
- スケール認識損失 (Scale-Aware Loss): 期待されるスケールの大きさを $\delta$ に適合させる損失関数 ( $\mathcal{L}_{space}$ ) により、既知の状況は低スケールモデル（具体的なパターン）へ、未知の状況は高スケールモデル（抽象的な汎化）へとルーティングされることを保証する。
ステージ2：ベース・ルーター (Base Router - 世界モデルの選択): メタ・ルーターからのスケール重みが、各スケールのベース・ルーターのスコアと統合され、 $G$ 個のグループからトップ- $k$ 個のサブセットの世界モデルを選択する。これにより、ルーティング決定のスケールが明示的になる。

2. スケール内およびスケール間の知識適応

進化の課題に対処するため、MuSixはテスト時学習のためのメカニズムを導入している：

スケール内適応 (Intra-Scale Adaptation): 知識の増分（予測誤差から導出）は、メタ・ルーターの出力に基づいて各グループに分配される。極めて重要な点として、スケール依存的な忘却率が適用される。低スケールグループは高い忘却率（迅速な刷新）を持ち、高スケールグループは低い忘却率（安定した抽象概念の持続）を持つ。
スケール間適応 (Inter-Scale Adaptation): ゲート付きクロススケール転送メカニズムにより、隣接するスケール間で知識が双方向に流れることが可能になる。ゲーティング・パラメータが情報の流れを調整し、あるレベルでの更新が隣接するレベルに情報を与えつつ、階層的な一貫性を維持するように制御する。

主な貢献

MuSix フレームワーク: 経験的距離に基づき、テスト時に世界モデルの動的な混合と進化を可能にする、マルチスケール混合世界モデル。
二段階ルーティング: スケールの決定と世界モデルの選択を明示的に分離し、適切なスケールに対してターゲットを絞った更新を可能にする新しいルーティング・アーキテクチャ。
適応メカニズム: 異なる時間的特性を尊重した、スケール内およびスケール間の適応戦略。これにより、一時的な詳細への迅速な適応と、安定した抽象概念の保持を両立させる。
実証的検証: マルチスケール推論および動的適応のベンチマークにおけるフレームワークの有効性の実証。

実験結果

著者らは、EmbodiedBench（マルチスケール推論）および HAZARD（災害シナリオにおける動的適応）を用いてMuSixを評価した。

EmbodiedBench (Habitat): MuSixは、最先端のSayCanPayベースライン（平均成功率 34.39%）に対し、6.05パーセントポイント (p.p.) の向上（40.44%）を達成した。複雑な推論 (Cpx) および視覚的理解 (Vis) タスクにおいて大幅な利得を示した。
HAZARD (火災/洪水): 火災シナリオにおいて、MuSixはFLAREに対し 1.49 p.p. の向上（43.71 vs 42.22 の救助値）を達成した。洪水シナリオでは、救助値は同程度であったものの、MuSixは損傷率を大幅に減少させており（4.65 vs ベースラインの 6.60–7.49）、より効率的な行動を示した。
実世界のロボティクス: Franka Research 3 ロボットアームを用いた実験では、MuSixは平均成功率において最強のベースライン（SayCanPay）と同等の性能（56.2% vs 58.4%）を示しながら、多様なタスクにおいて最高のワーストケース性能を達成した。
アブレーション研究: メタ・ルーターを除去すると最大の性能低下が見られ、二段階ルーティングの必要性が確認された。また、スケール依存的な忘却またはクロススケール転送を無効にすると、一貫して性能が低下し、適応メカニズムの妥当性が検証された。

意義と主張

本論文は、スケールへの意識と階層的な進化を導入することで、従来のMoEが抱える身体性AIにおける限界をMuSixが解決したと主張している。経験的距離に基づいたルーティングにより、エージェントは以下のことが可能となる：

与えられた状況に対して適切な抽象化レベルを動的に選択すること。
システム全体を破壊することなく、特定の知識粒度を更新すること（破滅的忘却の軽減）。
局所的な変化への迅速な適応と、高レベルの戦略の安定性のバランスを取ること。

著者らは、フレームワークの有効性は特定のワールドモデルのアーキテクチャではなく、ルーティングメカニズムそのものに由来すると指摘しており、様々なアーキテクチャのバリアントに対して堅牢に動作した。しかし、フレームワークが基礎となるVLMバックボーンの限界を継承していることや、より多様なロボットプラットフォームにおける広範な検証が今後の課題であることも謙虚に認めている。