🤖 AI

MIRTH: Mutual-Information Reasoning with Temporal Hubs for Vision-Language-Action Agents

MIRTHは、現在の単一フレームアーキテクチャの限界を克服するために、デュアルスケール・テンポラル・メモリー・ハブ、相互情報量最適化された潜在推論トークン、および並列ベクトル形式のアクションデコーディングスキームを統合することで、性能と効率を向上させるVision-Language-Actionエージェントのための統合フレームワークである。

原著者： Hao Sun, Yu Song, Shiyu Teng, Ziwei Niu, Yen-Wei Chen

公開日 2026-07-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hao Sun, Yu Song, Shiyu Teng, Ziwei Niu, Yen-Wei Chen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたはロボットに夕食の作り方を教えていると想像してください。あなたはシンプルな指示を出します。「キウイをまな板の上に置いてください。」

現在のロボットの脳（VLAモデルと呼ばれます）は、自分の人生の「次の1秒間」しか見ることができない人のようです。もしあなたがナイフを渡すと、彼らはナイフを見ます。しかし、あなたがタオルでナイフを覆ってしまうと、彼らは即座にナイフの存在を忘れ、作業を止めてしまいます。また、彼らは「夕食を作る」という大きなアイデアと、「腕を右に2インチ動かす」という微細な筋肉の動きを結びつけることに苦労します。最後に、彼らは動作が遅いです。一文字ずつタイピングするカタツムリのように、一つ一つの微細な動きを一つずつ考えなければなりません。

この論文では、これら3つの問題を解決する新しいロボットの脳の構築方法であるMIRTHを紹介しています。以下に、簡単な比喩を用いてその仕組みを説明します。

1. 「デュアルスケール・メモリ」（短期的な注意力の欠如を解決する）

現在のロボットには「時間的近視眼（temporal myopia）」があります。もし物体が見えなくなると、彼らはそれを追跡できなくなります。

MIRTHは、ロボットに2種類のメモ帳を与えます：

「長期ワークスペース」のメモ帳： これは、部屋のレイアウトに関する、ゆっくりと安定した記憶のようなものです。「まな板は左側にある」といったことを記憶します。たとえロボットが数秒間、何かに遮られてまな板を見ることができなくても、これを覚えています。この記憶を滑らかで安定したものにするために、特別な数学的トリック（指数移動平均）を使用しています。
「短期モーション」のメモ帳： これは、「カップが右方向に速く動いている」といった素早い変化を追跡する、テンポの速いメモ帳です。過去数秒間の動きを詳細に記憶します。

比喩： 車を運転している場面を想像してください。「長期」記憶は、ハイウェイの出口がもうすぐ来るというあなたの知識です。「短期」記憶は、目の前の車がブレーキをかけたときのアクションです。MIRTHはこれらを組み合わせることで、たとえ物体が隠れてしまっても、ロボットが迷子にならないようにします。

2. 「サイレント・プランナー」（推論のギャップを解決する）

ロボットは、人間の言葉を物理的な動作に翻訳することに苦労することがよくあります。彼らはランダムに予測するか、あるいは言葉と動きが完璧に一致しないために行き詰まってしまいます。

MIRTHは**「潜在的推論トークン（Latent Reasoning Tokens）」**を導入しています。

比喩： ロボットがレシピに従おうとしている場面を想像してください。指示を叫ぶ代わりに（「スプーンを持ち上げる、左に動かす、瓶を開ける」など）、MIRTHはロボットの脳内に一連の**静かで目に見えない「思考の吹き出し」**を作り出します。これらの吹き出しは言葉ではなく、純粋な「意図」です。
システムは、これらの思考の吹き出しが、指示（「引き出しを開けて」）と動作（腕を動かすこと）を繋ぐために、正確に適切な量の情報を含むように訓練されています。これは、人間がすべての動きに対してマニュアルを書かなくても、「何をしたいか」と「何をすべきか」の間の溝を埋める秘密のコードのようなものです。

3. 「パラレル・エンジン」（速度の問題を解決する）

古いロボットは、「自己回帰的（autoregressive）」であるため動作が遅いです。これは、文章を一文字ずつ書くときのように、一つの微細な動きを計算し、次に、その次に、と繰り返すことを意味します。もしロボットが6つの方向に腕を動かす必要がある場合、彼らは6つの異なる文字を、一つずつ順番に書かなければなりません。

MIRTHは**「並列アクション・デコーディング（Parallel Action Decoding）」**を使用します。

比喩： 文章を一文字ずつ書く代わりに、MIRTHは単語全体を一度に書き上げます。計画を確認し、全関節の動きのベクトル（方向と速度のフルセット）を、一度の瞬発的なバーストとして出力します。
これにより、ロボットは驚異的な速さで動き、ボールをキャッチする時の人間のように、リアルタイムで反応できるようになります。

結果：何が起きたのか？

研究者たちは、2つの場所でMIRTHをテストしました：

ビデオゲーム・シミュレーション（LIBERO）： 彼らはロボットに、「引き出しを開け、スプーンを入れ、そして閉める」といった、長い時間をかけて何かを覚えている必要があるタスクを与えました。
- 結果： MIRTHはほぼ100%の確率で成功しました。物体が隠れたり動いたりしても、混乱することはありませんでした。彼らはそれらがどこにあるかを記憶し、ミスから回復しました。
実機のロボットアーム（LeRobot）： 彼らは実際のキッチンにある実機のロボットにこのコードを載せました。
- 結果： ロボットは、カテゴリー（例：「赤いものをすべてここに置いて」）に基づいて果物や野菜を整理するといった複雑なタスクをこなすことができました。他のロボットよりもエラーからの回復に優れていました。もし果物を落としたとしても、ただ諦めるのではなく、何が間違ったのかを理解し、再び試みることができました。

まとめ

MIRTHは、ロボットの脳のアップグレードです。

記憶する： 過去を覚えているので、隠れた物体を忘れません。
考える： 言葉と動作の架け橋となる、効率的な秘密の言語で思考します。
動く： 一つずつではなく、すべての動きを一度に計算することで、速く動きます。

この論文は、これによりロボットがより信頼性が高く、より速くなり、現実世界での複雑で長いタスクをこなせるようになることを主張しています。コードとデータは、他の人々が利用できるように公開されています。

技術要約: MIRTH – 視覚・言語・行動エージェントのための相互情報量推論と時間的ハブ

1. 問題提起

Vision-Language-Action (VLA) モデルは、ウェブスケールのデータから物理的なロボット制御へと意味的知識を転移させる能力を示してきた。しかし、現在のオープンソースのVLAアーキテクチャには、長期間のタスクや動的なタスクへの適用を妨げる3つの本質的な構造的限界が存在する：

時間的な近視眼（Temporal Myopia）: 最先端の多くのVLAは単一フレームのレジームで動作し、即時的な観測のみに基づいて行動をデコードする。これにより、堅牢な意思決定に不可欠な豊かな時間的手がかり（例：動きの傾向、遮蔽中の物体の永続性）が破棄されてしまう。一部のアプローチは時間的なチャンキングを取り入れているが、大規模視覚言語モデル（VLM）のような汎用化可能な意味理解を欠いていることが多い。
推論のギャップ（Reasoning Gaps）: 高レベルの言語的目標と低レベルの運動コマンドとの間に断絶がある。既存の手法は、入力を直接行動にマッピングするか（解釈性に欠ける）、あるいは手作業で作られた語彙によって監督された離散的な行動トークンに依存しており、多様な記述が同一の動作にマッピングされる「多対一」の問題に直面している。
推論の非効率性（Inference Inefficiency）: 標準的な戦略は連続的な行動次元を離散的なトークンに量子化しており、一つの操作に対して長いトークンシーケンスの自己回帰的な生成を必要とする。これは深刻なレイテンシのボトルネックを生み出し、拡散ポリシー（diffusion-based policies）と比較して、リアルタイムかつ高頻度な制御を計算量的に困難にしている。

2. 手法: MIRTH フレームワーク

これらの課題に対処するため、著者らは、事前学習済みのVLAバックボーンに3つの主要な革新を組み込んだ統一フレームワークである MIRTH (Mutual-Information Reasoning with Temporal Hubs) を提案する。

2.1 二重スケールの時間的メモリハブ

コンテキストウィンドウを膨張させることなく時間的な近視眼性を克服するために、MIRTHは履歴情報を固定長のプロンプトに圧縮する2つのメモリメカニズムを導入する：

ワークスペースメモリハブ（長期）: 異なる減衰率を持つ $K$ 個の指数移動平均（EMA）を保持する。このハブは、長期間にわたってシーンレベルのエビデンス（例：レイアウト、物体の永続性）を蓄積し、物体が遮蔽されている間でもモデルが物体を追跡することを可能にする。
短期間メモリハブ（短期）: 直近のフレーム（ $w$ フレーム）の固定長キューを保持する。これは、微細な運動力学（速度と変動性）を捉えるために、直近性を重視した時間的アテンション分布を計算する。
統合: これらのハブは、パッチごとのシグモイドゲートを介して融合され、Prefix 戦略（メモリトークンをシーケンスに追加する）または Infusion 戦略（パッチ埋め込みを変調する）を用いて現在のフレームの表現に統合される。これにより、一定のトークン数を維持しながら、任意の履歴に基づいた条件付けが可能になる。

2.2 相互情報量による潜在的推論

中間的な計画ステップにおいて、高価で曖昧なテキストによる監督に頼る代わりに、MIRTHは一連の学習可能な潜在的推論トークンを導入する。

目的: これらのトークンは、コントラスティブな**相互情報量（MI）**目的関数（InfoNCE損失に基づく）によって最適化される。
メカニズム: 推論トークンは、マルチモーダルなコンテキスト（視覚情報 + 指示）と行動出力の間に配置される。学習目的は、以下の間の相互情報量を最大化することである：
1. 推論表現とマルチモーダルコンテキスト（ $L_{rx}$ ）
2. 推論表現と対応する行動軌跡（ $L_{ra}$ ）
結果: これにより、潜在トークンが特定のテキストによる合理化にコミットすることなく、視覚的観測と行動の意図を整合させる「意味的計画空間」をエンコードすることを強制し、推論のギャップを効果的に埋める。

2.3 並列行動デコーディング

自己回帰的なスカラーデコーディングの効率性のボトルネックを解決するために、MIRTHは並列行動デコーディングスキームを採用している：

ベクトル単位の予測: 全ての自由度（DoF）に対してトークンのシーケンスを生成する代わりに、モデルはフルアクションベクトル（チャンク）ごとに1つの行動トークンを割り当てる。
並列生成: 行動トークンの隠れ状態が与えられると、全行動軌跡は逐次的ではなく、軽量な投影ヘッドを介して並列にデコードされる。
利点: これにより、行動トークンシーケンスの長さを $1/N_F$ 倍（ $N_F$ はDoFの数）に短縮し、デコーディングレイテンシを大幅に低下させ、リアルタイム展開に適した高スループットの制御を実現する。

3. 主な貢献

アーキテクチャ: コンテキストウィンドウを拡大することなく、長期的なシーンレイアウトと短期的なダイナミクスを保持するために、二重スケールの時間的メモリハブを統合した新しいVLAアーキテクチャ。
推論メカニズム: 明示的なテキストによる監督を回避し、知覚と制御の間に意味的な架け橋を作る、ラベル効率の高い相互情報量駆動の潜在的推論トークンの学習手法。
効率性: 自己回帰的なスカラー生成を置き換える並列ベクトル単位のデコーディングパラダイムにより、統一されたトークンベースのインターフェースを維持しながら、高い制御スループットを実現。
評価: LIBERO シミュレーションベンチマークおよび実世界の LeRobot プラットフォームにおける包括的な検証により、最先端の性能と創発的なエラーリカバリ能力を実証。

4. 実験結果

著者らは、シミュレーションおよび実機ハードウェアの両方において、強力なベースライン（OpenVLA, Octo, Diffusion Policyなど）に対してMIRTHを評価した。

LIBERO シミュレーション: MIRTHはすべてのスイートにおいて飽和に近い性能を達成した。特に、長期間のコンテキストを必要とする困難な LIBERO-Long スイートにおいて、MIRTHは 95.3% の成功率を達成し、OpenVLA (53.7%) や他のSOTAモデルを大幅に上回った。
LeRobot 実機: 物理的なシングルアームマニピュレータにおいて、MIRTHは複雑な推論シナリオ（例：可動物体や多段階のレシピの操作）において優れた堅牢性を示した。軽量なベースラインに匹敵する高い推論スループットを維持した。
アブレーション研究:
- 時間的メモリハブを除去すると、性能が大幅に低下（最大2.1%）し、長期間のタスクにおけるそれらの必要性が確認された。
- MI推論目的関数を除去すると性能が低下し、意図と行動を整合させるための潜在トークンの役割が検証された。
- エラーリカバリ: MIRTHは、失敗を検知して再計画を行うという創発的な 12.1% のエラーリカバリ率を示したが、単一フレームのベースラインは無視できる程度のリカバリ（<10%）しか示さなかった。
時間的グラウンディング: 線形プロービングにより、MIRTHの埋め込みが単一フレームモデルよりも高次の運動微分（速度）をより良くエンコードしていることが確認された。感度テストでは、時間的履歴をシャッフルすると成功率が著しく低下し、モデルが因果的な時間的一貫性に依存していることが証明された。

5. 意義と主張

本論文は、MIRTHがVLAモデルを複雑で現実世界のロボットタスクに実行可能にするための重要な一歩であると主張している。メモリと推論をトークン空間内で明示的に構造化することで、MIRTHは現在のアーキテクチャを悩ませている「時間的な近視眼」と「推論のギャップ」に成功的に対処している。

著者らは、彼らのアプローチが以下を可能にすると強調している：

堅牢性: 遮蔽や長い遅延が発生しても、物体の状態と計画の一貫性を維持する能力。
効率性: 自己回帰的なデコーディングのオーバーヘッドによって制限されていた、リアルタイム制御能力。
創発的能力: 潜在的推論トークンが自発的に意味的なクラスターへと組織化され、明示的なプログラミングなしに失敗時に動的な再計画を可能にする。

この研究は、VLMの意味的な豊かさと、物理的エージェントに求められる精密で履歴を考慮した制御を両立させる統一されたフレームワークとして提示されている。著者らは、解釈性（潜在トークンは不透明である）やエンボディメントの範囲（現在はシングルアーム）に関する限界についても言及しているが、MIRTHをより有能なエンボディドAIに向けた基礎的なステップとして位置づけている。