技術サマリー：Key-Gram

問題定義

具身操作には、再利用可能な世界知識（物体、スキル、関係、制約）を維持しつつ、動作下での動的視覚状態に継続的に適応するモデルが求められる。現在のビジョン・言語・アクション（VLA）モデルおよびワールド・アクションモデル（WAM）は、通常、言語知識と視覚計算を共有バックボーンまたは条件付け経路内で結合している。この設計は、以下の 2 つの主要な問題を引き起こす：

1. モダリティ競合: 密結合アプローチでは、少数の指示トークンが、同じアテンションストリーム内で、大きく継続的に変化する視覚トークンのセットと競合し、指示固有の情報が希薄化する可能性がある。
2. 脆弱な知識拡張: 条件付き生成モデルにおいて、言語はしばしばプロンプトのような誘導信号としてのみ機能し、構成的世界知識は暗黙的に生成バックボーンに焼き付けられている。その結果、新しい物理領域への適応や新しい知識の獲得には、以前に獲得された世界知識を上書きする可能性のある勾配更新が必要となり、継続的適応とモジュール化された拡張が本質的に脆弱になる。

手法：Key-Gram

著者は、言語由来の世界知識と視覚状態推論を機能的に分離する条件付きメモリフレームワークであるKey-Gramを提案する。中核となる哲学は、視覚計算はシーンダイナミクス（状態進化と動作）に焦点を当て、言語は抽象タスク事前知識に対するコンパクトで再利用可能なインデックスとして機能するという点にある。

1. 疎な Key-Gram 検索

生トークンを処理する代わりに、システムは言語指示 $I$ を、タスク固有の少数のキーグラム（例：「マグカップを電子レンジに入れる」、「ドアを閉める」）のセットに分解する。

• 抽出: 軽量パーサーが、指示から固定長の知識担持単位を抽出する。
• ハッシュルックアップ: 各キーグラムは固定長の整数キーに変換され、決定論的ハッシュルックアップを介して静的メモリ埋め込みへマッピングされる。これには、複数のハッシュヘッド（$H$）と層（$\ell$）にわたってメモリインデックスを計算するための乗算 XOR ハッシュが含まれる。
• 拡張性: メモリは、複数の物理的サブテーブルから構成される論理テーブルとして組織化されている。これにより、システムは指示長（キーグラムスロットの追加）やタスク複雑性（並列サブテーブルの追加）に応じてスケーリング可能であり、バックボーンを変更する必要がない。

2. 文脈適応型融合

検索された埋め込みは、残差モジュールを介して視覚バックボーンの選択された Transformer 層に注入される：

• ゲーティング: 視覚隠れ状態（$H^{(\ell)}$）と投影されたメモリキー（$K_m^{(\ell)}$）とのスケーリングドット積を用いて、トークンごとのゲートが計算される。このゲート（$A^{(\ell)}$）は、各視覚トークンに対する検索された言語的メモリの関連性を決定し、事前知識が有用な場所でのみ注入されることを保証する。
• 畳み込み精製: ゲート処理されたメモリ特徴は、注入前に異種指示レベル知識コンポーネントを混合するため、軽量な長スパン畳み込み層を通過する。
• 残差注入: 精製された特徴は、標準的なアテンション計算の前に、元の隠れ状態に追加される（$\tilde{H}^{(\ell)} = H^{(\ell)} + \Delta H^{(\ell)}$）。

3. 予測ヘッド

メモリガイド型バックボーンは、2 つの下流経路をサポートする：

• 視覚推論: 最終層の隠れ状態は、コンパクトな将来の視覚潜在変数（視覚先見）を予測するために、クロスアテンションを介して適応される。
• 動作推論: 軽量な動作エキスパートは、バックボーンの KV キャッシュを条件付き文脈として利用し、フローマッチング去雑音を通じて動作軌跡をデコードする。

4. システム効率

メモリテーブルは、総メモリサイズに対してO(1) のルックアップを設計している。推論中、インデックスは指示と固定ハッシュ関数のみによって決定されるため、大規模な知識テーブルをホスト（CPU）メモリに保持することが可能であり、バックボーンは視覚推論に集中したままとなる。

主要な貢献

1. 機能的に分離されたフレームワーク: Key-Gram は、指示側の世界知識検索と視覚側の物理推論を分離し、具身制御におけるモダリティ競合を軽減する。
2. 拡張可能な外部メモリ: 再利用可能な言語事前知識を、決定論的ハッシュルックアップを介してアクセスされる構造化メモリに格納する。これにより、バックボーンの重みを再記述することなく、モジュール化された知識拡張（新しい物体、スキル、または関係の追加）が可能になる。
3. 一貫した性能向上: このアプローチは、多様な言語定式化および環境全体で、構成的グラウンディング、転移、および適応の向上を実証している。

実験結果

著者は、$\pi0$ および $\pi0.5$ バックボーンを使用して、RoboTwin2.0、LIBERO、LIBERO-Plus、および実世界双腕操作タスクにおいて Key-Gram を評価した。

• RoboTwin2.0: Key-Gram は、$\pi0$ で平均成功率を29.5%、$\pi0.5$ で**9.9%**向上させた。向上は「Hard」設定および長い時間範囲において特に顕著であった。
• LIBERO-Plus 転移: LIBERO で学習されたモデルから LIBERO-Plus へのゼロショット転移（対象ドメインの微調整なし）において、Key-Gram は $\pi0$ で35.8%、$\pi0.5$ で**4.5%**の相対的向上を達成した。
• 実世界長時間範囲タスク: Piper 双腕プラットフォームにおいて、Key-Gram は平均性能を $\pi0$ で15.4%、$\pi0.5$ で**8.1%**向上させた。最大の向上は組み立てタスクで観察され、メモリが物体関係とサブゴール構造の維持に寄与していることを示唆している。
• 拡張タスク: 未見の構成的ペアリング（例：物体とターゲットの再結合）において、Key-Gram は性能を大幅に向上させた（特定の転移タスクにおける $\pi0$ で +34.6% および +41.7% など）、一方、ベースモデルはこれらの再結合シナリオでしばしば失敗した。
• アブレーション研究: 層配置分析により、メモリを初期層（例：Layer 1）で注入することが最も重要であり、深い層での注入では限界効用が減少することが明らかになった。これは、外部事前知識が処理パイプラインの初期段階でバックボーンに対する指示関連の負担を軽減するという仮説を支持する。

意義と主張

本論文は、言語側の世界知識検索と視覚側の物理推論を分離することが、密結合トークン融合または粗い生成条件付けよりも、具身知能に対してより効果的な帰納的バイアスを提供すると主張している。

Key-Gram は、言語を競合するトークンストリームではなく、拡張可能なインデックスとして扱うことで、静的世界知識とオンライン物理推論の間の緊張関係に対処する。知識をモジュール化されたメモリテーブルに外部化することで、このフレームワークは以下を可能にする：

• モジュール化された知識成長: 既存の重みを上書きすることなく、新しい知識を新しいエントリとして追加できる。
• 勾配干渉からの保護: バックボーン適応中に既存メモリが保護されるため、このアーキテクチャはオープンワールド展開と継続的蓄積に自然に適合する。
• 効率的なスケーリング: O(1) ルックアップパターンとメモリから計算の分離により、視覚バックボーンの計算コストを増加させることなく、大規模知識ベースの効率的な処理が可能になる。

著者は、この軽量かつ拡張可能な方向性が、具身操作における構成的グラウンディングと転移の向上のための実用的なメカニズムを提供すると結論づけている。