SkillMemo: Expert-guided Skill Memory Framework for Compositional Embodied Manipulation

ロボットに複雑な料理の作り方を教える場面を想像してみてください。単に「夕食を作れ」と伝えるのではなく、刻む、炒める、盛り付ける、配膳するといったプロセス全体のビデオを見せるのです。ロボティクスの世界では、これを「身体化された操作（embodied manipulation）」と呼び、機械が目にするものに基づいて、現実世界で自らの体を動かす方法を学ぶことを指します。長い間、科学者たちは膨大な量のビデオデモンストレーションをロボットに読み込ませることで、彼らを教えようとしてきました。「拡散ポリシー（Diffusion Policies）」や「視覚・言語・行動（Vision-Language-Action）」モデルと呼ばれる最も一般的な手法は、ビデオ全体を丸暗記する非常に賢い学生のようなものです。これらは、以前見たものを正確にコピーすることには長けています。しかし、新しい状況に直面すると壁に突き当たります。もし「リンゴをボウルに入れる」訓練を受けたロボットに「レモンを鍋に入れる」よう頼んだら、ロボットはしばなしばしばフリーズしてしまいます。それは、特定のテストの解答集を暗記しただけで、問題の順番が変わった瞬間に失敗してしまう学生のようなものです。問題は、これらのロボットが物語を構成する個々のシーンや「スキル」を理解するのではなく、ビデオの「全体」を一度に記憶しようとしている点にあります。

ここで、SkillMemoという新しいアイデアが登場します。SkillMemoは、ビデオを一つの巨大で壊れやすいブロックとして記憶させるのではなく、ロボットに「掴む」「持ち上げる」「置く」といった、再利用可能な小さな「原子的なスキル（atomic skills）」へと分解することを教えます。そして、これらのスキルを、ロボットが作業中に検索できる特別な動的なライブラリ（メモリバンク）に保存します。これは、単に「炒め物」のレシピを暗記するのではなく、「刻み方」「炒め方」「味付けの仕方」といった思考インデックスを頭の中に持っているシェフのようなものです。新しい料理を作る際、シェフはゼロから始めるのではなく、メモリから適切な「刻み」のスキルと「炒め」のスキルを取り出し、即座に組み合わせます。この論文は、ロボットにこのような「スキルメモリ」を与えることで、未知のタスクの組み合わせに対してもるべく柔軟に対応でき、より人間らしい動きができるようになることを提案しています。

問題点：組み合わせが得意ではないロボット

現在のロボットの脳は素晴らしいものですが、特有の弱点があります。彼らは大量の人間によるデモンストレーションデータで訓練され、現在の画像に基づいて次の動きを予測することを学習します。しかし、これらのモデルはしばしば、タスクを単一の、分割不可能なデータの塊として扱ってしまいます。もしロボットが「カップを持ち上げて水を注ぐ」ことを学んだとしたら、その特定のシーケンスを学習します。しかし、その後に「カップを持ち上げてジュースを注ぐ」あるいは「ボウルを持ち上げて水を注ぐ」と頼んだ場合、その正確な組み合わせをこれまで見てこなかったために、苦戦することがあります。彼らには、アクションを小さく再利用可能なパーツへと分解する能力が欠けているのです。それは、特定の曲を完璧に演奏できるが、同じ音符を使って新しいメロディを即興で作ることはできないミュージシャンのようなものです。

著者らは、解決策は単にロボットに「より多くのデータ」を与えること（それはコストがかかり困難です）ではなく、ロボットが「どのように学び、どのように記憶するか」を変えることにあると主張しています。彼らは、ロボットが「スキル」を個別に識別して保存することを学ぶ必要があると考えています。そうすることで、後でそれらを組み合わせることが可能になるからです。

解決策：「スキルライブラリ」を持つロボット

この論文では、ロボットのスキルのためのスマートな司書として機能するフレームワーク、SkillMemoを紹介しています。これは主に2つの段階で機能します。

1. ビデオをシーンに分解する（エキスパート誘導による軌跡セグメンテーション）
まず、システムはどこで一つのスキルが終わり、次が始まるのかを判断する必要があります。人間がすべての動きにラベルを貼る（これは非常に退屈な作業です）代わりに、SkillMemoは**混合エキスパート（Mixture-of-Experts: MoE）**と呼ばれる巧妙なトリックを使用します。ロボットの脳の中に、専門化された作業員のチームがいると考えてください。ロボットがデモンストレーションを見ている間、異なる作業員が交代で「当番」を務めます。ある作業員は「掴む」ことに優れ、別の作業員は「動かす」ことに、また別の作業員は「置く」ことに長けています。システムは、これらの作業員を自動的に切り替える方法を学習します。「掴む」作業員がアクティブなとき、ロボットはタスクの「掴む」フェーズにいることを理解します。これは人間のラベルなしで行われます。ロボットは動きのパターンを察知することで、自律的にスキルの境界を見つけ出すのです。

2. スキルの保存と検索（スキルレベルのメモリ）
タスクをこれらの小さく明確なスキルに分解した後、ロボットはそれらを動的なエピソードメモリバンクに保存します。これは単なるビデオファイルではなく、「やり方」の指示を凝縮したコンパクトなライブラリです。

• キー（Key）： システムは、そのスキルが使用されたときに状況がどのような状態であったかの要約（例：「ボウルが近くにあった」など）を保存します。
• 値（Value）： システムは、そのスキルを実行するための具体的な指示（どの作業員を起動させるかを指示する「ゲーティング係数」）を保存します。

ロボットが新しいタスクに直面したとき、単に推測することはありません。現在の状況を見て、メモリライブラリから最も関連性の高いスキルを検索し、それを取り出します。そして、取り出したスキルを現在の計画と組み合わせます。例えば、「レモンを鍋に入れる」必要がある場合、一つのメモリから「レモンを掴む」スキルを取り出し、別のメモリから「鍋に注ぐ」スキルを取り出し、それらを融合させて新しい、成功するアクションを作り出します。

実験結果が示したこと

研究者たちは、コンピュータ・シミュレーションと、ラボ内の実機ロボットアーム（UR5e）の2つの方法でこのアイデアをテストしました。

シミュレーションにおいて：
彼らは、標準的なロボット課題（未知のタスクへの汎用性をテストするLIBEROベンチマークや、Push-T、Franka Kitchenなどの環境）に対してSkillMemoをテストしました。

• 結果： 既存のロボットモデル（Diffusion Policyや大規模なVision-Language-Actionモデルなど）にSkillMemoを追加したところ、ロボットの性能が大幅に向上しました。
• 数値： LIBEROベンチマークにおいて、標準的なモデルであるπ0.5の成功率は**96.8%でした。SkillMemoを適用すると、これが98.0%**に跳ね上がりました。これは小さな数字に聞こえるかもしれませんが、ロボティクスの世界では、1.2%の向上は極めて大きな意味を持ちます。
• 汎用性： 最もエキサイティングな発見は、ロボットが一度も経験していないタスクの組み合わせをどれほど上手く扱えたかという点です。例えば、「イチゴをボウルに入れる」と「レモンを皿に乗せる」という訓練を受けたロボットは、「イチゴを皿に乗せる」という、その特定の組み合わせについては訓練を受けていないタスクを、自力で成功させることができました。メモリバンクによって、ロボットは「イチゴ」のスキルと「皿」のスキルを新しい方法で再利用できたのです。

現実世界において：
チームは、イチゴをボウルに入れる、バターを鍋に入れるといった5つの異なるタスクを用いて、実機のロボットアームでもシステムをテストしました。

• 結果： SkillMemoは、標準的なDiffusion Policyを一貫して上回りました。「バターを鍋に入れる」タスクでは、成功率が**62.5%から75.0%**へと向上しました。
• 未知の組み合わせ： 訓練中に見ていなかった新しい組み合わせ（例：レモンを鍋に入れる）でテストした際、SkillMemoは成功率を**57.5%から72.5%**へと改善しました。これは、ロボットが単に暗記しているのではなく、真にスキルを再結合していることを証明しました。

本論文が否定し、確認したこと

著者らは、自分たちの手法が「何ではないか」についても慎重に指摘しています。彼らは、単にロボットの脳を大きくしたり、より多くの生のデータで訓練したりすることだけが唯一の解決策であるという考えに異を唱えています。構造化されたスキルの記憶と再利用の方法がなければ、強力なモデルであっても新しい組み合わせに対して苦戦することを彼らは示しています。

また、彼らの手法は、訓練ビデオ内のすべての「スキル」に人間が手動でラベルを付けることなく機能することも確認しています。ロボットは自律的にスキルの境界を特定することを学習します。ただし、論文では、これらの結果は特定のシミュレーションと限定された実世界のタスクに基づいていることも明記されています。結果は強力ですが、これらはあらゆるロボットの問題に対する魔法の杖ではありません。成功は特定のベンチマークで測定されており、「現実世界」のテストも制御されたラボ環境で行われたものです。

なぜこれが重要なのか

SkillMemoの核心となるアイデアは、ロボットも私たちのように、複雑な動作を小さく再利用可能なパーツに分解し、それらを記憶する必要があるということです。ロボットに検索・混合可能な「スキルライブラリ」を与えることで、私たちは、予測不能で混沌とした現実世界に対処できるようになります。単にスクリプトが変わると失敗してしまう硬直した模倣者ではなく、既知の知識を使い、未経験の状況に応用できる柔軟な問題解決者へと、ロボットを進化させることができるのです。この論文は、このようなアプローチが、単に指示されたことを繰り返すだけでなく、私たちの世界に適応できる真のロボットを実現するための有望な一歩であることを示唆しています。