Uni-Skill: Building Self-Evolving Skill Repository for Generalizable Robotic Manipulation

本論文は、固定されたスキルライブラリの制約を克服し、大規模なロボット動画から自動構築された階層的スキルリポジトリ「SkillFolder」を活用して、既存スキルが不足する際に自動で新規スキルを実装・進化させることで、新規タスクへのゼロショット汎化能力を飛躍的に向上させる新しいロボット操作フレームワーク「Uni-Skill」を提案するものである。

要約

この論文は、ロボットが新しい仕事を覚えるのを助ける「Uni-Skill（ユニースキル）」という新しい仕組みについて書かれています。

これまでのロボットは、「本に載っている手順（スキル）」しか知らなかったため、本に載っていない新しいことを頼まれると、すぐに「できません」と言ってしまうのが悩みでした。Uni-Skill は、この問題を解決するために、**「自分で本を書き足し、新しい仕事を覚えてしまうロボット」**を作りました。

わかりやすくするために、いくつかの比喩を使って説明しますね。

1. 従来のロボット vs Uni-Skill のロボット

• 従来のロボット（固定された辞書）
  Imagine（想像してみてください）ある料理人がいて、彼の手元には「お寿司の作り方」や「天ぷらの作り方」しか載っていない辞書しかありません。
  もしお客様が「じゃがいもを皮むきして、炒めて、塩を振って」という新しい注文をしたら、この料理人は辞書に「じゃがいも炒め」のページがないため、途方に暮れてしまいます。辞書に載っていないことは、人間が手取り足取り教えてあげない限りできません。

• Uni-Skill のロボット（生き生きとした図書館）
  Uni-Skill は、「自分の辞書を自分で更新できる料理人」です。
  「じゃがいも炒め」の注文が来ると、彼はまず「あ、この作業は今の辞書に載ってないな」と気づきます。そして、「じゃがいもを炒める」という新しいページを、自分で辞書に追加します。
  さらに、そのページには、インターネットにある「じゃがいも料理の動画」からヒントを得て、具体的な手順（包丁の動きや火加減）を自動で書き込みます。

2. Uni-Skill の 2 つのすごい能力

このロボットがどうやって新しいことを覚えるのか、2 つのステップで説明します。

ステップ A：「足りないもの」を見つける（スキル認識プランニング）

ロボットは、人間からの指示（例：「机を拭いて」）を聞くと、まず自分の持っている「基本スキル（物を掴む、置くなど）」でできるかチェックします。
もし「机を拭く」という動きがなければ、「あ、これは新しいスキルが必要だ！」と自分で判断し、「机を拭くための新しい手順の説明」を自分で作ります。
これは、**「料理人が、新しいレシピを自分で考案して辞書に追加する」**ようなものです。

ステップ B：「動画」から自動で学ぶ（自動スキル進化）

新しい手順を作った後、ロボットはどうやって実際に動かすのでしょうか？
ここで登場するのが**「SkillFolder**（スキルフォルダ）という巨大な図書館です。
この図書館には、世界中のロボットや人の「作業動画」が山ほど溜まっています。しかし、普通の動画は整理されていません。Uni-Skill は、この動画たちを**「動詞**（例：拭く、切る、回す）という辞書（VerbNet）を使って、自動的に整理整頓します。

• 比喩: 無数の料理動画が散らばっている倉庫を、**「和食」「中華」「洋食」「野菜料理」**のように、自動的に分類して棚に並べる作業です。
• 効果: 「机を拭く」という指示が出ると、Uni-Skill はこの整理された図書館から、「机を拭いている動画」を瞬時に見つけ出します。そして、その動画の動きを参考にして、ロボット自身で「じゃがいもを炒める」動作をゼロから作り上げます。

3. なぜこれがすごいのか？

• 人間の手間がいらない: これまでは、新しい作業をロボットに教えるために、人間が何度も何度も手本を見せる必要がありました。Uni-Skill は、**「動画を見るだけで、自分で手順を学んでしまう」**ので、人間の手間が劇的に減ります。
• どんな場所でも活躍: 実験では、シミュレーション（仮想空間）だけでなく、実際の部屋（実世界）でも、ロボットが初めて見るような複雑な作業（例：ドアを閉める、布を畳む、コーヒーを注ぐなど）を、ゼロから成功させることができました。
• 失敗しても直す: もし失敗したら、その失敗した動画も「参考資料」として図書館に保存し、次回からは「あの動きはダメだったな」と学習して、軌道修正する仕組みもあります。

まとめ

Uni-Skill は、「固定されたマニュアル」に縛られず、膨大な「作業動画」から自分で学び、新しい仕事を次々とマスターしていくロボットです。

まるで、**「本屋で新しい本を見つけ、自分で読み込んで、すぐにその知識を使って新しい料理を作れる天才シェフ」**のような存在です。これにより、ロボットは人間が教えるのを待たずに、どんな新しい仕事でも柔軟に対応できるようになるのです。

技術概要

Uni-Skill: 汎用的なロボット操作のための自己進化型スキルリポジトリ構築

技術的サマリー（日本語）

本論文は、固定されたスキルライブラリに依存する既存のロボット学習アプローチの限界を克服し、新しいタスクへの適応性を高めるための新しいフレームワーク**「Uni-Skill」**を提案しています。大規模な構造化されていないロボット動画から自動的にスキルを抽出・進化させ、ゼロショット（デプロイ時の追加実例なし）で未知のタスクを遂行することを可能にします。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 問題定義 (Problem)

現在のロボット操作における「スキル中心（Skill-centric）」のアプローチには、以下の重大な課題が存在します。

• 固定されたスキルライブラリの限界: 既存の手法は、事前に定義されたスキルセット（API）に依存しています。例えば、「服を畳む」ための API が存在しない場合、システムはそのタスクを実行できません。
• 手動介入の必要性: 新しいスキルを習得させるためには、デプロイ時に人手による実例（デモンストレーション）やウェイポイントの注釈が必要であり、スケーラビリティが低く、コストがかかります。
• 非構造化データの未活用: 大規模なロボット動画データには多様なスキルが含まれていますが、これらは非構造化であり、特定のスキルと紐付いていないため、直接的なスキル拡張のソースとして利用されきれていません。

これらの課題を解決するため、システムが「スキル不足」を検知し、新しいスキルを自動生成・実装できる**「自己進化型（Self-Evolving）」**の枠組みが必要です。

2. 手法 (Methodology)

Uni-Skill は、**「スキル認識型計画（Skill-Aware Planning）」と「自動スキル進化（Automatic Skill Evolution）」**の 2 つの主要モジュールで構成されます。

A. スキル認識型計画 (Skill-Aware Planning)

自然言語の指示と視覚観測を入力とし、タスクを実行可能にする計画を生成するモジュールです。

• スキル充足性の判别: 既存の基本スキルセットで指示されたタスクが実行可能か否かを評価します。
• 欠如スキルの生成: 基本スキルが不足していると判断された場合、VLM（大規模視覚言語モデル）を用いて、必要な新しいスキルの記述（API 仕様）を自動生成します。
• 実行可能コードの生成: 基本スキルと新たに生成された拡張スキルを組み合わせて、実行可能なポリシーコードを生成します。これにより、事前に定義されていないタスク分解も可能になります。

B. 自動スキル進化 (Automatic Skill Evolution)

計画モジュールが要求した新しいスキルを、低レベルの動作シーケンスに変換するモジュールです。これには、大規模な非構造化動画から構築された階層的リポジトリ**「SkillFolder」**が中核となります。

1. SkillFolder の構築:

   • データソース: DROID などの大規模ロボット動画（350 時間以上）を使用。
   • 自動注釈パイプライン: VLM（Gemini-2.0-Flash）を用いて、動画を「手順抽出」「スキル記述」「時間的アライメント」の 3 段階で処理し、1 万 以上の実例を自動注釈します。
   • 階層的整理: 動詞の分類体系であるVerbNetを基盤とし、以下の 4 層構造でスキルを整理します。
     • 第 1 層：VerbNet クラス（抽象的な動作カテゴリ）
     • 第 2 層：動詞インスタンス（文脈や行動パターンの違い）
     • 第 3 層：スキル記述（対象物体との相互作用テンプレート）
     • 第 4 層：具体例（視覚的に接地された微細なスキルスライス）
   • 結果として、106 の VerbNet クラスと 1,659 の固有のスキル記述を持つリポジトリが構築されました。

2. Few-shot スキル実装:

   • 計画モジュールから要求された新しいスキルに対し、SkillFolder から意味的に最も関連する実例を検索します。
   • 検索された実例から**「意味的制約（接触点、ウェイポイントの制約）」と「空間軌道（2D/3D 軌跡）」**を抽出し、これらをコンテキスト例として利用します。
   • 抽出された情報を基に、ターゲットタスクの視覚観測と組み合わせて、実行可能な 6-DoF（6 自由度）の軌道と姿勢を生成します。これにより、デプロイ時の実例なしで新しいスキルを推論・実行できます。

3. 主要な貢献 (Key Contributions)

1. 自己進化型フレームワークの提案: 固定されたスキルライブラリに依存せず、タスク実行中に不足するスキルを自動検知・生成・実装するユニファイドフレームワーク「Uni-Skill」を開発しました。
2. SkillFolder の構築: 大規模な非構造化ロボット動画から、VerbNet に基づく階層的なスキル分類体系を自動構築し、1 万 以上の注釈付き実例を含むリポジトリを公開・利用可能にしました。
3. ゼロショット汎化の実現: デプロイ時の追加実例や手動注釈なしで、未知のタスク（特に長期的なタスクや複雑な軌道が必要なタスク）を高い成功率で実行可能にしました。
4. 効率的なFew-shot 推論: 検索された実例からの意味的制約と軌道参照を組み合わせることで、新しいスキルの迅速な実装を可能にしました。

4. 実験結果 (Results)

シミュレーション（RLBench）および実世界（Franka Emika ロボットアーム）での評価を行いました。

• シミュレーション環境 (RLBench):
  • 基本スキル内タスク: 既存の手法（CaP, MOKA）と比較し、視覚的接地が必要なタスクで優れた性能を示しました。
  • 基本スキル外タスク（未知のスキル）: 事前定義されたスキルセットに含まれない 10 のタスクにおいて、Uni-Skill は**31.0%**の成功率向上（MOKA 対比）を達成しました。特に「Revolute（回転）」や「Prismatic（直動）」などの複雑な動作で顕著な差が見られました。
• 実世界環境:
  • 8 つの多様な実世界タスク（例：布を畳む、ドアを閉める、ブロックを混ぜるなど）において、平均成功率**73%**を達成しました。
  • 既存の手法（CaP: 0%, MOKA: 39%）を大幅に上回り、特に「布を畳む」や「ブロックを混ぜる」など、道具の使用や軌道推論が求められる複雑なタスクで高い安定性を示しました。
• アブレーション研究:
  • スキル更新メカニズムを無効化すると、ほとんどのタスクで失敗することが確認されました。
  • 意味的制約と空間軌道参照の両方が、タスクの種類（接触敏感なタスク vs 精密な空間推論が必要なタスク）に応じて重要な役割を果たしていることが示されました。

5. 意義と将来展望 (Significance)

• パラダイムシフト: ロボット学習において、スキルを「固定的な API プリミティブ」ではなく、「拡張可能で進化し続けるエンティティ」として捉える新しいパラダイムを提示しました。
• スケーラビリティとコスト削減: 人手による注釈やデモンストレーション収集に依存せず、既存の非構造化動画データを活用することで、スキルライブラリの拡張を効率的かつ低コストで行えるようになりました。
• 実用性: 未知の環境や指示に対しても柔軟に対応できるため、実世界の多様なタスクを扱う汎用ロボットの開発に大きく貢献します。

今後は、機械的性質と意味的カテゴリを同時に考慮したスキル検索メカニズムの探求や、より多様なデータソース（人間の視点からの動画など）からの品質向上が今後の課題として挙げられています。