技術要約：ビヘイビア・プロンプティング・ポリシー (BPP)

問題提起

ロボットに新しいスキルを教える際、従来の手法では各タスクごとに徹底的な再学習や微調整が必要であり、これは非効率的で迅速な展開を制限します。大規模言語モデルは、テスト時に少数の例示を通じて新しいタスクに適応する「インコンテキスト学習（in-context learning）」において成功を収めていますが、ロボティクスにおける操作（manipulation）の分野では、同様の能力の達成は遅れています。既存のアプローチは、言語による記述やゴール画像に依存することが多いですが、これらはタスクを実行するために必要な具体的な空間的・時間的実行に関する情報を不完全なものにする可能性があります。さらに、ロボティクスにおける多くの少数学習手法は、勾配更新を伴うメタ学習や明示的な空間変換に依存しており、多様性の高いタスク分布へのスケーラビリティに欠ける場合があります。

著者らは、ビヘイビア・プロンプティング（Behavior Prompting）というパラダイムを提案します。これは、推論時にたった一つの人間によるデモンストレーション（「ビヘイビア・プロンプト」）を与えられることで、ロボットが新しいタスクを実行する手法です。このプロンプトは、ロボットの感覚運動空間における観測、固有受容感覚、およびアクションで構成され、タスクを定義すると同時に、それをどのように実行するかという具体的な例を提供します。

手法

1. ビヘイビア・プロンプティング・ポリシー (BPP)

核心となるアルゴリズム的貢献は、ビヘイビア・プロンプトと現在の観測をロボットのアクションへと変換するための、インコンテキスト視覚運動アーキテクチャであるビヘイビア・プロンプティング・ポリシー (BPP) です。このアーキテクチャは、主に3つのコンポーネントで構成されています。

• プロンプトのチャンキングと埋め込み（Prompt Chunking & Embedding）: ビヘイビア・プロンプト（観測、固有受容感覚、アクションのシーケンス）は、効率化のために時間的にダウンサンプリング（通常は1Hz）されます。このシーケンスは「チャンク」に分割されます。各チャンクには、1ステップ分の観測 ($o$) と固有受容感覚 ($q$)、および次のチャンクに至るまでのアクション ($a$) のシーケンスが含まれます。**アテンション・プーリング（Attention Pooling）**メカニメントにより、$\{o, q, a\}$ を単一のチャンク埋め込み ($p_i$) に統合します。
• プロンプト・エンコーダ（Prompt Encoder）: これは、現在の観測を条件として、プロンプトシーケンス ($P = [p_0, \dots, p_n]$) から関連情報を抽出するトランスフォーマー・デコーダです。現在の観測はトークン化され、プロンプトのチャンク埋め込みとの**クロスアテンション（cross-attention）**を通じて処理されます。これにより、モデルはプロンプトのデモンストレーションと現在の環境との間の時間的な対応関係や空間的な差異を特定することができます。
• アクション・デコーダ（Action Decoder）: 抽出されたプロンプト情報は、現在の観測および拡散タイムステップと結合され、拡散モデル（具体的にはFiLMコンディショニングを備えたCNNベースのアーキテクチャ）に送られます。デコーダは、クローズドループのアクションを生成するために反復的にノイズを除去（デノイジング）します。

学習戦略: BPPは、マルチタスク模倣学習データセットを用いた標準的な行動クローニングを用いて学習されます。各学習ステップでは、1つのデモンストレーションがプロンプトとしてサンプリングされ、同じタスクの他のデモンストレーションから、後退ホライゾン（receding horizon）の観測と未来のアクションがバッチとしてサンプリングされます。決定的なのは、プロンプトと学習バッチの間に明示的な空間的または時間的な対応関係を強制しないことです。モデルは、プロンプトを活用するようにエンドツーエンドで学習されます。

2. iPhUMI インターフェース

ビヘイビア・プロンプティングのデータ要件に対処するため、著者らはハンドヘルド操作インターフェースであるiPhUMIを導入しています。これはUMIグリッパーを転用したもので、GoProをiPhone 15 Proに置き換えています。主な特徴は以下の通りです。

• 即時ローカライゼーション: デバイス上のARKitを利用したリアルタイムSLAMを活用し、面倒な環境マッピングを不要にします。
• ワイヤレス・プロンプティング: 人間のオペレーターがビヘイビア・プロンプトをワークステーションにワイヤレスで送信することを可能にし、新しいタスクに対してテスト時に即座にポリシーをコンディショニングできます。

評価とベンチマーク

著者らは、単一タスクの複雑さではなく、高いタスク多様性に焦点を当てた、テスト時適応を評価するための2つの新しいベンチマークを導入しています。

1. DrawAnything: 連続的で微細なアクション適応を必要とする描画環境（シミュレーションおよび実世界）。
   • Sim (シミュレーション): 2,000個のプロシージャルに生成されたタスクで学習し、未知の50個の人間による描画でテスト。
   • Real (実世界): iPhoneのリストカメラを備えたARXロボットアームを使用。1,000個のタスクで学習し、未知の10個のタスクでテスト。
2. LIBERO-Gen: LIBERO操作ベンチマークを大幅に拡張したものです。
   • Combination (組み合わせ): 10個のタスクを174個に拡張。「2つの同一のボウルから1つを選び、9つの場所のいずれかに置く」能力をテストします。
   • Chain (連鎖): 10個のタスクを321個に拡張。「引き出しを開け、次に物体を置く」といった、逐次的な2ステップの相互作用をテストします。

主な結果

• 優れた適応能: 未知の描画タスク（DrawAnything-Sim）において、BPPはゴール画像（Goal-Image）ベースラインと比較して80.7%のエラー削減を達成し、ICRT（先行するビヘイビア・プロンプトモデル）と比較して33.3%の削減を達成しました。
• 複雑さに対する堅牢性: LIBERO-Genベンチマークにおいて、BPPはベースライン（Goal-Image、言語、およびICRT）を上回り、10万ステップのLoRA微調整を行った基礎VLAモデルである $\pi_{0.5}$ に匹沢しました。なお、BPPは基礎学習（foundation pretraining）を行っていません。
• アテンション・メカニズム: プロンプト・エンコーダのアテンションの可視化（図5）により、BPPがタスクの進行を効果的に追跡していることが明らかになりました。連続的なタスク（描画）では、アテンションはプロンプトに密接に従い、離散的なタスク（LIBERO）では、アテンションは「マイルストーン」（例：次に相互作用すべき物体）を追跡します。
• データ要件: 系統的なアブレーション研究により、タスクの多様性がプロンプティング能力の主要な原動力であることが示されました。少数のタスクに対して多くのデモンストレーションを集めるよりも、より多くの異なるタスクに対して少ないデモンストレーションを集める方が、テスト時の適応において優れた結果をもたらします。

意義と主張

本論文は、ビヘイビア・プロンプティングが、高価な微調整を行うことなく、ロボットに新しいスキルを教えるための柔軟かつスケーラブルな方法を提供すると主張しています。単一の人間によるデモンストレーションをプロンプトとして活用することで、ユーザーはタスクを指定したり、新しいロボットの能力を「その場で行（on the fly）」で定義したりすることができます。

著者らは以下の点を強調しています。

1. 特定の低レベルな振る舞いや空間的・時間的な戦略を必要とするタスクにおいては、**感覚運動プロンプト（Sensorimotor prompts）**は、言語やゴール画像よりも表現力が高い。
2. 学習データにおけるタスクの多様性は、未知のタスクへのゼロショット適応を可能にするために極めて重要である。
3. iPhUMIは、多様な学習データの収集と、テスト時のビヘイビア・プロンプトの指定の両方に役立つ実用的なインターフェースであり、人間の意図とロボットの実行の間の溝を埋めるものである。

本研究は、ビヘイビア・プロンプティングを、単一のデモンストレーションを通じて、事前学習された知識を新しい環境（例：特定の家庭）に適応させるためのステップとして位置づけています。これにより、ターゲットとなる環境と望ましい操作戦略に関する豊かな情報を提供することで、適応問題を簡素化しています。