🤖 machine learning

CLAMP: Contrastive Learning for 3D Multi-View Action-Conditioned Robotic Manipulation Pretraining

本論文は、多視点の点群とロボットの動作に対する対照学習を活用して、シミュレーションおよび実世界タスクにおけるロボット操作ポリシーのサンプル効率と性能を向上させる新たな3D 事前学習フレームワーク「CLAMP」を提案する。

原著者： I-Chun Arthur Liu, Krzysztof Choromanski, Sandy Huang, Connor Schenck

公開日 2026-05-07

📖 1 分で読めます☕ さくっと読める

原著者： I-Chun Arthur Liu, Krzysztof Choromanski, Sandy Huang, Connor Schenck

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに、マグカップを皿に乗せたり、引き出しを開けたりする家事を教えることを想像してみてください。過去には、科学者たちは人間がこれらのタスクを実行する数千の動画を見せることでロボットに教えようとしました。ロボットは動きを模倣しようとしますが、世界を「2D」（平らな写真のようなもの）として見ていたため、しばしば苦労しました。カップが奥行きを持つ固体の物体であることや、それを掴むために何らかのものの「周りに」手を伸ばす必要があることを、本当には理解できていなかったのです。

この論文は、特定の家事を学び始める前にロボットに「3D の脳」を与えるような、ロボットを訓練する新しい方法であるCLAMPを紹介しています。

以下に、その仕組みを簡単な概念に分解して説明します。

1. 問題：平面視覚対 3D 視覚

標準的なロボットカメラを、人間が絵画を見ていることに例えて考えてみてください。色や形は見えますが、奥行きは感じられません。ロボットがドライバーを掴もうとすると、物体の周りの 3 次元空間を十分に把握していないため、見当違いになるかもしれません。

CLAMP の解決策： 単に平面の画像を見るのではなく、CLAMP は3D ポイントクラウドを構築します。ロボットが見るすべての表面を表すために、100 万個の小さな点を配置すると想像してください。これにより、ロボットは世界を「固体」として理解し、物体の端や角が 3 次元空間のどこに正確にあるかを知ることができます。

2. 「ジム」での訓練（事前学習）

ロボットが特定のタスク（引き出しを開けるなど）を実行する前に、コンピュータシミュレーション内で大規模な「ジム」セッションを受けます。これを事前学習と呼びます。

トレーニング： ロボットは、数百万回にわたるシミュレーションされたロボット動作を観察します。
教訓： ロボットは以下の 3 つを結びつけることを学びます。
1. 何を見るか（物体の 3D 形状）。
2. 何をするか（腕の動きの履歴）。
3. 何を言われるか（「缶切りを左の棚に入れる」といったテキスト記述）。
魔法のトリック（対照学習）： 「記憶力ゲーム」を想像してください。ロボットはシーンの画像と行動のリストを見せられます。正しい画像と正しい行動を一致させる必要があります。ドライバーの画像に「ドライバーを掴む」という行動を一致させればポイントが加算され、ドライバーの画像に「ハサミを掴む」という行動を一致させればポイントが減ります。数百万回の試行を通じて、物体を「見る」ことと、それを掴むためにどのように動くべきかを「知る」ことの間の深い関連性を学習します。

3. 「手首カメラ」の利点

この論文の大きな発見の一つは、ロボットが天井の固定カメラだけでなく、自らの手から物を見る必要があるということです。

比喩： 誰かが壁に懐中電灯を当てている間、針に糸を通そうと想像してみてください。難しいことです。しかし、自分で懐中電灯を持てば（「手首からの視点」）、自分が何をしているかを正確に見ることができます。
CLAMP のアプローチ： ロボットの腕に取り付けられたカメラをシミュレーションします。これにより、ロボットは自らの腕が視界を遮っている場合でも物体を明確に見ることができ、これは高精度なタスクにとって不可欠です。

4. 「先行有利」（微調整）

ロボットが「ジム」での訓練を終えると、実際のタスクを学ぶ準備が整います。

従来の方法： 通常、ゼロから始めなければならず、新しいタスクの例を数百回見せても、学習には長い時間がかかります。
CLAMP の方法： ロボットはすでに 3 次元空間と、行動が物体とどのように関連するかを理解しているため、新しいタスクを習得するために必要な例はごく少数（4,500 回のデモンストレーションなど）で済みます。これは、すでに読み書きを学んでいる学生が、新しい科目の特定の語彙だけを学べばよく、ペンの持ち方からゼロから学ぶ必要がないようなものです。

5. 結果

著者らは、CLAMP を 6 つの異なるシミュレーションタスク（缶切りをカゴに入れるなど）と 5 つの現実世界のタスク（引き出しを開ける、缶をリサイクルするなど）でテストしました。

結果： CLAMP は、他のトップ手法と比較して、学習において著しく優れており、迅速でした。現実世界では、この 3D 事前学習なしで訓練されたロボットよりも、引き出しを開けたり、マグカップを皿に乗せたりする成功率がはるかに高かったです。

まとめ

CLAMPは、ロボットのための基礎訓練のようなものです。特定の 1 つの仕事をどのように行うかを示すだけでなく、ロボットに世界を 3D で「見る」方法と、その空間内で体がどのように動くかを教えます。ロボットが 3D 物体と動きに関する一般的な「常識」を身につければ、新しい特定の家事を驚くほど迅速かつ正確に学習できるようになります。

技術的概要：CLAMP

問題提起

ロボットマニピュレーションにおいて、事前学習済みの 2D 画像表現を行動模倣に活用することが標準化されてきているが、これらのアプローチは、物体やシーンとの精密な相互作用に必要な本質的な 3D 空間情報を捉えきれないことが多い。ロボット分野における既存の事前学習手法は、大規模なロボットデータの入手可能性の限界、最適なモダリティ（例：RGB 対ポイントクラウド）に関する不確実性、および高次元の状態空間と行動空間の複雑さといった課題に直面している。さらに、3D-MVP などの先行する 3D 事前学習の取り組みは、ロボット行動データを組み込むことなくマスク付きオートエンコーダによる画像再構成に依存しており、3D 知覚と行動パターンの間の関係を学習する上でギャップが残されている。

手法

著者は、大規模なシミュレーションロボット軌道における対照学習を通じて、頑健な 3D 画像および行動表現を学習するためのフレームワークであるCLAMP（Contrastive Learning for 3D Multi-View Action-Conditioned Robotic Manipulation Pretraining）を提案する。

1. データ表現とレンダリング

ポイントクラウド構築: システムは、RGB-D 画像とカメラの外部パラメータからシーンポイントクラウドを構築し、外観の汎化性を向上させるために RGB 色を省略する。
マルチビュー再レンダリング: 標準的な直交ビューの代わりに、CLAMP は 5 つの仮想ビューポイント（天頂、左前、右後という 3 つの固定ビュー、およびグリッパーに取り付けられた 2 つの動的な手首ビュー）から、シーンDepth、X、Y、Z 座標の 4 チャンネル画像として再レンダリングする。動的な手首ビューは、遮蔽を軽減し、高精度タスクのための明確な観測を提供するように特別に設計されている。
テキスト入力: テキスト入力には、高レベルのタスク記述、物体名、正規化されたグローバル位置、およびタスク進行度の整数値が含まれる。これらはシミュレータのグランドトゥルースから導出され、表現を接地させるために事前学習中にのみ使用される。

2. モデルアーキテクチャ

CLAMP は、対照学習を通じて訓練される 3 つのエンコーダを採用する。

画像エンコーダ: STRING相対位置符号化を利用する Vision Transformer（ViT）。標準的な位置符号化とは異なり、STRING はポイントクラウドから導出された 3D 座標（可視点の重心）を使用して、異なるビューにまたがるトークンを相関させる。これにより、モデルは 3D 構造を暗黙的に学習し、類似の 3D 領域に対応する異なる 2D ビューからのトークンを相関させることができる。
行動エンコーダ: 過去の行動チャンクの履歴を処理する Transformer エンコーダ。
テキストエンコーダ: タスクと物体の記述を処理する CLIP ベースのテキストエンコーダ。

3. 対照事前学習目的

これらのエンコーダは、画像 - テキスト、画像 - 行動、テキスト - 行動の 3 つのモダリティペアに対して SigLIP 型の損失を最小化するように訓練される。この目的は、一致するトリプレット $(I, T, A)$ の埋め込みを互いに近づけ、不一致のトリプレットを遠ざける。これにより、モデルは空間的および時間的なタスク記述を条件として、将来の状態を推論できる行動パターンと、行動履歴を推論できる画像表現を学習することが促される。

4. 拡散方策の事前学習と微調整

並列事前学習: 視覚運動コントローラである拡散方策（Diffusion Policy）が、同じシミュレーションデータセット上でエンコーダと並行して事前学習される。この方策は、下流タスクのサンプル効率を向上させるために、事前学習済みの重みで初期化される。
微調整: 下流タスクでは、方策が限られた数のタスク固有の実演データで微調整される。この段階では、CLAMP エンコーダは固定され、画像および行動の埋め込みを抽出する。これらは、RGB 特徴（ResNet-50 から）および固有受容感覚データと連結される。これらは、次の 50 歩の行動ステップに対するノイズを予測するために Transformer エンコーダ - デコーダに入力される。

主要な貢献

新規 3D 事前学習フレームワーク: ロボット行動と動的な手首ビューを活用した 3D 対照事前学習を行う CLAMP の導入。
3D 座標への STRING の適用: ポイントクラウド（深度マップではなく）から直接導出された 3D 座標を使用してマルチビュー観測にまたがるトークンを相関させる、STRING 相対位置符号化の初適用。
動的ビューの重要性: 動的な手首ビューが高精度マニピュレーションタスクにとって決定的に重要であることを実証。
エンコーダと方策の共同事前学習: エンコーダのみを事前学習する場合と比較して、エンコーダと拡散方策の両方を事前学習することが大幅に優れた性能をもたらすという証拠。

結果

著者は、ALOHA ロボットプラットフォームを用いて、6 つのシミュレーションタスクと 5 つの実世界タスクにおいて CLAMP を評価した。

シミュレーション: CLAMP は、ALOHA Unleashed、ACT、VLA バックボーンを含む最先端のベースラインを、6 つのすべてのタスクで大幅に上回った。例えば、「キャディ内の缶切り」タスクにおいて、CLAMP は 94.0% の成功率を達成したのに対し、事前学習済み ALOHA Unleashed は 70.0%、VLA バックボーンは 7.3% であった。
実世界: 実世界の実験において、CLAMP は 5 つのタスクのうち 4 つでベースラインを上回り、引き戸の開閉やマグカップを皿に置く作業において顕著な改善を示した。
アブレーション研究:
- 仮想手首ビューを除去すると、性能が大幅に低下した（例：「皿上のマグカップ」で -28.6%）。
- ViT を PointNet 風のバックボーン（DP3）に置き換えると、性能が低下した。
- テキストエンコーダを除去するとシミュレーションではわずかな影響しかなかったが、実世界環境では明らかな悪影響があり、視覚ノイズに対処する際にテキスト接地がより価値があることを示唆している。
- エンコーダ alongside 方策の事前学習が、高いサンプル効率のために不可欠であることが示された。

意義

本論文は、CLAMP が 3D 幾何情報とロボット行動パターンを効果的に活用することで、未見のタスクにおける学習効率と方策性能を大幅に向上させると主張している。大規模なシミュレーションデータで事前学習し、これらの学習済み表現を用いて方策を初期化することで、限られた実世界の実演データに対する微調整に必要なサンプル複雑性を低減する。この研究は、既存の 2D 手法や再構成ベースの手法と比較して、3D 知覚と行動条件付き対照学習を組み込むことが、ロボットマニピュレーションの事前学習にとって実行可能かつ優れているアプローチであることを確立している。