💻 computer science

LACE: Latent Visual Representation for Cross-Embodiment Learning

LACE は、希少なロボット固有の訓練データがあっても、スパースかつ自動生成された身体部位の対応付けを通じて人間とロボットの潜在視覚表現を整合させることで、人間の視覚的ギャップを埋めるフレームワークであり、これによりロボットは政策学習のために豊富な人間の実演データを効果的に活用できるようになります。

原著者： Yoo Sung Jang, Kanchana Ranasinghe, Cristina Mata, Yichi Zhang, Jorge Mendez-Mendez, Michael S. Ryoo

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yoo Sung Jang, Kanchana Ranasinghe, Cristina Mata, Yichi Zhang, Jorge Mendez-Mendez, Michael S. Ryoo

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに玩具を拾う方法を教えることを想像してみてください。人間がそれを完璧に行う動画が何千本も存在しますが、ロボットがそれを行っている動画はほんの数本しかありません。

問題は、人間とロボットは非常に異なって見えることです。人間の手に皮膚やしわがあり、特定の曲がり方をする5本の指があります。一方、ロボットの手に金属が使われていたり、4本の指があったり、鉤爪のように見えることもあります。これほど異なって見えるため、ロボットの「脳」（コンピュータビジョン）は混乱します。動画の中で人間の手に出会えば「あれは人間だ」と考えますが、自分の金属の手に出会えば「あれは全く別のものだ」と考えます。両者を結びつけることができないため、人間の動画から学ぶことができません。

この論文は、LACE（Cross-Embodiment Learning のための潜在空間アライメント）と呼ばれる解決策を紹介しています。簡単な比喩を使って、その仕組みを説明します。

1. 「言語」の問題

ロボットの脳を、「潜在空間」と呼ばれる複雑な言語を話す学生だと考えてみてください。この言語は、目にするものを記述するために使われます。

問題点: ロボットが人間の手に見ると、この言語の一方の方言でそれを記述します。自分の金属の手に見ると、全く異なる方言で記述します。どちらも「手」であるにもかかわらず、ロボットはそれらを無関係な単語だと考えてしまいます。
結果: ロボットは人間が話す「方言」を理解できないため、人間の動画を無視してしまいます。

2. LACE の解決策：万能翻訳機

LACE は、人間の手とロボットの手の両方に対して同じ方言を話すようにロボットに教える万能翻訳機のような役割を果たします。

ロボットのカメラ画像を人間の写真と全く同じに見えるようにすること（これは難しく、しばしば失敗します）の代わりに、LACE はロボットの脳の中で機能します。それは次のように言います。「人間の親指とロボットの親指は見た目こそ異なりますが、同じ役割を果たしています。ロボットの脳がこれらを記述する際、全く同じ内部コードを使用するようにしましょう。」

3. 学習の仕組み：「共有部分」のトリック

この翻訳機を教えるために、何千本ものロボット動画は必要ありません。ロボットの動きのたった1本の動画と、既存の人間の動画があれば十分です。

地図: システムは身体部位の「地図」を使用します。人間の親指はロボットの親指に対応し、人間の手首はロボットの手首に対応する、といった知識を持っています。
レッスン: 人間の手の写真とロボットの手の写真を取り、両方の写真の親指を指差して、「この2つのピクセルは、ロボットの脳にとって同じ意味を持たなければならない」と伝えます。
魔法: ロボットの脳を調整し、ロボットの親指を見たとき、人間の親指を見たときと同じ内部感覚を「感じる」ようにします。

4. 学習のための2つのルール

この論文では、システムがすべてを忘れることなく正しく学習するために従う2つの具体的なルールが述べられています。

ルール1：「仲介者」（意味的アライメント損失）: このルールは、ロボットに人間とロボットの身体部位を一致させることを強制します。教師が「もし人間の親指を見たら、ロボットの親指を思うのと同じ『親指らしさ』を全く同じように考えなければならない」と言うようなものです。
ルール2：「アンカー」（Gram 損失）: これは極めて重要です。親指についてだけ教えると、ロボットはコップや椅子の認識方法を忘れてしまう可能性があります。「アンカー」ルールは、「テーブルの見た目など、世界に関する一般的な知識は以前と全く同じに保ちなさい。手の考え方だけを変えなさい」と言います。これにより、ロボットが他のすべてについて混乱することを防ぎます。

5. 結果：ゼロから英雄へ

研究者たちはこれを現実世界でテストしました。

LACE なし: ロボットにゼロのロボット訓練動画を与え、人間の動画のみを与えた場合、ロボットはほぼ100%の失敗率でした。自分の手の位置を特定することができませんでした。
LACE あり: 同じ設定（ロボット動画ゼロ）を使用した場合、ロボットは**60%**の成功率を達成しました。人間の動画を見て、その動作を理解し、それを自分の金属の手にうまく適用することができました。
低データ: ロボットに自分の動画をほんの少し（通常必要な量の10%）与えた場合でも、LACE は以前よりもはるかに良いパフォーマンスを発揮するのを助けました。

まとめ

LACE は、ロボットに人間とロボットを2つの異なる種として見つけるのをやめさせる手法です。共有される身体部位（親指や手首など）に対して、ロボットの脳に同じ「内部コード」を使用するように教えることで、ロボットはインターネット上に存在する膨大な量の人間動画データから複雑なスキルを学ぶことを可能にします。それは、ロボットがその特定のタスクを実行するロボットを一度も見たことがなくても機能します。これは非常に少ないデータで動作し、ロボットが人間のように見える必要もありません。

技術的サマリー：LACE – 異種身体学習のための潜在視覚表現

1. 問題定義

本論文は、異種身体学習（cross-embodiment learning）、特に人間のデモンストレーションから学習した方策をロボットへ転移する際の課題に取り組む。自己教師あり学習（SSL）のバックボーン（例：DINO）は、一般物体における豊かなクラス間セマンティクスを符号化する標準となっているが、著者らは重要な失敗を特定している：これらの事前学習モデルは、人間の手とロボットの手との間で信頼性の高いセマンティック対応関係を確立することに失敗することである。

著者らは、この失敗が潜在特徴空間における「視覚的ギャップ」に起因すると仮説を立てる。事前学習された SSL モデルは、多様なロボット身体を欠くインターネット規模のデータセット（例：DINO 用の LVD-1689M）で訓練されている。その結果、これらのモデルは自然画像のセマンティクスを捉えることはできても、人間の身体部位（例：人間の親指）とそのロボット対応物（例：ロボットの指）との間の構造的マッピングを学習していない。既存の解決策は、しばしばこのギャップをピクセル空間（画像編集、セグメンテーション、またはインペインティングを介して）で埋めようとするが、これにより身体固有の形態が失われ、推論時の処理が必要となったり、特定のターゲットロボットへの転移に限られたりする。

2. 手法：LACE

著者らは、事前学習された SSL バックボーンの潜在特徴空間において、人間とロボットの視覚表現を直接整合させるフレームワーク、**LACE（Latent Alignment for Cross-Embodiment）**を提案する。

中核概念

LACE は、共有身体部位の構造的対応関係（例：人間のキーポイントをロボットのキーポイントにマッピングする）を疎な教師信号として利用する。これは、バックボーンの一般的なセマンティック能力を維持しつつ、潜在空間における視覚的ギャップを最小化するために事前学習されたバックボーンを微調整する。

主要コンポーネント

データ設定:
- 人間データ: 既存のキーポイント注釈付きデータセット（例：HInt の EpicKitchen サブセット）から取得。
- ロボットデータ: 単一のロボットデモンストレーションのみを必要とする。キーポイントは、前方運動学（FK）とレンダラーのセグメンテーションマスクを介して自動的に導出される。
- トレーニングペア: モデルは、異なる身体からの画像ペア（異種身体）および同一身体からの画像ペア（同種身体） $(I_a, I_b)$ で訓練される。
損失関数:
訓練目的は 2 つのコンポーネントから構成される：
- セマンティックアライメント損失（ $L_{align}$ ）: これは、キーポイントレベルの教師信号をセマンティックレベルの整合へと引き上げる。共有キーポイント $k$ $k$ に対して、この手法はキーポイントパッチと画像内の他のすべてのパッチとの類似性の分布を比較する。
  - 目標分布 $P$ （ソース画像におけるキーポイントの自己類似性）と提案分布 $Q$ （ターゲット画像における対応キーポイントの交差類似性）を定義する。
  - 損失は逆 KL 発散（ $D_{KL}(Q || P)$ ）を最小化し、ロボットのキーポイントが、人間のキーポイントと類似したセマンティック構造を潜在空間内で誘発することを促す。
  - 訓練を安定させるために、指数移動平均（EMA）ティーチャネットワークが使用される。
- グラム損失（ $L_{gram}$ ）: バックボーンの一般的な視覚理解（例：物体認識）の破滅的忘却を防ぐため、グラム損失が適用される。これは、学習可能なエンコーダと EMA エンコーダとの間のペアワイズ特徴類似性（グラム行列）の偏差を罰する。これにより、手の特徴が整合する一方で、他の特徴（背景、物体）の相対的構造は安定したまま保たれる。
総損失は以下の通りである： $L = L_{align} + \lambda L_{gram}$ 。
アーキテクチャ:
著者らは、DINOv3（ViT-S）をバックボーンとして使用し、これをLACE-DINOと表記して LACE を実装する。方策は視覚特徴のみに条件付けられ、視覚ドメインギャップを分離している。

3. 主要な貢献

潜在ギャップの特定: 本論文は、人間とロボットの身体間の視覚的ギャップが潜在視覚埋め込みへと伝播し、事前学習された SSL モデルが異種身体対応において失敗する原因となることを実証する。
疎な教師信号フレームワーク: LACE は、時間的または空間的に整合したデータセットを必要とすることなく、単一のロボットデモンストレーションからのフレーム（あるいは単一のキーポイント注釈付きフレームさえも）を用いて異種身体セマンティック整合を達成する。
一般セマンティクスの維持: グラム損失を導入することで、この手法は特定の身体部位を整合させつつ、バックボーンの汎用視覚特徴を劣化させることなく、破滅的忘却を回避する。
ゼロショットおよび低データ性能: このフレームワークは、ロボットデータが不足している場合でも、ロボット方策が豊富な人間データを効果的に活用することを可能にし、ゼロショット転移および分布外（OOD）環境への一般化において著しい向上を実現する。

4. 実験結果

著者らは、実世界のロボット操作タスクにおける広範な実験を通じて LACE を検証する。

キーポイント整合メトリクス:
- 人間 - ロボット対応において、LACE-DINO は事前学習済み DINO の終点誤差（EPE）を87.04から19.36に削減し、コサイン類似度を0.473から0.910に向上させた。
- この改善は、他の SSL バックボーン（SigLIP、I-JEPA、V-JEPA2）にも一般化する。
下流タスク（姿勢推定と局所化）:
- ゼロショット転移（人間データで訓練されたプローブをロボットデータでテスト）において、LACE-DINO は DINO を大幅に上回る。
- 姿勢推定: EPE は 57.5 から 35.6 ピクセルに改善され、PCK@0.2 は 28.6% から 72.4% に向上した。
- 局所化: LACE-DINO は、身体局所化において 40.5% のヒット率を達成し、DINO の 3.2% と対照的であった。
方策学習（物体把持）:
- ゼロショット regime（ロボットデータ 0%）: LACE-DINO は、対象物体を把持する成功率で**60%を達成し、DINO ベースラインの5%**と比較して大幅に優れていた。
- OOD 環境: ロボットが未見の妨害物体を含む環境において、LACE-DINO は**65%**の成功率を達成したのに対し、DINO は完全に失敗（0%）した。
- データ効率: LACE-DINO は、限られたロボットデータ（利用可能なロボットデモの 10% または 100%）であっても DINO を一貫して上回り、整合された表現がデータ不足を補うことを示した。
一般化:
- 未見の姿勢: モデルは訓練中に観測されなかった手の姿勢にも一般化する。
- 複数の身体: LACE は、4 つの異なる形態（人間の手、多指ロボットハンド、並行顎グリッパー、ロッドエンドエフェクタ）を同時に正常に整合させた。
- 特徴品質: 除去実験により、グラム損失が重要であることが確認された。これを欠くと、特徴のドリフトにより下流タスクの性能（ImageNet 分類、ADE20K セグメンテーション）が著しく低下した。

5. 意義と主張

本論文は、LACEが器用なロボット学習におけるデータ不足問題に対する実用的な解決策を提供すると主張する。ピクセル空間ではなく潜在空間で動作することで、画像編集手法に伴う計算オーバーヘッドと情報損失を回避する。

著者らは、このアプローチにより、ロボットデモンストレーションが極めて限定的または存在しない場合（ゼロショット）でも、ロボットが豊富な人間動画データを活用できることを強調する。このフレームワークは、セマンティック構造を符号化する任意の SSL バックボーンに適用可能な汎用手法として提示され、大規模で同期された異種身体データセットを必要とすることなく、未見の環境や多様なロボット形態に対する堅牢な方策を訓練する道筋を提供する。コードは、異種身体一般化に関するさらなる研究を促進するために公開される予定である。