💻 computer science

LOME: Learning Human-Object Manipulation with Action-Conditioned Egocentric World Model

本論文は、入力画像、テキストプロンプト、および身体姿勢や手ジェスチャーを含むフレームごとの人間動作を条件として、現実的な人間と物体の相互作用を生成する「LOME」という新しい egocentric 世界モデルを提案し、従来の物理ベースのアニメーションや既存の生成モデルを上回る動作制御精度と一般化能力を実証するものです。

原著者： Quankai Gao, Jiawei Yang, Qiangeng Xu, Le Chen, Yue Wang

公開日 2026-03-31

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Quankai Gao, Jiawei Yang, Qiangeng Xu, Le Chen, Yue Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「LOME（ロメ）」**という新しい AI 技術について書かれています。

一言で言うと、**「人間の手の動きを指示すれば、AI がまるで映画監督のように、現実と同じくらいリアルな『物とのやり取り』の動画を自動で作ってくれる」**という画期的な技術です。

専門用語を抜きにして、日常の例え話を使って解説しますね。

1. 従来の AI との違い：「お人形さん」vs「魔法の映画監督」

これまでの動画生成 AI は、以下のような問題がありました。

物理法則を知らない： 「コップに水を注ぐ」と言っても、水がコップに溜まらずに空中で消えたり、コップが透けてしまったりします。
指先の動きが不自然： 「物を掴む」と言っても、指がコップにめり込んだり、逆に離れすぎていたりします。
3D モデルが必要： 以前は、これを正しく作ろうとすると、複雑な 3D 設計図（シミュレーション）を人間が手作業で作る必要がありました。

LOME はどう違うのか？
LOME は、**「魔法の映画監督」のようなものです。
監督に「右の緑のボトルから、左のカップにお茶を注いで」という台本（テキスト）と、「手の動きのスケッチ（アクション）」**を渡すだけで、AI が以下のことをすべて自動で計算して動画を作ります。

水が重力に従って流れ落ちる様子。
手がカップに触れた時の圧力や形。
液体がカップに溜まっていく様子。

これらはすべて、AI が「物理の法則」を学習しているおかげで、3D 設計図なしで実現しています。

2. LOME の「3 つの魔法の道具」

LOME が動画を作るために使うのは、以下の 3 つの「魔法の道具」です。

スタートの絵（入力画像）：
動画の最初の瞬間の風景です。「テーブルの上にボトルとカップがある」という状況を示します。
台本（テキスト）：
「右のボトルから左のカップに注ぐ」という指示です。
手の動きの地図（アクションマップ）：
これが LOME の最大の特徴です。
- 従来の AI は「水の流れ」自体を指示していましたが、LOME は**「人間の手がどう動くか」**だけを指示します。
- 例えるなら、**「役者の手の動きの振り付け」**だけを与えれば、AI が「その動きに合わせて、水がどう飛び散るか、コップがどう揺れるか」を勝手に計算して描き足してくれるのです。

3. どのようにして「リアルさ」を実現しているのか？

LOME のすごいところは、「手」と「環境」をセットで学習している点です。

従来の方法： 「手はこう動く」「水はこう流れる」と別々に考えていたため、手と水がズレてしまうことがありました。
LOME の方法： **「手と環境は一体」**だと考えます。
- 例え話：料理をするとき、包丁（手）と野菜（環境）は切り離せません。LOME は、包丁が野菜に触れた瞬間の「音や感触」まで含めて、「手と物が触れ合う瞬間」全体を一度に学習しています。
- そのため、「注ぐ」という動作を指示すれば、AI は「水がボトルから出て、カップに溜まり、溢れそうになったら止まる」といった、一連の物理的な結果を自然に描き出します。

4. 具体的な成果：どんなことができるの？

実験では、以下のようなことが成功しました。

液体の動き： コップに注ぐとき、水がゆっくり溜まっていく様子が非常にリアルです。
複雑な操作： 「冷蔵庫の奥にあるものを取り出す」といった、画面に最初に見えないものを扱うこともできます。
多様な結果： 同じ指示でも、毎回少し違う動き（例えば、注ぐ速度や角度）を生成でき、まるで人間が毎回違う動きをするように自然です。

5. なぜこれが重要なのか？

この技術は、以下の未来を変える可能性があります。

VR/AR（仮想現実）： ゲームやメタバースの中で、自分が手を動かすと、現実と同じように物が動いたり、水が注がれたりする体験ができるようになります。
ロボットの学習： 実物のロボットを動かす前に、この AI で「どう動けば失敗しないか」を何万回もシミュレーションして、ロボットを賢く育てることができます。

まとめ

LOME は、「人間の手の動き」というシンプルな指示だけで、物理法則に従ったリアルな「物とのやり取り」の動画を生成する、新しい世界の魔法です。

これまでは「3D 設計図」や「複雑な計算」が必要だった世界を、AI が「感覚」だけで再現できるようになったのです。まるで、AI が「物事の理屈」を自然に理解しているかのような、驚くほど滑らかな動画が作れるようになりました。

LOME: 動作条件付き主観視点世界モデルによる人間 - 物体操作の学習

1. 問題定義と背景

人間と物体の相互作用（Human-Object Manipulation）の学習は、コンピュータビジョン、グラフィックス、ロボティクスにおいて極めて重要ですが、以下の課題に直面しています。

微細かつ接触に富む動き: 物体を把持したり、液体を注いだりする動作は、物理的な接触と微細な動きの制御を必要とします。
既存手法の限界:
- 物理ベースのアニメーション: 手動での設定が多く、多様な物体形状や環境への汎化が困難です。
- 再構成ベースの手法: 単一画像や動画からの 3D/4D 再構成は、新規な相互作用の合成能力が限られており、未見の環境への汎化が難しいです。
- 大規模言語モデル（LLM）: 長文脈の推論は可能ですが、主にシミュレーション環境に限定されており、現実世界の物理的妥当性を伴う視覚的生成には不十分です。
- 既存の動画生成モデル: テキストや画像のみを条件とした場合、動きの質が低く、物理法則（例：液体の流れる様子）を正確に再現できません。また、既存の空間制御信号（オプティカルフローなど）は物体の動きを事前に規定してしまい、人間の動作から自然に生じる物体の反応を表現できません。

本研究は、これらの課題を解決し、入力画像、テキスト指示、およびフレームごとの人間の動作（姿勢・ジェスチャー）を条件として、物理的に妥当で一貫性のある人間 - 物体相互作用動画を生成することを目指しています。

2. 提案手法：LOME (Learning Human-Object Manipulation)

LOME は、事前学習済みの動画拡散モデル（Video Diffusion Model）を基盤とし、主観視点（Egocentric）での人間 - 物体操作を学習する世界モデルです。

2.1 入力と条件

LOME は以下の 3 つの条件に基づいて動画を生成します。

入力画像 ( $I$ ): 環境と物体の初期状態を定義。
テキストプロンプト: 意図する人間 - 物体相互作用の簡潔な説明。
フレームごとの人間動作 ( $A$ ): 身体姿勢とハンドジェスチャーを含む連続的な動作情報。

2.2 主要な技術的革新

(1) 空間動作マップ (Spatial Action Maps)

従来の潜在空間での動作表現ではなく、動画と同じドメイン（ピクセル空間）で動作を表現します。

3D 人間の骨格とハンドキーポイントから、カメラ投影を用いて 2D 動作マップ（ラスタライズされたマスク）を生成します。
これにより、手がどこに現れるべきかというピクセルレベルのガイドをモデルに提供し、微細な接触制御を可能にします。

(2) 動作 - 環境の結合分布モデリング (Joint Action-Environment Modeling)

単に動作を条件として与えるだけでは、正確な相互作用が得られないことを発見し、動作マップと動画の潜在表現を結合して同時にノイズ除去（デノイジング）するアプローチを採用しました。

トレーニング: 動画の潜在変数 ( $x$ ) と動作マップの潜在変数 ( $a$ ) の両方にガウスノイズを加え、これらを時系列方向に連結した状態で学習します。
効果: これにより、モデルは「動作」と「環境（物体の動き）」の同時分布を学習し、動作と環境ダイナミクスを明確に分離しつつ、物理的に整合性のある相互作用を生成できるようになります。

(3) 修正されたガイダンス (Modified Guidance)

標準的な Classifier-Free Guidance (CFG) は、条件が出力と独立であると仮定しますが、LOME では動作自体もモデルによってデノイジングされるため独立ではありません。

VideoJAM のアイデアを応用し、独立した条件（テキスト、カメラ）と非独立な条件（動作）を両方考慮した新しいサンプリングガイダンス式を導出しました。これにより、動作の追従性と生成の安定性を両立させています。

2.3 アーキテクチャ

基盤モデル: Wan2.1-VACE-14B（事前学習済みの動画生成モデル）を使用。
適応: 拡散トランスフォーマー（DiT）ブロックは固定し、VACE モジュールに対してのみ LoRA（Low-Rank Adaptation）を用いて軽量な微調整を行います。
カメラアダプター: カメラの外部パラメータをレイマップ（Plücker 埋め込み）に変換し、動画の潜在変数に追加して、視点の動きを考慮します。

3. 実験結果

3.1 データセット

EgoDex: 大規模な主観視点の人間 - 物体操作データセット（33 万枚以上の動画、詳細な 3D 姿勢アノテーション付き）。
In-the-wild: 研究室で撮影した新規な物体・環境を含む 10 本の動画。

3.2 ベースラインとの比較

CoSHAND: 動作マスクを条件とした画像生成モデル。
Wan-I2V: 画像・テキスト条件の動画生成モデル（動作条件なし）。
Go-with-the-Flow (GwtF): オプティカルフローを条件とした動画生成モデル。

3.3 定量的評価

動作追従精度 (PCK@20): LOME は 66.85% を達成し、最良のベースライン（CoSHAND: 51.33%）を大きく上回りました。
動きの一貫性 (FVD): LOME は 39.58（低いほど良い）で、ベースライン（CoSHAND: 59.83, Wan-I2V: 68.77）よりも優れた時間的整合性を示しました。
ユーザー評価: 動作追従（98.66%）、テキスト追従（97.32%）、視覚品質（93.97%）において、他の手法を圧倒的に上回る評価を得ました。

3.4 定性的評価

物理的妥当性: 「ボトルからマグカップへ水を注ぐ」といったタスクにおいて、LOME は液体の流れる様子や液面上昇を物理的に正確にシミュレートしました。他の手法は液体の動きを再現できなかったり、カップが満たされないなどの不整合が見られました。
汎化能力: 入力画像に隠れている物体（冷蔵庫の奥にあるものなど）に対しても、LOME は論理的な操作シーケンスを生成できました。

4. 主な貢献

LOME の提案: 実世界の動画から微細で接触に富む人間 - 物体相互作用を学習する、動作条件付きの主観視点世界モデル。
結合分布学習: 動作と環境（物体）の同時分布を学習することで、正確かつ物理的に妥当な操作を実現する新しいトレーニング手法。
現実的なシミュレーション: 3D/4D 再構成や明示的な物理シミュレーションなしに、多様な現実環境で一貫性のある人間 - 物体相互作用を生成できることを実証。

5. 意義と将来展望

LOME は、AR/VR 体験の没入感を高めるためのフォトリアリスティックなシミュレーションや、ロボット学習のためのスケーラブルなトレーニングデータ生成に寄与します。特に、明示的な 3D モデリングや物理エンジンに依存せず、データ駆動で物理法則を学習できる点は、現実世界の複雑な操作タスクを扱うロボット制御やコンテンツ生成において大きな転換点となります。

将来的には、推論効率の向上（蒸留技術の活用）や、複数物体間の協調操作のさらなる改善が期待されます。