🤖 machine learning

Do-Undo Bench: Reversibility for Action Understanding in Image Generation

本論文は、現実世界の動作ダイナミクスを理解する視覚言語モデルの能力を評価する新規フレームワークであるDo-Undoベンチマークを導入するものであり、これはモデルに妥当なシーン変換を生成させ、その後それを元の状態に戻すことを要求するものである。

原著者： Shweta Mahajan, Shreya Kadambi, Hoang Le, Rajeev Yasarla, Apratim Bhattacharyya, Munawar Hayat, Fatih Porikli

公開日 2026-05-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Shweta Mahajan, Shreya Kadambi, Hoang Le, Rajeev Yasarla, Apratim Bhattacharyya, Munawar Hayat, Fatih Porikli

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

魔法のフォトアルバムを想像してみてください。「冷蔵庫を開けて」とアルバムに指示すると、開いた冷蔵庫の画像が表示されます。しかし、ここが問題です。今日の最も賢い AI フォトアルバムの多くは、物理法則ではなく、ただの「手品」しか知らないマジシャンのようなものです。開いた冷蔵庫の画像を見せることはできても、「再び閉めて」と頼むと、冷蔵庫を消去したり、壁の色を変えたり、扉が空中に浮いたままにしたりするかもしれません。扉を開けることと閉めることは表裏一体であることを、彼らは真に理解していないのです。

この論文は、AI が単に画像がどうあるべきかを推測するのではなく、現実世界がどのように機能するかを理解しているかどうかを調べるための新しいテスト「Do-Undo Bench」を紹介しています。

彼らのアイデアを簡単な比喩を用いて以下に解説します。

1. 問題点：「一方通行」の AI

現在の AI モデルは、「猫を追加する」や「木を削除する」といった指示には非常に優れています。しかし、物体の状態を変化させる「動作」には苦労します。

比喩： 砂の城を作る方法を知っている AI を想像してください。「砂の城を作れ」と頼めば、素晴らしい仕事をします。しかし、続けて「それを元に戻して砂をバケツに戻せ」と頼むと、画像全体を消去したり、砂を水に変えたりするかもしれません。砂がバケツから城へ移動し、戻りうることを理解していないのです。

2. 解決策：「Do-Undo」チャレンジ

研究者たちは AI 向けに新しいゲームを作成しました。このテストに合格するには、AI は連続して以下の 2 つの作業を行わなければなりません。

Do（実行）： 画像（例えば、閉まった引き出し）と命令（「引き出しを開けて」）を見て、引き出しが開いた新しい画像を生成する。
Undo（元に戻す）： その開いた引き出しの「新しい」画像と逆の命令（「引き出しを閉めて」）を見て、元の閉まった引き出しと全く同じように見える画像を生成する。

AI がこの両方を完璧に行えれば、それは因果関係を理解していることを証明します。「開く」ことで引き出しが外へ押し出され、「閉める」ことで再び中へ引き込まれることを理解しており、キッチンの他の部分は変化しないことを知っています。

3. データセット：リアルなキッチン動画

このレッスンを AI に教えるため、研究者たちは単にランダムな画像を作成したわけではありません。Epic-Kitchens データセット（人々が自宅で料理をしている動画）から数千の実際の動画を使用しました。

プロセス： 「スプーンを拾う」や「蛇口を回す」といった実際の動作の動画クリップを取得しました。
フィルタリング： 元に戻せる動作のみを保持しました。引き出しは開け閉めできますが、紙を「切り戻す」ことはできません。そのため、不可逆なものは除外しました。
拡張： 元の動画の説明は非常に短かった（例：「引き出しを開ける」）ため、研究者たちは賢い AI を用いて、これらを長く詳細な物語に拡張しました（例：「右手を使って木製の引き出しを完全に開くまで後ろに引き、中にあるカトラリーを現す」）。これにより、AI は何をすべきかについて、より明確な地図を得ることができます。

4. 結果：AI はまだ学習中

研究者たちは、この新しい「Do-Undo」ゲームで世界最高峰の AI モデルをテストしました。

スコア： 最も賢いモデルでさえ失敗しました。画像を美しく見せること（高画質）は得意でしたが、物理法則を正しく理解することは苦手でした。
- 例：「蛇口を閉めて」と頼むと、水が流れ続けるままにしたり、蛇口を消したりするモデルがありました。「ナイフを元に戻して」と頼むと、ナイフが空中に浮いたままになることがありました。
修正： 研究者たちは一つのモデル（BAGEL と呼ばれる）を取り出し、独自の「Do-Undo」データセットで特別に訓練しました。
- 結果： この訓練を受けたモデルは、ゲームの成績が大幅に向上しました。引き出しを開ければ、閉じて元のスタート地点に戻さなければならないことを学びました。動作は画像のスタイルではなく、物体の状態を変化させるのだという理解が始まりました。

5. なぜこれが重要なのか

この論文は、AI が現実世界で真に有用になるためには（例えば、キッチンのロボットアームを支援するなど）、静的な画像だけでなくダイナミクスを理解する必要があると主張しています。

比喩： 現在、AI は単語の辞書を暗記しているが、文の作り方を学んでいない子供のようなものです。「開く」や「閉める」という言葉の意味は知っていますが、それらの言葉が物理世界とどのように相互作用するかは知りません。
目標： この「Do-Undo」テストは新しい成績表です。AI に、世界が可逆的であり論理的であることを理解していることを証明させ、単に美しい画像を生成するだけでなく、物事の仕組みを本当に理解する、より賢いロボットや仮想アシスタントへの道を開きます。

要約： この論文は、「AI に扉を開けてから完璧に閉めるテストを行い、物理法則の理解を証明させた。現在の AI はこのテストに失敗しているが、現実世界の可逆的な動作で訓練すれば、正しく理解し始める」と述べています。

技術的概要：Do-Undo ベンチマーク画像生成における行動理解のための可逆性

問題提起
現在のビジョン・言語モデル（VLM）は、テキスト駆動型の画像合成および編集において顕著な進展を遂げています。しかし、現実世界のシーンの物理的ダイナミクスを理解し、シミュレートする能力においては、本質的な限界に直面しています。既存のアプローチは主に、オブジェクトの追加や削除といったオブジェクトレベルの操作、または照明などのスタイル特性の維持に焦点を当てており、物理的相互作用を支配する根本的な因果関係を軽視する傾向があります。その結果、モデルは、連続したビデオシーケンスを観察することなく、特定の物理的行動（例えば、オブジェクトを掴む、または引き出しを開ける）によって生じる状態変化を、妥当に反映する画像を生成することに苦慮しています。このギャップは、行動が環境をどのように変容させるかを理解することを必要とする、ロボティクスや具現化された AI エージェント向けの信頼性の高い合成データ生成器としての VLM の展開を妨げています。

手法
この限界に対処するため、著者らは、現実世界の行動の結果をシミュレートし、その後、それを元の状態に戻すことをモデルに要求する、新しいベンチマークおよびトレーニングパラダイムであるDo-Undo タスクを導入しました。

タスクの定式化: このタスクには、オブジェクトとエージェント（例えば、手）を含む入力画像（ $I_O$ ）が含まれます。前方の行動プロンプト（ $P_F$ ）が与えられた場合、モデルは行動後の状態を表す「Do」画像（ $I_F$ ）を生成しなければなりません。重要なのは、逆の行動プロンプト（ $P_R$ ）と生成された $I_F$ が与えられた場合、モデルは元の入力状態 $I_O$ を再構築する「Undo」画像（ $I_R$ ）を生成しなければならないという点です。この前方・逆方向の要求は、表面的な意味論的編集ではなく、真の因果関係の理解をテストします。
データセットのキュレーション（Do-Undo データセット）: 著者らは、人間が日常的なタスクを実行する一人称視点を含むEpic-Kitchensビデオデータセットから大規模なデータセットをキュレーションしました。
- 選定: 彼らは、可逆的な行動（例えば、「開ける/閉める」、「掴む/置く」、「オンにする/オフにする」）と一貫した背景を持つ高品質なフレームをフィルタリングしました。
- プロンプトの拡張: 元の注釈は短いため、彼らは VLM（Qwen3-VL）を用いて、行動のナレーションを詳細なプロンプトに拡張しました。これらのプロンプトには、視覚的コンテキスト、オブジェクトの属性（色、素材）、エージェントの詳細（手の姿勢）、および空間的関係が含まれます。
- 構造: このデータセットは、 $(I_O, P_F, I_F, P_R)$ のタプルで構成され、10 の行動クラスにわたって 22,529 件のトレーニングサンプルと 451 件のテストサンプルからなります。
モデルのトレーニング: 著者らは、テキストと画像を交互に生成できる統合ビジョン・言語モデルであるBAGELを微調整しました。トレーニング目的は、 $I_O$ と $P_F$ に条件付けられた前方画像 $I_F$ の生成、および続いて $I_F$ と $P_R$ に条件付けられた逆画像 $I_R$ の生成における平均二乗誤差（整流化フローマッチングを介して）を最小化することであり、 $I_R$ が $I_O$ と一致するという制約を伴います。

主要な貢献

Do-Undo タスクの定式化: モデルに行動の視覚的結果を生成し、それを正確に逆転させて元のシーンを再構築することを要求する新しいタスク。これは、因果関係のダイナミクスの捕捉を明示的にテストします。
Do-Undo ベンチマークおよびデータセット: 現実世界のビデオから抽出された高品質な可逆行動のデータセットと、物理的に一貫した視覚的生成を確保するための専門的なプロンプト戦略を伴うもの。
実証的評価: 最先端のモデル（Qwen-Image や Flux-Kontext を含む）が、高い意味論的忠実度にもかかわらず、行動の可逆性に苦しみ、行動推論における根本的なギャップを露呈させたことを示す包括的な評価。
ベースラインの改善: Do-Undo データセットで微調整されたモデルBAGEL-DoUndoの開発。これは、ベースラインと比較して、行動を認識した生成において忠実度と一貫性が向上していることを示しています。

結果

ゼロショット性能: Qwen-Image や BAGEL などの最先端モデルは、高い意味論的類似性スコア（DINO、CLIP）を達成しましたが、行動理解の指標（行動精度）では低くパフォーマンスしました。例えば、Qwen-Image は前方行動で約 52%、逆行動で約 29% の精度を達成し、オブジェクトを幻視したり、状態を正しく逆転できなかったりすることが多かったです。
微調整の影響: BAGEL-DoUndoモデルは、ベースラインの BAGEL を大幅に上回りました。それは、より高い行動精度（前方 58.77%、逆 36.26%）およびより良い意味論的一貫性（DINO スコア >0.83）を達成しました。
アブレーション研究: 拡張されたプロンプトを用いたとしても、前方行動のみでトレーニングしても、頑健な行動理解を誘発することはできませんでした。逆画像ペアの組み込みが、性能向上にとって決定的であると特定されました。
マルチターン生成: モデルが行動のシーケンスを生成するマルチターンシナリオにおいて、BAGEL-DoUndo は、光学フロー誤差（EPE）分析によって実証されたように、ベースラインと比較してより良い背景の一貫性とオブジェクト状態の精度を維持しました。
ユーザー調査: 人間の評価者は、行動の意味論とオブジェクトの相互作用へのより良い準拠を理由に、ベースラインよりも BAGEL-DoUndo を 66.7% の頻度で好みました。

意義と主張
本論文は、Do-Undo ベンチマークが、マルチモーダルシステムにおける行動を認識した生成を評価し、進展させるための重要なテストベッドとして機能すると主張しています。著者らは、現在のモデルが行動を逆転できないことは、信頼性の高い具現化された AI に不可欠な真の物理的推論の欠如を浮き彫りにしていると論じています。可逆的な行動に対する明示的な監督が生成の忠実度を向上させることを実証することで、この研究は、現実世界のダイナミクスについて推論し、ロボティクスおよびシミュレーションのための物理的に妥当な合成データを生成できる VLM を開発するための道筋を示唆しています。著者らは謙虚に、現在の研究はキッチン環境と汎用 VLM に限定されており、これらのベンチマークを専門的な具現化された環境やより複雑な因果関係に拡張するための将来の作業が必要であると指摘しています。