DreamOmni3: Scribble-based Editing and Generation
本論文は、新たなデータ合成パイプラインと、精密な視覚的制御のために元の画像とスケッチ画像を組み合わせる結合入力フレームワークを通じて、柔軟なスクリブル（落書き）ベースの編集と生成を可能にすることで、GUIベースの制作を進展させる統合モデルであるDreamOmni3を紹介するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、あなたが説明したものを何でも描ける、非常に賢いアーティストと話していると想像してください。「猫を描いて」と言えば、彼らはそれを描きます。「猫に帽子を被せて」と言えば、彼らは絵を変えます。これがAI画像生成と編集の世界であり、コンピュータがあなたの言葉に基づいて画像を生成したり修正したりすることを学習する分野です。長い間、これらのデジタルアーティストと話す唯一の方法はテキストでした。しかし、ここに問題があります。言葉は時として不器用なものです。新しいオブジェクトを正確にどこに置くか、あるいは乱雑な絵の特定のパーツをどのように変更するかを正確に説明しようとすることは、ランドマークのない地図を使って友人に道案内をするようなものです。「木を左側に置いて」と言っても、AIはそれを極端な左側に置いてしまったり、間違った方の左側に置いてしまったりするかもしれません。
これを解決するために、科学者たちはこれらのアーティストと対話するための新しい方法、すなわち**「落書き（スクリブル）」**を模索してきました。単に文字を入力する代わりに、デジタルペンを掴んで画面上に直接、円やボックス、あるいは乱雑な落書きを描くことで、AIに正確に何を意味しているかを伝えることができます。これは、地図上の通りの名前を説明するのではなく、地図上のある地点を指差して「ここ！」と言うようなものです。この論文、DreamOmni3は、この「指差し・描画」による手法を完璧に機能させるための深い研究を行っています。この研究は、コンピュータにあなたの言葉だけでなく、あなたの乱雑な手書きの線をも理解させるという難しい課題に取り組み、それらを組み合わせて驚異的な精度で画像を生成・編集する方法を探求しています。
問題点：言葉だけでは足りないとき
写真を編集するゲームをしているところを想像してください。赤い円の中にあるおもちゃをハンドバッグに置き換えたいとします。単に「ここにハンドバッグを置いて」と入力すると、AIは混乱するかもしれません。「どの」おもちゃのことか？「ここ」とはどこか？その円は赤なのか黒なのか？それは1枚目の画像なのか、2枚目の画像なのか？言語は大きなアイデアを伝えるのには優れていますが、画面上の特定の、微細な詳細を指し示すのには向いていません。
論文の著者たちは、AIはテキストによる指示に従うことには非常に長けてきましたが、物事が複雑になると「どこに」「どのように」という部分を見落としがちであることに気づきました。ユーザーには、より直接的な方法が必要です。顔の周りに円を描いて「この髪を変えて」と言ったり、波線を描いて「ここに車を置いて」と言ったりできる必要があります。これがスクリブル（落書き）ベースの編集と生成の概念です。これは、ユーザーがテキスト、画像、そして自分自身の自由な手描きを組み合わせてAIをコントロールできるようにすることです。
解決策：DreamOmni3
DreamOmni3の開発チームは、スクリブルをテキストや画像と並んで「第一級の市民（主要な要素）」として扱うモデルを構築することに決めました。しかし、そこには巨大な障害がありました。それはデータです。AIモデルは学生のようなもので、学習するためには何千もの例を見る必要があります。既存のデータセットには、AIに対して「乱雑な手書きの円を解釈して、完璧な編集へと変える方法」を示す教科書となるものが存在しませんでした。
そこで、著者たちが最初に行ったことは、**「データ・ファクトリー（データの工場）」**を発明することでした。彼らは既存の画像を取り込み、巧妙なパイプラインを使用して、数百万もの新しいトレーニング例を作成しました。
- 編集のために： 彼らは写真を取り込み、オブジェクトを見つけ、その後、手動（または補助AI）でその上に円、ボックス、落書きを描き込みました。彼らは4つのタスクを作成しました：
- スクリブル ＋ テキスト： 「赤い円の中に車を置いて。」
- スクリブル ＋ テキスト ＋ 画像： 「この写真の中の車を赤い円の中に置いて。」
- 画像融合（イメージ・フュージョン）： スクリブルに導かれながら、ある写真からオブジェクトを取り出し、別の写真に貼り付ける。
- ドゥードル編集（落書き編集）： 大まかなスケッチを、写真の中のリアルなオブジェクトへと変える。
- 生成のために： 彼らは写真の代わりに白紙のキャンバスから始めるという同様の手法を用い、ユーザーがどこにスクリブルしたかに基づいてAIが新しいものを描けるように教えました。
彼らは、モデルにユーザーの意図を（描画を通じて）読み取らせるために、これら数万もの例（マルチモーダル編集用に32,000、マルチモーダル生成用に29,000、およびその他のタスク用）を含む大規模なデータセットを生成しました。
マジックトリック：モデルがスクリブルを「見る」仕組み
ここからが、この論文の非常に巧妙な部分です。通常、画像の特定のパーツを編集したい場合、バイナリ・マスクを使用します。マスクをステンシル（型紙）だと考えてください。それは、白が「ここを変更せよ」、黒が「ここはそのままにせよ」を意味する白黒の画像です。
著者たちは、マスクはあまりにも硬直的であると主張しています。もし一つの画像の中で変えたいものが3つあるなら、3つの異なる白黒マスクが必要になります。これは煩雑で、言葉による説明も困難です。代わりに、DreamOmni3は**カラー・スクリブル（色付きの落書き）**を使用します。赤い円で車を描き、青い四角で木を描き、緑の線で空を描くことができます。AIは色によってそれらを簡単に識別できます。
しかし、一つ問題があります。もし車の上の赤い円を描くと、赤いインクが車を覆ってしまうため、AIは車を見ることができなくなります！これを解決するために、DreamOmni3は**結合入力スキーム（ジョイント・インプット・スキーム）**を使用します。
- AIに2つの画像を同時に与えます：元の写真と、その上にスクリブルが重なった写真です。
- そして、特別な**エンコーディング・システム（ピクセルのラベル付け方法）**を使用します。これにより、AIに「おい、この画像の赤い円は、あの画像の車の位置と全く同じ場所だぞ」と伝えます。
- これにより、AIはスクリブル（ユーザーが何をしたいかを知るため）と、元のピクセル（何を変更しているかを知るため）の両方を見ることができ、編集が精密であり、かつ残りの画像が完璧な状態を維持することを保証します。
頭脳：AIに「乱雑さ」を理解させる方法
著者たちはまた、人間の描く図形はしばしば乱雑であることにも気づきました。円が卵のような形に見えることもあれば、線がぐにゃぐにゃしていることもあります。AIがこれらの不完全な図形を理解できるように、彼らは視覚言語モデル（VLM）、つまり推論に優れたタイプのAIを導入しました。
彼らは、画像生成器とともにこのVLMを訓練しました。VLMは「翻訳者」として機能します。それはあなたのスクリブルと書かれたテキストを見比べ、「ああ、この人はぐにゃぐにゃした円を描いたけれど、明らかに車を求めているのだな」と理解し、画像生成器に対して正確に何をすべきかを指示します。この**共同訓練（ジョイント・トレーニング）**により、AIは単にルールを盲目的に従うのではなく、スクリブルの背後にある「意図」を実際に理解できるようになります。
結果：本当に機能するのか？
チームは、現実世界の画像と難易度の高いタスクが含まれた、独自に作成したベンチマークを用いてDreamOmni3をテストしました。彼らは、GPT-4oやNano Bananaといった有名な商用モデルを含む、他のトップモデルと比較しました。
結果は驚くべきものでした。DreamOmnло3は、一貫して他のオープンソースモデルを凌駕し、多くの領域で商用大手と同等、あるいはそれ以上の性能を示しました。
- 人間の評価者（実在の人間）による評価では、編集タスクにおけるDreamOmni3の成功率は**55.88%**であり、これはGPT-4o（ある指標では59.56%）に匹敵しつつも、他のモデル（例えばOmnigen2の2.94%など）よりも大幅に高い数値でした。
- 生成タスクにおいて、DreamOmni3は**54.55%**の成功率を達成し、これもまたほとんどの競合モデルを上回りました。
- 論文では、商用モデルは強力ではあるものの、特定のスクリブルによる指示に苦戦することがあり、最終的な画像にスクリブルが残ってしまったり、比率が間違っていたりすることがあると指摘されています。しかし、DreamOmni3はこれらのニュアンスを処理するように特別に設計されており、スクリブルが消え、編集が自然に見える、よりクリーンな結果を生み出しました。
なぜこれが重要なのか
DreamOmni3は、単にAIを賢くすることを目指しているのではなく、AIをより人間らしくすることを目指しています。それは、私たちが想像することと、それを記述することの間の溝を埋めるものです。描いたり、指し示したり、落書きしたりすることを可能にすることで、画像編集を技術的な作業から、創造的な対話へと変貌させます。この論文は、テキスト、画像、そして自由な手描きをスマートなデータ合成と共同訓練と組み合わせるこのアプローチこそが、デジタル制作ツールとの対話の未来であることを示唆しています。私たちが曖昧な言葉でコンピュータに理解させようとするのをやめ、私たちの直接的な行動を「見せる」ようにしたとき、その結果はより魔法のようなものになるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。