iMontage: Unified, Versatile, Highly Dynamic Many-to-many Image Generation

あなたは、ロボットにマスター・アーティスト（巨匠）になるよう教えようとしていると想像してください。長い間、私たちは全く異なる2種類のロボットを持っていました。1つ目の種類は、説明に基づいて完璧な1枚の絵を描くことには長けていましたが、5つの異なるシーンを持つ物語全体を描こうとすると混乱してしまい、キャラクターがフレームごとに別人のようになってしまいました。2つ目の種類は、映画で学習したビデオ・ロボットでした。このロボットは、物事が滑らかに動く様子や、キャラクターが道を歩いている間も顔が一定に保たれることを理解していました。しかし、このロボットは少し硬直的でした。滑らかで連続的な動きには慣れていましたが、突然の激しい変化や、スムーズな遷移なしに全く異なるシーンへとジャンプすることには苦労しました。

コンピュータサイエンスにおける大きな疑問は、「これら両方の良いところを併せ持つ単一のアーティストを作れるか？」ということです。ビデオ・ロボットのように時間の滑らかな流れを理解しながら、絵本のように異なる画像やシーンの間を自由自在に飛び越えることができる、創造的な自由を持ったモデルを作れるでしょうか？この課題に挑むのが、新しい論文「iMontage」です。この論文は、ビデオ生成器の強力な「モーション・ブレイン（動きの脳）」を取り込み、それを、混沌とした「多対多」の画像の混合物を扱えるように再学習させることが可能かどうかを問いかけています。これにより、ストーリーボード全体を生成したり、複数の画像を一度に編集したりしながら、一貫性を保てるツールを作り出そうとしています。

---

iMontageの魔法：タイムマシンを持つストーリーボード・アーティスト

新しいAIモデルであるiMontageをご紹介します。これは、超強力なオールインワンの画像生成器として機能します。デジタル・ディレクターを想像してみてください。数枚のリファレンス写真とテキストによる指示を受け取り、それをもとに、一貫した物語を伝える一連の新しい画像を瞬時に吐き出すことができます。1枚の写真を編集したいときでも、3人の異なるキャラクターを新しいシーンに組み合わせたいときでも、あるいはキャラクターの服装や背景が劇的に変化する4コマ漫画を作りたいときでも、iMontageは一度にすべてを行おうとします。

ここでの秘訣は、作成者がゼロからロボットを構築したのではないという点です。彼らは、物事の動きや時間の経過による変化を理解することですでに有名な、学習済みのビデオ・モデルを取り上げ、それに新しい役割を与えました。通常、ビデオ・モデルは（人が歩くような）滑らかで連続的なクリップに対して学習されています。これらは「ハードカット（場面の急な切り替え）」や、シーンが瞬時に変わるような現象には慣れていません。著者たちは、もし画像データの持つWild（ワイルド）で多様なコンテンツを、この滑らかなビデオの枠組みの中に注入することができれば、ビデオの整合性とフォトアルバムのダイナミックな範囲の両方を手に入れられるのではないか、という仮説を立てました。

その仕組み：「疑似フレーム」のトリック

これを実現するために、チームはビデオ・モデルに対し、画像を連続した映画としてではなく、自由に配置できる柔軟な「フレーム」のセットとして認識させる必要がありました。彼らは、Marginal RoPE（位置指定システムの洗練された名称）と呼ばれる巧妙なトリックを用いました。

長いタイムラインを想像してください。通常、ビデオ・モデルはフレーム1、2、3、4、5がすぐ隣り合っているものとして見ます。しかし、iMontageは、入力される画像（提供されたリファレンス）をタイムラインの非常に最初の方にある「フレーム（頭部）」として扱い、出力される画像（新しく生成される画像）をタイムラインの最後の方にある「フレーム（尾部）」として扱います。そして、その中間には大きな空白を残します。これにより、AIに対して次のように伝えます。「おい、これら最初の数枚の画像は君へのヒントであり、最後の数枚は君の新しい創作物だ。これらを映画のように滑らかに繋げようとするのではなく、物語における個別のステップとして扱いなさい」。この単純な変更により、モデルが、自分が動画を見ているのか、それとも新しい画像セットを生成しているのかについて混乱するのを防いでいます。

学習：混沌からの学び

ビデオ・ロボットに単に「クリエイティブになれ」と言っても、期待通りには動きません。チームは、モデルを教えるために、大規模で混沌としたデータセットを精査する必要がありました。彼らは単に滑らかなビデオを使っただけでなく、モデルにダイナミックな遷移を扱う方法を教えるために、意図的に**ハイモーション（高運動量）**のクリップや「ハードカット（急な場面転換）」を探し出しました。また、シャツの色を変えたり物体を取り除いたりすることをロボットが学習できるよう、何百万もの画像編集ペアも混ぜ合わせました。

彼らはCocktailMixと呼ぶ戦略を用いてモデルを学習させました。数学、芸術、音楽を学んでいる学生を想像してください。もしこれら3つの科目を一度に投げつけられたら、彼らは圧倒されてしまうでしょう。逆に、一つずつ教えていけば、3番目に到達する頃には最初の科目を忘れてしまうかもしれません。著者たちは、最も簡単なタスクから始め、徐々に難しいタスクを追加しながら、同時に簡単なタスクへの集中度を下げていく方法が最善であることを見出しました。この「難易度順」のアプローチにより、モデルは単純な編集から複雑なマルチイメージ・ストーリーボードまで、正気を失うことなく扱うことができるようになりました。

できること（と、できないこと）

結果は素晴らしいものです。テストにおいて、iMontageは以下のことが可能であることを示しました：

• 画像の編集（1対1）：ケープの色を変えたり、ハサミの箱を取り除いたりして、トップクラスの商用モデルと同等のパフォーマンスを実現します。
• リファレンスの結合（多対1）：人物の写真、ホッキョクグマの写真、ボートの写真をとり、それらが一つの整合性のあるシーンの中に共存する新しい画像を生成します。
• 物語の生成（多対多）：背景やカメラアングルが劇的に変化しても、キャラクターのアイデンティティを維持しながら、一連の画像（ストーリーボードのようなもの）を作成します。

論文は、このアプローチが、これらのタスクを統合しようとした従来の手法よりも優れていることを示唆しています。特に、異なる画像間でキャラクターの見た目を一定に保つことや、シーンの突然のダイナミックな変化を扱う点において顕著です。ユーザー調査では、指示への従順さとキャラクターの一貫性において、iMontageは他のオープンソースモデルよりも高く評価されました。

しかし、著者たちは限界についても正直に述べています。現在、このモデルは最大4枚の入力画像と4枚の出力画像で最もよく機能します。まだ、数十枚のパネルを持つ極めて長く複雑な物語についてはテストされていません。また、多くのことができる一方で完璧ではありません。非常に具体的で定義が難しい細部については、時として苦戦することがあります。

まとめ

iMontageは、複雑な画像の問題を解決するために、全く新しい種類のAIを構築する必要はないということを証明した点で、重要な一歩を踏み出しています。ビデオ・モデルへのデータの与え方（画像を硬直した映画ストリームではなく、柔軟な「疑似フレーム」として扱うこと）を再考することで、一貫性と驚くべき創造性を兼ね備えたツールを作ることができるのです。これは、画像生成の未来が、個々の仕事に対して別々のツールを持つことではなく、最初のスケッチから最終的なストーリーボードに至るまで、制作全体をこなせる万能な「ディレクター」を構築することにあることを示唆しています。