技術的概要：文中の画像（Inset）

問題提起

マルチモーダル言語モデルの最近の進展により、表現豊かな多画像指示からの画像生成が可能となった。しかし、既存の手法は、複数の参照画像を含む複雑で交錯した指示の下では性能を維持することに苦慮している。この限界は、主に 2 つの要因に起因する：

1. 間接的参照メカニズム：現在のパラダイムは通常、明示的なインデックス（例：「画像 1 の犬」）を介して取得される外部参照として画像を扱う。これにより、モデルは抽象的なインデックスと遠隔の視覚的特徴を整合させるために困難な長距離依存関係を橋渡しすることを余儀なくされ、シーケンス長が増加するにつれて属性結合の失敗や特定の画像入力の無視を招くことが多い。
2. 複雑なデータの不足：既存の交錯データセットは規模と複雑さにおいて制限されており、密な視覚的文脈における複雑な構成的推論をモデルに教えるために必要な、豊かで長視野のシーケンスが欠けている。

手法：Inset

これらの課題に対処するため、著者は**Images in Sentences (Inset)**を提案する。これは、視覚情報がテキスト指示に統合される方法を根本的に再考する統合生成モデルである。

1. 統合された交錯モデリング

画像を検索を必要とする外部参照として扱うのではなく、Inset は画像をテキスト指示内のネイティブ語彙として直接埋め込む。

• ネイティブ定式化：視覚的特徴は、文内の対応する意味的スロットに直接配置される（例：「A [Image1] ロボットが [Image2] の花瓶を持っている」）。これは、トランスフォーマーの文脈的局所性を活用して、テキスト記述と視覚的ターゲットを直接結合し、テキストと遠隔の画像トークンの間でモデルが長距離依存関係を解決する必要性を排除する。
• アーキテクチャ：BAGEL モデルに基づき、Inset はミクスチャ・オブ・トランスフォーマーアーキテクチャを利用する。重要な点として、入力からピクセルレベルの VAE 潜在特徴を排除し、意味的 ViT 埋め込みのみに依存する。著者は、VAE 潜在特徴を含めることがモデルを「画像貼り付け」（硬直的なコピー）ではなく、意味的統合へと偏らせることを主張する。
• 推論戦略：視覚モダリティが生成プロセスを支配するのを防ぐため、2 段階のガイダンス戦略が採用される。これには、テキストと視覚のバランスを較正（テキストの影響を強化）し、分類器フリーガイダンスを適用することが含まれる。

2. スケーラブルなデータエンジン

高品質な交錯データの欠如を認識し、著者は標準的な画像およびビデオデータセットから1500 万の高品質サンプルを合成するためのスケーラブルなデータエンジンを開発した。

• 画像から：パイプラインは、ビジョン・ランゲージモデル（VLM）を使用してグローバルなキャプションを生成し、Segment Anything Model (SAM) および Describe Anything Model (DAM) を通じて微細なオブジェクトインスタンス（マスクとキャプション）を抽出する。その後、LLM がこれら要素を自然なテキストシーケンスに合成し、視覚的埋め込みを意味的位置に明示的に配置する。
• ビデオから：動的状態操作を教えるため、エンジンがビデオコーパスを処理する。VLM を用いて、フレームペア間で顕著な時間的変動を伴うオブジェクトの対応関係を特定する。意味的な変化（動作、ポーズ、形態）を示すペアをフィルタリングし、視覚的トークンがソースフレームから来ている一方、生成ターゲットがターゲットフレームにおける変換された状態であるような指示を構築する。

3. InterleaveBench

著者は、複雑な多画像シナリオを評価するために設計された厳格なベンチマークInterleaveBenchを導入する。これは、論理的な空間推論と適応的な属性修正を必要とする複雑な指示を伴う多画像構成を特徴とする。評価には、特定の属性や関係性を対象とした VQA ベースの二値質問を用いた双方向の LLM-as-Judge フレームワークが利用され、以下の点を測定する：

• 画像の一貫性：アイデンティティの保持（1〜5 のスケール）。指示駆動の変動は許容しつつ、ドリフトに対してペナルティを課す。
• テキストの一貫性：特定の属性や関係性を対象とした VQA ベースの二値質問を通じた意味的整合性。

主要な結果

InterleaveBench における実験は、Inset が最先端の手法を大幅に凌駕することを示している：

• 性能の格差：Inset は、オープンソースモデル（DreamOmni2、FluxKontext、Qwen Image など）と比較して、画像およびテキストの両方の一貫性において優れた性能を達成する。
• スケーラビリティ：入力複雑度が増加するにつれて、性能の優位性は拡大する。「5 つのオブジェクト」設定において、Inset は画像の一貫性でオープンソースベースラインを0.29、テキストの一貫性で0.24上回る。
• 競争力：多くの競合他社よりもパラメータ数が少ない（7B+7B）にもかかわらず、Inset は画像の一貫性において強力なクローズドソースモデル（GPT-4o、Seedream 4.0 など）と同等の性能を達成する。
• アブレーション研究：VAE 特徴の除去とビデオベースデータの活用は、それぞれ「画像貼り付け」の防止と動的状態操作の実現にとって不可欠な要素であることが特定された。

意義と主張

本論文は、視覚コンテンツを密で表現豊かな言語トークンとして扱うことが、より直感的で統合されたマルチモーダルシステムを構築するための有望な方向性を提供すると主張している。画像をネイティブ語彙としてシームレスに埋め込むことで、Inset は現在のパラダイムにおける画像とテキストの構造的な分離を克服する。

標準的な生成を超えて、著者はこの交錯形式がマルチモーダル画像編集に自然に拡張されることを強調している。このモデルは視覚コンテンツを指示の一部として統合でき、テキストと特定の視覚的参照の両方が編集プロセスを導く、非常に表現力豊かで創造的な視覚的操作を可能にする。この研究は、正確なオブジェクト結合は、間接的でインデックスベースの参照に依存するのではなく、トランスフォーマーの文脈的局所性を活用することで最もよく達成されると示唆している。