技術要約：疎な関係性アテンションを用いた長文脈一貫画像生成（LCG）

問題提起

近年の生成モデルは、単一画像の合成において目覚ましい忠実度を達成しているが、コミック、ストーリーボード、視覚的ナラティブといった長文脈のアプリケーションに求められる逐次的な出力における一貫性の維持には苦慮している。既存のアプローチは、根本的なトレードオフに直面している。すなわち、パネルごとに独立して生成を行う手法は、パネル間の証拠を無視してしまい、一方で、全パネル間で直接的な情報交換を可能にする高密度なアテンション・メカニズムを用いる手法は、二次的なメモリのスケーリング（$O(N^2L^2D)$）に苦しみ、パネル数（$N$）が増加するにつれて実用的なメモリ予算を即座に超過してしまう。その結果、長距離の視覚的文脈を効率的に活用しながら、グローバルなコヒーレンス（一貫性）を維持できるモデルの開発は、依然として未解決の課題となっている。

手法

著者らは、長文脈のマルチイメージ・テキスト・トゥ・イメージ生成のために設計された、拡散ベースのフレームワークである**Long-Context Generation (LCG)**を提案する。LCGは、シーン固有のプロンプトのシーケンスが与えられたとき、個々のプロンプトへの整合性を保ちつつ、キャラクターのアイデンティティ、役割の割り当て、および視覚的一貫性を維持しながら、対応する画像シーケンスを共同で合成する。このフレームワークは、各プロンプトを並列生成ブランチに割り当て、すべてのブランチを共同でデノイジングすることで動作する。

LCGは、スケーラビリティと一貫性を解決するために2つのコアメカニズムを導入している。

1. 疎な関係性アテンション (Sparse Relational Attention: SRA)

高密度なアテンションによるメモリ制限を克服するため、LCGはブランチ間の相互作用を**疎な関係性アテンション（SRA）**メカニズムへと再定式化する。すべてのブランチの全トークンにアテンションを向けるのではなく、各生成ブランチは他のブランチから最も関連性の高い領域を選択的に参照する。

• 粗いセマンティック圧縮: モデルは、グローバルに重要な領域を特定するために、全ブランチのトークンシーケンスをブロックレベルの表現へと圧縮する。
• ローカルおよびグローバルな選択: クエリは、まず自身のブッチ内から上位$K$個の関連トークン（ローカルコンテキスト）を抽出し、次に全ブランチからの圧縮されたセマンティック表現にアテンションを向けて、関連するブロック（グローバルコンテキスト）を選択する。
• きめ細かな検索: 選択されたブロック内のきめ細かなトークンが抽出され、アテンション計算のための疎なサブセットが形成される。
• 複雑性: このアプローチにより、計算コストを二次的な$O(N^2L^2D)$から、およそ$O(NL(K_{loc} + K_{glob})D)$へと削減する（ここで$K$の値は固定されており、全シーケンス長よりも大幅に小さい）。これにより、長文脈の生成が計算量的に実行可能となる。
• ブランチレベルのエンコーディング: 同時並行するブランチを区別するため、LCGは3D回転位置埋め込み（RoPE）のテンポラル次元にユニークなブッチ識別子を注入する。

2. ルーティング一貫性制約 (Routing Consistency Constraint: RCC)

SRAは効率的な相互作用を可能にするが、疎なルートはモデルの特徴に基づいて選択されるため不安定になる可能性があり、アイデンティティのドリフトや役割の混乱（例：あるキャラクターが、別のパネル内の視覚的に類似しているがセマンティックには不適切な領域にアテンションを向けてしまう現象）を引き起こす可能性がある。

• メカニズム: RCCは、アイデンティティ認識マスクを活用して、並列ブランチ間におけるセマンティックおよび構造的な対応関係を強制する。これは、これらのマスクをトークンレベルのルーティングターゲットへと変換する。
• 損失関数: モデルは、予測された疎なアテンションマップとマスク由来の対応関係との間の乖離を罰する一貫性損失（$L_{RCC}$）を計算する。具体的には、異なるブッチ間で同じキャラクターのアイデンティティに割り当てられたトークンが、より強いブランチ間ルートを形成するように促す。
• 効果: これによりアテンションの流れが正則化され、高密度の教師あり学習を必要とせずに、アイデンティティや役割の証拠が正しいパネルへと伝播されることが保証される。

主な貢献

1. LCGフレームワーク: 並列生成ブランチ間での疎な情報交換を可能にし、クロスパネルの一貫性とスケーラビリティの両方を向上させる、長文脈マルチイメージ・テキスト・トゥ・イメージ生成のための新しいフレームワーク。
2. 疎な関係性アテンション (SRA): コンパクトなセマンティック選択と、きめ細かな関係性トークンの検索を組み合わせた、疎なクロスブランチ・ルーティングモジュール。これにより、実用的なメモリ予算内で効率的な長文脈計算を実現する。
3. ルーティング一貫性制約 (RCC): アイデンティティ認識マスクをトークンレベルのルーティングターゲットに変換する損失関数。これにより、外見のドリフトを効果的に軽減し、複雑なマルチサブジェクト・シーンにおいても、一貫したキャラクターのアイデンティティとシーンのレイアウトを確保する。
4. 長文脈一貫性データセット (LCCD): 60万件のトレーニングシーケンス（シングルおよびマルチキャラクターのシナリオに分割）と、別途用意された1,000件のテストセットで構成される大規模な合成データセットの構築。各シーケンスは6枚から20枚の画像を含み、既存のデータセットの2〜4フレームというスパンを大幅に拡張している。このデータセットは、LLMを用いたキャラクター定義とプロンプト合成、それに続く自動的な一貫性スクリーニングを用いた構造化パイプラインを通じて生成されている。

実験結果

著者らは、Flux.1-dev、StoryDiffusion、およびStory2Boardを含むベースラインと比較するために、LCCDテストセット上でLCGを評価した。

• 定量的パフォーマンス: LCGは、以下のすべての指標において優れたスコアを達成した：
  • プロンプト整合性 (VQAScore): 0.71 (Story2Boardの0.64に対し)。
  • 主題の一貫性 (DreamSim): 0.75 (ベースラインの0.62に対し)。
  • アイデンティティ保持 (FaceSim-Arc): 0.66 (Story2Boardの0.52に対し)。
  • 視覚的品質 (Aesthetic Score): 0.62。
• 人間による評価: 30人の参加者を対象としたユーザー調査において、LCGは最高の総合的な選好度（4.03/5）と、テキストへの整合性（4.08）およびアイデンティティの一貫性（4.18）における最も強い評価を得た。
• アブレーション研究:
  • SRAをフルアテンションに置き換えると、プロンプトの忠実度はわずかに向上したが、長いシーケンスにわたるコヒーレンスの維持に失敗し、20パネルではメモリ制限を超過した。
  • RCCを除去すると、プロンプトの実現能力が低下し、微妙なアイデンティティのドリフトや偽のアーティファクトが発生した。
  • パネル数が増加するにつれて指標の緩やかな低下は見られたものの、20パネルにおいても競争力のある性能を維持した。
• 効率性: SRAは、高密度なクロスブランチ・アテンションと比較して、ピークVRAM使用量とレイテンシを大幅に削減した。高密度アテンションはH800 GPU上で20パネルにおいてメモリ不足（OOM）となったが、SRAは20パネルのシーケンス生成に成功した。

意義と主張

本論文は、LCGが、単一画像のカスタマイズやサブジェクト・コンディショニングに主眼を置いている既存の制御可能な拡散フレームワークの決定的な限界に対処していると主張している。SRAおよびアイデンティティ・マスクに導かれた一貫性制約を導入することで、LCGは、拡張されたシーケンス（6〜20枚の画像）および複雑なマルチキャラクターの相互作用において、一貫したキャラクターのアイデンティティを持つ、コヒーレントな視覚的ナラティブの生成を可能にする。

著者らは、LCGを、生成AIにおける「長文脈ドリフト」問題の解決に向けた一歩として位置づけている。これは、法外な計算コストを負うことなく、グローバルなコヒーレンスとアイデンティティの忠実度を維持できることを示している。本手法は一貫性を大幅に改善する一方で、シーケンスの長さや相互作用するキャラクターの数が増えるにつれて、きめ細かなアイデンティティの詳細を維持することが依然として困難であることを控えめに述べており、より強力なアイデンティティ追跡メカニズムに関する将来の研究を示唆している。