How Long Can Unified Multimodal Models Generate Images Reliably? Taming Long-Horizon Interleaved Image Generation via Context Curation

この論文は、長編のテキストと画像を交互に生成する際に視覚履歴の蓄積が品質劣化を招くという課題を特定し、モデル内部の関連性に基づいて不要な視覚情報を動的に排除する「UniLongGen」という推論戦略を提案することで、長期生成の安定性と忠実度を大幅に向上させることを示しています。

要約

長い物語を絵で描き続ける「UniLongGen」の仕組み

この論文は、**「AI に長い物語（テキスト）と絵を交互に描かせて、1 回 40 枚もの絵を連続して作らせる」**という挑戦について書かれています。

しかし、これまでの AI は、物語が進むにつれて絵がボロボロになり、最後には何が描かれているのか分からないほど崩れてしまうという「致命的な弱点」を持っていました。

この論文は、**「なぜ絵が崩れるのか？」という原因を突き止め、「記憶を整理する（忘れる）」**という新しい方法で、40 枚連続でも高品質な絵を描けるようにしました。

---

🚗 問題：なぜ物語が進むと絵が崩れるのか？

これまでの AI は、物語を続けるために「これまでに描いたすべての絵と文章」を記憶（コンテキスト）として持っていました。
しかし、この「全部覚えておく」というやり方が、実は**「記憶の汚染」**を引き起こしていました。

🌊 比喩：「騒がしい図書館」の例え

Imagine 想像してみてください。あなたが静かな図書館で、新しい本を書こうとしています。

• これまでの AI（全部覚える）：
  図書館には、あなたがこれまでに書いたすべてのページが積み重なっています。最初は静かですが、ページが 20 枚、30 枚と増えると、図書館は**「騒がしい市場」**のようになります。

  • 過去のページには、今の話とは無関係な「古い絵のノイズ」や「似ているけど違うキャラクターの顔」が散らばっています。
  • AI は「今、何を描くべきか？」と集中しようとしても、過去の**「ノイズ（雑音）」**が耳障りになり、集中力が散漫になります。
  • その結果、**「過去のノイズに引きずられて、今の絵が歪んでしまう」**のです。まるで、過去の失敗した絵の「悪霊」が今の絵を乗っ取ってしまうような状態です。

• 重要な発見：
  論文によると、この崩壊は「文字の量」が原因ではなく、「絵（イベント）の数」が原因でした。
  文字が 10 万個あっても大丈夫でも、「絵が 20 枚を超えると」、AI の脳（注意機構）がパンクして、絵が崩れ始めるのです。

---

💡 解決策：UniLongGen（ユニロングジェン）

この問題を解決するために提案されたのが**「UniLongGen」です。
これは、AI に「全部覚える」のではなく、「必要なものだけを選んで、不要なものは思い切って忘れる」**という新しい戦略です。

🧹 比喩：「賢い執事」の役割

UniLongGen は、AI の頭の中に働く**「賢い執事」**のような存在です。

1. 一瞬で状況を確認する（プロファイリング）：
   新しい絵を描く前に、執事は過去のすべてのページを素早く読みます。
2. 「本当に必要な記憶」だけを選ぶ：
   • 「今の話に必要な**『登場人物の顔』」や『全体の雰囲気』**を決める過去の絵だけを厳選します。
   • 「今は関係ない過去の風景」や「ノイズになっている古い絵」は、「思い切って捨てます（削除します）」。
3. 記憶を整理して渡す：
   AI には、**「必要な 4〜5 枚の絵」と「現在の文章」**だけを渡して、新しい絵を描かせます。

✨ なぜこれがうまくいくのか？

• ノイズの排除： 過去の「邪魔なノイズ」を物理的に消すので、AI は今の話に集中できます。
• 記憶の整理： 全部覚えておく必要がないため、AI のメモリ（計算資源）も節約でき、描く速度も 10 倍近く速くなります。
• 一貫性の維持： 必要な「キャラクターの顔」や「スタイル」だけを残すので、40 枚目になっても、最初のキャラクターと同じ顔で描き続けることができます。

---

🎯 具体的な成果

この方法を使うと、以下のような驚くべき結果が得られました。

• 40 枚連続でも高品質： 最初の絵と最後の絵で、キャラクターの顔や絵のスタイルが崩れず、一貫性が保たれます。
• 崩壊の防止： 従来の AI は 20 枚目で絵が崩れていましたが、UniLongGen は 40 枚目まで鮮明な絵を描き続けます。
• 人間よりも賢い選択： 人間が「これは重要だ」と選んだ絵よりも、AI 自身が「自分の脳内で重要だと感じた絵」を選ぶ方が、結果として絵が上手に描けることが分かりました。

---

🌟 まとめ

この論文が伝えているのは、「記憶力が高いこと（全部覚えること）」が、必ずしも良いことではないということです。

長い物語を描くためには、**「何を忘れるか（何を捨てるか）」という「賢い整理術」の方が重要です。
UniLongGen は、AI に「過去のノイズを捨てて、今必要なことだけに集中する」ことを教えることで、「無限に続く、高品質な絵物語」**を実現しました。

まるで、**「過去の騒がしいノイズを消し去り、静かな部屋で集中して絵を描く」**ような感覚で、AI の能力を最大限に引き出した画期的な技術なのです。

技術概要

UniLongGen: 文脈キュレーションによる長期にわたるインターリーブ画像生成の制御

本論文「UniLongGen: Taming Long-Horizon Interleaved Image Generation via Context Curation」は、統一型マルチモーダルモデル（UMM）が、テキストと画像を交互に生成する「長期のインターリーブ生成」タスクにおいて直面する重大な信頼性の欠如（品質の崩壊）を解決するための手法を提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義：長期生成における「品質の崩壊」

統一型マルチモーダルモデルは、テキストと画像を単一の自己回帰ストリームで生成できる可能性を秘めていますが、シーケンスが長くなるにつれて画像生成の品質が急激に劣化する「信頼性のギャップ」が存在します。

• 従来の仮説の限界: この現象は単なる「長いコンテキスト（トークン数過多）」の問題やメモリエクスポイジョンによるものだと考えられがちでした。
• 実態の発見: 著者らは、この崩壊が「トークン数」ではなく**「画像イベント（画像生成の回数）」の数**によって支配されていることを発見しました。
  • 10 万トークンのテキスト履歴はモデルが処理できても、20 枚以下の画像が生成されただけで品質が崩壊します。
• メカニズムの解明: 画像履歴は単に情報を希釈する（dilution）のではなく、**「能動的な汚染（active pollution）」**を引き起こします。
  • 密集した視覚トークンがアテンション機構内で「重いテール（heavy-tailed）」のノイズ分布を生み出します。
  • Softmax 関数によって、無関係な過去の画像パッチとの偶然の類似性が指数関数的に増幅され、現在の生成プロセスの注意（attention）を乗っ取ってしまいます（Attention Hijacking）。
  • その結果、構造の歪みやアイデンティティの崩れ、スタイルのドリフトが発生します。

2. 提案手法：UniLongGen

UniLongGen は、モデルの学習を必要としない（training-free）、推論時のコンテキスト管理戦略です。すべての履歴を保持するのではなく、モデル内部の信号に基づいて「安全な条件付け」を優先し、不要な視覚信号を動的に排除します。

主要な構成要素

1. ワンショット・アテンション・プロービング (One-shot Attention Probing):

   • 生成前に、密な KV キャッシュ（完全な履歴）を用いてモデルを一度前方伝播させ、内部のアテンション信号を調査します。
   • 外部の検索器や手動のヒューリスティックではなく、モデル自身が「どの履歴が重要か」を判断する信号を利用します。

2. 二重深度スコアリング (Dual-Depth Scoring):

   • 統一型モデルの層ごとの機能分化（Section 4.3 の発見）を利用し、2 つの異なる深度でスコアリングを行います。
     • 早期層（例：Layer 1）: テキスト依存層。過去のテキストブロックの関連性をスコアリングし、生成の「グラウンディング（指示の追従）」を確保します。
     • 後期層（例：Layer 15）: VAE 支配層。過去の**画像ブロック（VAE トークン）**の関連性をスコアリングし、視覚的な一貫性（アイデンティティ、スタイル）を確保します。

3. レイヤー分割 KV 可視性ポリシー (Layer-Split KV Visibility):

   • 生成プロセス全体で、選択された履歴のみを KV キャッシュに保持し、それ以外は**直接削除（Eviction）**します。
   • 圧縮（Compress）ではなく削除（Drop）: トークンを圧縮すると、ノイズとなる「競合候補」が残存・増幅されるリスクがあるため、不要な画像ブロック全体を KV キャッシュから完全に除外します。
   • ポリシー: 早期層ではテキストフィルタリングされた履歴を、後期層では画像フィルタリングされた履歴を参照させます。

3. 主要な貢献

1. 「イベントボトルネック」の体系的な測定:
   • 長期生成の崩壊がトークン数ではなく、画像イベント数によって決まることを実証し、「有効なマルチモーダルコンテキスト長」の概念を定義しました。
2. 統一型生成のメカニズム診断:
   • テキスト履歴による「受動的な希釈」と、画像履歴による「能動的な汚染（Tail-risk Hijacking）」のモダリティ非対称性を明らかにしました。
   • Softmax によるアテンションの乗っ取りメカニズムを解明し、解決策の設計指針を提供しました。
3. 学習不要のコンテキストキュレーション戦略:
   • UniLongGen を提案し、モデル内部のアテンション信号を用いた「能動的な忘却（Active Forgetting）」により、長期の忠実度と一貫性を向上させつつ、メモリフットプリントと推論時間を削減しました。

4. 実験結果

BAGEL（ハイブリッド AR+Diffusion モデル）をベースに、40 枚の画像を生成する長期インターリーブタスクで評価を行いました。

• 品質と一貫性の向上:
  • ベースライン（密な KV 保持）は 20 枚目の画像以降で急激に品質が低下し、画像が破綻しました。
  • UniLongGen は 40 枚目まで高品質な画像を生成し、HPS v3（7.57）、DINOv2（アイデンティティ一致度 0.4272）などの指標で大幅に改善しました。
  • 従来の「スライディングウィンドウ（最近の N 枚のみ保持）」や「意味的オラクル（人間が選んだ重要画像）」よりも優れた性能を示しました。特に、意味的に重要でもモデルの生成プロセスには不要な画像を保持することは、むしろ有害であることが示されました。
• 効率性の向上:
  • 不要な KV キャッシュを削除するため、推論時間が履歴の長さに対してほぼ一定となり、長いコンテキストにおいて最大11 倍の高速化を実現しました。
• 設計選択の重要性:
  • イベント単位での選択: トークン単位で切り取るよりも、画像ブロック単位で選択する方が性能が良い（イベントボトルネックの解決）。
  • 削除 vs 圧縮: 不要なトークンを圧縮するよりも、完全に削除する方がノイズを除去でき、性能が良い。
  • Pre-Softmax スコア: 関連性スコアリングには、Softmax 後のアテンション重みではなく、Softmax 前の QK 類似度（Pre-Softmax）を使用することが、最近のバイアスを防ぎ有効でした。

5. 意義と結論

UniLongGen は、統一型マルチモーダルモデルが「長い物語」や「一貫したキャラクターのイラストレーション」を生成する際の根本的な課題を解決しました。

• パラダイムシフト: 「すべてを記憶する（Total Recall）」という従来の長文脈アプローチから、「安全な条件付けのために意図的に忘れる（Safe Conditioning via Active Forgetting）」というアプローチへの転換を提案しました。
• 実用性: 追加の学習や外部ツールを必要とせず、既存のモデルにプラグインとして適用可能であり、推論コストの削減と生成品質の向上を両立しています。
• 将来展望: この「モダリティ非対称性」の理解と、モデル内部信号に基づくコンテキスト管理の考え方は、将来のより大規模で複雑なマルチモーダル生成システムの設計において重要な指針となります。

要約すれば、UniLongGen は「画像履歴の蓄積がノイズとなり生成を破綻させる」というメカニズムを解明し、モデル自身が「どの過去の画像を見るべきか」を判断して不要な視覚情報を排除することで、長期にわたる高品質な画像生成を実現する画期的な手法です。