How Long Can Unified Multimodal Models Generate Images Reliably? Taming Long-Horizon Interleaved Image Generation via Context Curation

该论文提出了一种名为 UniLongGen 的训练-free 推理策略，通过动态筛选并丢弃干扰性视觉信号来主动“遗忘”历史图像，从而解决统一多模态模型在生成长序列图文内容时因视觉信息累积污染而导致的质量崩溃问题。

要点

这篇论文解决了一个非常有趣的问题：为什么现在的 AI 在画“长篇连环画”时，画到后面就“崩”了？

想象一下，你让 AI 画一个有 40 页的漫画故事。

• 前几页：AI 画得栩栩如生，主角长得像，画风统一。
• 画到第 20 页：主角的脸开始变形，衣服颜色变了，背景里出现了奇怪的乱码。
• 画到第 40 页：AI 彻底疯了，画出来的东西完全不像人，甚至不像画。

这篇论文（UniLongGen）就是为了解决这个“画到后面就忘、画到后面就乱”的毛病。

1. 核心发现：不是“记不住”，而是“记太多”

通常大家认为，AI 画不好是因为记不住（上下文太长，内存不够了）。但这篇论文发现，真相恰恰相反：

• 传统观点：就像一个人背单词，单词背多了（Token 多了），脑子就乱了。
• 论文发现：问题不在于“单词”的数量，而在于**“图片事件”的数量**。
  • 比喻：想象你在一个巨大的图书馆里找书。
    • 如果是文字历史（比如你读了 10 万字的小说），就像图书馆里堆满了书。虽然书多，但如果你要找某本书，只要慢慢翻，总能找到相关的线索。这就像“稀释”，虽然难找，但不会出错。
    • 如果是图片历史（比如你看了 20 张图），就像图书馆里突然堆满了巨大的、发光的、会动的广告牌。每多一张图，就有一堆新的、闪闪发光的广告牌在抢你的注意力。
  • 结论：当图片太多时，这些“广告牌”会互相打架，产生**“视觉污染”**。AI 的注意力机制（Softmax）会被这些无关的、但长得有点像的“噪音”带偏，导致它把上一张图里的错误细节（比如奇怪的纹理、错误的颜色）强行加到当前这张图上。

简单说：不是 AI 记性不好，是它被过去的“图片噪音”给带偏了，越画越乱。

2. 解决方案：UniLongGen —— 学会“主动遗忘”

既然“全记住”会导致混乱，那怎么办？论文提出了一个聪明的策略：主动遗忘（Active Forgetting）。

这就好比你在写小说，不需要把过去 100 章的每一个字都背下来，你只需要记住最关键的角色设定和最近的剧情。

UniLongGen 的做法分为三步：

第一步：像侦探一样“扫描” (One-Pass Profiling)

在画新图之前，AI 先快速“扫视”一下过去所有的历史图片。它不是盲目地看，而是问自己两个问题：

• 早期层（负责理解剧情）：哪几段文字描述对现在最重要？（比如：“主角穿着红衣服”）。
• 晚期层（负责画画）：哪几张过去的图，里面的主角长得最像现在的？（比如：“第 5 张图里的脸最正”）。

第二步：分层筛选 (Dual-Depth Scoring)

AI 发现，它的大脑结构很神奇：

• 浅层大脑：擅长理解文字和指令。
• 深层大脑：擅长画画和保持风格。
  所以，UniLongGen 不会用同一把尺子去衡量所有东西。它用“浅层大脑”去选重要的文字，用“深层大脑”去选重要的图片。

第三步：大扫除 (KV Eviction)

这是最关键的一步。一旦选出了最重要的几张图和几段文字，UniLongGen 会把其他所有不重要的历史图片直接从内存里“扔出去”（Eviction），而不是把它们压缩或模糊化。

• 比喻：就像你整理房间。如果你把旧报纸、旧衣服都塞在角落里（压缩），它们还是会散发异味（噪音）。UniLongGen 的做法是：把不需要的东西直接扔出窗外，只留下最核心的几件宝物放在手边。

3. 效果如何？

• 画得久：以前画 20 张图就开始崩坏，现在能稳定画出40 张甚至更多的连贯图片。
• 画得准：主角的脸、衣服、画风从头到尾保持一致，不会突然变成另一个人。
• 跑得快：因为内存里只保留了少量的“精华”，AI 处理速度反而变快了（最高快 11 倍）。

总结

这篇论文告诉我们一个反直觉的道理：在 AI 画长故事时，并不是“记得越多越好”。

相反，**“懂得遗忘”**才是关键。UniLongGen 就像一位聪明的编辑，它知道在漫长的创作过程中，必须不断清理掉那些干扰视线的“噪音”，只保留最核心的“灵魂”（关键角色和风格），这样才能让故事从头到尾都精彩、连贯。

一句话概括：UniLongGen 通过**“只留精华，扔掉噪音”**的主动遗忘策略，让 AI 能够像人类画家一样，画出超长、连贯且高质量的连环画。

技术摘要

UniLongGen 技术总结：通过上下文策展驯化长程交错图像生成

1. 研究背景与问题定义 (Problem)

背景：
统一多模态模型（Unified Multimodal Models, UMMs）旨在通过单一的自回归流同时处理文本理解和图像生成，从而支持生成交错排列的长篇幅图文叙事（如漫画、故事板）。然而，现有的系统在生成长序列（例如连续生成 40 张以上的图像）时，面临着严重的可靠性崩溃（Reliability Gap）。

核心问题：
随着生成交错序列的增长，图像质量迅速下降，出现结构崩塌、主体身份（Identity）漂移和风格不一致等问题。

• 传统假设的局限性： 业界通常认为这是“长上下文（Long-context）”问题，即 Token 数量过多导致显存溢出或注意力机制稀释。
• 本文发现： 这种崩溃并非单纯由 Token 数量引起，而是由视觉历史（Visual History）的累积导致的。
  • 事件瓶颈（Event Bottleneck）： 质量崩溃的临界点取决于图像事件的数量（约 20-25 张图），而非 Token 总数。即使 Token 总数相同，包含更多图像事件的序列会更快崩溃。
  • 模态不对称性（Modality Asymmetry）： 长文本历史主要导致“被动稀释”（Passive Dilution，即信息模糊），而密集的视觉历史会导致**“主动污染”（Active Pollution）**。历史图像中的视觉 Token 会在注意力机制中产生长尾分布的异常值（Outliers），这些异常值通过 Softmax 被指数级放大，劫持（Hijack）注意力，向当前生成步骤注入错误的细节和结构噪声。

2. 核心方法论 (Methodology)

为了解决上述问题，作者提出了 UniLongGen（UNIfied multimodal Context Optimization for interleaved image geneRatioN）。这是一种无需训练（Training-free）的推理时策略，其核心思想是“主动遗忘”，即通过策展（Curation）机制动态管理模型的上下文记忆，而非试图记住所有内容。

2.1 核心机制：基于注意力的上下文策展

UniLongGen 不依赖外部检索器或人工设计的语义启发式规则，而是利用模型内部的注意力信号来识别并剔除干扰项。

1. 单次探测（One-Shot Profiling）：
   在生成新图像之前，使用完整的密集历史（Dense KV）进行一次前向传播，探测模型内部的注意力分布。
2. 双深度评分（Dual-Depth Scoring）：
   利用 Transformer 不同层级的功能特异性，从两个互补的深度提取相关性分数：
   • 早期层（Layer 1，文本依赖）： 评估历史文本块的相关性，用于确保生成对指令的遵循（Grounding）。
   • 晚期层（Layer 15，VAE 主导）： 评估历史**图像块（VAE Token）**的相关性，用于确保视觉一致性和合成质量。
3. 分层可见性策略（Layer-Split Visibility）：
   在随后的生成步骤中，应用固定的 KV 缓存可见性策略：
   • 早期层仅关注筛选后的文本历史。
   • 晚期层仅关注筛选后的图像历史。
4. 直接丢弃（Direct Dropping）：
   对于未被选中的历史 Token，直接从 KV 缓存中丢弃（Evict），而不是进行压缩（如池化或插值）。
   • 理由： 压缩可能会保留那些导致“主动污染”的异常值（Outliers），甚至放大它们；直接丢弃能彻底消除导致 Softmax 竞争的噪声源。

2.2 关键设计原则

• 事件级选择（Event-level Selection）： 以“整张图像”为单位进行筛选，而非 Token 级筛选。Token 级筛选会残留部分视觉 Key，仍可能引发竞争。
• 模型对齐（Model-Aligned）： 使用模型自身的注意力信号而非人类语义直觉（实验表明，人类认为“相关”的图像未必是模型生成所需的）。

3. 主要贡献 (Key Contributions)

1. 系统性诊断与“事件瓶颈”发现：
   • 揭示了长程交错生成的崩溃是由图像事件数量而非 Token 总数决定的。
   • 区分了文本历史的“被动稀释”与视觉历史的“主动污染”，指出密集视觉历史引发的长尾注意力劫持是崩溃的根本原因。
2. 机制性分析：
   • 通过注意力熵分析和 Key-Reference 侵蚀实验，证明了冗余视觉历史如何导致注意力预算分配失败。
   • 发现了统一生成器中注意力的深度特异性（Depth-wise Specialization）：早期层侧重文本/多模态路由，晚期层侧重 VAE 合成。
3. UniLongGen 策略：
   • 提出了一种无需训练的推理时策展策略，通过“单次探测 + 双深度评分 + 分层可见性 + 直接丢弃”，显著提升了长程生成的稳定性。
   • 该方法同时减少了 KV 缓存的显存占用和推理时间。

4. 实验结果 (Results)

作者在基于 BAGEL 模型的长程交错生成基准（40 张图像序列）上进行了广泛实验：

• 生成质量与一致性：
  • HPS v3 (质量评分)： 从基线（Dense KV）的 3.17 提升至 7.57。
  • DINOv2 (主体一致性)： 从 0.316 提升至 0.427。
  • 风格一致性： 从 3.99 提升至 6.13。
  • 相比之下，简单的滑动窗口（Sliding Window）或 Token 级压缩方法效果较差，且容易丢失早期关键信息。
• 效率提升：
  • 由于丢弃了大部分非相关历史，UniLongGen 的推理速度在长上下文场景下显著加快。
  • 在 1024x1024 分辨率、350k Token 历史下，相比 Dense KV 实现了约 11 倍 的加速（363s vs 31.6s）。
• 消融实验结论：
  • 深度匹配至关重要： 使用早期层评分文本、晚期层评分图像的组合效果最佳。
  • 丢弃优于压缩： 直接丢弃 Token 比通过池化/插值压缩 Token 效果更好，因为后者无法彻底消除异常值。
  • 模型对齐优于语义直觉： 基于模型内部注意力信号的选择策略优于基于人类标注的“语义相关性”选择。

5. 意义与影响 (Significance)

• 理论突破： 挑战了传统的“长上下文即 Token 数量”的认知，提出了“有效多模态上下文长度”受限于视觉事件数量的新观点，并揭示了视觉历史在注意力机制中的独特破坏性（主动污染）。
• 技术实践： 提供了一种即插即用（Plug-and-play）的解决方案，无需重新训练昂贵的多模态大模型，即可显著延长其生成长度并维持高质量。
• 应用前景： 使得统一多模态模型能够可靠地应用于长篇幅漫画创作、交互式故事生成、复杂视觉设计迭代等需要高度一致性和长程记忆的领域。
• 通用性启示： 证明了在统一生成任务中，“少即是多”（通过策展减少竞争）比“全量记忆”更有效，为未来的长程多模态生成架构设计提供了新的方向（如深度感知的注意力管理）。

总结： UniLongGen 通过深入理解统一多模态模型在长序列生成中的注意力失效机制，提出了一种基于模型内部信号的上下文策展策略，成功解决了长程交错图像生成中的质量崩溃问题，实现了高质量、高一致性且高效的长序列生成。