💻 computer science

LCG: Long-Context Consistent Image Generation with Sparse Relational Attention

本文提出了长文本生成（Long-Context Generation, LCG），这是一个利用稀疏关系注意力（Sparse Relational Attention）和路由一致性约束（Routing Consistency Constraint）来实现长视觉叙事中一致且可扩展的多图合成的框架，并通过一个新的大规模数据集以及在角色和语义一致性方面优于基准模型的表现验证了其有效性。

原作者： Zihao Wang, Yijia Xu, Haoze Zheng, Xuran Ma, Haokun Gui, Harry Yang

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zihao Wang, Yijia Xu, Haoze Zheng, Xuran Ma, Haokun Gui, Harry Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位试图画一本漫画的艺术家。你有一个包含 20 个不同场景的剧本。挑战不仅仅是画出一张精美的图片，而是要连续画出 20 张图片，其中主角在每一帧中看起来都完全一样，即使他们在穿着不同的衣服、站在不同的地方、做着不同的事情。

目前的 AI 绘画工具就像是有才华的艺术家，能够画出一张令人惊叹的肖像。但如果你要求它们画出一个完整的故事，它们往往会出现“漂移”现象。在第 1 帧中，英雄有着蓝色的眼睛和一道伤疤；到了第 10 帧，英雄可能突然变成了绿色的眼睛且没有伤疤，或者反派看起来变得和英雄一模一样。这篇名为 LCG 的论文介绍了一种解决这一问题的新方法。

以下是该论文解决方案的拆解，通过简单的概念进行说明：

1. 问题所在：“记忆过载”

为了在 20 张图像中保持角色一致，AI 需要同时观察所有 20 张图像，以记住角色的样子。

旧方法： 想象你正试图同时与 20 个人交谈，每个人都在对着其他人大喊大叫。随着人数增加，噪音变得无法控制，你的大脑（计算机内存）就会崩溃。当 AI 尝试“密集地”（将每一张图像的每个像素都与其他图像的每个像素相连）查看所有图像时，就会发生这种情况。
结果： AI 会感到混乱，导致角色外观发生变化，或者计算机因内存耗尽而崩溃。

2. 解决方案：“稀疏关系注意力” (SRA)

作者创建了一种称为稀疏关系注意力 (Sparse Relational Attention, SRA) 的新机制。你可以把它想象成给了 AI 一个智能荧光笔，而不是一束泛光灯。

工作原理： 与其让 AI 尝试将图像 A 的每个部分都与图像 B 的每个部分相连，不如让它问自己：“为了保持图像 A 的一致性，我需要观察图像 B 中最重要的东西是什么？”
类比： 想象你正在写一部书的续集。你不需要重新阅读整个 1,0 其实库里的 1,000 本书来记住英雄的名字。你只需要看一眼特定的角色索引卡。SRA 就充当了那张索引卡的角色。它只提取其他图像中的“核心特征”（如英雄的面部或特定的服装），并忽略其余部分。这使得计算机运行快速，并防止其因信息过载而崩溃，即使是在处理长篇故事时也是如此。

3. 安全网：“路由一致性约束” (RCC)

即使有了智能荧光笔，AI 仍可能产生混乱。例如，如果两个角色都穿着红色的外套，AI 可能会不小心交换他们的脸部特征。

为了阻止这种情况，作者添加了一个规则，称为路由一致性约束 (Routing Consistency Constraint, RCC)。

类比： 想象一位严格的编辑，他为故事中的每个人都准备了一份“角色表”（掩码/Mask）。编辑告诉 AI：“当你画第 5 帧中的英雄时，你必须观察第 1 帧中英雄的面部，而不是反派的面部，即使他们穿着相同颜色的衣服。”
工作原理： 该系统使用这些“掩码”来强制 AI 正确地路由信息。如果 AI 试图复制错误的人的特征，系统会说：“不对，那是错误的路径，”并进行纠正。这确保了英雄始终是英雄，反派始终是反派，即使是在拥挤的场景中也是如此。

4. 训练场：LCCD 数据集

为了教会 AI 如何做到这一点，研究人员不能直接使用互联网上的随机照片（因为隐私和版权问题）。相反，他们构建了一个庞大的、定制的训练集，称为 LCCD（长上下文一致性数据集）。

规模： 他们创建了 600,000 个虚构的故事序列。每个序列包含 6 到 20 张图像。
多样性： 有些故事有一个角色，有些则有多个角色。他们使用 AI 生成这些图像，然后使用另一个 AI 来检查：“这个角色在每张图片中看起来是否一致？” 如果角色变化太大，那么这个故事就会被剔除。这为他们留下了一个用于训练模型的“完美”数据集。

5. 结果

当他们用他们的系统 (LCG) 与其他方法进行对比测试时：

更好的连贯性： 角色在长序列（长达 20 张图像）中看起来更加一致。
更好的叙事性： AI 能够遵循每个场景的具体指令（例如，“坐在长凳上”与“站在图书馆里”），而不会丢失角色的身份。
高效性： 由于使用了“智能荧光笔” (SRA)，该系统可以处理长篇故事而不会导致计算机内存崩溃，而旧方法在故事变长时就会失效。

总结： 该论文提出了一种新的框架，通过使用“智能荧光笔”来专注于重要的细节，并使用“严格的编辑”来确保角色不会混淆，从而使 AI 能够生成长篇且具有一致性的视觉故事（如漫画或分镜脚本），同时保持计算机的高效运行。

技术摘要：基于稀疏关系注意力机制的长上下文一致性图像生成 (LCG)

问题陈述

尽管近期的生成模型在单图合成方面取得了令人印象深刻的保真度，但在处理长上下文应用（如漫画、分镜脚本和视觉叙事）所需的序列输出时，仍难以维持一致性。现有方法面临着一个根本性的权衡：独立生成每一帧会导致忽略跨面板的证据，而顺序生成则会将早期的身份漂移或角色错位传播到后续帧中。此外，在所有面板之间进行密集注意力计算（允许直接信息交换）会导致二次方内存缩放问题（ $O(N^2L^2D)$ ），随着面板数量 ( $N$ ) 的增加，会迅速超出实际内存预算。因此，开发能够高效利用长程视觉上下文并同时保持全局连贯性的模型仍然是一个开放的挑战。

方法论

作者提出了 长上下文生成 (Long-Context Generation, LCG)，这是一个基于扩散框架的模型，旨在实现长上下文多图文本到图像生成。给定一系列特定场景的提示词，LCG 能够联合合成相应的图像序列，在确保与各别提示词对齐的同时，保持角色身份、角色分配和视觉连续性。该框架通过将每个提示词分配给一个并行的生成分支，并对所有分支进行联合去噪来运行。

LCG 引入了两个核心机制来解决可扩展性和一致性问题：

1. 稀疏关系注意力 (Sparse Relational Attention, SRA)

为了克服密集注意力的内存限制，LCG 将跨分支交互重新构建为 稀疏关系注意力 机制。模型不再关注所有分支中的所有 token，而是让每个生成分支有选择地关注来自其他分支的最相关区域。

粗粒度语义压缩：模型将所有分支的 token 序列压缩为块级表示，以识别全局相关的区域。
局部与全局选择：查询首先从自身分支中检索前 $K$ 个相关 token（局部上下文），然后通过注意力机制关注来自所有分支的压缩语义表示，以选择相关的块（全局上下文）。
细粒度检索：在选定的块内检索细粒度 token，以形成用于注意力计算的稀疏子集。
复杂度：这种方法将计算成本从二次方 $O(N^2L^2D)$ 降低到约 $O(NL(K_{loc} + K_{glob})D)$ ，其中 $K$ 值是固定的且远小于总序列长度，使得长上下文生成在计算上变得可行。
分支级编码：为了区分同时进行的各个分支，LCG 在 3D 旋转位置嵌入 (RoPE) 的时间维度中注入了唯一的分支标识符。

2. 路由一致性约束 (Routing Consistency Constraint, RCC)

虽然 SRA 实现了高效的交互，但由于稀疏路由是基于模型特征进行选择的，可能会出现不稳定情况，导致身份漂移或角色混淆（例如，一个角色关注到了另一个面板中视觉相似但语义错误的区域）。

机制：RCC 利用 身份感知掩码 (identity-aware masks) 来强制执行并行分支间的语义和结构对应关系。它将这些掩码转换为 token 级的路由目标。
损失函数：模型计算一致性损失 ( $L_{RCC}$ )，对预测的稀疏注意力图与掩码派生的对应关系之间的偏差进行惩罚。具体而言，它鼓励被分配到不同分支中同一角色身份的 token 形成更强的跨分支路由。
效果：它正则化了注意力流，确保身份和角色证据被传播到正确的面板，而无需密集的监督。

核心贡献

LCG 框架：一种新型的长上下文多图文本到图像生成框架，通过在并行生成分支之间进行稀疏信息交换，提升了跨面板的一致性和可扩展性。
稀疏关系注意力 (SRA)：一种稀疏跨分支路由模块，结合了紧凑的语义选择与细粒度的关系 token 检索，允许在实际内存预算内进行高效的长上下文计算。
路由一致性约束 (RCC)：一种将身份感知掩码转换为 token 级路由目标的损失函数，有效地减轻了外观漂移，并确保了复杂多主体场景下角色身份和场景布局的一致性。
长上下文一致性数据集 (LCCD)：构建了一个大规模合成数据集，包含 60 万个训练序列（分为单角色和多角色场景）以及一个独立的 1 千个测试样本集。每个序列包含 6 到 20 幅图像，显著扩展了现有数据集仅 2-4 帧跨度的局限。该数据集通过结构化流水线生成，利用 LLM 进行角色定义和提示词合成，随后进行自动化一致性筛选。

实验结果

作者在 LCCD 测试集上对 LCG 进行了评估，并将其与包括 Flux.1-dev、StoryDiffusion 和 Story2Board 在内的基准模型进行了对比。

定量性能：LCG 在所有指标上均取得了优异的分数：
- 提示词对齐度 (VQAScore)：0.71（对比 Story2Board 的 0.64）。
- 主体一致性 (DreamSim)：0.75（对比基准模型的 0.62）。
- 身份保持度 (FaceSim-Arc)：0.66（对比 Story2Board 的 0.52）。
- 视觉质量 (Aesthetic Score)：0.62。
人类评价：在涉及 30 名参与者的用户研究中，LCG 获得了最高的整体偏好度 (4.03/5) 以及最强的文本对齐 (4.08) 和身份一致性 (4.18) 评分。
消融实验：
- 将 SRA 替换为全量注意力虽略微提升了提示词忠实度，但无法在长序列中维持连贯性，且在 20 个面板时会超出内存限制。
- 移除 RCC 会导致提示词实现能力减弱、细微的身份漂移以及伪影产生。
- 即使在 20 个面板的情况下，性能依然保持竞争力，尽管随着上下文长度增加，各项指标出现了逐渐下降的趋势。
效率：与密集跨分支注意力相比，SRA 显著降低了峰值显存占用和延迟。当使用 H800 GPU 时，密集注意力在 20 个面板处会出现显存溢出 (OOM)，而 SRA 则能成功生成 20 个面板的序列。

意义与主张

本文声称 LCG 解决了现有可控扩散框架的关键局限——这些框架主要侧重于单图定制或主题条件化，而非联合长上下文合成。通过引入稀疏关系路由和由身份掩码引导的一致性约束，LCG 能够在长序列（6–20 幅图像）和复杂的角色交互中，生成具有一致角色身份的连贯视觉叙事。

作者将 LCG 定位为解决生成式 AI 中“长上下文漂移”问题的重要一步，证明了在不产生高昂计算成本的前提下，实现全局连贯性和身份保真度是可能的。尽管该方法显著提升了一致性，但作者也谦虚地指出，随着序列长度和交互角色数量的增加，维持细粒度的身份细节仍然更具挑战性，这暗示了未来在更强的身份追踪机制方面的研究方向。