MACRO: Advancing Multi-Reference Image Generation with Structured Long-Context Data

论文标题

MACRO: 利用结构化长上下文数据推进多参考图像生成
MACRO: Advancing Multi-Reference Image Generation with Structured Long-Context Data

1. 研究背景与问题 (Problem)

• 核心痛点：现有的上下文图像生成（In-Context Image Generation）模型在处理多参考图像（Multi-Reference）场景时表现不佳。虽然单参考或少量参考（如 1-3 张）的任务（如身份保持、风格迁移）已取得进展，但在面对更复杂的现实场景（如多主体组合、叙事性插图、新视角合成、视频帧预测）时，随着输入参考图像数量的增加，模型性能急剧下降。
• 根本原因：
  1. 数据瓶颈：现有数据集（如 OpenSubject, Echo4o 等）主要由单参考或少量参考（通常<5 张）的样本组成，缺乏结构化、长上下文的监督数据。
  2. 依赖关系缺失：多参考生成需要模型理解密集的参考图像间的依赖关系（如时间动态、空间一致性、身份保持），而现有数据无法提供学习这些复杂关系的信号。
  3. 评估缺失：缺乏标准化的评估协议，现有的基准测试（如 OmniContext）通常仅限于少量输入图像，无法评估长上下文（6-10 张图）下的生成能力。

2. 方法论 (Methodology)

A. MacroData：大规模多参考数据集

作者构建了包含 40 万 高质量样本的 MacroData 数据集，每个样本最多包含 10 张 参考图像。数据集被系统地划分为四个互补维度，以覆盖多参考生成的全空间：

1. 定制化 (Customization)：将多个参考主体（人、物、场景、衣物、风格）组合成连贯的新场景。
   • 来源：OpenSubject, MVImgNet, DL3DV 等。
   • 处理：通过 VLM 过滤身份泄露，使用 LLM 评估组合逻辑，确保输入与输出的语义一致性。
2. 插图 (Illustration)：基于多模态上下文（文本 + 图像序列）生成补充性插图。
   • 来源：OmniCorpus-CC 的交错图文数据。
   • 处理：利用 VLM 识别“锚点图像”，重写并过滤嘈杂的上下文，生成连贯的叙事性样本。
3. 空间推理 (Spatial)：基于多视角输入预测新视角（新视角合成）。
   • 类型：
     • 由外向内 (Outside-in)：固定物体，从不同外部视角观察（基于 Objaverse）。
     • 由内向外 (Inside-out)：固定相机位置，观察周围全景环境（基于 DIT360 等）。
   • 处理：严格筛选视口重叠，确保物理合理性。
4. 时间动态 (Temporal)：基于历史视频序列预测下一关键帧。
   • 来源：OmniCorpus-YT 视频数据。
   • 处理：通过镜头边界检测和 DINOv2 特征聚类构建连贯序列，预测未来帧。

数据构建策略：

• 采用蒸馏与过滤结合的方式，利用闭源模型（如 Nano Banana Pro, Gemini）生成目标图像，并通过 VLM 进行双向一致性评估（输入->输出，提示词->输出），剔除低质量样本。
• 数据分布：针对“渐进式任务”（如定制化，难度随输入数量增加），采用非均匀采样比例（如 2:2:3:3），增加长上下文样本权重；针对非渐进任务，采用均匀分布。

B. MacroBench：标准化评估基准

提出了包含 4000 个样本 的 MacroBench，用于评估模型在不同任务维度和输入规模（1-3, 4-5, 6-7, 8-10 张图）下的生成连贯性。

• 评估机制：采用 LLM-as-Judge（使用 Gemini-3-Flash）机制，针对每个任务设计特定指标：
  • 定制化：图像一致性 (ICS) + 提示遵循度 (PFS)。
  • 插图：文本一致性 (TCS) + 图像一致性 (ICS)。
  • 空间：视角变换分数 (VTS) + 内容一致性 (CCS)。
  • 时间：内容一致性 (CCS) + 图像序列一致性 (ISCS)。
• 评分聚合：使用几何平均数聚合指标，以惩罚任一维度的严重失败。

C. 训练策略与优化

• 模型微调：在 Bagel, OmniGen2, Qwen-Image-Edit 等开源模型上微调 MacroData。
• Token 选择策略：为解决长上下文带来的计算效率问题，探索了三种 Token 选择策略：
  • 块级选择 (Block-wise)：基于块间注意力保留 Top-K 块。
  • 图像级选择 (Image-wise)：基于查询 - 键注意力保留 Top-K 图像（效果较差，导致信息丢失）。
  • 文本对齐选择 (Text-aligned)：基于文本 - 图像注意力保留 Top-K Token（表现最佳，能有效保留关键信息）。
• 对比实验：验证了“思考后生成”（Think-before-generation）和“拼贴法”（Collage）在长上下文多参考任务中效果不佳，直接端到端生成配合 Token 选择更优。

3. 主要贡献 (Key Contributions)

1. MacroData 数据集：首个大规模（40 万样本）、长上下文（最多 10 张图）、结构化（涵盖定制化、插图、空间、时间四大维度）的多参考图像生成数据集。
2. MacroBench 基准：填补了多参考生成领域标准化评估的空白，支持从 1 到 10 张输入图像的分级评估。
3. 性能突破：证明了在 MacroData 上微调能显著提升开源模型在长上下文多参考生成任务上的表现，大幅缩小了与闭源模型（如 Nano Banana Pro, GPT-Image-1.5）的差距。
4. 方法论指导：揭示了跨任务协同训练（Cross-task co-training）的协同效应，并提出了有效的长上下文处理策略（如 Text-aligned Token Selection）。

4. 实验结果 (Results)

• 定量评估 (MacroBench)：
  • 基于 Bagel 微调的模型在 MacroBench 上的平均得分达到 5.71，仅次于闭源模型 Nano Banana Pro (7.12) 和 GPT-Image-1.5 (7.50)，远超未微调的 Bagel (3.03) 及其他数据集（Echo4o, MICo）微调的模型。
  • 在高难度场景（6-10 张输入图）下，MacroData 微调的模型表现出更强的鲁棒性，性能下降幅度显著小于基线模型。
  • 在空间任务中，基线模型得分通常低于 1.0，而 MacroData 微调后提升至 3.40 左右，显示出对 3D 关系理解的巨大提升。
• 定性结果：
  • 模型能够准确整合多张图像的特征（如将不同人的衣物、不同场景的背景组合），生成连贯的图像。
  • 在视频预测任务中，能够保持角色身份和动作逻辑的一致性。
• 消融实验：
  • 跨任务训练：全量数据集训练优于单一子集训练，证明了任务间的协同效应。
  • 数据比例：对于渐进式任务（定制化），增加长输入样本比例（如 2:2:3:3）能显著提升高输入数量下的性能。
  • Token 选择：Text-aligned 策略在保留 30% Token 的情况下仍能保持高性能，有效降低了计算开销。

5. 意义与影响 (Significance)

• 解决数据稀缺：直接针对多参考生成领域缺乏高质量长上下文数据的痛点，提供了系统性的解决方案。
• 推动开源模型发展：证明了通过高质量数据微调，开源模型可以在复杂的多参考任务中达到接近顶级闭源模型的水平，降低了相关技术的门槛。
• 定义新标准：MacroBench 为未来多参考生成研究提供了统一的评估标准，有助于更公平地比较不同模型和架构。
• 应用前景：该工作对需要复杂视觉组合的应用（如游戏资产生成、电影分镜设计、个性化广告、3D 建模辅助）具有重要的实际价值。

总结：MACRO 通过构建大规模、结构化的长上下文数据集和基准，成功解决了多参考图像生成中的“数据瓶颈”和“评估缺失”问题，显著提升了模型在处理复杂视觉依赖关系时的能力，为该领域的未来发展奠定了坚实基础。