Kaleido: Open-Sourced Multi-Subject Reference Video Generation Model

本文提出了 Kaleido，一种通过构建高质量一致性训练数据并引入参考旋转位置编码（R-RoPE）机制，从而显著提升多参考图像条件下主体一致性与背景解耦能力的开源多主体参考视频生成模型。

要点

这篇论文介绍了一个名为 Kaleido（万花筒） 的新 AI 模型，它的核心任务是：给你几张参考图（比如一张照片、一个玩偶、或者一个场景），然后让 AI 根据这些图生成一段连贯的视频。

为了让你更轻松地理解这项技术，我们可以把视频生成想象成**“拍电影”，而 Kaleido 就是那个超级导演**。

1. 以前的“导演”遇到了什么麻烦？

在 Kaleido 出现之前，现有的 AI 导演在拍这种“参考图转视频”的电影时，经常犯两个大错误：

• 错误一：记性太差，容易“串戏”（多主体一致性差）。
  想象一下，你给导演看了一张“穿红衣服的女孩”和一张“拿蓝气球的小狗”的照片，让他拍一段他们互动的视频。
  以前的 AI 导演可能会拍着拍着，把女孩的衣服变成蓝色的，或者让小狗突然长出了翅膀，甚至把两个角色搞混了。它记不住每个角色的“人设”。
• 错误二：背景太乱，无法“换景”（背景解耦失败）。
  如果你给导演看一张“女孩在公园长椅上”的照片，让他拍一段女孩在“海边”的视频。
  以前的 AI 导演往往会把公园的长椅、后面的树木也一起搬到了海边。它分不清哪些是“主角”，哪些是“背景板”，导致生成的视频里主角和背景粘在一起，怎么甩都甩不掉。

为什么会这样？
论文指出，主要原因有两个：

1. 教材太烂： 以前用来训练 AI 的数据，很多是直接从视频里截取的。AI 学的时候，以为“主角”和“背景”是天生绑定的，学不会把主角从背景里“抠”出来。
2. 沟通方式不对： 以前给 AI 看多张参考图时，就像把一堆照片胡乱堆在桌子上，AI 容易搞混哪张图对应哪个角色，导致“张冠李戴”。

---

2. Kaleido 的两大“独门秘籍”

为了解决这些问题，Kaleido 团队搞了两套绝招：

秘籍一：重新编写“教材”（数据构建流水线）

他们不再直接拿原始视频当教材，而是像**“精修照片”**一样重新加工数据：

• 人工（AI）抠图： 他们利用先进的工具，把视频里的“主角”和“背景”强行分开。
• 乱序重组（交叉配对）： 这是最精彩的一步！他们把“穿红衣服的女孩”从“公园”里抠出来，强行放到“海边”、“沙漠”甚至“太空”的背景里，然后告诉 AI：“看，这是同一个女孩，只是换了个地方。”
• 效果： 这样训练出来的 AI 导演，彻底明白了“主角是主角，背景是背景”。无论背景怎么变，主角的样子（衣服、长相）都能保持得死死的。

秘籍二：给照片贴“专属标签”（R-RoPE 技术）

以前给 AI 看多张参考图，就像把几张照片混在一起扔给 AI，AI 容易晕。
Kaleido 发明了一种叫 R-RoPE（参考旋转位置编码） 的技术。

• 比喻： 想象你在给一群演员（参考图）发**“座位号”**。
  • 视频里的每一帧画面，座位号是 时间 - 行 - 列（比如第 1 秒，第 2 排，第 3 座）。
  • 而 Kaleido 给参考图（照片）发的座位号是**“特殊区”的。它给照片的座位号加了一个巨大的“偏移量”，就像把照片安排在了一个独立的 VIP 包厢**里，和视频画面的座位完全隔开。
• 效果： 这样 AI 导演一眼就能分清：“哦，这是参考图（VIP 包厢里的），那是正在演的视频（普通座位）。”它再也不会把参考图里的背景误认为是视频里的背景，也不会把两个不同的角色搞混。

---

3. 效果怎么样？

Kaleido 现在的表现非常惊人，甚至超过了目前市面上很多昂贵的闭源商业模型（比如 Vidu、Kling 等）：

• 主角更稳： 无论是真人、玩偶还是卡通人物，在视频里动起来时，长相和衣服几乎不会变样。
• 背景更纯： 你可以让同一个玩偶在卧室、森林、火星之间无缝切换，背景完全由文字指令控制，不会残留原图里的杂物。
• 多角色和谐： 即使视频里同时有“女孩”和“小狗”，它们也能各归其位，互不干扰。

总结

简单来说，Kaleido 就像是一个拥有“超级记忆力”和“超强抠图能力”的 AI 导演。

它通过**“把主角和背景强行拆分开来学习”（数据清洗），以及“给参考图贴上特殊的 VIP 标签”**（R-RoPE 技术），成功解决了以前 AI 拍视频时“记不住人”和“带错背景”的毛病。

现在，这个模型已经开源了，意味着任何人都可以使用它来创作高质量、角色一致的视频，让普通人也能像拍大片一样，轻松把照片变成生动的故事。

技术摘要

Kaleido：开源多主体参考视频生成模型技术总结

1. 研究背景与问题定义 (Problem)

核心任务：主体到视频生成（Subject-to-Video, S2V）。该任务旨在根据目标主体的多张参考图像和文本提示，生成主体外观一致且背景可控的动态视频。

现有挑战：
尽管视频生成领域（如 Sora、Kling、Vidu 等）取得了显著进展，但现有的开源 S2V 模型在以下方面仍存在不足，导致其性能落后于闭源商业模型：

1. 多主体一致性差：在包含多个主体（Multi-subject）的场景中，模型难以保持不同主体的身份一致性，容易出现主体混淆或特征漂移。
2. 背景解耦困难：现有模型往往难以将主体与参考图像中的背景分离，导致生成的视频中保留了参考图中不必要的背景元素或无关物体（即“背景纠缠”问题）。
3. 训练数据质量与多样性不足：
   • 现有数据构建通常直接从视频帧中选取参考图，导致模型倾向于直接复制参考图的姿态和背景，而非学习主体的内在特征。
   • 缺乏高质量的“交叉配对”（Cross-paired）数据（即主体来自一个实例，背景来自另一个实例），限制了模型在开放世界场景下的泛化能力。
4. 条件注入机制次优：现有的多参考图像融合策略（如简单的特征拼接或 Adapter 架构）容易导致空间重叠、Token 顺序混乱，或引入额外的推理成本。

2. 方法论 (Methodology)

Kaleido 提出了一套完整的解决方案，包含数据构建流水线和新颖的模型架构设计。

2.1 数据构建流水线 (Data Construction Pipeline)

为了解决数据质量和解耦问题，作者设计了一个多阶段的数据处理流程：

1. 视频预处理与描述：将大规模视频切片，利用 VLM 生成文本描述。
2. 主体定义与识别：构建包含 100+ 类别的主体分类体系，利用 Grounding DINO 和 SAM 进行鲁棒的定位和细粒度分割。
3. 严格过滤：实施尺寸过滤、CLIP 分类验证、IoU 重叠过滤以及质量过滤（亮度、模糊度），确保主体清晰且独立。
4. 背景解耦增强 (Background Disentanglement)：
   • 利用 Inpainting 技术去除参考图中的背景信息。
   • 训练时强制模型仅根据参考图重建主体，而根据文本提示合成背景，从而打破主体与背景的强耦合。
5. 姿态与运动丰富化：利用 Flux Redux 等模型改变参考图中主体的姿态，增加数据多样性，防止模型过拟合于特定帧。
6. 交叉配对构建 (Cross-Paired Construction)：将不同视频/图像中的主体与背景进行重新组合，构建“主体 - 背景”解耦的训练样本，这是提升解耦能力的关键。

2.2 模型框架：R-RoPE 机制 (Reference Rotary Positional Encoding)

Kaleido 基于 Wan2.1-T2V-14B 进行微调，采用了一种简单高效的条件注入策略，并引入了核心创新点 R-RoPE。

• 条件注入策略：采用简单的序列拼接（Concatenation），将参考图像 Token 和视频噪声 Token 沿序列维度合并，避免了复杂的 Adapter 模块带来的额外推理开销。
• R-RoPE 设计：
  • 问题：直接拼接会导致模型将图像 Token 误认为是视频序列中的连续帧，破坏时间连续性。
  • 解决方案：修改旋转位置编码（RoPE）。
    • 视频 Token：使用标准的 3D RoPE，位置向量为 $(t, h, w)$。
    • 参考图像 Token：引入偏移量。空间维度 $(h, w)$ 的起始位置被偏移至视频序列的最大空间维度 $(H_{max}, W_{max})$ 之后；时间维度 $t$ 则独立分配（每个图像从 $t=0$ 开始）。
  • 公式：$Pos_i = [i-1, H_{max} + \text{shift}_H, W_{max} + \text{shift}_W]$。
  • 作用：这种显式的空间位置分离，使模型能够清晰区分“视频帧”和“参考条件”，有效防止多主体场景下的 Token 混乱和空间重叠，同时保持计算效率。

3. 主要贡献 (Key Contributions)

1. 全面的数据构建流水线：提出了包含多类别采样、严格过滤和交叉配对数据构建的流水线。该方法显著提升了数据的多样性，并强制实现了主体与背景的有效解耦。
2. R-RoPE 位置编码机制：创新性地引入参考旋转位置编码，通过空间维度的偏移，实现了多参考图像的稳定、精确融合，解决了多主体 S2V 中的 Token 对齐难题。
3. SOTA 开源 S2V 模型：Kaleido 在主体保真度、背景解耦能力和生成质量上均达到了当前开源模型的最先进水平，并在多项指标上逼近甚至超越部分闭源商业模型。
4. 开源生态：作者承诺开源数据流水线代码和预训练模型，为社区提供了坚实的基础。

4. 实验结果 (Results)

4.1 定量评估

在包含人类、动物、卡通和物体的多样化测试集上，Kaleido 表现优异（见表 1）：

• 主体一致性 (Subject Consistency)：得分 0.956，与闭源模型 Vidu Q1 持平，显著优于 VACE (0.925) 和 Phantom (0.946)。
• S2V 解耦 (S2V Decoupling)：得分 0.319（越高越好），表明其去除无关背景信息的能力最强。
• S2V 一致性 (S2V Consistency)：得分 0.723，在多主体场景下保持身份一致性的能力最强。
• 人脸相似度：在人脸测试子集上，Kaleido 的平均人脸相似度 (0.504) 优于所有开源模型，并略优于闭源模型 Kling (0.495)。

4.2 定性评估与用户研究

• 用户偏好：在视频质量、提示词对齐、主体一致性和解耦能力四个维度的用户研究中，Kaleido 均获得最高评分，用户更倾向于选择 Kaleido 而非 VACE、Kling 或 Vidu。
• 视觉表现：
  • 相比 VACE，Kaleido 能更好地去除参考图中的背景干扰。
  • 相比 Vidu，Kaleido 避免了主体的重复出现。
  • 相比 Kling，Kaleido 在保持高保真度的同时，减少了细节错误（如动物佩戴错误配饰）。

4.3 消融实验

• 交叉配对数据：移除交叉配对数据导致 S2V 一致性和解耦能力显著下降，证明了该策略对解耦的重要性。
• R-RoPE 变体：同时偏移高度和宽度（ShiftH & ShiftW）的效果最佳，证明了完整空间分离对多参考融合的关键作用。

5. 意义与影响 (Significance)

Kaleido 的工作填补了开源 S2V 模型与闭源商业模型之间的性能鸿沟。

1. 技术突破：通过 R-RoPE 和交叉配对数据策略，解决了多主体视频生成中“身份保持”与“背景控制”难以兼得的长期痛点。
2. 应用价值：为电商（虚拟试穿、产品展示）、广告制作、数字人生成等领域提供了高质量、低成本且可控的开源解决方案。
3. 社区贡献：开源了高质量的数据构建流程和模型权重，推动了视频生成领域从“黑盒”向“可复现、可研究”的开放科学发展，为未来更复杂的个性化视频生成研究奠定了坚实基础。