💻 computer science

TimeColor: Flexible Reference Colorization via Temporal Concatenation

TimeColor 提出了一种基于时间拼接的灵活视频上色模型，通过显式区域分配、时空掩码注意力及模态分离 RoPE 索引等机制，有效解决了多参考源（如角色表、背景图或任意帧）上色中的身份泄露与捷径问题，显著提升了上色保真度、身份一致性与时间稳定性。

原作者： Bryan Constantine Sadihin, Yihao Meng, Michael Hua Wang, Matteo Jiahao Chen, Hang Su

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bryan Constantine Sadihin, Yihao Meng, Michael Hua Wang, Matteo Jiahao Chen, Hang Su

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 TimeColor 的新 AI 工具，它的核心任务是：给动画草图“上色”。

想象一下，你手里有一部还没上色的黑白动画电影（全是线条草图），你需要给里面的角色和背景涂上颜色。以前的 AI 工具就像是一个“死脑筋”的画师，而 TimeColor 则像是一个“超级灵活”的资深美术指导。

下面我用几个生活中的比喻来解释它是怎么工作的，以及它为什么厉害：

1. 以前的痛点：只有一个“参考图”的尴尬

旧方法（单参考）： 以前的 AI 就像是一个只盯着第一张图看的画师。
- 场景： 动画里，主角从正面跑变成了侧面跳，甚至换了个场景。
- 问题： 如果只给 AI 看第一张图，当主角转了身，AI 就懵了：“这个侧面的人还是原来那个人吗？他的衣服颜色该是什么样？”结果往往是颜色涂错了，或者角色长得变了样（比如把红色的衣服涂成了蓝色，或者把主角的脸涂成了背景里的路人）。
- 局限： 就算你有一堆参考图（比如角色设计稿、背景图、或者别的镜头里的彩色画面），旧 AI 也只用得上一张，其他的都被扔在一边。

2. TimeColor 的解决方案：把参考图变成“时间轴上的队友”

TimeColor 的核心创新在于它不再把参考图当作“说明书”，而是把它们变成了视频的一部分。

比喻：时间轴上的“拼盘”
- 想象你在剪辑视频。以前的做法是：把参考图贴在旁边，让 AI 看着贴。
- TimeColor 的做法是：把参考图直接插进视频的时间轴里。
- 怎么插？ 它把草图视频、角色设计图、背景图、甚至别的镜头的彩色画面，全部像叠罗汉一样，在时间维度上拼接起来。
- 效果： 对 AI 来说，这些参考图不再是“外部的提示”，而是变成了视频里“额外的帧”。AI 在处理每一帧时，都能同时看到所有的参考图。这就好比画师在画画时，面前摆满了所有的参考素材，而不是只有一张。

3. 两大“黑科技”：防止“张冠李戴”和“串味”

虽然把参考图都塞进去了，但 AI 可能会犯糊涂：比如把“孙悟空”的红色衣服涂到了“猪八戒”身上，或者把“背景里的树”涂到了“主角”身上。TimeColor 用了两个聪明的办法来解决：

A. 给参考图发“专属身份证” (模态分离的 RoPE)

比喻： 就像在图书馆里，把“草图区”、“参考图区”和“目标视频区”用不同的颜色标签标记清楚。
作用： 即使它们挤在同一个时间轴上，AI 也能清楚知道：“哦，这一帧是草图，那一帧是参考图，它们不能混为一谈。”这防止了 AI 把参考图的位置搞乱，导致颜色乱飞。

B. 严格的“对号入座” (时空掩码注意力)

比喻： 这是最精彩的部分。想象你在给一群孩子发糖果（颜色）。
- 旧方法： 把所有糖果倒在一个大桶里，孩子们（AI）随便抓，结果爱吃苹果的拿到了梨。
- TimeColor 方法： 给每个孩子发一张专属的通行证。
  - 主角 A 的通行证上写着：“只能从‘角色设计图’里拿颜色。”
  - 背景 B 的通行证上写着：“只能从‘背景图’里拿颜色。”
  - 如果主角 A 想从“背景图”里拿颜色，通行证会直接拒绝（Attention Masking）。
作用： 这彻底杜绝了“串味”。不管参考图有多少张，AI 都严格知道哪张图对应哪个角色，绝对不会把张三的衣服颜色涂到李四身上。

4. 为什么它这么重要？（实际应用场景）

在动画制作中，这能省掉巨大的工作量：

以前： 画师要手动把颜色从第一帧“搬运”到后面几百帧，还要保证角色转身后颜色不变，非常累。
现在： 你可以给 TimeColor 提供：
1. 一张角色设计图（不管它在哪）。
2. 一张背景图。
3. 甚至可以是动画里任意一帧已经画好的彩色画面。
- TimeColor 能自动把这些信息结合起来，瞬间生成整部动画的彩色版本，而且角色长得像、颜色对、动作流畅。

总结

TimeColor 就像一个拥有“超级记忆力”和“严格纪律”的动画上色助手。

它不再死板地只认第一张图，而是能同时处理任意数量、任意类型的参考图（角色卡、背景图、任意帧）。它通过把参考图“塞进”视频时间轴，并给每个角色配上“专属通行证”，确保了颜色涂得准、角色认得清、画面不混乱。

这让动画制作从“手工搬运颜色”变成了“智能批量上色”，大大降低了制作高质量动画的门槛和成本。

以下是关于论文 TimeColor: Flexible Reference Colorization via Temporal Concatenation 的详细技术总结：

1. 研究背景与问题 (Problem)

现有的动画视频上色（Sketch Video Colorization）模型通常存在以下局限性，难以满足实际生产需求：

单一参考依赖：大多数模型仅依赖单个参考帧（通常是场景的第一帧），无法利用角色设定集、背景图或任意彩色帧等丰富的多源参考信息。
跨场景复用困难：现有方法通常要求参考帧必须来自目标镜头（Target Shot），限制了跨场景的角色一致性复用。
多参考条件下的歧义与泄露：在处理多个异构参考（如多个角色设定 + 背景）时，模型难以明确哪个参考对应哪个输出区域，容易导致“捷径学习”（Shortcutting，即模型忽略参考直接生成）和“跨身份调色板泄露”（Cross-identity palette leakage，即角色A的颜色混入角色B）。
架构灵活性不足：传统的 ControlNet 或通道拼接方法通常假设固定数量的参考输入，难以支持可变数量的参考条件。

2. 核心方法论 (Methodology)

作者提出了 TimeColor，一个基于扩散 Transformer (DiT) 的视频上色框架，旨在通过**时间拼接（Temporal Concatenation）**机制实现灵活的多参考条件控制。

A. 时间拼接与可变参考条件 (Temporal Concatenation)

机制：将参考图像（Reference Images）编码为额外的潜在帧（Latent Frames），并与目标素描视频在时间维度上进行拼接，而不是在通道维度或添加额外的适配器分支。
优势：
- 参数固定：无论参考数量多少，模型参数量保持不变，仅增加序列长度（计算量）。
- 并发处理：所有参考在扩散过程的每一步中都被并发处理。
- 灵活性：支持任意数量的异构参考（起始帧、任意帧、多角色/背景设定）。

B. 模态解耦的 RoPE 索引 (Modality-Disjoint RoPE)

问题：直接拼接不同模态（目标、素描、参考）的 Token 会导致位置编码干扰。
解决方案：为不同模态分配互不重叠的 RoPE（旋转位置编码）索引范围。
- 目标帧和素描帧共享相同的时间索引 $l$ 以保持对齐。
- 参考帧被分配独特的负索引（如 $l = -r$ ），确保它们在时间上分离且互不重叠，防止位置干扰。

C. 时空对应掩码注意力 (Spatiotemporal Correspondence-Masked Attention)

这是解决多参考歧义的核心创新：

硬约束机制：利用像素级的对应掩码（Correspondence Masks），将目标视频中的每个时空区域（Patch）明确绑定到特定的参考索引。
注意力门控：在注意力计算中引入硬掩码 $M_{ij}$ $M_{ij}$ 。
- 查询 Token（Query）可以关注所有非参考 Token。
- 关键限制：查询 Token 只能关注与其具有相同身份 ID（ $\rho(i) = \rho(j)$ ）的参考 Token。
效果：强制模型将特定角色的颜色绑定到指定的参考设定，彻底阻断跨参考的注意力混合，从而消除“捷径”和颜色泄露。

D. 自动化数据流水线 (Automated Dataset Pipeline)

由于缺乏大规模的多参考跟踪数据集，作者构建了自动化流水线：

利用 InternVL3 识别场景主体，Grounding DINO 进行关键帧检测，SAM2 进行全视频实例跟踪。
通过迭代 refinement 解决遮挡和主体遗漏问题。
从不同场景采样参考帧（利用 DINO 检索），并生成像素级的对应掩码，构建了包含约 12 万单参考和 9.6 万多参考样本的 Sakuga-42M 训练集。

3. 主要贡献 (Key Contributions)

TimeColor 框架：首个支持可变数量、异构多参考条件的素描视频上色 DiT 框架，通过时间拼接实现了固定参数下的弹性条件控制。
关键机制创新：提出了模态解耦 RoPE 和 时空对应掩码注意力，有效解决了多参考条件下的身份绑定和颜色泄露问题，实现了可控的区域级上色。
大规模数据集构建：开发了一套自动化的数据标注与处理流水线，生成了包含主体/背景参考及像素级对应掩码的大规模多参考动画上色数据集。

4. 实验结果 (Results)

在 Sakuga-42M 测试集上进行了广泛评估，包括起始帧、任意帧和多参考三种设置：

定量指标：TimeColor 在所有设置下均优于现有最先进方法（如 LVCD, AniDoc, ToonCrafter, ToonComposer, LongAnimation, VACE）。
- 在多参考设置下提升最为显著（FVD 从 454.40 降至 47.13，SSIM 从 0.3369 提升至 0.7589）。
- 即使在参考帧与目标帧存在巨大视角/姿态差异（任意帧）的情况下，仍保持鲁棒性。
定性分析：
- 颜色保真度：更好地保留了参考的调色板，减少了颜色褪色或溢出。
- 身份一致性：在多角色场景中，严格区分了不同角色的颜色，无跨角色泄露。
- 时间稳定性：生成的视频在帧间具有高度的一致性。
消融实验：
- 移除模态解耦 RoPE 会导致后期帧颜色 washed-out（褪色）和训练长度外的不稳定。
- 移除对应掩码注意力（使用全注意力或仅参考间掩码）会导致明显的跨参考颜色干扰和捷径学习。

5. 意义与影响 (Significance)

生产级实用性：TimeColor 解决了动画制作中“角色一致性”和“跨场景复用”的痛点，允许制作人员使用角色设定表（Character Sheets）或任意关键帧作为参考，大幅减少手动逐帧上色的工作量。
架构范式转移：证明了通过时间维度的 Token 拼接而非传统的通道拼接或适配器，可以更灵活、高效地处理可变数量的条件输入，为视频生成中的多条件控制提供了新的设计思路。
解决核心难题：通过硬性的注意力掩码机制，从根本上解决了多参考生成中的“指代歧义”问题，为未来的多实例可控生成提供了重要参考。

总结：TimeColor 通过创新的时空注意力机制和灵活的时间拼接策略，成功实现了高质量、高一致性的多参考视频上色，显著提升了生成式 AI 在动画生产流程中的实用价值。