💻 computer science

TimeColor: Flexible Reference Colorization via Temporal Concatenation

Le papier présente TimeColor, un modèle de colorisation vidéo basé sur le dessin qui améliore la fidélité des couleurs et la cohérence temporelle en permettant l'utilisation de références hétérogènes et multiples via une concaténation temporelle et des mécanismes d'attention spécifiques.

Auteurs originaux : Bryan Constantine Sadihin, Yihao Meng, Michael Hua Wang, Matteo Jiahao Chen, Hang Su

Publié 2026-04-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bryan Constantine Sadihin, Yihao Meng, Michael Hua Wang, Matteo Jiahao Chen, Hang Su

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎨 TimeColor : Le Magicien de la Couleur pour Dessins Animés

Imaginez que vous êtes un réalisateur de dessin animé. Vous avez des centaines de dessins au trait (noir et blanc) et vous devez les colorier. Traditionnellement, c'est un travail de titan : il faut peindre chaque image à la main en s'assurant que le personnage garde la même couleur du début à la fin, même s'il tourne ou change de pose.

C'est là qu'intervient TimeColor, une nouvelle intelligence artificielle qui change la donne. Voici comment elle fonctionne, sans jargon technique.

1. Le Problème : Le "Miroir Magique" qui ne voit qu'une seule image

Les anciennes méthodes d'IA fonctionaient comme un miroir magique un peu bête.

Vous lui donniez une seule image de référence (par exemple, le premier dessin du personnage déjà colorié).
L'IA regardait cette image et essayait de copier les couleurs sur tout le reste de la vidéo.
Le hic ? Si vous vouliez utiliser une autre image (un dessin du dos du personnage, ou un fond différent), l'IA était perdue. Elle ne pouvait pas gérer plusieurs sources en même temps. Elle finissait par mélanger les couleurs (le personnage devient violet au lieu de rouge) ou oublier qui est qui.

2. La Solution : Le "Train de Couleurs" (TimeColor)

TimeColor fonctionne comme un train spécial qui transporte plusieurs wagons de couleurs en même temps.

L'Analogie du Train : Au lieu de donner une seule photo à l'IA, vous lui donnez un "wagon" pour chaque référence.
- Wagon 1 : Le visage du personnage (pour la couleur de la peau).
- Wagon 2 : Le costume (pour la couleur du vêtement).
- Wagon 3 : Le fond de la scène (pour le décor).
- Wagon 4 : Une autre pose du personnage (pour vérifier la couleur de l'arrière-plan).
La Magie Temporelle : TimeColor empile tous ces wagons les uns après les autres dans le temps. L'IA regarde tout le train d'un coup, mais elle est très intelligente : elle sait exactement quel wagon correspond à quelle partie du dessin.

3. Les Deux Super-Pouvoirs de TimeColor

Pour que ce système fonctionne sans faire de bêtises, TimeColor utilise deux astuces géniales :

A. Les Étiquettes de Voies (RoPE Disjoint)
Imaginez que le train roule sur des rails. Si tous les wagons étaient sur le même rail, ils se cogneraient.

TimeColor donne à chaque type d'image (le dessin noir et blanc, la photo de référence, le fond) sa propre voie ferrée invisible.
Cela empêche l'IA de confondre "la couleur du fond" avec "la couleur du nez du personnage". Chaque information reste sur sa propre voie, même si elles voyagent ensemble.

B. Le Portier Rigoureux (Attention Masquée)
C'est la partie la plus importante pour éviter les erreurs.

Imaginez un portier de boîte de nuit très strict devant chaque partie du dessin.
Si le "nez" du personnage demande une couleur, le portier dit : "Non, tu ne peux parler qu'au wagon 'Visage' ! Tu n'as pas le droit de parler au wagon 'Vêtements'."
Cela empêche l'IA de faire des raccourcis faciles (comme mettre la couleur d'un vêtement sur le visage) et garantit que chaque zone reçoit exactement la bonne couleur de la bonne référence.

4. Pourquoi c'est révolutionnaire ?

Flexibilité Totale : Vous pouvez donner à TimeColor 1 référence, 5 références, ou même des références qui ne sont pas dans la même scène. Elle s'adapte sans avoir besoin d'être réentraînée.
Pas de "Fuite" de Couleur : Dans les anciennes méthodes, si vous montriez un personnage en rouge et un autre en bleu, l'IA pouvait mélanger les deux. TimeColor, grâce à son "portier", garde tout bien séparé.
Stabilité : Les couleurs restent stables tout au long de la vidéo, même si le personnage bouge beaucoup.

5. Comment ont-ils appris à l'IA ? (L'usine à données)

Pour apprendre à TimeColor à faire cela, les chercheurs ont dû créer un immense manuel d'instructions. Comme il n'existe pas de base de données de dessins animés déjà coloriés avec des étiquettes précises, ils ont construit une usine automatisée :

Ils ont pris des milliers de vidéos de dessins animés.
Ils ont utilisé d'autres IA pour repérer les personnages, les suivre dans la vidéo et découper les images pour créer des "fiches d'identité" (références) pour chaque personnage.
Cela leur a permis d'entraîner TimeColor sur des millions d'exemples, lui apprenant à associer la bonne couleur à la bonne partie du corps, peu importe la pose.

En résumé 🌟

TimeColor, c'est comme donner à un peintre une boîte à outils complète plutôt qu'une seule boîte de peinture.
Au lieu de dire "Peins tout comme cette première image", on dit : "Pour le visage, regarde cette photo. Pour les cheveux, regarde ce dessin. Pour le fond, regarde cette autre image." Et l'IA, grâce à ses règles strictes, s'assure que chaque partie du dessin reçoit exactement la bonne instruction, sans jamais se tromper de boîte.

C'est une avancée majeure pour rendre la création de dessins animés plus rapide, moins chère et plus fidèle à la vision des artistes.

1. Problématique et Contexte

La colorisation de vidéos d'animation (à partir de croquis) est une tâche cruciale mais laborieuse dans l'industrie. Les modèles de génération actuels basés sur la diffusion souffrent de plusieurs limitations majeures :

Dépendance à une seule référence : La plupart des méthodes ne conditionnent la génération que sur une seule image de référence (généralement la première image de la scène). Cela empêche l'utilisation de ressources riches comme des feuilles de caractères (character sheets), des arrière-plans séparés ou des images colorisées arbitraires d'autres plans.
Incohérence et fuite d'identité : Lorsqu'on tente d'utiliser plusieurs références, les modèles souffrent souvent de "fuite de palette" (cross-identity leakage), où les couleurs d'un personnage se mélangent à celles d'un autre, ou de "raccourcis" (shortcutting), où le modèle ignore la référence assignée pour se baser sur une similarité visuelle globale.
Rigidité des architectures : Les méthodes existantes (ControlNet, injection de canaux) supposent souvent un nombre fixe de canaux d'entrée ou nécessitent des inférences multiples, ce qui augmente les coûts computationnels et limite la flexibilité.

L'objectif de TimeColor est de permettre une colorisation vidéo conditionnée par un nombre variable et hétérogène de références (images de départ, images arbitraires, feuilles de personnages, arrière-plans) tout en maintenant une cohérence temporelle et une fidélité à l'identité des sujets.

2. Méthodologie

TimeColor est un cadre basé sur les Transformateurs de Diffusion (DiT) qui résout le problème de la colorisation multi-référence grâce à trois innovations techniques principales :

A. Concaténation Temporelle pour le Conditionnement Variable

Au lieu d'empiler les références sur les canaux (ce qui fixe la dimension d'entrée) ou d'utiliser des branches adaptatrices (ControlNet), TimeColor encode toutes les références (croquis, images colorisées, arrière-plans) comme des images latentes supplémentaires.

Ces références sont concaténées à l'axe temporel avec la vidéo cible et le croquis.
Cela permet de traiter un nombre arbitraire de références simultanément à chaque étape de débruitage sans augmenter le nombre de paramètres du modèle. La longueur de la séquence change, mais pas la complexité du modèle.

B. Encodage de Position RoPE Disjoint par Modalité

Pour éviter les interférences de positionnement entre les différentes modalités (vidéo bruitée, croquis, références), l'auteur utilise un mécanisme d'encodage de position rotatif (RoPE) disjoint.

Chaque modalité reçoit un décalage d'index temporel et spatial spécifique ( $l_{mod}, \Delta H_{mod}, \Delta W_{mod}$ ).
Cela garantit que le modèle distingue clairement les tokens de la vidéo cible de ceux des références, même lorsqu'ils sont concaténés dans la même séquence temporelle.

C. Attention Masquée par Correspondance Spatio-temporelle

C'est le cœur de la solution pour éviter la fuite d'identité. Le modèle utilise un masque d'attention dur (hard mask) basé sur des correspondances pixel-à-pixel.

Pour chaque patch spatio-temporel de la vidéo cible, une correspondance stricte est établie avec un index de référence spécifique ( $\rho(i)$ ).
Le mécanisme d'attention est contraint : un token de requête (cible) ne peut s'attendre (attend) qu'aux tokens de clés/valeurs de la référence qui lui est explicitement assignée.
Cela force le modèle à respecter la liaison sujet-référence définie par l'utilisateur, éliminant ainsi les ambiguïtés et les raccourcis où le modèle choisirait la référence la plus similaire visuellement au lieu de la bonne.

D. Pipeline de Données Automatisé

Pour entraîner ce modèle, un pipeline de curation automatisé a été développé sur le dataset Sakuga-42M :

Utilisation de InternVL3 pour identifier les sujets principaux.
Utilisation de Grounded DINO et SAM2 pour le suivi d'instances et la génération de masques de correspondance denses au niveau des pixels.
Échantillonnage de références provenant de fenêtres temporelles éloignées (pour éviter que le modèle n'apprenne à copier l'image de départ) et augmentation des données pour créer des écarts d'apparence significatifs entre la référence et la cible.

3. Contributions Clés

TimeColor : Un cadre DiT pour la colorisation de vidéos de croquis supportant des références hétérogènes et en nombre variable via un conditionnement par concaténation temporelle, avec un budget de paramètres fixe.
Mécanismes de Liaison : L'introduction de RoPE disjoint et d'une attention masquée par correspondance pour garantir un lien strict sujet-référence, résolvant les problèmes de fuite d'identité et de raccourcis.
Pipeline de Données à Grande Échelle : Une méthode automatisée pour générer des données d'entraînement multi-références avec des masques de correspondance denses, rendant possible l'apprentissage de ce type de tâche complexe.

4. Résultats Expérimentaux

Les évaluations ont été menées sur le dataset Sakuga-42M dans trois régimes : référence par image de départ, image arbitraire, et multi-référence.

Performance Quantitative : TimeColor surpasse systématiquement les méthodes de l'état de l'art (LVCD, AniDoc, ToonCrafter, ToonComposer, LongAnimation, VACE) sur toutes les métriques (SSIM, PSNR, LPIPS, FVD, FID).
- Les gains sont particulièrement marqués dans le régime multi-référence, où les méthodes concurrentes échouent souvent à maintenir la cohérence des couleurs entre les personnages.
- TimeColor reste compétitif même dans des conditions difficiles (références arbitraires avec grands écarts de pose).
Performance Qualitative :
- Fidélité de la palette : Les couleurs suivent précisément les références assignées sans décoloration ni saignement (bleeding).
- Cohérence temporelle : La stabilité des couleurs d'une image à l'autre est supérieure.
- Robustesse : Le modèle gère bien les changements de point de vue et les références non alignées temporellement.
Études d'ablation :
- Sans RoPE disjoint, les couleurs deviennent lavées et instables.
- Sans masquage d'attention stricte (ou avec un masquage doux), le modèle retombe dans des raccourcis (raccourcis de similarité) et mélange les palettes de couleurs entre les personnages.

5. Signification et Impact

TimeColor représente une avancée significative pour la production d'animation assistée par IA :

Flexibilité Industrielle : Il répond aux besoins réels des studios qui utilisent divers types de références (feuilles de caractères, arrière-plans, images de référence d'autres plans) plutôt qu'une seule image fixe.
Efficacité : En maintenant un nombre de paramètres fixe tout en supportant un nombre variable de références, il offre une solution évolutive et économiquement viable par rapport aux méthodes nécessitant des inférences multiples.
Contrôle Précis : La capacité à assigner explicitement des régions à des références spécifiques permet un contrôle créatif bien supérieur, réduisant le besoin de retouche manuelle post-génération.

En résumé, TimeColor résout le problème fondamental de l'ambiguïté dans la colorisation multi-référence en imposant des contraintes structurelles strictes au niveau de l'attention, tout en exploitant la flexibilité des architectures DiT pour gérer des entrées complexes.