💻 computer science

LCG: Long-Context Consistent Image Generation with Sparse Relational Attention

Cet article propose la Génération de Long Contexte (LCG), un cadre utilisant une Attention Relationnelle Creuse et une Contrainte de Cohérence de Routage pour parvenir à une synthèse multi-images cohérente et évolutive pour les longs récits visuels, validée par un nouveau jeu de données à grande échelle et une performance supérieure par rapport aux modèles de référence en matière de cohérence de personnage et de cohérence sémantique.

Auteurs originaux : Zihao Wang, Yijia Xu, Haoze Zheng, Xuran Ma, Haokun Gui, Harry Yang

Publié 2026-06-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zihao Wang, Yijia Xu, Haoze Zheng, Xuran Ma, Haokun Gui, Harry Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un artiste essayant de dessiner une bande dessinée. Vous avez un scénario avec 20 scènes différentes. Le défi n'est pas seulement de dessiner une seule belle image ; c'est de dessiner 20 images à la suite où le personnage principal semble exactement le même dans chaque vignette, même s'il porte des vêtements différents, se trouve dans des endroits différents et fait des choses différentes.

Les outils d'art par IA actuels sont comme des artistes talentueux capables de dessiner un portrait magnifique. Mais si vous leur demandez de dessiner une histoire entière, ils ont tendance à subir une « dérive ». Dans la vignette 1, le héros a les yeux bleus et une cicatrice. À la vignette 10, le héros peut soudainement avoir les yeux verts et plus de cicatrice, ou le méchant peut ressembler au héros. Ce document, LCG, introduit une nouvelle façon de résoudre ce problème.

Voici comment la solution du papier fonctionne, décomposée en concepts simples :

1. Le Problème : La « Surcharge de Mémoire »

Pour garder un personnage cohérent sur 20 images, l'IA doit regarder les 20 images en même temps pour se souvenir de l'apparence du personnage.

L'ancienne méthode : Imaginez essayer d'avoir une conversation avec 20 personnes à la fois, où tout le monde crie sur tout le monde. À mesure que le groupe s'agrandit, le bruit devient impossible à gérer, et votre cerveau (la mémoire de l'ordinateur) plante. C'est ce qui arrive quand l'IA essaie de regarder toutes les images de manière « dense » (en connectant chaque pixel de chaque image à chaque pixel des autres).
Le résultat : L'IA s'embrouille, le personnage change d'apparence, ou l'ordinateur manque de mémoire.

2. La Solution : L'Attention Relationnelle Creuse (Sparse Relational Attention - SRA)

Les auteurs ont créé un nouveau mécanisme appelé Attention Relationnelle Creuse (SRA). Considérez cela comme le fait de donner à l'IA un surligneur intelligent plutôt qu'un projecteur.

Comment ça marche : Au lieu que l'IA essaie de connecter chaque partie de l'Image A à chaque partie de l'Image B, elle demande : « Quel est l'élément le plus important dans l'Image B que je dois voir pour maintenir la cohérence de l'Image A ? »
L'analogie : Imaginez que vous écriviez la suite d'un livre. Vous n'avez pas besoin de relire toute la bibliothèque de 1 000 livres pour vous souvenir du nom du héros. Vous avez juste besoin de consulter la fiche index du personnage. La SRA agit comme cette fiche index. Elle sélectionne uniquement les « caractéristiques clés » (comme le visage du héros ou une tenue spécifique) des autres images et ignore le reste. Cela permet à l'ordinateur de rester rapide et d'éviter d'être submergé, même avec des histoires longues.

3. Le Filet de Sécurité : La Contrainte de Cohérence de Routage (Routing Consistency Constraint - RCC)

Même avec le surligneur intelligent, l'IA pourrait encore s'embrouiller. Par exemple, si deux personnages portent tous deux des manteaux rouges, l'IA pourrait accidentellement échanger leurs visages.

Pour empêcher cela, les auteurs ont ajouté une règle appelée Contrainte de Cohérence de Routage (RCC).

L'analogie : Imaginez un éditeur strict qui possède une « fiche de personnage » (un masque) pour chaque personne de l'histoire. L'éditeur dit à l'IA : « Quand tu dessines le héros dans la Vignette 5, tu dois regarder le visage du héros dans la Vignette 1, et NON le visage du méchant, même s'ils portent la même couleur. »
Comment ça marche : Le système utilise ces « masques » pour forcer l'IA à router l'information correctement. Si l'IA essaie de copier les traits de la mauvaise personne, le système dit : « Non, c'est le mauvais chemin », et corrige l'erreur. Cela garantit que le héros reste le héros et le méchant reste le méchant, même dans des scènes encombrées.

4. Le Terrain d'Entraînement : Le Jeu de Données LCCD

Pour apprendre à l'IA comment faire cela, les chercheurs ne pouvaient pas simplement utiliser des photos aléatoires d'Internet (à cause des problèmes de confidentialité et de droit d'auteur). Au lieu de cela, ils ont construit un ensemble de données d'entraînement massif et personnalisé appelé LCCD (Long-Context Consistency Dataset).

L'échelle : Ils ont créé 600 000 séquences d'histoires fictives. Chaque séquence comporte de 6 à 20 images.
La variété : Certaines histoires ont un seul personnage, d'autres en ont plusieurs. Ils ont utilisé l'IA pour générer ces images, puis une autre IA pour vérifier : « Le personnage a-t-il gardé la même apparence dans chaque image ? » Si le personnage changeait trop, cette histoire était rejetée. Cela leur a laissé un jeu de données « parfait » pour entraîner le modèle.

5. Les Résultats

Lorsqu'ils ont testé leur nouveau système (LCG) par rapport aux autres méthodes :

Meilleure cohérence : Les personnages étaient beaucoup plus cohérents à travers de longues séquences (jusqu'à 20 images).
Meilleure narration : L'IA suivait les instructions spécifiques de chaque scène (par exemple, « assis sur un banc » vs « debout dans une bibliothèque ») sans perdre l'identité du personnage.
Efficacité : Grâce au « surligneur intelligent » (SRA), le système pouvait gérer des histoires longues sans faire planter la mémoire de l'ordinateur, là où les anciennes méthodes échouaient lorsque l'histoire devenait trop longue.

En résumé : Le document présente un nouveau cadre qui permet à l'IA de générer de longues histoires visuelles cohérentes (comme des bandes dessinées ou des storyboards) en utilisant un « surligneur intelligent » pour se concentrer uniquement sur les détails importants et un « éditeur strict » pour s'assurer que les personnages ne se mélangent pas, tout en maintenant l'efficacité de l'ordinateur.

Résumé Technique : Génération d'Images à Long Contexte avec Attention Relationnelle Creuse (LCG)

Problématique

Bien que les modèles génératifs récents aient atteint une fidélité impressionnante dans la synthèse d'images uniques, ils peinent à maintenir la cohérence à travers des sorties séquentielles requises pour des applications à long contexte telles que les bandes dessinées, les storyboards et les récits visuels. Les approches existantes sont confrontées à un compromis fondamental : générer des panneaux de manière indépendante ignore les preuves inter-panneaux, tandis qu'une génération séquentielle propage la dérive d'identité précoce ou les erreurs d'attribution de rôles aux cadres suivants. De plus, les mécanismes d'attention dense sur l'ensemble des panneaux, qui permettent un échange direct d'informations, souffrent d'une mise à l'échelle quadratique de la mémoire ( $O(N^2L^2D)$ ), dépassant rapidement les budgets mémoire pratiques à mesure que le nombre de panneaux ( $N$ ) augmente. Par conséquent, développer des modèles capables d'exploiter efficacement le contexte visuel à longue portée tout en préservant la cohérence globale reste un défi ouvert.

Méthodologie

Les auteurs proposent Long-Context Generation (LCG), un cadre basé sur la diffusion conçu pour la génération d'images texte-vers-image à long contexte multi-images. Étant donné une séquence de prompts spécifiques à une scène, LCG synthétise conjointement une séquence d'images correspondante, assurant l'alignement avec les prompts individuels tout en préservant l'identité des personnages, l'attribution des rôles et la continuité visuelle. Le cadre fonctionne en assignant chaque prompt à une branche de génération parallèle et en débruitant toutes les branches conjointement.

LCG introduit deux mécanismes clés pour répondre aux enjeux de scalabilité et de cohérence :

1. Attention Relationnelle Creuse (SRA - Sparse Relational Attention)

Pour surmonter les limitations de mémoire de l'attention dense, LCG reformule l'interaction entre les branches en un mécanisme d'Attention Relationnelle Creuse. Au lieu d'être attentif à tous les tokens de toutes les branches, chaque branche de génération est attentive de manière sélective aux régions les plus pertinentes des autres.

Compression Sémantique Grossière : Le modèle compresse les séquences de tokens de toutes les branches en représentations par blocs pour identifier les régions globalement pertinentes.
Sélection Locale et Globale : Les requêtes (queries) récupèrent d'abord les $K$ tokens les plus pertinents de leur propre branche (contexte local) puis sont attentives aux représentations sémantiques compressées de toutes les branches pour sélectionner les blocs pertinents (contexte global).
Récupération Fine : Les tokens à grain fin au sein des blocs sélectionnés sont récupérés pour former des sous-ensembles creux destinés au calcul de l'attention.
Complexité : Cette approche réduit le coût de calcul de la complexité quadratique $O(N^2L^2D)$ à environ $O(NL(K_{loc} + K_{glob})D)$ , où les valeurs $K$ sont fixes et bien plus petites que la longueur totale de la séquence, rendant la génération à long contexte numériquement traitable.
Encodage au Niveau de la Branche : Pour distinguer les branches simultanées, LCG injecte des identifiants de branche uniques dans la dimension temporelle de l'encodage de position rotatif 3D (3D RoPE).

2. Contrainte de Cohérence de Routage (RCC - Routing Consistency Constraint)

Bien que la SRA permette une interaction efficace, les routes creuses sont sélectionnées sur la base des caractéristiques du modèle et peuvent être instables, entraînant une dérive d'identité ou une confusion de rôle (par exemple, un personnage s'attendant à une région visuellement similaire mais sémantiquement incorrecte dans un autre panneau).

Mécanisme : La RCC exploite des masques sensibles à l'identité pour imposer une correspondance sémantique et structurelle entre les branches parallèles. Elle convertit ces masques en cibles de routage au niveau du token.
Fonction de Perte : Le modèle calcule une perte de cohérence ( $L_{RCC}$ ) qui pénalise les écarts entre la carte d'attention creuse prédite et la correspondance dérivée du masque. Plus précisément, elle encourage les tokens assignés à la même identité de personnage à travers différentes branches à former des routes inter-branches plus fortes.
Effet : Cela régularise le flux d'attention, garantissant que les preuves d'identité et de rôle sont propagées vers les bons panneaux sans nécessiter de supervision dense.

Principales Contributions

Cadre LCG : Un nouveau cadre pour la génération d'images multi-images à long contexte qui permet un échange d'informations creux entre des branches de génération parallèles, améliorant à la fois la cohérence inter-panneaux et la scalabilité.
Attention Relationnelle Creuse (SRA) : Un module de routage creux inter-branches combinant une sélection sémantique compacte et une récupération de tokens relationnels à grain fin, permettant un calcul de long contexte efficace dans des budgets mémoire pratiques.
Contrainte de Cohérence de Routage (RCC) : Une fonction de perte qui convertit les masques sensibles à l'identité en cibles de routage au niveau du token, atténuant efficacement la dérive d'apparence et assurant une identité de personnage et une disposition de scène cohérentes dans des scènes multi-sujets complexes.
Jeu de Données de Cohérence à Long Contexte (LCCD) : La construction d'un jeu de données synthétique à grande échelle comprenant 600K séquences d'entraînement (divisées en scénarios à un et plusieurs personnages) et un ensemble de test distinct de 1K. Chaque séquence contient de 6 à 20 images, étendant considérablement les étendues de 2 à 4 images des jeux de données existants. Le jeu de données est généré via un pipeline structuré utilisant des LLM pour la définition des personnages et la synthèse de prompts, suivi d'un filtrage de cohérence automatisé.

Résultats Expérimentaux

Les auteurs ont évalué LCG sur le jeu de test LCCD, en le comparant à des modèles de référence incluant Flux.1-dev, StoryDiffusion et Story2Board.

Performance Quantitative : LCG a obtenu des scores supérieurs sur tous les indicateurs :
- Alignement avec le Prompt (VQAScore) : 0,71 (contre 0,64 pour Story2Board).
- Cohérence du Sujet (DreamSim) : 0,75 (contre 0,62 pour les modèles de référence).
- Préservation de l'Identité (FaceSim-Arc) : 0,66 (contre 0,52 pour Story2Board).
- Qualité Visuelle (Score Esthétique) : 0,62.
Évaluation Humaine : Dans une étude utilisateur impliquant 30 participants, LCG a reçu la préférence globale la plus élevée (4,03/5) et les évaluations les plus fortes pour l'alignement textuel (4,08) et la cohérence d'identité (4,18).
Études d'Ablation :
- Le remplacement de la SRA par une attention complète améliore légèrement la fidélité du prompt mais échoue à maintenir la cohérence sur de longues séquences et dépasse les limites de mémoire à 20 panneaux.
- La suppression de la RCC entraîne une réalisation plus faible du prompt, une dérive subtile de l'identité et des artefacts parasites.
- Les performances restent compétitives même à 20 panneaux, bien qu'une baisse graduelle des métriques soit observée à mesure que la longueur du contexte augmente.
Efficacité : La SRA réduit considérablement l'utilisation de la VRAM de pointe et la latence par rapport à l'attention dense inter-branches. Alors que l'attention dense a provoqué une erreur de mémoire (OOM) à 20 panneaux sur des GPU H800, la SRA a réussi à générer des séquences de 20 panneaux.

Signification et Revendications

L'article affirme que LCG répond à la limitation critique des cadres de diffusion contrôlables existants, qui se concentrent principalement sur la personnalisation d'une image unique ou le conditionnement de sujet plutôt que sur la synthèse conjointe à long contexte. En introduisant un routage relationnel creux et une contrainte de cohérence guidée par des masques d'identité, LCG permet la génération de récits visuels cohérents avec des identités de personnages constantes à travers des séquences étendues (6 à 20 images) et des interactions multi-personnages complexes.

Les auteurs positionnent LCG comme une étape vers la résolution du problème de la "dérive de long contexte" dans l'IA générative, démontant qu'il est possible de maintenir la cohérence globale et la fidélité de l'identité sans encourir de coûts computationnels prohibitifs. Bien que la méthode améliore significativement la cohérence, les auteurs notent modestement que le maintien des détails d'identité à grain fin reste plus difficile à mesure que la longueur de la séquence et le nombre de personnages interagissant augmentent, suggérant des travaux futurs sur des mécanismes de suivi d'identité plus robustes.