StoryTailor:A Zero-Shot Pipeline for Action-Rich Multi-Subject Visual Narratives

StoryTailor est un pipeline zéro-shot conçu pour générer des séquences d'images narratives cohérentes et fidèles à l'identité des sujets sur un seul GPU, en résolvant les tensions entre la fidélité de l'action, la conservation de l'identité et la continuité du fond grâce à trois modules synergiques.

L'essentiel

Imaginez que vous voulez raconter une histoire complète avec des images, comme un petit film ou une bande dessinée, mais en utilisant seulement une seule phrase de description et quelques photos de vos personnages. C'est le défi que relève StoryTailor.

Voici une explication simple de comment cela fonctionne, en utilisant des analogies de la vie quotidienne.

Le Problème : Le Chaos du "Café"

Jusqu'à présent, créer une histoire visuelle avec plusieurs personnages était comme essayer de diriger un café bondé avec un seul serveur qui crie des commandes.

• Le problème de l'identité : Si vous demandez "le chien court", le chien peut changer de race d'une image à l'autre.
• Le problème de l'action : Si vous demandez "le chien et le chat se font un câlin", ils finissent souvent par se fondre en une seule créature bizarre ou à rester figés.
• Le problème du décor : Le fond de l'image (le décor) peut changer de façon chaotique ou, au contraire, rester collé au personnage comme une tache de peinture.

De plus, les anciennes méthodes nécessitaient des ordinateurs super-puissants (des "super-serveurs") pour fonctionner.

La Solution : StoryTailor, le "Chef d'Orchestre Intelligents"

StoryTailor est un nouveau système qui permet de créer ces histoires riches en actions sur un simple ordinateur de bureau puissant (une carte graphique RTX 4090), sans avoir besoin de l'entraîner pendant des jours. C'est comme avoir un chef d'orchestre génial qui peut diriger une symphonie complexe avec seulement un piano.

Le système utilise trois "super-pouvoirs" (modules) pour réussir ce tour de force :

1. GCA (L'Attention Centrée sur le Gaussien) : Le "Filtre de Sécurité"

Imaginez que vous dessinez un personnage dans un cadre. Les anciennes méthodes traçaient une boîte rigide autour du personnage. Si deux personnages se touchaient (comme pour un câlin), les boîtes se chevauchaient et le dessin devenait flou ou confus.

• L'analogie : StoryTailor utilise une boîte en forme de nuage de coton. Au centre du personnage, le nuage est très dense (pour garder l'identité précise), mais sur les bords, il devient mou et transparent.
• Le résultat : Quand le chien et le chat se font un câlin, leurs "nuages" se mélangent doucement au lieu de se heurter. Cela permet des interactions naturelles (des câlins, des jeux) sans que les personnages ne se confondent.

2. AB-SVR (Le Boost d'Action) : Le "Mégaphone des Verbes"

Parfois, l'ordinateur comprend le personnage (le chien) mais oublie ce qu'il doit faire (courir, sauter). Il a tendance à faire des poses statiques.

• L'analogie : Imaginez que le texte de votre histoire est une chanson. Les mots sur "le chien" sont chantés doucement, mais les mots sur "courir" ou "sauter" sont presque inaudibles.
• Le résultat : StoryTailor prend un mégaphone et amplifie spécifiquement les mots d'action. Il dit : "Oublie un peu le décor, concentre-toi sur le VERBE !" Cela force l'image à montrer une action dynamique et réaliste plutôt qu'une photo statique.

3. SFC (Le Cache d'Oubni Selectif) : Le "Mémoire Sélective"

Pour qu'une histoire soit cohérente, le décor doit rester stable (si on est dans une forêt, on ne doit pas apparaître soudainement dans un désert). Mais si on se souvient de tout ce qui s'est passé avant, le personnage devient rigide et ne peut plus bouger.

• L'analogie : C'est comme avoir un ami qui se souvient de tout, mais qui oublie les détails inutiles. Si vous changez de pièce, il se souvient du style de la maison (le décor) mais oublie où vous étiez assis il y a 10 minutes, vous laissant libre de bouger.
• Le résultat : Le système garde les indices du décor qui sont utiles pour la continuité (la lumière, le style), mais "oublie" l'histoire précise des poses précédentes pour permettre au personnage de bouger librement. Cela crée une histoire fluide où le décor évolue naturellement sans bloquer les personnages.

En Résumé

StoryTailor est comme un réalisateur de cinéma magicien qui tient dans une seule boîte.

1. Il utilise des nuages mous pour que les personnages puissent se toucher sans se mélanger.
2. Il crie plus fort les verbes pour que les actions soient dynamiques.
3. Il a une mémoire sélective pour que le décor reste logique sans figer l'action.

Le tout fonctionne sur un ordinateur standard, rendant la création de bandes dessinées et de courts-métrages personnalisés accessible à tout le monde, sans besoin de super-ordinateurs. C'est une avancée majeure pour raconter des histoires visuelles riches et cohérentes.

Résumé technique

1. Problématique

La génération de récits visuels multi-images riches en actions, impliquant plusieurs sujets, sans nécessiter de réentraînement (fine-tuning), se heurte à une tension triple difficile à résoudre :

1. Fidélité du texte d'action : La capacité du modèle à exécuter des verbes et des interactions complexes (ex: s'embrasser, courir).
2. Fidélité de l'identité des sujets : Maintenir la cohérence de l'apparence de chaque personnage à travers les images.
3. Continuité de l'arrière-plan : Assurer une transition fluide des décors entre les images tout en évitant le "traînage" d'éléments indésirables (background drag) ou la confusion des sujets lorsque leurs zones se chevauchent.

Les méthodes existantes (basées sur le fine-tuning comme DreamBooth ou sur des adaptateurs comme IP-Adapter) sont soit coûteuses en calcul, soit limitées à des images uniques, soit incapables de gérer les interactions physiques complexes entre sujets sans perte d'identité ou de cohérence scénique.

2. Méthodologie : StoryTailor

StoryTailor est un pipeline zero-shot (sans entraînement) conçu pour fonctionner sur une seule carte graphique RTX 4090 (24 Go). Il prend en entrée un prompt narratif long, des images de référence par sujet et des boîtes de délimitation (grounding boxes).

Le système repose sur trois modules synergiques intégrés à la base Stable Diffusion XL (SDXL) avec MS-Diffusion pour la conditionnement multi-sujet :

A. Attention Centrée sur les Gaussiennes (GCA - Gaussian-Centered Attention)

• Objectif : Résoudre la confusion des identités lorsque les boîtes de délimitation se chevauchent et réduire le transfert d'arrière-plan indésirable.
• Fonctionnement : Au lieu d'utiliser des masques binaires rigides, GCA applique un masque de déclin gaussien dynamique centré sur le cœur de chaque sujet.
  • Il utilise une stratégie de partitionnement (Voronoi) pour définir les centres des sujets.
  • Il applique deux rayons de déclin (interne et externe) : le rayon interne protège le noyau de l'identité, tandis que le rayon externe adoucit les frontières pour permettre des mouvements articulés et séparer les sujets de l'arrière-plan.
  • Cela permet de "désenchevêtrer" les sujets dans les zones de contact tout en préservant leur intégrité.

B. Répondage des Valeurs Singulières Boosté par l'Action (AB-SVR - Action-Boost Singular Value Reweighting)

• Objectif : Amplifier les directions sémantiques liées aux actions et aux interactions dans l'espace des embeddings textuels, tout en supprimant le bruit des autres frames.
• Fonctionnement :
  • Une décomposition en valeurs singulières (SVD) est appliquée aux embeddings textuels.
  • Le système identifie les "trous" (elbows) dans la courbe de décroissance de l'énergie des valeurs singulières pour séparer les composantes :
    • Faible rang : Identité et forme de base.
    • Rang moyen : Actions et interactions (cible du boost).
    • Rang élevé : Arrière-plan et style.
  • AB-SVR projette les embeddings de la frame courante sur le sous-espace des actions (en conservant les rangs pertinents) et projette les frames suppressives hors de ce sous-espace. Cela renforce les verbes (ex: "courir", "danser") sans interférer avec l'identité.

C. Cache d'Oubli Sélectif (SFC - Selective Forgetting Cache)

• Objectif : Maintenir la continuité de l'arrière-plan à travers les frames sans figer le mouvement des sujets ni accumuler du bruit historique.
• Fonctionnement :
  • C'est un cache KV (Clé-Valeur) adaptatif qui retient uniquement les indices d'arrière-plan transférables.
  • Il utilise une sélection Top-k basée sur la similarité pour récupérer les tokens historiques pertinents.
  • Il applique un biais de "oubli" (decay) pour supprimer progressivement les informations obsolètes.
  • Il mélange le contexte historique uniquement dans les zones d'arrière-plan identifiées par un masque, laissant les zones de sujets libres pour le mouvement dynamique.

3. Contributions Clés

1. Pipeline Zero-Shot Multi-Sujet : Une solution capable de générer des séquences narratives riches en interactions sur du matériel grand public (24 Go VRAM), sans fine-tuning.
2. AB-SVR : Une technique novatrice dans l'espace des embeddings textuels pour isoler et amplifier les sémantiques d'action, améliorant considérablement le contrôle comportemental.
3. Architecture Unifiée GCA + SFC : La combinaison d'une attention spatiale dynamique (GCA) et d'une gestion de mémoire contextuelle sélective (SFC) permet de résoudre le compromis entre la cohérence de l'identité, la richesse des interactions et la continuité du décor.

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark MSBench et des tâches narratives personnalisées.

• Performance Text-Image (CLIP-T) : StoryTailor surpasse les méthodes de base (MS-Diffusion, FluxKontext, Qwen-Edit) avec une amélioration allant jusqu'à 10-15% (atteignant ~0.414 contre 0.340 pour MS-Diffusion). Cela démontre une meilleure adhérence aux prompts d'action.
• Fidélité de l'Identité (CLIP-I / DINO) : Bien que légèrement inférieure aux méthodes de fine-tuning extrêmes (en raison de la priorité donnée aux actions dynamiques), la fidélité reste dans une plage compétitive et visuellement acceptable (~0.717 en multi-sujet).
• Cohérence Perceptuelle (DreamSim) : Les scores sont inférieurs (meilleurs) que les méthodes de base, indiquant une meilleure cohérence visuelle globale et moins de bruit temporel.
• Efficacité : L'inférence est plus rapide que FluxKontext sur une RTX 4090, avec une consommation de VRAM maîtrisée (~20 Go).
• Étude Utilisateur : Une étude avec 100 participants a montré une préférence nette pour StoryTailor (environ 72% d'accord) concernant le réalisme des interactions et la cohérence des poses, surpassant nettement les méthodes concurrentes, surtout dans les scènes multi-sujets complexes.

5. Signification et Impact

StoryTailor représente une avancée significative dans la synthèse d'images narratives en démocratisant l'accès à la génération de vidéos/sequences complexes.

• Accessibilité : En éliminant le besoin de clusters GPU ou de fine-tuning coûteux, il rend la création de récits visuels personnalisés accessible aux créateurs individuels.
• Qualité Narrative : Il résout le problème fondamental de la "confusion d'identité" lors des interactions physiques (ex: deux personnages qui se touchent), un point faible majeur des modèles actuels.
• Contrôle Sémantique : L'approche AB-SVR ouvre de nouvelles voies pour le contrôle fin des verbes et des relations dans les modèles de diffusion, au-delà de la simple génération d'images statiques.

En résumé, StoryTailor unifie le désenchevêtrement spatial et la réutilisation contextuelle intelligente pour offrir une solution pratique, rapide et de haute qualité pour la synthèse de récits visuels riches en actions.