Bridge Diffusion Model: Bridge Chinese Text-to-Image Diffusion Model with English Communities

Ce papier propose le « Bridge Diffusion Model » (BDM), une nouvelle architecture qui permet de générer des images à partir de textes chinois tout en conservant la compatibilité avec l'écosystème des modèles de diffusion natifs en anglais et en permettant la fusion des deux cultures visuelles au sein d'une même image.

L'essentiel

🌉 Le Pont Magique : Connecter deux mondes d'images

Imaginez que le monde de l'intelligence artificielle qui crée des images à partir de texte (comme Midjourney ou Stable Diffusion) est un grand continent. Ce continent est majoritairement peuplé par des anglophones. Les "habitants" de ce continent (les modèles) sont très doués, mais ils ont un petit défaut : ils pensent et voient le monde uniquement à travers la culture et la langue anglaise.

Si vous leur demandez de dessiner un "nouvel an chinois", ils risquent de dessiner un Noël américain ou de faire des erreurs culturelles, car ils n'ont jamais vraiment appris la vraie culture chinoise.

Jusqu'à présent, les développeurs avaient deux choix difficiles :

1. Traduire tout : Prendre le modèle anglais et lui dire "traduis ce que je te dis en chinois". Problème : le modèle reste anglo-saxon dans sa tête, il fait toujours des erreurs culturelles.
2. Recommencer de zéro : Construire un tout nouveau modèle uniquement avec des données chinoises. Problème : ce nouveau modèle devient un "île isolée". Il ne peut pas utiliser les milliers d'outils, de styles et de super-pouvoirs (comme les filtres ou les costumes) que la communauté anglophone a créés.

🛠️ La Solution : Le "Bridge Diffusion Model" (BDM)

L'équipe de 360 AI Research a inventé une troisième voie : un pont.

Imaginez que le modèle anglais est une maison très solide et bien meublée (le "Backbone"). Au lieu de construire une nouvelle maison à côté, les chercheurs ont ajouté une annexe spéciale (le "Branch") directement connectée à la maison principale.

Voici comment cela fonctionne avec une analogie simple :

• La Maison Principale (Le "Backbone") : C'est le modèle anglais original (Stable Diffusion). Il reste intact, figé, et continue de gérer la structure de l'image, la lumière, et la qualité. C'est lui qui permet d'utiliser tous les outils de la communauté anglaise (les "plugins" comme LoRA ou ControlNet).
• L'Annexe Spéciale (La "Branch") : C'est là que la magie opère. C'est un module entraîné spécifiquement avec la culture et la langue chinoises. Quand vous donnez une consigne en chinois, c'est cette annexe qui la comprend parfaitement et qui dit à la maison principale : "Hé, pour ce dessin, il faut qu'on pense comme un Chinois, pas comme un Américain !"

🎨 Pourquoi c'est génial ? (Les avantages)

Grâce à ce pont, vous obtenez le meilleur des deux mondes :

1. La Culture est Respectée : Si vous demandez de dessiner un "dragon chinois", le modèle ne dessinera pas un dragon occidental. Il comprendra les nuances, les couleurs et les symboles spécifiques à la culture chinoise.
2. La Boîte à Outils Illimitée : Comme la "maison principale" est toujours anglaise, vous pouvez toujours utiliser tous les accessoires de la communauté anglophone.
   • Analogie : C'est comme si vous aviez une voiture chinoise (le modèle) qui pouvait utiliser tous les pneus, tous les systèmes de navigation et tous les accessoires de luxe vendus pour les voitures américaines.
3. Le Mélange Créatif : Vous pouvez même demander un mélange ! Vous pouvez dire "Un style de dessin animé japonais (via un outil anglais) avec un personnage chinois (via l'annexe)". Le pont permet de fusionner ces idées sans conflit.

🧪 Ce que les tests ont prouvé

Les chercheurs ont fait des tests pour vérifier si leur pont tenait la route :

• Compréhension : Quand ils demandaient des choses complexes en chinois (comme des jeux de mots ou des concepts culturels), le BDM réussissait là où les modèles anglais échouaient.
• Compatibilité : Ils ont branché des outils anglais (comme des filtres de style ou des contrôles de pose) sur le modèle chinois, et tout a fonctionné parfaitement.
• Qualité : Les images étaient aussi belles que celles des meilleurs modèles anglais, mais avec une âme chinoise.

En résumé

Le Bridge Diffusion Model est comme un traducteur culturel intelligent qui ne se contente pas de traduire les mots, mais qui change la façon dont l'ordinateur voit le monde, tout en lui permettant de continuer à utiliser les meilleurs outils du monde occidental.

C'est une façon élégante de dire : "On ne veut pas choisir entre la culture chinoise et la technologie anglaise. On veut les deux, ensemble, sur le même pont."

Résumé technique

1. Problématique

Le domaine de la génération d'images à partir de texte (Text-to-Image ou TTI) a connu des avancées majeures, principalement portées par les communautés anglophones (ex: Stable Diffusion, DALL-E 2). Cependant, deux défis fondamentaux limitent le développement de modèles natifs pour d'autres langues, comme le chinois :

• Le biais culturel et linguistique : Les modèles entraînés sur des données anglophones (comme LAION) reflètent une vision du monde centrée sur l'Occident. Ils tendent à sur-représenter les caractéristiques occidentales (peau claire, architecture occidentale) et à mal interpréter les concepts culturels spécifiques aux langues non-anglophones.
• Le dilemme de l'interopérabilité :
  • Approche par traduction : Traduire les prompts en anglais avant de les passer à un modèle natif anglais ne résout pas le biais inhérent du modèle.
  • Approche par entraînement从头 (from scratch) : Entraîner un modèle natif (ex: ERNIE-ViLG) sur des données chinoises résout le biais culturel mais crée un "écosystème isolé". Ce modèle devient incompatible avec les milliers d'outils, de LoRA, de ControlNet et de checkpoints développés par la communauté anglaise, freinant ainsi son évolution.

L'objectif est donc de concevoir un modèle TTI natif chinois capable de comprendre la sémantique chinoise tout en restant interopérable avec l'écosystème technique anglais.

2. Méthodologie : Le "Bridge Diffusion Model" (BDM)

Les auteurs proposent une nouvelle architecture de réseau appelée Bridge Diffusion Model (BDM). Cette structure repose sur une approche Backbone-Branch (Squelette-Branche), inspirée de ControlNet, mais adaptée spécifiquement pour gérer les encodages de langues différentes.

Architecture

• Le Backbone (Squelette) : Il s'agit d'un modèle de diffusion pré-entraîné en anglais (dans ce papier, Stable Diffusion 1.5) qui reste figé (frozen) pendant l'entraînement. Il assure la compatibilité avec l'espace latent des modèles anglais et fournit la capacité de génération de base.
• La Branche (Branch) : C'est un réseau apprenable (réplique des paramètres du backbone) conçu pour injecter la sémantique native (chinois).
  • Contrairement au backbone qui utilise un encodeur de texte anglais (OpenAI CLIP), la branche utilise un encodeur de texte chinois natif (Chinese CLIP).
  • La branche ne possède pas de couches de convolution pour les images conditionnelles (contrairement à ControlNet), car elle se concentre uniquement sur l'encodage textuel.

Stratégie d'Entraînement

• Alignement de l'espace latent : Pendant l'entraînement, le prompt de texte envoyé au backbone anglais est une chaîne constante vide (""). Seul le prompt chinois est traité par la branche.
• Objectif : Cela force la branche à apprendre à injecter les nuances sémantiques chinoises directement dans l'espace latent du backbone anglais, en trouvant les "décalages" (offsets) optimaux sans perturber la structure de base du modèle anglais.
• Données : Le modèle est entraîné sur environ un milliard de paires image-texte, principalement composées de données chinoises pour minimiser l'influence des concepts anglophones.

Stratégie d'Inférence

L'inférence offre une grande flexibilité :

1. Sémantique purement chinoise : Prompt chinois dans la branche, chaîne vide dans le backbone.
2. Hybridation : Possibilité d'ajouter des prompts positifs/négatifs en anglais dans le backbone pour ajuster le style ou la qualité, tout en gardant le sens principal en chinois.
3. Intégration de plugins : Puisque le backbone reste un modèle anglais standard, tous les plugins de la communauté (LoRA, ControlNet, Dreambooth, Textual Inversion, différents checkpoints) peuvent être appliqués directement au backbone sans réentraînement.

3. Contributions Clés

1. Architecture BDM : Proposition d'une structure Backbone-Branch qui résout le compromis entre la réduction du biais culturel (via l'apprentissage natif) et le maintien de la compatibilité avec l'écosystème anglais.
2. Stratégie d'alignement par espace latent vide : Une méthode novatrice consistant à laisser l'encodeur anglais vide pendant l'entraînement pour aligner l'espace latent chinois sur celui de l'anglais, permettant une intégration transparente des plugins.
3. Interopérabilité prouvée : Démonstration qu'un modèle natif chinois peut utiliser directement les outils de la communauté anglaise (LoRA, ControlNet, etc.), évitant ainsi l'isolement technologique.

4. Résultats Expérimentaux

Les auteurs ont évalué le modèle BDM (version 1.0) à travers plusieurs métriques :

• Évaluation Humaine (BDM-870) : Sur un jeu de données de 870 prompts chinois variés, BDM a été préféré aux modèles concurrents chinois (ERNIE-ViLG 2.0, Vega AI) pour la qualité d'image et l'alignement texte-image. Les taux de préférence ont atteint 54-62% contre les modèles concurrents.
• Métrique FID (Fréchet Inception Distance) : Sur le dataset COCO (traduit en chinois), BDM a obtenu un score FID de 9.93, très proche du score de Stable Diffusion 1.5 (8.59) et supérieur à certains modèles anglophones. Cela prouve que la performance de génération n'est pas dégradée par l'adaptation.
• Inclinaison Culturelle (CLIP Score) : Des tests sur des concepts culturels (architecture, nourriture, festivals) montrent que BDM génère des images beaucoup plus alignées avec le concept "Chinois" que les modèles anglais, et ce, même lorsqu'ils utilisent le même backbone (RealisticVisionV51).
• Qualitative & Plugins :
  • Sémantique : BDM résout correctement les ambiguïtés de traduction (ex: "souris" = animal vs "souris" = périphérique informatique) que les modèles anglais échouent à interpréter correctement.
  • Compatibilité : Les expériences montrent que BDM fonctionne parfaitement avec des checkpoints variés (réalistes, anime), des LoRA (styles 3D, contours), des ControlNet (profondeur), et des techniques de personnalisation comme Dreambooth et Textual Inversion.

5. Signification et Impact

Le Bridge Diffusion Model représente une avancée significative pour l'IA générative multilingue :

• Fin de l'isolement des communautés : Il permet aux communautés non-anglophones (comme la communauté chinoise) de bénéficier des progrès rapides de la communauté anglaise sans avoir à tout reconstruire de zéro.
• Démocratisation de l'IA : Il rend les technologies de pointe (comme les plugins de style ou de contrôle) accessibles aux utilisateurs parlant d'autres langues, tout en respectant leurs contextes culturels.
• Modèle reproductible : Bien que focalisé sur le chinois, l'architecture BDM est conçue pour être applicable à n'importe quelle autre langue non-anglophone, offrant une voie de développement durable pour les modèles TTI locaux.

En résumé, BDM agit comme un véritable "pont" technique, permettant de fusionner la richesse sémantique et culturelle d'une langue native avec la puissance et l'écosystème mature des modèles de diffusion anglophones.