Bridge Diffusion Model: Bridge Chinese Text-to-Image Diffusion Model with English Communities

Dit paper introduceert het Bridge Diffusion Model (BDM), een innovatieve architectuur die Chinese tekst-naar-beeldgeneratie mogelijk maakt met behoud van compatibiliteit met Engelstalige TTI-ecosystemen en plugins, waardoor zowel Chinese semantiek als culturele interactie binnen één afbeelding kunnen worden gerealiseerd.

De kern

Stel je voor dat je een magische schilder hebt die elke tekst die je hem geeft, omzet in een prachtig schilderij. Maar er is een probleem: deze magische schilder is opgeleid door mensen die alleen Engels spreken. Als je hem in het Nederlands vraagt om een "gezellig café in Amsterdam" te schilderen, denkt hij misschien aan een Amerikaans café of verandert hij het in iets dat niet echt Nederlands voelt. Hij heeft namelijk een "Engelse bril" op.

De onderzoekers van 360 AI Research hebben een slimme oplossing bedacht, die ze de "Bridge Diffusion Model" (BDM) noemen. Laten we uitleggen hoe dit werkt met een paar simpele vergelijkingen.

1. Het Probleem: De "Engelse Brillen"

De beste schilders ter wereld (zoals Stable Diffusion) zijn getraind op enorme hoeveelheden Engelse teksten en plaatjes. Hierdoor zijn ze heel goed in het maken van Engelse concepten, maar ze hebben een vooroordeel: ze denken dat de wereld eruit ziet zoals in de Engelstalige wereld. Als je ze iets in het Chinees (of Nederlands) vraagt, proberen ze het eerst te vertalen en dan te schilderen. Dat gaat vaak mis, omdat de nuance en de echte "smaak" van de taal verloren gaan.

2. De Oplossing: Een Brug Bouwen

In plaats van een compleet nieuwe schilder op te leiden (wat heel duur is en dan weer losstaat van de rest van de wereld), of de oude schilder gewoon te dwingen om Nederlands te praten (wat niet goed werkt), bouwen ze een brug.

Deze brug bestaat uit twee delen:

• Het Stevige Onderstel (De Ruggegraat): Dit is de oude, Engelse schilder die we al kennen. Hij blijft precies zoals hij is. Hij zorgt ervoor dat de techniek perfect blijft en dat je alle nieuwe trucjes van de Engelse wereld kunt blijven gebruiken.
• De Nieuwe Vertaler (De Tak): Dit is een extra module die ze aan de schilder hebben toegevoegd. Deze module spreekt vloeiend Chinees (of een andere taal). Zijn enige taak is om de echte betekenis van de Chinese tekst te begrijpen en die "in te sturen" naar de schilder.

3. Hoe Werkt Het in de Praktijk?

Stel je voor dat de Engelse schilder een enorme keuken is met de beste apparatuur.

• Tijdens het leren: De chef-kok (de Chinese module) geeft de instructies in het Chinees. De Engelse chef (de oude schilder) luistert niet naar de woorden, maar kijkt alleen naar de gevoelens en intenties die de Chinese chef overbrengt. Zo leert de keuken hoe ze Chinese gerechten moeten maken, zonder dat de Engelse receptenboeken worden weggegooid.
• Tijdens het koken (gebruik): Je kunt nu een opdracht geven in het Chinees. De Chinese module vertaalt de essentie naar de keuken. Maar het mooie is: je kunt ook nog steeds de Engelse "speciale sauzen" of "speciale potten" gebruiken die de Engelse gemeenschap heeft bedacht.

4. Waarom Is Dit Zo Speciaal? (De Magische Trucjes)

De grootste kracht van deze brug is dat je alles kunt blijven gebruiken wat de Engelse wereld heeft bedacht, maar dan met Chinese (of andere taal) resultaten.

• LoRA & Dreambooth: Stel je voor dat iemand een speciale "stijl-pakket" heeft gemaakt om tekenfilms te maken. Met deze brug kun je dat pakketje gewoon op je Chinese schilder plakken. Hij maakt dan een tekenfilm, maar dan met Chinese personages en verhalen.
• ControlNet: Als je wilt dat de schilder precies dezelfde houding aanneemt als een foto die je hebt, werkt dat ook. De brug zorgt ervoor dat de Chinese tekst de inhoud bepaalt, maar de Engelse techniek zorgt voor de precieze vorm.
• Twee talen in één: Je kunt zelfs een plaatje maken dat een mix is. Bijvoorbeeld: een Chinese tempel (van de Chinese module) met een Engelse stijl (van de Engelse module).

5. Het Resultaat

Vroeger moest je kiezen: of je had een heel goede Engelse schilder die geen Chinees begreep, of je had een Chinese schilder die niet kon profiteren van de nieuwe trucjes van de Engelse wereld.

Met de Bridge Diffusion Model heb je het beste van beide werelden:

1. Je krijgt prachtige plaatjes die echt voelen als Chinees (of Nederlands), zonder die rare Engelse vooroordelen.
2. Je kunt blijven spelen met alle nieuwe tools, stijlen en effecten die de wereld overal op internet bedenkt.

Kortom: Ze hebben een brug gebouwd tussen twee eilanden, zodat je overal naartoe kunt reizen zonder je bagage (de tools) te hoeven verliezen.

Technische samenvatting

Probleemstelling

De huidige stand van de techniek in Text-to-Image (TTI) generatie, met name diffusion-modellen zoals Stable Diffusion, is grotendeels gedomineerd door Engelstalige gemeenschappen. Dit leidt tot twee fundamentele problemen voor niet-Engelse talen (zoals het Chinees):

1. Taalkundige Bias: Modellen getraind op Engelstalige data (bijv. LAION) vertonen een inherente bias ten opzichte van westerse, Engelstalige concepten en culturele context. Ze genereren vaak onjuiste of stereotiepe beelden bij niet-Engelse prompts.
2. Het Dilemma van Aanpassing:
   • Finetunen met vertaalde data: Lost de bias niet volledig op en behoudt de Engelse wereldvisie.
   • Trainen van een model vanaf nul (from scratch): Lost de bias op en levert native semantiek op, maar leidt tot een "isolerend" model dat niet compatibel is met de voortdurende innovaties (plugins, checkpoints, LoRA's) van de Engelstalige gemeenschap.

Het doel van dit werk is een TTI-model te creëren dat native Chinese semantiek nauwkeurig begrijpt en genereert, terwijl het tegelijkertijd volledig compatibel blijft met de Engelstalige TTI-ecosystemen.

Methodologie: Bridge Diffusion Model (BDM)

De auteurs introduceren een nieuwe architectuur, de Bridge Diffusion Model (BDM), die een "backbone-branch" structuur gebruikt, vergelijkbaar met ControlNet, maar specifiek ontworpen voor taalintegratie.

1. Architectuur:

• Backbone (Vastgehouden): Een vooringestelde Engelstalige diffusion-model (in dit geval Stable Diffusion 1.5). Deze backbone blijft tijdens het trainen bevroren (frozen) en zorgt voor de compatibiliteit met de Engelstalige latent space en bestaande plugins. De Engelse tekstencoder ontvangt tijdens het trainen een lege string ("").
• Branch (Leerbaar): Een kopie van de backbone met trainbare parameters, maar zonder de convolutielagen voor beeldcondities. Cruciaal is dat deze branch een Chinees CLIP-encoder gebruikt in plaats van de Engelse OpenAI CLIP. Deze branch injecteert de native Chinese semantiek in de latent space.

2. Trainingsstrategie:

• Het model wordt getraind op een dataset van ongeveer 1 miljard Chinees-tekst/afbeelding paren.
• Belangrijkste inzicht: Tijdens training wordt alleen de Chinese branch gevoed met prompts. De Engelse backbone ontvangt een lege string. Als de Engelse backbone ook tekst zou ontvangen, zou dit de denoising-proces van de UNet verstoren en de injectie van Chinese semantiek belemmeren.
• De branch leert de optimale "offset" of verschuiving in de latent space van de Engelse backbone om Chinese concepten correct weer te geven.

3. Inferentie- en Integratiestrategie:

• Flexibiliteit: Tijdens inferentie kunnen gebruikers prompts voor zowel de Chinese branch als de Engelse backbone invoeren. Dit maakt het mogelijk om puur Chinese beelden, puur Engelse beelden, of hybride beelden te genereren.
• Plugin Compatibiliteit: Omdat de backbone intact blijft, kunnen alle bestaande Engelstalige plugins direct worden toegepast:
  • Checkpoints: Wisselen naar andere SD-checkpoints (bijv. RealisticVision).
  • LoRA: Integratie van stijl- of object-LoRA's.
  • ControlNet: Voor structurele controle (dieptekaarten, randen).
  • Dreambooth & Textual Inversion: Voor het personaliseren van specifieke onderwerpen of concepten.

Kernbijdragen

1. Nieuwe Architectuur (BDM): Een backbone-branch structuur die native semantiek injecteert zonder de onderliggende latent space van het Engelstalige model te veranderen, waardoor bias wordt opgelost zonder compatibiliteit te verliezen.
2. Specifieke Trainingsstrategie: Het gebruik van een lege string voor de Engelse encoder tijdens training om de latent space te aligneren en de injectie van native semantiek te maximaliseren.
3. Interoperabiliteit: Het bewijzen dat een model getraind op Chinese data direct kan profiteren van de hele toolset van de Engelstalige gemeenschap (LoRA, ControlNet, etc.), wat eerder onmogelijk was bij modellen die van nul werden getraind.

Resultaten

De auteurs hebben BDM geëvalueerd via kwantitatieve en kwalitatieve experimenten:

• Kwalitatieve Evaluatie (Human Evaluation): Op de BDM-870 dataset (870 diverse Chinese prompts) presteerde BDM significant beter dan concurrenten zoals ERNIE-ViLG 2.0 en Vega AI. Menselijke beoordelaars gaven BDM de voorkeur in zowel beeldkwaliteit als tekst-afbeelding uitlijning (bijv. 54-62% voorkeur voor BDM).
• Kwantitatieve Evaluatie (FID): Op de MS-COCO dataset (vertaald naar het Chinees) behaalde BDM een FID-score van 9.93. Dit is zeer dicht bij de originele SD1.5 (8.59) en beter dan sommige Engelstalige modellen, wat aantoont dat de prestaties van de Engelse backbone behouden blijven.
• Culturele Neiging: Tests met CLIP-scores toonden aan dat BDM een sterke neiging heeft om Chinese culturele concepten (voedsel, architectuur, festivals) correct weer te geven, terwijl Engelstalige modellen vaak westerse/Caucasische interpretaties gaven.
• Ablatie Studies: Door de gewichten van de Chinese branch te variëren, kan de output van "dierlijke muis" (Engelse interpretatie) naar "computermuis" (Chinese interpretatie) worden verschoven, wat de controle over de semantiek bevestigt.
• Plugin Integratie: Succesvolle demonstraties van het genereren van Chinese semantiek met verschillende checkpoints, LoRA's (3D, anime), ControlNet (dieptekaarten) en Dreambooth (bekende personen in traditionele Chinese kleding).

Betekenis en Conclusie

De Bridge Diffusion Model lost het fundamentele dilemma op tussen het elimineren van taalbias en het behouden van ecosysteem-voordelen. Het stelt ontwikkelaars in staat om krachtige, native-taal TTI-modellen te bouwen die niet in een isolement terechtkomen, maar juist profiteren van de snelle innovaties in de Engelstalige gemeenschap.

Dit werk is een belangrijke stap naar inclusieve AI-generatie, waarbij culturele nuances en taal-specifieke concepten correct worden begrepen, terwijl de technische interoperabiliteit met de wereldwijde standaardtools behouden blijft. De methode is bovendien niet beperkt tot het Chinees en kan worden toegepast op elke niet-Engelse taal.