CoLoGen: Progressive Learning of Concept-Localization Duality for Unified Image Generation

CoLoGen is een unificerend diffusiemodel dat het conflict tussen conceptuele en lokale representaties oplost door middel van progressief leren en een speciaal 'Progressive Representation Weaving'-module, waardoor het superieure prestaties behaalt bij diverse beeldgeneratietaken.

De kern

Stel je voor dat je een kunstenaar bent die alles kan doen: van het schilderen van een droomlandschap tot het precieze verplaatsen van een kopje koffie op een foto. Tot nu toe was dit voor kunstmatige intelligentie (AI) een enorme uitdaging.

Deze paper introduceert CoLoGen, een nieuwe manier om AI te leren tekenen en bewerken. Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

Het Grote Probleem: De "Denker" vs. De "Meten"

Stel je voor dat je een AI wilt bouwen die twee heel verschillende taken moet doen:

1. Concepten begrijpen: "Teken een gelukkige hond in een park." Hier moet de AI weten wat een hond is, wat geluk is en hoe een park eruitziet. Dit noemen we het Concept.
2. Locatie bepalen: "Verplaats de hond precies naar de linkerkant van de foto." Hier moet de AI meten en plannen waar dingen staan. Dit noemen we de Locatie.

Het probleem is dat deze twee vaardigheden in de hersenen van de AI (de "latent space") vaak met elkaar in conflict komen. Het is alsof je een student vraagt om tegelijkertijd een gedicht te schrijven (creativiteit) en een wiskundig bewijs te maken (precisie). Als je ze allebei tegelijk probeert te leren, raken ze in de war. De AI wordt dan goed in het ene, maar slecht in het andere.

De Oplossing: CoLoGen (De Slimme Leermeester)

CoLoGen lost dit op door niet alles in één keer te leren, maar door een stap-voor-stap leerplan te gebruiken. Het is alsof je een leerling eerst laat lezen en schrijven (concepten), dan laat meten en tekenen (locatie), en pas daarna laat werken aan complexe projecten waar beide nodig zijn.

De methode bestaat uit drie fases:

1. Fase 1: De Basis (Het "Vul-en-Verander" Spel)
   De AI leert eerst wat objecten zijn en hoe ze eruit zien door gaten in foto's op te vullen (inpainting). Het leert: "Dit is een hond, dit is een boom." Het bouwt een sterke Concept-vaardigheid op.
2. Fase 2: De Precisie (Het "Meten" Spel)
   Vervolgens leert de AI om precies te kijken waar dingen staan. Het krijgt oefeningen waarbij het moet wijzen op een hond in een foto of een lijn volgen. Hier bouwt het een sterke Locatie-vaardigheid op.
3. Fase 3: De Meester (De "Samenwerking")
   Pas nu, als de AI beide vaardigheden apart goed beheerst, leert het ze te combineren. De AI leert: "Oké, ik weet wat een hond is, en ik weet precies waar hij moet staan. Laten we nu een opdracht uitvoeren: 'Verplaats de hond naar de zon'."

Het Geheim: De "Weefmachine" (PRW)

Hoe zorgt CoLoGen ervoor dat de AI niet vergeten wat het in Fase 1 en 2 heeft geleerd? Ze gebruiken een slimme techniek genaamd Progressive Representation Weaving (PRW).

Stel je voor dat de AI een grote fabriek is met verschillende specialisten:

• De ene specialist is een Dichter (goed voor concepten).
• De andere specialist is een Architect (goed voor locatie en structuur).

In oude systemen moesten de Dichter en de Architect altijd samenwerken aan elke taak, wat leidde tot ruzie en verwarring.
Bij CoLoGen is er een Slimme Manager (de "Router").

• Als de opdracht is "Teken een droom", roept de Manager de Dichter aan.
• Als de opdracht is "Zorg dat de hond precies in het raam past", roept de Manager de Architect aan.
• Als de opdracht complex is ("Teken een droomhond in een raam"), roept de Manager ze beide aan, maar zorgt hij ervoor dat ze netjes samenwerken zonder elkaar in de weg te zitten.

Deze "Manager" zorgt ervoor dat de kennis van de Dichter en de Architect stap voor stap in elkaar wordt geweven (weaving), zodat ze één sterke, flexibele kracht worden zonder dat de ene vaardigheid de andere verdringt.

Waarom is dit belangrijk?

Vroeger waren AI-modellen ofwel goed in het maken van mooie plaatjes, ofwel goed in het precies bewerken van foto's, maar zelden in beide. CoLoGen is als een alleskunner die:

• Foto's kan bewerken op basis van tekst (bijv. "Maak het zonnig").
• Nieuwe objecten kan toevoegen die er echt uitzien.
• Foto's kan aanpassen aan specifieke vormen (zoals een silhouet).

Kort samengevat: CoLoGen leert AI niet om alles tegelijk te doen, maar bouwt eerst sterke losse vaardigheden op en weeft ze daarna slim samen. Hierdoor wordt de AI niet alleen slimmer, maar ook betrouwbaarder in het uitvoeren van complexe creatieve taken.

Technische samenvatting

Titel: CoLoGen: Progressief Leren van de Concept-Localisatie Dualiteit voor Geïntegreerde Image Generation

1. Het Probleem: De Concept-Localisatie Dualiteit

De kernuitdaging bij het ontwikkelen van een unified multimodal image generation framework (een model dat diverse taken zoals inpainting, image grounding, controllable generation en instruction-based editing in één model combineert) is een fundamenteel conflict in de interne representaties.

• Conceptuele Representaties: Taken zoals subject-driven generation (bijv. het genereren van een specifiek persoon) vereisen diepgaand semantisch begrip en objectniveau-associaties.
• Localisatie Representaties: Taken zoals image grounding of controllable generation (bijv. gebaseerd op randen of dieptekaarten) vereisen strikte ruimtelijke precisie, geometrie en structurele consistentie.

Het paper introduceert het concept van de Concept–Localization Duality. Het stelt dat deze twee soorten cues concurreren in de generatieve latente ruimte. Als een model probeert deze taken tegelijkertijd te leren door ze naief te combineren (multi-task co-training), ontstaat er representational interference. Dit leidt tot instabiel training en een model dat in sommige taken goed presteert maar in andere faalt, omdat het optimaliseren van semantisch begrip de ruimtelijke precisie tenietdoet en vice versa.

2. Methodologie

Om dit conflict op te lossen, stellen de auteurs CoLoGen voor, een unificatieframework dat gebruikmaakt van een progressieve leerstrategie en een nieuwe architecturale module.

A. Progressieve Staged Training (Curriculum Learning)

In plaats van alle taken tegelijkertijd te trainen, volgt CoLoGen een "easy-to-hard" curriculum in drie hoofdfasen:

1. Endogene Pre-training: Het model leert eerst fundamentele conceptuele en localisatievaardigheden gescheiden van elkaar.
   • Mask Inpainting: Om visuele concepten te leren.
   • Image Grounding: Om ruimtelijke precisie en objectlocatie te leren.
2. Conditional Injection Learning: Het model past deze vaardigheden aan op diverse conditionele signalen (zoals segmentatie, diepte, Canny-edges) voor controllable generation.
3. Instruction-Image Alignment: De vaardigheden worden verfijnd en geïntegreerd voor complexe taken zoals instructie-gebaseerde editing en custom generation, waarbij zowel tekstuele instructies als visuele referenties nodig zijn.

B. Progressive Representation Weaving (PRW)

De kernarchitectuur van CoLoGen is de PRW-module, die is geïntegreerd in de Multi-modal Attention blokken (gebaseerd op FLUX.1).

• Expert Pool: Het model bevat een pool van gespecialiseerde, parameter-efficiënte experts (geïmplementeerd als KV-projectie lagen). Sommige experts zijn gespecialiseerd in concepten, anderen in localisatie.
• Dynamische Routering: Een "Noisy Router" (gebaseerd op een Veteran Gate mechanisme) analyseert de input latent en selecteert dynamisch de meest geschikte expert voor de specifieke taak en tijdstap.
• Veteran Gate Routing Supervision: Om te voorkomen dat het model oude kennis vergeet (catastrophic forgetting) en om een gebalanceerd gebruik van experts te garanderen, wordt een extra supervisieterm toegevoegd aan de loss-functie. Deze term zorgt ervoor dat de routering consistent blijft met de vereisten van eerdere trainingsstappen.
• Fusie: De geselecteerde expert levert een adaptieve residual die wordt toegevoegd aan de basisprojectie, waardoor de Key en Value representaties van de source latent worden verfijnd voordat ze worden gefuseerd met tekst- en ruis-latents.

3. Belangrijkste Bijdragen

1. Conceptualisering van de Dualiteit: Het paper identificeert en formaliseert de "Concept–Localization Duality" als de primaire oorzaak van falen bij bestaande unified generatieve modellen.
2. CoLoGen Framework: Een unificatieframework dat dit conflict oplost door taken expliciet te structureren rondom deze twee representaties.
3. PRW Architectuur: Een innovatieve "Progressive Representation Weaving" module die dynamisch experts routeert en integreert, waardoor het model zowel conceptueel als ruimtelijk vaardig kan zijn zonder interferentie.
4. Progressieve Trainingsstrategie: Een bewezen curriculum dat begint met gescheiden vaardigheden en deze geleidelijk samenvoegt tot een robuust, algemeen model.

4. Resultaten

CoLoGen is uitgebreid geëvalueerd op drie hoofdtaken en presteert concurrerend met of beter dan state-of-the-art (SOTA) methoden, zowel gespecialiseerde modellen als andere generalistische modellen.

• Instruction Editing: Op benchmarks zoals MagicBrush en Emu Edit behaalt CoLoGen de beste resultaten in het volgen van instructies (CLIP-T) en het behoud van visuele consistentie (DINO), vaak beter dan modellen zoals OmniGen, UniReal en Emu Edit.
• Controllable Generation: Op taken zoals Canny-to-Image, Depth-to-Image en Segmentation-to-Image (op datasets als MultiGen-20M en ADE20K) scoort CoLoGen hoger in CLIP-Similarity en mIoU dan bestaande methoden zoals ControlNet en Uni-ControlNet.
• Customized Generation: Op DreamBench (single-entity personalisatie) overtreft CoLoGen gespecialiseerde methoden (zoals DreamBooth) en andere generalistische modellen in DINO-score en CLIP-I (beeldgelijkheid), ondanks het gebruik van minder trainingsdata dan sommige concurrenten.
• Ablatie Studies: De studies bevestigen dat het combineren van beide representaties (Rc en Rl) via de PRW-methode essentieel is. Eenvoudige multi-task co-training (zonder progressieve structuur) leidt tot een daling in prestaties, wat de noodzaak van de voorgestelde aanpak onderstreept.

5. Betekenis en Conclusie

CoLoGen biedt een principiële representatieve perspectief voor de toekomst van unified image generation. Het paper toont aan dat het niet voldoende is om verschillende taken in één model te "proppen"; in plaats daarvan moet het model leren om de interne spanning tussen semantisch begrip en ruimtelijke precisie actief te managen.

Door de representaties expliciet te ontwarren en ze progressief te weven via een curriculum learning aanpak, slaagt CoLoGen erin om een echt "generalist" model te creëren dat zowel creatief (conceptueel) als technisch nauwkeurig (localisatie) is. Dit opent de weg voor robuustere en veelzijdigere generatieve modellen die complexe, instructiegedreven taken in de echte wereld kunnen uitvoeren.