Draw-In-Mind: Rebalancing Designer-Painter Roles in Unified Multimodal Models Benefits Image Editing

Het paper introduceert Draw-In-Mind (DIM), een dataset en model dat de taken van begrip en generatie in multimodale systemen herbekijkt door complexe ontwerpladen expliciet aan het begripsmodule toe te wijzen, wat leidt tot state-of-the-art prestaties in beeldbewerking ondanks een relatief klein modelformaat.

De kern

Stel je voor dat je een schilderij wilt laten maken door een kunstenaar. In de wereld van kunstmatige intelligentie (AI) hebben we tot nu toe een vreemd systeem gebruikt om foto's te bewerken.

Het oude probleem: De "Alles-in-één" Kunstenaar
Stel je een schilder voor die ook zijn eigen opdrachtgever, architect en planner moet zijn. Jij zegt tegen deze schilder: "Verander de achtergrond in een bos en doe een hoed op de hond."

In de oude AI-modellen moest de AI dit proces als volgt doen:

1. De Vertaler (Begrijpen): Een slimme computer leest je zin.
2. De Ontwerper én Schilder (Maken): De AI moet zelf bedenken waar het bos precies moet komen, hoe groot de hond is, waar de hoed past, en hoe de schaduwen eruit zien. Vervolgens moet hij direct de verf op het doek zetten.

Het probleem is dat de AI hierdoor overbelast raakt. Hij moet tegelijkertijd nadenken over de planning (het ontwerp) en de uitvoering (het schilderen). Het is alsof je iemand vraagt om een complexe bouwtekening te maken terwijl hij tegelijkertijd de bakstenen moet leggen. De muur wordt vaak scheef of de ramen vallen eruit.

De oplossing: "Draw-In-Mind" (Teken in je Geest)
De auteurs van dit paper, Ziyun Zeng en zijn team, hebben een nieuwe manier bedacht. Ze noemen het Draw-In-Mind.

Ze zeggen: "Waarom laat je de schilder niet gewoon schilderen, en laten we een aparte 'architect' de tekening maken?"

In hun nieuwe systeem werken twee personen samen:

1. De Architect (Het Begrijpings-deel): Dit is een zeer slimme AI die alleen nadenkt. Hij leest jouw zin en maakt een gedetailleerd bouwplan (een "blueprint"). Hij denkt na over: "Oké, de hond staat links, de hoed moet op zijn kop, en het bos begint precies achter de heuvel." Hij doet dit in een soort denkproces (Chain-of-Thought), alsof hij hardop nadenkt voordat hij begint.
2. De Schilder (Het Maken-deel): Dit is de AI die de foto maakt. Hij hoeft niet na te denken over waar dingen moeten komen. Hij krijgt het bouwplan van de Architect en zegt: "Ah, ik zie het plan! Ik ga nu gewoon de verf op de juiste plekken zetten."

De "Teken in je Geest" Dataset
Om dit te laten werken, hebben ze een enorme bibliotheek met voorbeelden gemaakt, genaamd DIM.

• De Architect-trainingsboek: Ze hebben 14 miljoen voorbeelden verzameld waar de AI leert hoe hij complexe instructies moet begrijpen en in gedetailleerde plannen kan omzetten.
• De Schilder-trainingsboek: Ze hebben 233.000 voorbeelden gemaakt waarbij een slimme computer (GPT-4o) eerst een gedetailleerd plan schreef en daarna de foto bewerkte. Dit leerde de AI dat het plan maken en het schilderen twee verschillende taken zijn.

Het resultaat: Klein maar Krachtig
Het mooiste aan deze methode is dat je niet nodig hebt om een gigantische, dure computer te bouwen.

• Ze hebben een relatief klein model gebruikt (ongeveer 4,6 miljard parameters).
• Desondanks wint hun model van veel grotere modellen (die 5 keer zo groot zijn) in tests.
• Het werkt sneller en maakt minder fouten.

Samenvattend in een metafoor:
Vroeger vroeg je aan een eenzame meester om een complex gebouw te ontwerpen én te bouwen. Hij werd moe en maakte fouten.
Nu vraag je aan een slimme architect om het plan te tekenen, en geef je dat plan aan een snelle bouwvakker die het precies uitvoert.

Door de "ontwerp-taak" te scheiden van de "schilder-taak", wordt de AI veel beter in het bewerken van foto's. Ze noemen dit Draw-In-Mind: eerst teken je het plan in je hoofd (met de Architect), en pas daarna ga je schilderen.

Technische samenvatting

Probleemstelling: Ongelijke Verdeling van Verantwoordelijkheden

De auteurs identificeren een fundamenteel probleem in bestaande geünificeerde multimodale modellen (die zowel beeldbegrip als beeldgeneratie combineren). Hoewel deze modellen goed presteren bij tekst-naar-beeld (T2I) generatie, kampen ze met aanzienlijke beperkingen bij instructiegeleid beeldbewerken.

De kern van het probleem is een ongelijke verdeling van verantwoordelijkheden:

• Het begripsmodule (vaak een Multimodal Large Language Model of MLLM) fungeert slechts als een "vertaler" die gebruikersinstructies omzet in semantische condities.
• Het generatiemodule (de "schilder") moet vervolgens tegelijkertijd drie complexe taken uitvoeren:
  1. De oorspronkelijke lay-out van het beeld infereren.
  2. Het specifieke gebied voor bewerking identificeren.
  3. De nieuwe content renderen terwijl de onveranderde delen behouden blijven.

Dit is contraproductief omdat het begripsmodule doorgaans is getraind op veel grotere datasets voor complex redeneren dan het generatiemodule. Het is inefficiënt om het generatiemodule te laten "ontwerpen" (planning) én "schilderen" (uitvoering) tegelijkertijd.

Methodologie: Draw-In-Mind (DIM)

Om dit probleem op te lossen, stellen de auteurs Draw-In-Mind (DIM) voor. Dit is een dataset en een architectuur die de verantwoordelijkheid voor "ontwerp" (planning) expliciet verlegt naar het begripsmodule, zodat het generatiemodule zich kan focussen op het "schilderen".

1. De DIM-Dataset

De dataset bestaat uit twee complementaire subsets:

• DIM-T2I (14 miljoen paren): Bestaat uit lang-context beeld-tekstparen. Deze zijn geannoteerd over 21 verschillende dimensies (zoals ruimtelijke relaties, emoties, context, tekst, etc.) door interne modellen. Het doel is om het begripsmodule te trainen in complex Chain-of-Thought (CoT) begrip, wat essentieel is voor gedetailleerde instructies.
• DIM-Edit (233.000 paren): Bestaat uit hoogwaardige "Chain-of-Thought" (CoT) imaginaties gegenereerd door GPT-4o. In plaats van alleen een korte instructie, genereert dit subset een expliciet ontwerpproces (blueprint) voor elke bewerking. Dit proces omvat vier stappen:
  1. Global Layout Perception: Beschrijving van alle objecten en hun posities.
  2. Local Object Perception: Gedetailleerde beschrijving van uiterlijk, textuur en staat.
  3. Edit Area Localization: Specificatie van welk gebied gewijzigd moet worden.
  4. Edited Image Imagination: Beschrijving van het verwachte eindresultaat.

2. Modelarchitectuur

Het model, DIM-4.6B-Edit, is een eenvoudige maar effectieve architectuur:

• Frozen MLLM: Qwen2.5-VL-3B (3 miljard parameters) fungeert als het "ontwerper"-module. Deze wordt niet getraind, maar behoudt zijn sterke begripscapaciteiten.
• Trainable Generator: SANA1.5-1.6B (1,6 miljard parameters) fungeert als de "schilder" (diffusion decoder).
• Connector: Een lichtgewicht twee-laags MLP (Multi-Layer Perceptron) verbindt de twee modules.
• Inference: Tijdens het bewerken fungeert een externe "ontwerper" (bijv. GPT-4o of een ander MLLM) die de CoT-blueprint genereert. Deze blueprint wordt ingevoerd in het model om de bewerking te sturen.

Belangrijkste Bijdragen

1. Identificatie van een fundamenteel tekort: Het paper benadrukt dat de slechte prestaties van huidige beeldbewerkingsmodellen niet alleen te wijten zijn aan gebrek aan data of parameters, maar aan een verkeerde architecturale verdeling van taken (design vs. painting).
2. De DIM-Dataset: Een nieuwe, schaalbare dataset met 14M T2I-paren en 233K CoT-gestuurde bewerkingsparen die expliciete ontwerplijnen bieden.
3. Efficiëntie en Prestaties: Het demonstreren dat een relatief klein model (4,6B totale parameters, waarvan slechts 1,6B trainbaar) superieure resultaten kan behalen ten opzichte van veel grotere modellen (tot 14B parameters) door de juiste rolverdeling en datakwaliteit.

Resultaten

Het model DIM-4.6B-Edit behaalt state-of-the-art (SOTA) of zeer competitieve prestaties op de belangrijkste benchmarks, ondanks zijn kleine formaat:

• ImgEdit Benchmark: Het model overtreft grotere concurrenten zoals UniWorld-V1 (12B+ parameters) en Step1X-Edit (12,5B+ parameters). Het scoort bijvoorbeeld 3,67 tegenover 3,26 van UniWorld-V1.
• GEdit-Bench: Het model presteert uitstekend op diverse taken (achtergrondverandering, objectverwijdering, etc.), met name waar het vermogen tot complex redeneren en lay-outbehoud cruciaal is.
• Text-to-Image (T2I): Op GenEval en MJHQ-30K scoort het model concurrerend met veel grotere modellen, wat aantoont dat de lange context-prompten in DIM-T2I effectief zijn.
• Efficiëntie: Het model is aanzienlijk sneller (ca. 6 seconden per edit) dan grote concurrenten (ca. 28 seconden), mede dankzij de efficiënte SANA-architectuur en de eenvoudige connector.

Betekenis en Conclusie

De studie toont aan dat het expliciet toewijzen van ontwerptaken (planning en redenering) aan het begripsmodule, terwijl het generatiemodule zich puur richt op de visuele uitvoering, een game-changer is voor beeldbewerking.

• Paradigmaverschuiving: In plaats van het simpelweg vergroten van modelparameters (scaling), lost deze aanpak het probleem op door de cognitieve last te herverdelen.
• Generaliseerbaarheid: Het systeem werkt goed met verschillende externe "ontwerpers" (verschillende MLLMs), wat aantoont dat de methode robuust is.
• Toekomstperspectief: Het paper suggereert dat toekomstige modellen minder afhankelijk hoeven te zijn van enorme parametergroottes als de datakwaliteit (CoT-blueprints) en de rolverdeling optimaal zijn. De dataset en modellen zijn open-source beschikbaar gesteld.

Kortom, Draw-In-Mind bewijst dat "denken voor het tekenen" (via CoT) essentieel is voor hoogwaardige beeldbewerking en dat dit beter wordt gedaan door een gespecialiseerd begripsmodel dan door een generatiemodel dat alles moet doen.