Technische Samenvatting: CreatiPoster

Probleemstelling

Grafisch ontwerp is een cruciaal onderdeel van moderne communicatie, maar het produceren van hoogwaardige, bewerkbare composities blijft een tijdrovende taak die aanzienlijke expertise vereist. Bestaande AI-gestuurde benaderingen kampen met een fundamentele afweging: ze hebben moeite om tegelijkertijd aan vier essentiële criteria te voldoen:

1. Tekstnauwkeurigheid: Correcte spelling en typografie.
2. Assetgetrouwheid: Getrouwe bewaring en plaatsing van door de gebruiker verstrekte afbeeldingen, logo's of foto's.
3. Bewerkbaarheid: De mogelijkheid voor gebruikers om tekst te wijzigen en assets te vervangen na de generatie.
4. Esthetische aantrekkingskracht: Professionele visuele kwaliteit.

Huidige open-source methoden falen vaak in het integreren van gebruikersassets of het bereiken van professionele standaarden, terwijl commerciële systemen (bijv. Canva, Adobe Express) vertrouwen op uitgebreide, propriëtaire sjabloonbibliotheken die moeilijk te repliceren zijn voor individuen of kleine organisaties. Bovendien produceren de meeste generatieve modellen "vlakke" pixelafbeeldingen, waardoor de output niet bewerkbaar is en de assetgetrouwheid verloren gaat.

Methodologie

De auteurs introduceren CreatiPoster, een open framework dat grafisch ontwerp genereren herdefinieert als bewerkbare designprogrammasynthese in plaats van vlakke imagesynthese. Het systeem werkt via een tweefasige pijplijn die de generatie van de voorgrond (tekst en assets) ontkoppelt van de achtergrond.

1. Layered Protocol Generator ($P_M$)

De eerste fase maakt gebruik van een groot multimodaal model (gebaseerd op InternLM2.5) om een uitvoerbaar JSON designprogramma te synthetiseren.

• Input: Gebruikersprompts ($p$), optionele RGBA-assets ($I$), canvasgrootte ($s$) en optionele beperkingen ($C$).
• Output: Een gestructureerd protocol $P = \{L, c_{bg}\}$, waarbij:
  • $L$ een geordende lijst van lagen is. Elke laag $\ell_j$ bevat vier attribuutgroepen: semantische identiteit ($a_{sem}$), geometrie ($a_{geo}$, bijv. positie, grootte, rotatie), stijl ($a_{sty}$, bijv. lettertype, kleur) en ordening ($o_j$).
  • $c_{bg}$ een beknopte beschrijving is van de achtergrond.
• Trainingsstrategie: Het model wordt getraind onder een single protocol completion objective. In plaats van taakspecifieke koppen, leert het een volledig protocol te herstellen vanuit een gedeeltelijk gemaskeerde versie ($\hat{P}$). Deze verenigde aanpak ondersteunt prompt-only generatie, asset-geconditioneerde generatie en canvasbewerking zonder architecturale wijzigingen.
• Rendering: Het gegenereerde JSON-programma wordt gerenderd naar een volledig bewerkbare voorgrondafbeelding ($I_{fg}$) met behulp van standaard graphics engines (bijv. Skia), waardoor tekst en assets als afzonderlijke lagen behouden blijven.

2. Foreground-Aware Background Synthesizer ($B_M$)

De tweede fase genereert alleen de achtergrondlaag ($I_{bg}$), geconditioneerd op de gerenderde voorgrond en de achtergrondbeschrijving.

• Architectuur: Gebouwd op een Multimodal Diffusion Transformer (MM-DiT) backbone.
• Conditionering: Het model concateneert drie tokenstromen:
  1. Voorgrondtokens ($h_f$): Geëncodeerd van de RGBA-voorgrond op een neutraal grijs canvas.
  2. Beschrijvingstokens ($h_b$): Geëncodeerd van de achtergrondbeschrijving.
  3. Ruisige beeldtokens ($h_z$): Gesampled in de latente ruimte.
• Mechanisme: De MM-DiT-blokken voeren gezamenlijke aandacht (joint attention) uit over deze stromen, waardoor de achtergrondgeneratie kan harmoniseren met de voorgrond in kleur, lay-out en stijl zonder de tekst of assets te corrumperen.
• Training: De diffusie-backbone is bevroren; alleen LoRA-modules en AdaLN-lagen worden getraind met flow matching-objectieven. Het systeem ondergaat een tweetraps trainingsproces (512px en 1024px resoluties) om een balans te vinden tussen voorgrondgevoeligheid en resolutie-adaptiviteit op hoge resolutie.

Verenigde Controleerbare Modi

Omdat het systeem gebaseerd is op protocol completion, ondersteunt één enkel model diverse generatiemodi:

• Prompt-only: Genereert een volledig ontwerp op basis van tekst.
• Asset-geconditioneerd: Behoudt geüploade assets en voorspelt hun plaatsing en styling.
• Canvas-geconditioneerd: Voltooit ontbrekende lagen of attributen op basis van vergrendelde gebruikers-elementen.
• Re-layout: Regenereert de lay-out voor een nieuwe canvasgrootte terwijl de inhoud en stijl behouden blijven.

Belangrijkste Bijdragen

1. Editable Design Program Synthesis: Het artikel stelt voor om grafisch ontwerp te formuleren als de generatie van bewerkbare JSON-programma's in plaats van statische afbeeldingen, wat natuurlijke bewerkbaarheid van lagen garandeert.
2. Layered Protocol Generation: Ontwikkeling van een RGBA-multimodaal model dat de inhoud, geometrie, stijl en ordening van elke laag specificeert, samen met een achtergrondbeschrijving.
3. Foreground-Aware Background Synthesis: Introductie van een MM-DiT-gebaseerde synthesizer die achtergronden genereert geconditioneerd op de gerenderde voorgrond, waarbij de tekstnauwkeurigheid en assetgetrouwheid worden gewaarborgd.
4. Evaluatie en Resources: De auteurs brengen een nieuwe benchmark uit met geautomatiseerde metrieken, een dataset van 100.000 auteursrechtvrije meerlagige samples, en de code/modellen, waarmee superieure prestaties ten opzichte van bestaande systemen worden aangetoond.

Resultaten

CreatiPoster werd geëvalueerd op een nieuwe benchmark bestaande uit 45 prompt-only gevallen, 39 single-asset gevallen en 6 multi-asset gevallen. De evaluatiedimensies omvatten Lay-out, Kleur, Grafische Stijl en Compliance, gescoord door GPT-4.1 en menselijke vrijwilligers.

• Prestaties: CreatiPoster (zowel S als F varianten) behaalde top- of bijna-topscores op bijna alle dimensies vergeleken met OpenCOLE (open-source), Microsoft Designer en Canva Magic Design (commercieel).
• Asset-afhandeling: In asset-geconditioneerde settings presteerde CreatiPoster aanzienlijk beter dan de baselines op het gebied van Compliance en Grafische Stijl, aangezien commerciële systemen vaak faalden in het correct integreren van gebruikersassets of het hergebruiken van sjabloon-skeletten.
• Beperkingen: De auteurs merken op dat Lay-out de meest uitdagende dimensie blijft voor alle systemen (geen enkele methode overschreed een score van 3.0), wat wijst op een hardnekkige kloof met menselijke ontwerpers in complexe, tekst-verweven composities. Foutmodi omvatten vervorming van kleine iconen en incidentele misuitlijning van tekst en assets.

Betekenis

Het artikel beweert dat CreatiPoster de democratisering van AI-ondersteund grafisch ontwerp bevordert door de afhankelijkheid van propriëtaire sjabloonbibliotheken weg te nemen. Door ontwerpen te representeren als bewerkbare programma's, zorgt het framework ervoor dat gebruikersassets intact blijven en elk element na generatie bewerkbaar blijft. De verenigde protocol completion-aanpak maakt diverse toepassingen mogelijk—waaronder canvasbewerking, tekstoverlay, responsieve resizing, meertalige adaptatie en geanimeerde posters—zonder dat er taakspecifieke pijplijnen nodig zijn. De release van het framework, de dataset en de benchmark heeft als doel verdere research op het gebied van AI-gestuurd, bewerkbaar grafisch ontwerp te katalyseren.