💻 computer science

CreatiPoster: Towards Editable and Controllable Multi-Layer Graphic Design Generation

CreatiPoster ist ein neuartiges Framework, das editierbare, mehrschichtige Grafikdesigns generiert, indem es zuerst ein RGBA-großes multimodales Modell verwendet, um präzise JSON-Layerspezifikationen zu erstellen, und anschließend einen kohärenten Hintergrund synthetisiert, wodurch es bestehende Open-Source- und kommerzielle Systeme übertrifft und gleichzeitig einen großen, urheberrechtsfreien Datensatz zur Förderung des KI-gestützten Designs bereitstellt.

Ursprüngliche Autoren: Dexiang Hong, Zhao Zhang, Weidong Chen, Yutao Cheng, Maoke Yang, Gonglei Shi, Hui Zhang, Zhendong Mao

Veröffentlicht 2026-07-23

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dexiang Hong, Zhao Zhang, Weidong Chen, Yutao Cheng, Maoke Yang, Gonglei Shi, Hui Zhang, Zhendong Mao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie wollten ein Haus bauen, aber anstatt Stein für Stein zu legen, bitten Sie einen Roboter, ein einzelnes, flaches Bild eines Hauses an eine Wand zu sprühen. Es sieht aus wie ein Haus, sicher, aber wenn Sie die Vordertür verschieben oder die Farbe des Dachs ändern wollen, können Sie das nicht. Sie müssten das ganze Bild abschaben und von vorne beginnen. Dies ist genau das Problem, mit dem die meisten aktuellen KI-Tools Grafikdesigns erstellen. Sie „backen“ alles in ein einziges, flaches Bild ein. Wenn Sie den Text ändern oder ein Logo verschieben wollen, zerschießt die KI oft das Bild oder kann es gar nicht erst machen.

Um die Lösung zu verstehen, betrachten Sie ein Grafikdesign nicht als ein Gemälde, sondern als ein Rezept oder einen Satz von Anweisungen. Ein echter Designer arbeitet in Ebenen: eine Hintergrundebene, eine Textebene, eine Fotoebene und so weiter. Jede Ebene ist separat und kann angepasst werden, ohne die anderen zu ruinieren. Das Papier, das wir uns ansehen, befasst sich mit der Herausforderung, der KI beizubringen, diese „Rezepte“ (Designprogramme genannt) zu schreiben, anstatt nur das fertige Bild zu malen. Es stellt die Frage: Können wir eine KI erschaffen, die nicht nur ein statisches Bild ausspuckt, sondern ein Design erstellt, bei dem jedes einzelne Element – jeder Buchstabe, jedes Foto, jede Farbe – voll editierbar bleibt, genau so, wie ein professioneller Designer es erstellen würde?

Die große Idee des Papers: Der „Rezept“-Roboter

Die Forscher hinter diesem Paper, von der University of Science and Technology of China und anderen, haben ein neues offenes Framework namens CreatiPoster entwickelt. Ihr Hauptergebnis ist, dass sie durch die Behandlung von Grafikdesign als „editierbare Designprogramm-Synthese“ Poster erstellen können, die nicht nur schön, sondern auch vollständig editierbar sind. Im Gegensatz zu anderen Systemen, die einfach nur raten, wie das fertige Bild aussehen sollte, schreibt CreatiPoster eine JSON-Datei (eine Art Computercode), die jede einzelne Ebene des Designs auflistet und dem Computer genau sagt, wo der Text platziert werden soll, wie groß die Bilder sein sollten und welchen Stil sie verwenden sollen.

So funktioniert ihr „Zweistufen“-Zaubertrick unter Verwendung einer einfachen Analogie:

Stufe 1: Der Architekt (Der Protokoll-Generator)
Zuerst agiert die KI wie ein Architekt. Sie geben ihr einen Prompt (wie „Erstelle ein Poster für eine Wissenschaftsmesse“), vielleicht einige Fotos, die Sie einbauen möchten, und die Größe der Leinwand. Anstatt das Poster zu zeichnen, schreibt der Architekt ein detailliertes JSON-„Protokoll“. Dieses Protokoll ist eine Liste von Anweisungen für jedes einzelne Element: „Setze das Wort ‚Wissenschaft‘ hier in fettem Blau“, „Platziere dieses Foto eines Becherglases hier, leicht rotiert“ und „Setze die Bildunterschrift hier unten hin“. Entscheidend ist, dass dieser Schritt erfolgt, bevor irgendein Hintergrund gezeichnet wird. Dies stellt sicher, dass Ihr Text korrekt geschrieben ist und Ihre Fotos genau dort platziert sind, wo Sie sie haben wollen, ohne dass sie verschmieren oder verzerrt werden.

Stufe 2: Der Dekorateur (Der Hintergrund-Synthesizer)
Sob� nachdem der Architekt alle Texte und Fotos auf einer klaren, unsichtbaren Leinwand platziert hat, tritt die zweite KI ein. Dies ist der Dekorateur. Seine einzige Aufgabe ist es, sich die Gegenstände anzusehen, die der Architekt bereits platziert hat, und einen wunderschönen Hintergrund um sie herum zu malen. Da der Text und die Fotos bereits vorhanden und geschützt sind, kann der Dekorateur sie nicht versehentlich übermalen oder die Rechtschreibung ruinieren. Er füllt einfach den leeren Raum mit Farben und Mustern, die zur Stimmung des Designs passen.

Was sie fanden und was sie ablehnten

Das Paper argumentiert explizit dagegen, dass wir riesige Bibliotheken mit vorgefertigten Vorlagen benötigen (wie sie von kommerziellen Tools wie Canva oder Adobe genutzt werden), um gute Designs zu erstellen. Sie schlagen vor, dass das Vertrauen auf Vorlagen die Kreativität einschränkt und es schwierig macht, eigene spezifische Assets zu verwenden. Stattdessen lernt CreatiPoster die „Regeln“ guten Designs aus Daten, was es ermöglicht, einzigartige Layouts zu kreieren, ohne eine Vorlagenbibliothek zu benötigen.

Als sie ihr System testeten, stellten sie fest, dass es sowohl Open-Source-KI-Tools als auch große kommerzielle Systeme (wie Microsoft Designer und Canva Magic Design) in mehreren Schlüsselbereichen übertraf.

Textgenauigkeit: Die KI schrieb Wörter korrekt und hielt Schriftarten lesbar, was ein häufiger Fehlerpunkt bei anderen bildgenerierenden KIs ist.
Asset-Fidelität: Wenn Sie ein Foto Ihres Hundes hochgeladen haben, sorgte die KI dafür, dass der Hund wie Ihr Hund aussah und nicht wie ein generischer Hund.
Editierbarkeit: Dies ist der große Sieg. Da das Ergebnis ein „Programm“ aus Ebenen ist, können Sie später zurückgehen, den Text ändern, das Foto austauschen oder das Ganze neu skalieren, und das Design bleibt perfekt. Andere Systeme erzeugen ein „gebackenes“ Bild, bei dem man nach der Erstellung nichts mehr wirklich bearbeiten kann.

Wie sicher sind sie sich?

Die Forscher sind aufgrund ihrer neuen Benchmark-Tests sehr zuversichtlich bei diesen Ergebnissen. Sie evaluierten ihr System in 45 „Nur-Prompt“-Fällen und 45 Fällen, in denen Nutzer Assets bereitstellten. Sie nutzten sowohl automatisierte Bewertungen (via GPT-4.1) als auch menschliche Freiwillige, um die Designs hinsichtlich Layout, Farbe, Stil und der Einhaltung von Anweisungen zu bewerten.

In diesen Tests schnitt CreatiPoster in fast allen Kategorien besser ab als die Konkurrenz, insbesondere bei „Grafikstil“ und „Compliance“ (wie gut es den Nutzer-Prompt befolgte). Das Paper ist jedoch ehrlich über seine Grenzen. Sie merken an, dass „Layout“ immer noch der schwierigste Teil für jede KI ist; selbst ihr bestes System erreichte in komplexen Layouts nicht mehr als 3,0 von 5 Punkten, was darauf hindeutet, dass es immer noch eine Lücke zwischen KI und menschlichen Designern bei sehr komplizierten Kompositionen gibt. Sie stellten auch einige wiederkehrende Fehler fest, wie etwa verzerrte kleine Icons oder Text, der manchmal nicht perfekt mit Bildern übereinstimmt, was sie als Arbeitsbedarf anerkennen.

Warum das wichtig ist

Der coolste Teil dieser Entdeckung ist, was sie für die Zukunft ermöglicht. Da das Design ein Satz von Anweisungen und kein flaches Bild ist, kann dasselbe System Dinge tun, die für KI normalerweise unmöglich sind:

Neu-Layout: Sie können ein Poster, das für einen Smartphone-Bildschirm entworfen wurde, nehmen und die KI bitten: „Skaliere dies für eine Werbetafel“, und sie wird die Ebenen perfekt neu anordnen, ohne den Text zu beschädieren.
Mehrsprachigkeit: Es kann ein Design nehmen und den Text ins Französische, Japanische oder Arabische übersetzen, während das Layout intakt bleibt.
Animation: Da die Ebenen getrennt sind, können Sie ein statisches Poster leicht in ein animiertes Video verwandeln, indem Sie die Ebenen bewegen.

Kurz gesagt: CreatiPoster deutet darauf an, dass die Zukunft des KI-Designs nicht darin besteht, ein einzelnes, perfektes Bild zu generieren, das man nicht mehr anfassen kann. Es geht darum, ein flexibles, editierbares „Programm“ zu generieren, das Ihnen die volle Kontrolle gibt und professionelles Grafikdesign für jeden zugänglich macht, der einen Prompt eingeben kann.

Technisches Resümee: CreatiPoster

Problemstellung

Grafikdesign ist eine kritische Komponente der modernen Kommunikation, doch die Erstellung hochwertiger, editierbarer Kompositionen bleibt eine zeitaufwendige Aufgabe, die erhebliches Fachwissen erfordert. Bestehende KI-gestützte Ansätze stehen vor einem grundlegenden Zielkonflikt: Sie haben Schwierigkeiten, gleichzeitig vier wesentliche Kriterien zu erfüllen:

Textgenauigkeit: Korrekte Rechtschreibung und Typografie.
Asset-Fidelität: Getreue Bewahrung und Platzierung von benutzerbereitgestellten Bildern, Logos oder Fotos.
Editierbarkeit: Die Fähigkeit für Nutzer, Text und Assets nach der Generierung zu modifizieren.
Ästhetische Anziehungskraft: Professionelle visuelle Qualität.

Aktuelle Open-Source-Methoden scheitern oft daran, Nutzer-Assets einzubeziehen oder professionelle Standards zu erreichen, während kommerzielle Systeme (z. B. Canva, Adobe Express) auf riesigen, proprietären Vorlagenbibliotheken basieren, die für Einzelpersonen oder kleine Organisationen schwer zu replizieren sind. Darüber hinaus produzieren die meisten generativen Modelle "flache" Pixelbilder, was das Ergebnis nicht editierbar macht und die Asset-Fidelität zerstört.

Methodik

Die Autoren führen CreatiPoster ein, ein offenes Framework, das die Generierung von Grafikdesign als editierbare Design-Programmsynthese statt als flache Bildsynthese umformuliert. Das System arbeitet über eine zweistufige Pipeline, die die Generierung des Vordergrunds (Text und Assets) vom Hintergrund entkoppelt.

1. Layered Protocol Generator ( $P_M$ )

Die erste Stufe nutzt ein großes multimodales Modell (basierend auf InternLM2.5), um ein ausführbares JSON-Designprogramm zu synthetisieren.

Input: Nutzer-Prompts ( $p$ ), optionale RGBA-Assets ( $I$ ), Canvas-Größe ( $s$ ) und optionale Constraints ( $C$ ).
Output: Ein strukturiertes Protokoll $P = \{L, c_{bg}\}$ $P = {L, c_{b g}}$ , wobei:
- $L$ eine geordnete Liste von Layern (Ebenen) ist. Jeder Layer $\ell_j$ enthält vier Attributgruppen: semantische Identität ( $a_{sem}$ ), Geometrie ( $a_{geo}$ , z. B. Position, Größe, Rotation), Stil ( $a_{sty}$ , z. B. Schriftart, Farbe) und Ordnung ( $o_j$ ).
- $c_{bg}$ eine prägnante Bildunterschrift beschreibt, die den Hintergrund betrifft.
Trainingsstrategie: Das Modell wird unter einem einzelnen Protokoll-Vervollständigungsziel trainiert. Anstatt aufgabenspezifische Heads zu verwenden, lernt es, ein vollständiges Protokoll aus einer teilweise maskierten Version ( $\hat{P}$ ) wiederherzustellen. Dieser vereinheitlichte Ansatz unterstützt Prompt-only-Generierung, Asset-konditionierte Generierung und Canvas-Editing ohne architektonische Änderungen.
Rendering: Das generierte JSON-Programm wird unter Verwendung von Standard-Grafik-Engines (z. B. Skia) in ein vollständig editierbares Vordergrundbild ( $I_{fg}$ ) gerendert, wodurch sichergestellt wird, dass Text und Assets als separate Ebenen erhalten bleiben.

2. Foreground-Aware Background Synthesizer ( $B_M$ )

Die zweite Stufe generiert nur die Hintergrundebene ( $I_{bg}$ ), konditioniert auf den gerenderten Vordergrund und die Hintergrund-Bildunterschrift.

Architektur: Basiert auf einem Multimodal Diffusion Transformer (MM-DiT) Backbone.
Konditionierung: Das Modell konkateniert drei Token-Streams:
1. Vordergrund-Tokens ( $h_f$ ): Kodiert aus dem RGBA-Vordergrund auf einem neutralgrauen Canvas.
2. Caption-Tokens ( $h_b$ ): Kodiert aus der Hintergrund-Bildunterschrift.
3. Rauschige Bild-Tokens ( $h_z$ ): Gesampelt im latenten Raum.
Mechanismus: Die MM-DiT-Blöcke führen eine gemeinsame Attention über diese Streams durch, was es der Hintergrundgenerierung ermöglicht, mit dem Vordergrund in Farbe, Layout und Stil zu harmonieren, ohne den Text oder die Assets zu korrumpieren.
Training: Der Diffusion-Backbone ist eingefroren; nur LoRA-Module und AdaLN-Layer werden unter Verwendung von Flow-Matching-Objectives trainiert. Das System durchläuft einen zweistufigen Trainingsprozess (512px und 1024px Auflösung), um die Sensitivität gegenüber dem Vordergrund mit der Anpassungsfähigkeit an hohe Auflösungen abzuwägen.

Einheitliche steuerbare Modi

Da das System auf Protokollvervollständigung basiert, unterstützt ein einziges Modell diverse Generierungsmodi:

Prompt-only: Generiert ein vollständiges Design aus Text.
Asset-conditioned: Bewahrt hochgeladene Assets und sagt deren Platzierung und Styling voraus.
Canvas-conditioned: Vervollständigt fehlende Layer oder Attribute basierend auf gesperrten Nutzer-Elementen.
Re-layout: Regeneriert das Layout für eine neue Canvas-Größe unter Beibehaltung von Inhalt und Stil.

Zentrale Beiträge

Editable Design Program Synthesis: Das Paper schlägt vor, Grafikdesign als Generierung editierbarer JSON-Programme statt statischer Bilder zu formulieren, was eine native Editierbarkeit der Ebenen gewährleistet.
Layered Protocol Generation: Entwicklung eines RGBA-multimodalen Modells, das den Inhalt, die Geometrie, den Stil und die Reihenfolge jedes Layers zusammen mit einer Hintergrund-Bildunterschrift spezifiziert.
Foreground-Aware Background Synthesis: Einführung eines MM-DiT-basierten Synthesizers, der Hintergründe generiert, die auf den gerenderten Vordergrund konditioniert sind, wodurch Textgenauigkeit und Asset-Fidelität gewahrt bleiben.
Evaluierung und Ressourcen: Die Autoren veröffentlichen einen neuen Benchmark mit automatisierten Metriken, einen Datensatz von 100.000 urheberrechtsfreien Multi-Layer-Proben sowie den Code und die Modelle, was eine überlegene Leistung gegenüber bestehenden Systemen demonstriert.

Ergebnisse

CreatiPoster wurde auf einem neuen Benchmark evaluiert, der 45 Prompt-only-Fälle, 39 Single-Asset-Fälle und 6 Multi-Asset-Fälle umfasst. Die Evaluierungsdimensionen beinhalteten Layout, Farbe, Grafikstil und Compliance, bewertet durch GPT-4.1 und menschliche Freiwillige.

Performance: CreatiPoster (sowohl S- als auch F-Varianten) erreichte in fast allen Dimensionen Spitzenwerte oder nahezu Spitzenwerte im Vergleich zu OpenCOLE (Open-Source), Microsoft Designer und Canva Magic Design (kommerziell).
Asset-Handling: In Asset-konditionierten Settings übertraf CreatiPoster die Baselines in den Bereichen Compliance und Grafikstil signifikant, da kommerzielle Systeme oft versagten, Nutzer-Assets korrekt zu integrieren oder vorhandene Vorlagen-Skelette wiederverwendeten.
Limitierungen: Die Autoren stellen fest, dass Layout die anspruchsvollste Dimension für alle Systeme bleibt (keine Methode überstieg einen Score von 3.0), was auf eine anhaltende Lücke zu menschlichen Designern in komplexen, textverwobenen Kompositionen hindeutet. Zu den Fehlermodi gehören die Verzerrung kleiner Icons und gelegentliche Fehlplatzierungen zwischen Text und Assets.

Bedeutung

Das Paper behauptet, dass CreatiPoster die Demokratisierung des KI-gestützten Grafikdesigns vorantreibt, indem es die Abhängigkeit von proprietären Vorlagenbibliotheken aufhebt. Durch die Darstellung von Designs als editierbare Programme stellt das Framework sicher, dass Nutzer-Assets intakt bleiben und jedes Element nach der Generierung editierbar bleibt. Der vereinheitlichte Protokoll-Vervollständigungsansatz ermöglicht vielfältige Anwendungen – einschließlich Canvas-Editing, Textüberlagerung, responsives Resizing, mehrsprachige Anpassung und animierte Poster – ohne die Notwendigkeit aufgabenspezifischer Pipelines. Die Veröffentlichung des Frameworks, des Datensatzes und des Benchmarks zielt darauf ab, die weitere Forschung im Bereich des KI-gestützten, editierbaren Grafikdesigns zu katalysieren.