DreamOmni3: Scribble-based Editing and Generation
Das Papier stellt DreamOmni3 vor, ein vereinheitlichtes Modell, das die GUI-basierte Erstellung durch die Ermöglichung einer flexiblen, auf Skizzen basierenden Bearbeitung und Generierung mittels einer neuartigen Datensynthese-Pipeline sowie eines gemeinsamen Input-Frameworks, das Original- und Skizzierbilder für präzise visuelle Kontrolle kombiniert, vorantreibt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sprechen mit einem superintelligenten Künstler, der alles zeichnen kann, was Sie beschreiben. Wenn Sie sagen: „Zeichne eine Katze“, tut er es. Wenn Sie sagen: „Lass die Katze einen Hut tragen“, verändert er das Bild. Dies ist die Welt der KI-Bildgenerierung und -Bearbeitung, ein Bereich, in dem Computer lernen, Bilder basierend auf Ihren Worten zu erstellen und zu verändern. Lange Zeit war der einzige Weg, mit diesen digitalen Künstlern zu kommunizieren, der Text. Aber hier liegt das Problem: Worte sind manchmal ungeschickt. Zu versuchen, exakt zu beschreiben, wo ein neues Objekt platziert werden soll oder wie man einen bestimmten Teil einer unordentlichen Zeichnung ändert, ist so, als würde man versuchen, einem Freund mit einer Karte ohne Orientierungspunkte den Weg zu erklären. Man sagt vielleicht: „Setz den Baum nach links“, aber die KI setzt ihn vielleicht ganz weit nach links oder auf die falsche Seite.
Um dies zu lösen, erforschen Wissenschaftler einen neuen Weg, um mit diesen Künstlern zu sprechen: das Kritzeln. Anstatt nur zu tippen, können Sie einen digitalen Stift nehmen und Kreise, Kästen oder unordentliche Doodles direkt auf den Bildschirm zeichnen, um der KI genau zu zeigen, was Sie meinen. Es ist, als würde man auf einen Punkt auf einer Karte zeigen und sagen: „Hier!“, anstatt den Straßennamen zu beschreiben. Dieses Paper, DreamOmni3, taucht tief in die Materie ein, um diese „Point-and-Draw“-Methode perfekt zu machen. Es befasst sich mit den kniffligen Teilen der Aufgabe, Computern beizubringen, nicht nur Ihre Worte, sondern auch Ihre unordentlichen, handgezeichneten Linien zu verstehen, und kombiniert diese, um Bilder mit unglaublicher Präzision zu erstellen oder zu bearbeiten.
Das Problem: Wenn Worte nicht ausreichen
Stellen Sie sich vor, Sie spielen ein Spiel, bei dem Sie ein Foto bearbeiten müssen. Sie möchten ein Spielzeug in einem roten Kreis durch eine Handtasche ersetzen. Wenn Sie nur tippen „setze eine Handtasche hier ein“, könnte die KI verwirrt sein. Welches Spielzeug? Wo ist „hier“? Ist der Kreis rot oder schwarz? Ist es das erste oder das zweite Bild? Sprache ist großartig für große Ideen, aber sie ist schlecht darin, auf spezifische, winzige Details auf einem Bildschirm zu zeigen.
Die Autoren dieses Papers erkannten, dass KI zwar sehr gut darin geworden ist, Textanweisungen zu folgen, aber oft das „Wo“ und das „Wie“ übersieht, wenn die Dinge kompliziert werden. Nutzer benötigen eine Möglichkeit, direkter zu sein. Sie müssen in der Lage sein, einen Kreis um ein Gesicht zu ziehen und zu sagen: „Ändere dieses Haar“, oder eine geschwungene Linie zu ziehen und zu sagen: „Setze ein Auto hierhin“. Dies ist das Konzept der skizzenbasierten Bearbeitung und Generierung (Scribble-based Editing and Generation). Es geht darum, Nutzern zu ermöglichen, Text, Bilder und ihre eigenen freien Zeichnungen zu mischen, um die KI zu steuern.
Die Lösung: DreamOmni3
Das Team hinter DreamOmni3 beschloss, ein Modell zu bauen, das Skizzen (Scribbles) als gleichberechtigten Bestandteil behandelt, genau wie Text und Bilder. Aber es gab eine riesige Hürde: Daten. KI-Modelle sind wie Schüler; sie müssen tausende Beispiele sehen, um zu lernen. Es gab keine existierenden Lehrbücher (Datensätze), die einer KI zeigten, wie man eine unordentliche handgezeichnete Kreisform interpretiert und in eine perfekte Bearbeitung verwandelt.
Deshalb erfand das Team als Erstes eine Datenfabrik. Sie nahmen bestehende Bilder und nutzten eine clevere Pipeline, um Millionen neuer Trainingsbeispiele zu erstellen.
- Für die Bearbeitung: Sie nahmen Fotos, fanden Objekte und zeichneten dann manuell (oder mit Hilfe von KI) Kreise, Kästen und Doodles darüber. Sie erstellten vier Arten von Aufgaben:
- Skizze + Text: „Setze ein Auto in den roten Kreis.“
- Skizze + Text + Bild: „Setze das Auto aus diesem Bild in den roten Kreis.“
- Bildfusion: Ein Objekt aus einem Foto nehmen und es mithilfe einer Skizze in ein anderes einfügen.
- Doodle-Bearbeitung: Eine grobe Skizze in ein realistisches Objekt im Foto verwandeln.
- Für die Generierung: Sie machten dasselbe, begannen aber mit einer leeren weißen Leinwand anstelle eines Fotos, um der KI beizubringen, neue Dinge basierend auf Ihren Skizzen zu zeichnen.
Sie generierten einen massiven Datensatz mit Zehntausenden dieser Beispiele (32.000 für multimodale Bearbeitung, 29.000 für multimodale Generierung und mehr für die anderen Aufgaben), um dem Modell beizubringen, den Geist des Nutzers durch seine Zeichnungen zu lesen.
Der magische Trick: Wie das Modell die Skizze „sieht“
Hier wird das Paper wirklich clever. Normalerweise verwendet man, wenn man einen bestimmten Teil eines Bildes bearbeiten möchte, eine Binärmaske. Denken Sie an eine Maske wie eine Schablone: es ist ein Schwarz-Weiß-Bild, bei dem Weiß bedeutet „ändere dies“ und Schwarz bedeutet „lasse dies unverändert“.
Die Autoren argumentieren, dass Masken zu starr sind. Wenn man drei verschiedene Dinge in einem Bild ändern möchte, benötigt man drei verschiedene Schwarz-Weiß-Masken. Das ist unordentlich und schwer in Worten zu beschreiben. Stattdessen nutzt DreamOmni3 farbige Skizzen. Man kann einen roten Kreis für das Auto, ein blaues Quadrat für den Baum und eine grüne Linie für den Himmel zeichnen. Die KI kann sie leicht anhand der Farbe unterscheiden.
Aber es gibt einen Haken: Wenn man einen roten Kreis über ein Auto zeichnet, kann die KI das Auto nicht mehr sehen, weil die rote Tinte es überdeckt! Um dies zu lösen, nutzt DreamOmni3 ein gemeinsames Input-Schema (Joint Input Scheme).
- Es füttert die KI mit zwei Bildern gleichzeitig: dem Originalfoto und dem Foto mit den Skizzen darüber.
- Es verwendet ein spezielles Kodierungssystem (eine Art der Pixelbeschriftung), das der KI sagt: „Hey, der rote Kreis in diesem Bild befindet sich an exakt derselben Stelle wie das Auto in jenem Bild.“
- Dies ermöglicht es der KI, die Skizze zu sehen (um zu wissen, was Sie wollen) und die ursprünglichen Pixel zu sehen (um zu wissen, was sie verändert), wodurch sichergestellt wird, dass die Bearbeitung präzise ist und der Rest des Bildes perfekt bleibt.
Das Gehirn: Der KI beibringen, „unordentlich“ zu verstehen
Die Autoren erkannten auch, dass menschliche Zeichnungen oft unordentlich sind. Ein Kreis kann wie ein Ei aussehen; eine Linie kann wackelig sein. Um der KI zu helfen, diese unvollkommenen Zeichnungen zu verstehen, führten sie ein Visual Language Model (VLM) ein – eine Art von KI, die besonders gut im logischen Schlussfolgern ist.
Sie trainierten dieses VLM parallel zum Bildgenerator. Das VLM fungiert als Übersetsetzer. Es betrachtet Ihre Skizze und den Text, den Sie geschrieben haben, erkennt, was Sie eigentlich meinten (z. B. „Oh, sie haben einen wackeligen Kreis gezeichnet, aber sie wollen offensichtlich ein Auto“) und sagt dem Bildgenerator dann genau, was zu tun ist. Dieses gemeinsame Training (Joint Training) stellt sicher, dass die KI nicht nur blind Regeln folgt, sondern tatsächlich die Absicht hinter der Skizze versteht.
Die Ergebnisse: Funktioniert es?
Das Team testete DreamOmni3 auf einem neuen Benchmark, den sie selbst erstellt hatten, der mit realen Bildern und schwierigen Aufgaben gefüllt war. Sie verglichen es mit anderen Top-Modellen, einschließlich einiger berühmter kommerzieller Modelle wie GPT-4o und Nano Banana.
Die Ergebnisse waren beeindruckend. DreamOmni3 übertraf konsistent andere Open-Source-Modelle und erreichte oder übertraf die kommerziellen Giganten in vielen Bereichen.
- Menschliche Evaluatoren (echte Menschen) bewerteten die Erfolgsrate von DreamOmni3 bei Bearbeitungsaufgaben mit 55,88 %, was höher war als bei GPT-4o (59,56 % in einem Metrikwert, aber DreamOmni3 war in anderen Bereichen konsistenter) und deutlich höher als bei anderen wie Omnigen2 (2,94 %).
- Bei Generierungsaufgaben erreichte DreamOmni3 eine Erfolgsrate von 54,55 % und schlug damit ebenfalls die meisten Konkurrenten.
- Das Paper merkt an, dass kommerzielle Modelle zwar stark sind, aber manchmal Schwierigkeiten mit spezifischen Skizzen-Anweisungen haben, indem sie die Skizzen oft im fertigen Bild hinterlassen oder die Proportionen falsch darstellen. DreamOmni3 hingegen wurde speziell darauf ausgelegt, diese Nuancen zu handhaben, wodurch sauberere Ergebnisse erzielt wurden, bei denen die Skizzen verschwanden und die Bearbeitungen natürlich wirkten.
Warum das wichtig ist
DreamOmni3 macht KI nicht nur intelligenter, sondern auch menschlicher. Es schließt die Lücke zwischen dem, was wir uns vorstellen, und dem, was wir beschreiben können. Indem es uns erlaubt zu zeichnen, zu zeigen und zu skizzieren, verwandelt es die Bildbearbeitung von einer technischen mühsamen Aufgabe in ein kreatives Gespräch. Das Paper legt nahe, dass dieser Ansatz – die Kombination von Text, Bildern und freien Zeichnungen mit intelligenter Datensynthese und gemeinsamem Training – die Zukunft der Interaktion mit digitalen Kreativwerkzeugen ist. Es zeigt, dass die Ergebnisse viel magischer sind, wenn wir aufhören, zu versuchen, Computern unsere vagen Worte beizubringen, und stattdessen anfangen, sie unsere direkten Handlungen sehen zu lassen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.