Draw This First
Dieses Paper stellt einen neuartigen Ansatz zur Skizzengenerierung vor, der den typischen Prozess der Strichreihenfolge umkehrt, indem ein 2D-Feld vorhergesagt wird, um Zeichensequenzen zu definieren, was die Erstellung geordneter Vekturskizzen aus Text oder Bildern ermöglicht, die spezifischen Zeichenanweisungen folgen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie beobachten einen Magier, der ein Bild auf eine Leinwand zeichnet. Normalerweise, wenn wir über das Zeichnen durch Computer sprechen, denken wir an sie als Künstler, die einfach das fertige Bild auf einmal ausspucken, oder die es vielleicht Pixel für Pixel aufbauen, wie ein Zeitraffer in Zeitlupe. Aber es gibt eine andere Art, das Zeichnen zu betrachten: die Geschichte dessen, wie die Linien entstehen. Hat der Künstler zuerst die Außenlinie gezeichnet, dann die Augen, dann den Hut? Oder hat er mit dem Hut begonnen, dann die Augen gezeichnet und mit der Außenlinie abgeschlossen? Diese „Geschichte“ wird als Zeichenreihenfolge bezeichnet.
Lange Zeit waren Computer gut darin, das fertige Bild richtig aussehen zu lassen, aber sie waren schrecklich darin, die Geschichte zu verstehen, wie es erstellt wurde. Sie wussten nicht, welche Linie zuerst kam. Das ist wichtig, denn wenn Sie möchten, dass ein Computer Ihnen beim Zeichnen hilft, oder wenn Sie ein Foto in eine einfache Skizze zurückverwandeln wollen, die ein Roboter tatsächlich mit einem Stift nachzeichnen kann, müssen Sie die Reihenfolge kennen. Es ist der Unterschied zwischen dem Überreichen eines fertigen Puzzles und dem Überreichen der Anleitung, wie man die Teile zusammenfügt. Dieses Paper bewegt sich in der Welt des Computer Vision und der Generativen KI, wo Maschinen versuchen, Bilder zu verstehen und zu erschaffen. Die große Frage hier ist: Können wir einem Computer nicht nur beibringen, was er zeichnen soll, sondern auch, wie er es Schritt für Schritt zeichnet, genau wie ein Mensch?
Die große Idee des Papers: Malen mit der Zeit
Die Autoren dieses Papers, die mit Werkzeugen von Krea.ai und Wand Technologies arbeiten, beschlossen, das Skript der Art und Weise, wie Computer Skizzen generieren, umzudrehen. Anstatt zu versuchen, die nächste Linie in einer Sequenz vorherzusagen (was so ist, als würde man versuchen, das nächste Wort in einem Satz nacheinander zu erraten), stellten sie eine andere Frage: Was wäre, wenn wir eine Karte malen könnten, die dem Computer genau sagt, wann er jede einzelne Linie zeichnen soll?
Denken Sie an eine Art „Heatmap“ oder ein „Ampelsystem“ für eine Zeichnung. Stellen Sie sich vor, Sie haben ein leeres Blatt Papier. Der Computer zeichnet nicht einfach eine Katze; er malt zuerst eine unsichtbare, farbige Schicht über das Papier. Auf dieser Schicht sagt dem Computer die Farbe jedes Pixels, wie „alt“ dieser Teil der Zeichnung ist.
- Rote Pixel könnten bedeuten: „Zeichne diesen Teil zuerst.“
- Gelbe Pixel bedeuten: „Zeichne diesen Teil als Nächstes.“
- Blaue Pixel bedeuten: „Zeichne diesen Teil zuletzt.“
Dies ist der Kernkniff: Sie haben Zeit (die Reihenfolge des Zeichnens) in Farbe verwandelt.
Wie sie den Computer lehrten
Um dies zum Laufen zu bringen, brauchte das Team einen Lehrer. Sie verwendeten nicht die üblichen unordentlichen „Doodle“-Datensätze, die im Internet zu finden sind. Stattdessen engagierten sie 50 professionelle Künstler, die 47.318 hochwertige Skizzen zeichneten. Diese Künstler zeichneten alles, von Vögeln bis hin zu Teekannen, und der Computer zeichnete jeden einzelnen Strich mit, exakt so, wie die Künstler ihn ausführten.
Der Computer betrachtete diese Zeichnungen und erstellte seine spezielle „Zeit-als-Farbe“-Karte. Er nahm die echte Zeichnung und verwandelte sie in ein seltsames, farbiges Bild, in dem die Helligkeit und der Farbton der Tinte die Geschichte des Zeichenprozesses erzählten.
Dann nutzten sie ein leistungsstarkes KI-Modell (einen „Diffusion Transformer“, eine Art von KI, die durch Raten und Korrigieren lernt), um zu lernen, wie man diese farbigen Karten von Grund auf neu erstellt. Sie lehrten die KI zwei Dinge:
- Text-zu-Skizze: Wenn Sie „eine Katze“ eingeben, soll die KI die farbige Karte generieren, die Ihnen sagt, wie man eine Katze zeichnet.
- Bild-zu-Skizze: Wenn Sie der KI ein Foto einer Katze zeigen, soll sie die Zeichenreihenfolge herausfinden und die Karte generieren.
Der Zaubertrick: Die Karte lesen
Sobald die KI diese farbige „Zeit-Karte“ generiert hat, muss der Computer sie wieder in eine echte Zeichnung zurückverwandeln. Hier kommt ihr spezieller Decoder ins Spiel. Er betrachtet die Farben, findet heraus, welche Pixel rot (zuerst) sind, welche gelb (als Nächstes) sind und so weiter. Dann verbindet er die Punkte, um eine glatte, geordnete Linienzeichnung zu erstellen.
Das Coolste daran? Sie können der KI sagen, die Geschichte zu ändern. Wenn Sie schreiben: „Zeichne zuerst den Schwanz, dann den Körper“, hört die KI zu. Sie ändert nicht nur das Bild, sondern sie ändert die Reihenfolge, in der die Linien erscheinen, selbst wenn das fertige Bild dasselbe bleibt. Es ist, als würde man einem Geschichtenerzähler sagen, er solle seine Geschichte am Ende beginnen und rückwärts arbeiten, aber die Geschichte ergibt immer noch Sinn.
Was sie herausfanden (und was nicht)
Die Ergebnisse sind ziemlich beeindruckend, aber die Autoren sind vorsichtig damit, genau zu sagen, was funktioniert und was nicht.
- Es funktioniert sehr gut mit Anweisungen: Wenn sie der KI sagten, in einer bestimmten Reihenfolge zu zeichnen (wie „Kopf, dann Körper, dann Schwanz“), folgte die KI diesen Anweisungen fast perfekt. Die Reihenfolge der Linien entsprach ihren Befehlen viel besser als beim bloßen Ratem.
- Es bewahrt den „Vibe“ der ursprünglichen Kunst: Selbst wenn sie änderten, wie die KI zeichnet, behielt sie den künstlerischen Stil und das Wissen des ursprünglichen Modells bei. Sie konnte Dinge zeichnen, die sie noch nie gesehen hatte, indem sie einfach den Reihenfolge-Anweisungen folgte.
- Es ist noch nicht perfekt: Die Autoren geben zu, dass die KI zwar gut darin ist, großen Anweisungen zu folgen (wie „zeichne zuerst den Kopf“), sich aber manchmal über die winzigen Details innerhalb eines einzelnen Teils (wie die genaue Reihenfolge der Linien innerhalb des Kopfes) im Unklaren lässt. Außerdem bricht der Computer manchmal eine einzelne glatte Linie in mehrere kleinere Teile auf, sodass die fertige Zeichnung etwas mehr Linien hat, als der ursprüngliche Künstler beabsichtigt hatte.
Warum das wichtig ist
Dieses Paper zeigt, dass wir Computer lehren können, den Prozess des Zeichnens zu verstehen, nicht nur das Ergebnis. Indem sie die Zeit in Farbe verwandelten, fanden sie einen cleveren Weg, KI dazu zu bringen, Anweisungen über das Wie der Erstellung von Kunst zu befolgen. Es ist ein Schritt hin zu Computern, die nicht nur menschliche Kunst imitieren, sondern die menschliche Denkweise dahinter verstehen – Strich für Strich.
Die Autoren schlagen vor, dass diese Methode helfen könnte, Fotos in editierbare Vektorskizzen zu verwandeln oder Robotern beim Zeichnen zu helfen, aber sie behaupten nicht, dass es ein gelöstes Problem ist. Sie zeigen, dass Maschinen mit der richtigen Ausbildung und ein wenig „farbcodierter Zeit“ anfangen können, wie Menschen zu zeichnen – Schritt für Schritt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.