Generating 3D models from sketches of human faces using a combined approach of Convolutional Neural Networks, Procedural Modeling, and Contour Mapping
Dieser Beitrag stellt ein neuartiges Verfahren zur Generierung von 3D-Gesichtsmodellen aus Skizzen vor, das auf der Kombination von Convolutional Neural Networks, die zur Erkennung von Gesichtsausdrücken mittels Action Units trainiert wurden, eines parametrischen 3D-Modells (Valley Girl) zur Anwendung dieser Ausdrücke sowie aktiver Schlangenkonturen zur Ausrichtung des resultierenden Modells an den Konturen der Skizze beruht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben eine einfache, handgezeichnete Skizze eines lustigen Gesichts auf einem Blatt Papier. Nun stellen Sie sich vor, Sie möchten diese flache Zeichnung in eine echte, dreidimensionale Figur verwandeln, die Sie drehen, beleuchten und sogar animieren können. Genau dieses Problem hat Nancy Iskander in ihrer Masterarbeit gelöst.
Ihre Lösung gleicht einer dreistufigen Fließbandproduktion, die die Rechenkraft eines Computers, die Flexibilität einer digitalen Marionette und ein intelligentes „Magnet"-System kombiniert. So funktioniert es, einfach erklärt:
Schritt 1: Der „Stimmungs-Detektiv" (Faltungsneuronale Netze)
Zunächst muss der Computer verstehen, was die Zeichnung ausdrücken soll. Lächelt die Person? Stirnt sie? Blinzelt sie?
- Die Analogie: Stellen Sie sich das wie einen Detektiv vor, der versucht, die Stimmung eines Verdächtigen allein anhand einer groben Skizze zu erraten.
- Wie es funktioniert: Die Autorin hat einem Computer (mittels einer KI-Art namens Faltungsneuronales Netz) beigebracht, spezifische Muskelbewegungen zu erkennen, sogenannte „Action Units" (wie das Heben einer Augenbraue oder das Runzeln der Nase).
- Das Geheimnis: Anstatt echte Fotos von Menschen zu verwenden, erstellte die Autorin eine riesige Bibliothek mit über 21.000 künstlichen Gesichtern und den entsprechenden Skizzen. Sie nutzte eine digitale Marionette (namens „Valley Girl"), um zufällig Tausende verschiedener Gesichter zu erzeugen, fotografierte diese und verwandelte die Bilder dann in Skizzen. Dieses „Trainingslager" lehrte die KI, den Unterschied zwischen einem „glücklichen" und einem „spöttischen" Gesicht zu erkennen, selbst wenn es sich nur um Linien auf Papier handelt.
Schritt 2: Die „Digitale Marionette" (Prozedurale Modellierung)
Sobald die KI die Stimmung kennt (z. B. „Diese Skizze zeigt ein Spöttisches"), muss sie ein 3D-Gesicht bauen, das dieser Stimmung entspricht.
- Die Analogie: Stellen Sie sich eine High-Tech-Marionette oder ein Tonmodell vor, an dem unsichtbare Fäden an jedem Muskel befestigt sind.
- Wie es funktioniert: Das System nimmt die digitale Marionette „Valley Girl" und zieht die unsichtbaren Fäden basierend auf dem, was die KI in Schritt 1 erkannt hat. Wenn die KI ein „Spöttisches" sah, wird die Oberlippe der Marionette nach oben gezogen. Wenn sie ein „Blinzeln" sah, werden die Augen kleiner.
- Das Ergebnis: Jetzt haben Sie ein 3D-Gesicht mit dem richtigen Ausdruck, aber es sieht noch wie eine generische, durchschnittliche Person aus. Es sieht noch nicht ganz wie die spezifische Person in der Skizze aus.
Schritt 3: Der „Magnetische Schneider" (Aktive Schlangen-Konturen)
Dies ist der letzte Schritt, bei dem die generische 3D-Marionette so verformt wird, dass sie exakt der Skizze entspricht.
- Die Analogie: Stellen Sie sich vor, Sie legen einen flexiblen, magnetischen Gummiband (eine „Schlange") über das Gesicht der 3D-Marionette. Dann legen Sie die ursprüngliche Skizze darauf. Das Gummiband spürt einen magnetischen Zug zu den dunklen Linien der Skizze. Es dehnt sich, schrumpft und verdreht sich, bis es perfekt auf die Linien der Zeichnung schnappt.
- Wie es funktioniert: Der Computer zieht unsichtbare „Schlangen" entlang der Linien der Skizze. Diese Schlangen sind so programmiert, dass sie von den Rändern des 3D-Modells angezogen werden. Sie ziehen die Oberfläche des 3D-Modells, bis die Konturen des Modells den Konturen der Skizze entsprechen.
- Das Ergebnis: Das 3D-Modell ist nun so verformt und geformt, dass es den einzigartigen Merkmalen der Skizze entspricht (wie einer breiteren Nase oder einer bestimmten Kieferlinie), während es den von der KI zuvor erkannten Ausdruck beibehält.
Das Endprodukt
Das Endergebnis ist ein realistisches 3D-Modell, das gedreht, beleuchtet und in Spielen oder Filmen verwendet werden kann. Die Autorin zeigte, dass diese Methode sowohl bei computergenerierten als auch bei handgezeichneten Skizzen funktioniert.
Was die Arbeit sagt, dass sie leisten kann:
- Professionellen 3D-Künstlern helfen, Charakterdesigns schnell zu prototypisieren.
- Anfängern oder Indie-Entwicklern ermöglichen, 3D-Köpfe zu erstellen, ohne komplexe Software zu beherrschen.
- Sketch-Künstlern erlauben, ihre Zeichnungen als 3D-Renderungen zum Leben erweckt zu sehen, um ihre Genauigkeit zu überprüfen.
- Kindern ermöglichen, ihre einfachen Zeichnungen in 3D-Figuren verwandelt zu sehen.
Was die Arbeit zugibt, dass sie noch nicht leisten kann:
- Sie kann keine brandneuen Merkmale erstellen, die nicht im ursprünglichen 3D-Modell enthalten sind (z. B. wenn Sie ein drittes Auge zeichnen, weiß das System nicht, wie es ein drittes Auge auf der Marionette wachsen lassen soll).
- Sie ist darauf angewiesen, dass der Benutzer die Skizze zunächst grob mit dem Modell ausrichtet; wenn die Proportionen völlig unterschiedlich sind (wie ein riesiger Mund auf einem winzigen Kinn), könnten die „magnetischen Schlangen" verwirrt werden.
Kurz gesagt, stellt die Arbeit einen klugen Weg vor, eine 2D-Linienzeichnung in eine 3D-Figur zu verwandeln, indem zunächst die Emotion erraten, eine passende Marionette gebaut und dann „smarte Magnete" verwendet werden, um diese Marionette so lange zu dehnen, bis sie perfekt zur Zeichnung passt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.