Multi-View Face and Gesture Animation with Dynamic Gaussians
Dieses Paper präsentiert MVFGA, eine neuartige Multi-View-Pipeline, die die separate Modellierung von Gesicht und Händen mit einem parametrischen Oberkörper-Mesh und 3D-Gaussian-Splatting kombiniert, um fotorealistische, hochpräzise Oberkörper-Avatare mit akkuraten Gesichtsausdrücken und Handgesten zu generieren, begleitet von der Veröffentlichung des MVFGA-MoCap-Datensatzes.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einen digitalen Zwilling eines echten Menschen für ein Videospiel oder ein virtuelles Meeting zu erstellen. In der Welt der Computergrafik ist das so, als würde man versuchen, eine Puppe zu erschaffen, die exakt wie ein Mensch aussieht, sich aber auch genauso natürlich bewegen und sprechen kann. Lange Zeit hatten Wissenschaftler mit einem kniffligen Problem zu kämpfaden: Wie erschafft man ein digitales Gesicht, das mit echter Emotion lächelt, während es gleichzeitig die Hände mit perfekter Genauigkeit winkt und zeigt? Wenn man sich zu sehr auf das Gesicht konzentriert, wirken die Hände wie steife Blöcke. Wenn man sich auf den ganzen Körper konzentriert, wirkt das Gesicht oft wie eine glatte, ausdruckslose Maske. Dieses Paper stammt aus dem Bereich der Computeranimation, einem Zweig der Wissenschaft, der sich damit beschäftigt, Computern beizubringen, wie sie bewegte Bilder erzeugen. Es baut auf zwei Hauptideen auf: „parametrischen Modellen“, die wie flexible digitale Skelette sind, die man dehnen und verdrehen kann, um sie an die Form einer Person anzupassen, und „3D Gaussian Splatting“, einer modernen Technik, die eine Szene mit Millionen von winzigen, unscharfen 3D-Punkten bemalt, anstatt herkömmliche flache Dreiecke zu verwenden. Das Ziel ist es, Avatare zu erschaffen, die nicht nur auf einem Foto echt aussehen, sondern sich auch lebendig anfühlen, wenn sie sich bewegen, um das „Uncanny Valley“ zu vermeiden – jenes unheimliche Gefühl, das man bekommt, wenn etwas fast menschlich aussieht, aber eben nur ganz leicht „off“ ist.
Die Forscher hinter dieser Studie, Alireza Javanmardi und sein Team, beschlossen, dieses Problem anzugehen, indem sie ein neues System namens MVFGA (Multi-View Face and Gesture Animation with Dynamic Gaussians) entwickelten. Betrachten Sie ihren Ansatz als einen Meisterkoch, der aufhört, ein ganzes Menü in einem einzigen riesigen Topf zu kochen, und stattdin die Zutaten separat zubereitet, bevor er sie perfekt kombiniert. Anstatt zu versuchen, den gesamten menschlichen Körper als einen einzigen riesigen, unordentlichen Klumpen zu modellieren, bauten sie eine spezielle „Oberkörper“-Puppe. Sie nahmen ein Standard-Digitalmodell eines Körpers und entfernten chirurgisch die Beine, sodass nur Torso, Kopf und Arme übrig blieben. Dann taten sie etwas Cleveres: Sie befestigten zwei spezialisierte „Kontrollpaneele“ an dieser Puppe. Ein Paneel ist ausschließlich dem Gesicht gewidmet (unter Verwendung eines Systems namens FLAME), und das andere ist ausschließlich den Händen gewidmet (unter Verwendung eines Systems namens MANO). Dies ermöglicht es dem Computer, die Gesichtsausdrücke und Handbewegungen unabhängig voneinander zu steuern, sodass sichergestellt wird, dass ein Lächeln nicht versehentlich die Finger verformt und ein Winken der Hand nicht die Augen verzerrt.
Sobald sie dieses flexible Skelett bereit hatten, hörten sie nicht nur beim Drahtgittermodell auf. Sie überzogen die Puppe mit einer Schicht aus „3D-Gaussians“. Stellen Sie sich vor, Sie nehmen eine Handvoll winziger, leuchtender, unscharfer Wolken und kleben sie alle auf die Oberfläche der Puppe. Diese Wolken sind nicht nur Dekoration; sie halten die Farbe und Textur der Haut, der Haare und der Kleidung der Person fest. Wenn sich die Puppe bewegt, dehnen und stauchen sich diese Wolken mit ihr, wodurch ein superrealistisches, hochauflösendes Bild entsteht, das wie eine Fotografie und nicht wie ein Cartoon aussieht. Um den Computer so zu lehren, nutzte das Team nicht nur eine einzige Kamera. Sie richteten ein Studio mit 17 Kameras ein, die in einem Kreis um das Subjekt angeordnet waren. Sie filmten 15 verschiedene Personen, die verschiedene Aktionen ausführten, von albernen Gesichtern bis hin zu komplexen Handgesten und freien Gesprächen. Dies erzeugte einen massiven Datensatz, den sie MVFGA-MoCap nannten, der als Trainingsgelände diente, in dem der Computer lernen konnte, wie Licht und Schatten aus jedem erdenklichen Winkel auf einen sich bewegenden Menschen reagieren.
Die Ergebnisse ihrer Experimente waren durchaus beeindruckend. Als sie ihr neues System gegen andere Top-Methoden testeten, produzierte MVFGA konsistent schärfere, realistischere Bilder. Wenn sie beispielsweise die Nähe des computergenerierten Bildes zu einem echten Foto maßen, hatte ihre Methode eine Fehlerrate (L1) von nur 4,06, was deutlich niedriger war als die des nächstbesten Verfahrens, das einen Fehler von 9,59 aufwies. In Bezug auf die visuelle Ähnlichkeit (SSIM) erreichten sie einen Wert von 0,938 und übertrafen damit die Konkurrenz. Aber die wahre Magie geschah bei den Details. Während andere Methoden die Hände oft in verschwommenen Klumpen verwandelten oder die spezifische Form der Finger verloren, wenn diese sich überkreuzten, hielt MVFGA die Finger deutlich und präzise. Sie fanden auch heraus, dass ihre Avatare durch ein einfaches Video einer sprechenden Person gesteuert werden konnten und das System die Gesichtsausdrücke und Handgesten des digitalen Zwillings selbst aus Kamerawinkeln getreu reproduzierte, die die Kameras nie tatsächlich gesehen hatten.
Die Autoren weisen jedoch vorsichtig darauf hin, dass dies kein Zauberstab ist, der alles löst. Ihr System beruht immer noch auf diesem zugrunde liegenden „Skelett“-Modell, was bedeutet, dass es Schwierigkeiten hat, Dinge wie ein flatterndes Hemd im Wind oder einen abfallenden Hut zu handhaben, da dies „Sekundärbewegungen“ sind, die das Modell nicht explizit verfolgt. Zudem hat das System, da es hauptsächlich auf Frontalansichten trainiert wurde, Schwierigkeiten, wenn man den Avatar eher von hinten betrachtet, da der Datensatz nicht genügend Informationen von hinten erfasst hat. Trotz dieser Einschränkungen deutet das Paper darauf an, dass sie durch die Trennung von Gesicht und Händen und das anschließende Umhüllen mit einer Wolke aus 3D-Punkten einen Weg gefunden haben, digitale Menschen zu erschaffen, die dem Leben viel näher kommen, was den Weg für immersivere Virtual-Reality-Erlebnisse und bessere digitale Kommunikationswerkzeuge ebnet.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.