Frequency-Decomposed Avatar Representation for Varying Camera Distances

Stellen Sie sich vor, Sie versuchen, einen Menschen in einer digitalen Welt so perfekt einzufangen, dass man direkt zu ihm herantreten, das Gewebe seines Hemdes inspizieren oder zurücktreten kann, um seinen ganzen Körper in einem überfüllten Raum zu sehen. Jahrelang haben Computerwissenschaftler darum gerungen, diese „digitalen Menschen“ zu erschaffen, die aus jeder Entfernung realistisch aussehen. Das Problem ist ein Kompromiss: Methoden, die aus der Nähe scharf aussehen, werden oft unscharf oder fehlerhaft, wenn man zurücktritt, während Methoden, die aus der Ferne gut funktionieren, die feinen Details verlieren, die für eine Nahaufnahme nötig sind. Diese Einschränkung hat Anwendungen in der virtuellen Realität, in Videospielen und in der Telepräsenz gebremst, wo Nutzer mit digitalen Menschen natürlich interagieren müssen, indem sie sich frei bewegen, ohne dass das Bild zerfällt.

Die Lösung für dieses Problem war lange Zeit ein Konzept, das als „Level of Detail“ (Detailgrad) bekannt ist – eine Technik aus der Computergrafik, die komplexe Objekte vereinfacht, wenn sie weit entfernt sind, und Details hinzufügt, wenn sie nah sind. Bestehende Methoden zur Erstellung animierter menschlicher Avatare konnten diese Idee jedoch nicht reibungslos anwenden. Sie basieren entweder auf starren 3D-Formen, denen es an Textur mangelt, oder sie verwenden tausende winziger, schwebender Punkte, die unordentlich und langsam werden, wenn die Kamera zu nah herankommt. Ein Team von Forschern hat nun einen neuen Weg entwickelt, um diese digitalen Menschen zu bauen, der dieses Distanzproblem löst und eine einzige, hochwertige Darstellung ermöglicht, die realistisch aussieht, egal ob man Zentimeter entfernt steht oder am anderen Ende des Raumes ist.

Die Forscher entwickelten unter Verwendung von Daten aus hochauflösenden Kameras ein System namens CloseUpAvatar. Anstatt zu versuchen, die Person aus einem festen Netz oder einer Wolke aus Millionen von Punkten aufzubauen, stellen sie den menschlichen Körper als eine Sammlung kleiner, flacher, texturierter Quadrate dar. Stellen Sie sich diese Quadrate wie winzige, flexible Plakate vor, die die Oberfläche des Körpers bedecken. Jedes dieser Plakate trägt sein eigenes Bild, das sich ändern kann, während die Person sich bewegt. Die entscheidende Innovation liegt darin, wie diese Bilder gespeichert werden. Das Team erkannte, dass eine einzelne Bilddatei nicht gleichzeitig die breiten Farben eines Gesichts und die scharfen Details einer Hautpore verarbeiten kann, ohne verwirrt zu werden.

Um dies zu beheben, spalteten sie die visuellen Informationen in zwei separate Schichten für jedes einzelne Plakat auf. Eine Schicht enthält die niederfrequenten Details, also die glatten, allgemeinen Farben und Formen, die das allgemeine Aussehen der Person definieren. Die zweite Schicht enthält die hochfrequenten Details, also die scharfen, präzisen Texturen wie Falten, Poren und Stoffmuster. Das System ist darauf ausgelegt, intelligent zu steuern, wann welche Schicht verwendet wird. Wenn die Kamera weit entfernt ist, zeigt das System nur die glatte, niederfrequente Schicht, was effizient ist und aus der Ferne perfekt aussieht. Wenn sich die Kamera nähert, blendet das System automatisch und schrittweise die scharfe, hochfrequente Schicht ein. Dieser Übergang geschieht so reibungslos, dass der Betrachter den Wechsel nie bemerkt; das Bild wird einfach schärfer, während man näher kommt, ohne plötzliche Sprünge oder Unschärfen.

Die Forscher testeten diesen Ansatz mit einem großen Datensatz echter Menschen, die aus vielen Winkeln gefilmt wurden, einschließlich hochauflösender Aufnahmen, die es ermöglichten, extreme Nahaufnahmen zu simulieren. Sie verglichen ihre neue Methode mit den derzeit besten Techniken auf diesem Gebiet. Die Ergebnisse zeigten, dass andere Methoden Schwierigkeiten hatten, ein klares Bild zu erzeugen, wenn die Kamera heranzoomte, was oft zu unscharfen oder verzerrten Gesichtern führte, während ihr neues System eine fotorealistische Qualität beibehielt. Tatsächlich war die neue Methode in der Lage, diese detaillierten Avatare mit einer Geschwindigkeit von über 200 Bildern pro Sekunde zu rendern, was schnell genug für die Echtzeit-Interaktion in der virtuellen Realität ist. Diese Geschwindigkeit wurde durch die Verwendung weitaus weniger Bausteine als bei bisherigen Methoden erreicht, was beweist, dass es effektiver ist, weniger, aber dafür intelligentere Teile zu verwenden, als Millionen einfacher Teile.

Eine der bedeutendsten Erkenntnisse war, dass das System während seines Trainingsprozesses lernen konnte, mit diesen variierenden Distanzen umzugehen. Die Forscher brachten dem Computer bei, indem sie ihm dieselbe Person sowohl aus sehr geringer als auch aus sehr großer Entfernung zeigten – eine Technik, bei der andere Methoden scheiterten oder seltsame Artefakte erzeugten. Durch ihren Frequenz-Split-Ansatz lernte das System, die allgemeine Form von den feinen Details zu trennen, was es ihm ermöglichte, sich augenblicklich an die Position der Kamera anzupassen. Das bedeutet, dass ein mit dieser Methode erstellter digitaler Mensch umkreist, genau inspiziert und aus der Ferne betrachtet werden kann, ohne dass die Bildqualität jemals abnimmt.

Die Arbeit zeigt, dass es möglich ist, einen digitalen Menschen zu haben, der sowohl effizient als auch unglaublich detailliert ist. Die Forscher merkten an, dass ihr System zwar sehr effektiv für den Körper und allgemeine Merkmale ist, aber immer noch vor Herausforderungen bei extrem feinen Details wie einzelnen Fingern oder komplexen Gesichtsausdrücken steht, was ein Bereich für zukünftige Verbesserungen bleibt. Für die breite Aufgabe, realistische, interaktive digitale Menschen zu erschaffen, bietet dieser neue Ansatz jedoch einen bedeutenden Fortschritt. Er hebt die Barriere zwischen dem Nutzer und der digitalen Welt auf und stellt sicher, dass die Person auf dem Bildschirm, egal wie nah man herankommt, genauso real aussieht wie aus der Ferne.