AHOY! Animatable Humans under Occlusion from YouTube Videos with Gaussian Splatting and Video Diffusion Priors
Die Arbeit stellt AHOY vor, eine Methode, die mithilfe von Video-Diffusions-Priors und Gaussian Splatting vollständige, animierbare 3D-Gaussian-Avatare aus monokularen YouTube-Videos rekonstruiert, selbst wenn die Personen stark durch Objekte oder andere Personen verdeckt sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Hallo! Stell dir vor, du möchtest einen digitalen Doppelgänger von dir selbst erstellen, damit er in Videospielen oder virtuellen Welten herumlaufen kann. Normalerweise braucht man dafür einen riesigen Studioaufbau mit dutzenden Kameras und jemanden, der sich ganz ruhig und frei von Hindernissen aufstellt.
Das Problem: Die meisten Videos, die wir auf YouTube sehen, sind genau das Gegenteil. Da ist jemand beim Kochen, beim Sport oder beim Reden, und immer wieder verdecken Tische, andere Personen oder Gegenstände Teile des Körpers. Bisher war es unmöglich, aus solchen „verdeckten" Videos einen perfekten 3D-Charakter zu machen.
Die Forscher haben eine neue Methode namens AHOY entwickelt, die genau dieses Problem löst. Hier ist die Erklärung, wie das funktioniert, ganz einfach und mit ein paar bildhaften Vergleichen:
1. Das Problem: Das Puzzle mit fehlenden Teilen
Stell dir vor, du hast ein riesiges Puzzle von einer Person, aber 40 % der Teile fehlen, weil sie im Originalvideo von einem Stuhl oder einer anderen Person verdeckt waren. Wenn du versuchst, das Puzzle zu lösen, hast du Lücken. Bisherige Methoden haben einfach gesagt: „Oh, da fehlt was, wir lassen es leer" oder „Wir erraten es falsch". Das Ergebnis war dann ein lückenhafter oder verzerrter 3D-Charakter.
2. Die Lösung: AHOY – Der „Kreativ-Koch"
AHOY ist wie ein genialer Koch, der nicht nur die vorhandenen Zutaten (die sichtbaren Teile des Videos) verwendet, sondern auch kreativ errät, was in den Lücken sein könnte, basierend auf dem, was er über die Person weiß.
Der Prozess läuft in vier Schritten ab:
Schritt 1: Der grobe Entwurf (Das Skelett)
Zuerst schaut sich AHOY das Video an und baut einen sehr einfachen, groben 3D-Modell-Körper aus den sichtbaren Teilen. Das ist wie der grobe Umriss eines Skizzenblocks. Man sieht, wo die Arme sind, aber die Rückseite ist noch leer oder unscharf.
Schritt 2: Der „Halluzinations-Trick" (Der kreative Assistent)
Hier kommt die Magie ins Spiel. AHOY nutzt eine künstliche Intelligenz (ein sogenanntes „Diffusions-Modell"), die wie ein sehr guter Maler ist, der die Person kennt.
- Der Trick: AHOY nimmt den groben Entwurf und sagt dem KI-Maler: „Mal mir vor, wie diese Person aussieht, wenn sie sich dreht und wir sie von hinten sehen."
- Da die KI die Person aus dem Video „gelernt" hat (sie hat ihr Gesicht und ihre Kleidung im Gedächtnis), kann sie die fehlenden Teile realistisch erfinden. Sie füllt die Lücken im Puzzle mit plausiblem Detail auf. Das nennt die Forscher „Halluzination als Aufsicht". Sie nutzen diese künstlich erzeugten, perfekten Bilder, um den 3D-Modell-Körper zu trainieren.
Schritt 3: Der Tanzmeister (Bewegung und Konsistenz)
Ein Problem bei KI-generierten Bildern ist, dass sie manchmal von verschiedenen Blickwinkeln leicht unterschiedlich aussehen (wie wenn zwei Maler dasselbe Bild malen, aber leicht unterschiedlich).
AHOY löst das, indem es zwei verschiedene „Tanzschritte" für den Körper trennt:
- Der feste Körper: Wie die Person aussieht (Kleidung, Haut).
- Die Bewegung: Wie sich der Körper dreht.
Dadurch kann AHOY die kleinen Fehler der KI ausgleichen und sicherstellen, dass der Charakter sich natürlich bewegt, ohne zu „flackern" oder zu verzerren.
Schritt 4: Das Gesicht (Der Identitäts-Wächter)
KIs sind gut darin, Körper zu malen, aber sie verwechseln oft Gesichter. AHOY trennt daher Kopf und Körper. Für den Körper nutzt es den kreativen KI-Maler, aber für das Gesicht nutzt es einen speziellen, strengeren KI-Modell-Teil, der sicherstellt, dass das Gesicht wirklich wie die echte Person aussieht und nicht wie eine zufällige Ähnlichkeit.
Das Ergebnis
Am Ende hast du einen vollständigen, animierbaren 3D-Charakter, der aus einem ganz normalen YouTube-Video entstanden ist, obwohl die Person im Video ständig von Möbeln verdeckt wurde.
- Was kannst du damit machen? Du kannst diesen Charakter in neue Posen bringen (z. B. tanzen lassen) und ihn in jede beliebige 3D-Umgebung setzen, die du mit deinem Handy gefilmt hast.
- Warum ist das wichtig? Es öffnet die Tür zu einer unendlichen Quelle an 3D-Charakteren. Wir müssen nicht mehr in teure Studios gehen. Wir können einfach Videos aus dem Alltag nutzen, um digitale Menschen für Spiele, Filme oder das Metaverse zu erschaffen.
Zusammengefasst: AHOY ist wie ein genialer Detektiv, der aus einem lückenhaften, verwackelten Handyvideo nicht nur den Täter (die Person) identifiziert, sondern auch ein perfektes, vollständiges 3D-Porträt von ihm erstellt, das sich bewegen lässt – selbst wenn der Täter im Originalvideo hinter einem Sofa versteckt war.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.