Scanline-Aware Animatable Gaussian Avatars from Rolling-Shutter Videos
Dieses Paper stellt RS-Avatar vor, eine Methode, die scharfe, animierbare 3D-Gaussian-Avatare aus Rolling-Shutter-Videos rekonstruiert, indem sie das Standard-Motion-Blur-Rendering durch einen scanlinienbewussten Compositing-Operator ersetzt, der die sequentielle Auslesung verschiedener Körperteile innerhalb eines einzelnen Frames korrekt berücksichtigt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der digitalen Bildverarbeitung herrscht die stille Annahme vor, dass jedes Foto einen einzelnen, eingefrorenen Moment in der Zeit einfängt. Wenn eine Kamera ein Bild aufnimmt, wird im Allgemeinen angenommen, dass die gesamte Szene – vom Scheitel einer Person bis zu ihren Füßen – im exakt gleichen Augenblick aufgezeichnet wird. Dieser Glaube bildet das Fundament eines Großteils der modernen Computer Vision, dem Fachgebiet, das sich damit beschäftigt, Maschinen das Sehen und Verstehen der Welt beizubringen. Er ermöglicht es Forschern, komplexe 3D-Modelle von Menschen, sogenannte Avatare, zu erstellen, die animiert und aus jedem beliebigen Winkel betrachtet werden können. Diese digitalen Doppelgänger werden für alles von der virtuellen Telepräsenz und der Filmproduktion bis hin zur Sportanalyse und künstlichen Intelligenz unverzichtbar. Diese Annahme ist jedoch in der realen Welt fast nie zutreffend. Die überwältigende Mehrheit der Kameras, vom Smartphone in unserer Tasche bis hin zu den Hochgeschwindigkeitssensoren in professionellen Studios, nimmt ein Bild nicht auf einmal auf. Stattdessen scannen sie das Bild Zeile für Zeile, von oben nach unten, in einem Bruchteil einer Sekunde. Diese Methode, bezeichnet als Rolling Shutter (rollender Verschluss), bedeutet, dass der obere Teil des Bildes bereits einige Millisekunden früher aufgezeichnet wurde, als die Kamera das untere Ende des Rahmens fertig ausgelesen hat. Für eine Person, die ihre Arme bewegt oder geht, reichen diese wenigen Millisekunden aus, damit sich ihr Körper merklich verändert, was zu einer subtilen, aber allgegenwärtigen Verzerrung führt, bei der verschiedene Körperteile zu unterschiedlichen Zeiten erfasst werden.
Jahrelang haben Forscher, die versuchten, diese 3D-Avatare aus Videos zu erstellen, diese zeitliche Diskrepanz weitgehend ignoriert und jedes Frame so behandelt, als wäre es eine perfekte Momentaufnahme. Das Ergebnis war ein digitaler Geist: ein 3D-Modell, das korrekt aussieht, wenn es aus denselben Winkeln wie das Originalvideo betrachtet wird, aber auseinanderfällt, wenn der Betrachter versucht, es aus einem neuen Winkel anzusehen oder den Avatar in eine neue Pose zu bringen. Die Verzerrung wird in die Form des Modells eingebacken, was dazu führt, dass Gliedmaßen wackelig, verzerrt oder unnatürlich dick erscheinen. Ein Forscher hat dieses Problem nun direkt angegangen, indem er nicht versuchte, das Video vor dem Erstellen des Modells zu korrigieren, sondern indem er das Modell selbst lehrte, das Scanverhalten der Kamera zu verstehen. Er entwickelte ein neues System, das scharfe, unverzerrte 3D-Avatare direkt aus Rolling-Shutter-Videos rekonstruiert, indem es anerkennt, dass jede einzelne Pixelzeile in einem Bild einen leicht anderen Zeitpunkt darstellt.
Der Kern dieses neuen Ansatzes, den der Forscher RS-Avatar nennt, beruht auf einer einfachen, aber kraftvollen Perspektivänderung. Anstatt den Computer raten zu lassen, wie die Person in einem einzigen Moment aussah, akzeptiert das System, dass sich die Person während der gesamten Dauer des Scans bewegte. Die Software erstellt ein Modell der Körperbewegung, das präzise genug ist, um zu wissen, wo sich jeder Teil des Körpers zu jedem beliebigen Bruchteil einer Sekunde befand. Wenn sie das endgültige Bild erstellt, mittelt sie die verschiedenen Positionen nicht zusammen, was zu einer Unschärfe führen würde. Stattdessen agiert sie wie ein akribischer Editor, der die exakte Position des Körpers für die oberste Pixelzeile auswählt, eine etwas andere Position für die nächste Zeile und so weiter, passend zu dem spezifischen Zeitpunkt, an dem die jeweilige Zeile von der Kamera erfasst wurde. Dieser Prozess unterscheidet sich von der Art und Weise, wie Bewegungsunschärfe (Motion Blur) funktioniert; während eine Unschärfe wie das Mischen aller Farben eines bewegten Objekts zu einem einzigen Wischer wirkt, ist ein Rolling Shutter eher wie ein präzises Schneiden der Zeit, wobei jedes Stück ein klares, scharfes Bild des Körpers zu einem bestimmten Augenblick enthält.
Um seine Idee zu testen, erstellte der Forscher einen neuen Benchmark unter Verwendung von Daten aus einem Standard-Motion-Capture-Studio. Er nahm hochwertige Aufnahmen von sich bewegenden Personen auf und simulierte künstlich den Rolling-Shutter-Effekt, wodurch er einen Datensatz schuf, in dem die wahre, scharfe Antwort bekannt war. Er verglich dann seine neue Methode mit mehreren bestehenden Ansätzen. Eine gängige Strategie besteht darin, das Video zuerst zu „korrigieren“, indem Software verwendet wird, um die verzerrten Linien zu begradigen, bevor das 3D-Modell erstellt wird. Eine andere Strategie ist die Verwendung eines Modells, das für Bewegungsunschärfe entwickelt wurde und davon ausgeht, dass die Kamera die Bewegung über die Zeit gemittelt hat. Die Ergebnisse waren eindeutig und überraschend. Die Methode, die versuchte, das Video zuerst zu korrigieren, verbesserte das Bild zwar leicht, aber die resultierenden 3D-Modelle waren immer noch fehlerhaft, da die Korrektursoftware nicht garantieren konnte, dass die verschiedenen Kamerawinkel im dreidimensionalen Raum übereinstimmten. Das Modell für Bewegungsunschärfe lieferte sogar noch schlechtere Ergebnisse und produzierte eine geringere Qualität als die Methode, die das Shutter-Problem einfach völlig ignorierte. Dies geschah, weil die Mathematik, die zur Handhabung von Unschärfe verwendet wird, grundlegend anders ist als die Mathematik, die für den Rolling Shutter benötigt wird; das Unschärfe-Modell versucht, die Bewegungsrichtung zu erraten, während der Rolling Shutter diese Richtung bereits durch die Reihenfolge vorgibt, in der die Zeilen gescannt werden.
Das neue System, das den Shutter direkt modelliert, übertraf alle anderen Methoden. Es erzeugte Avatare, die signifikant schärfer und genauer waren und feine Details wie die Verjüngung eines Arms oder den Spalt zwischen einer Hand und einer Hüfte bewahrten, die andere Methoden geglättet oder verzerrt hatten. Der Forscher stellte fest, dass er die Zeitschichten nicht feiner oder zahlreicher machen musste, um bessere Ergebnisse zu erzielen; das bestehende Bewegungsmodell war bereits detailliert genug, um die Bewegung innerhalb eines einzelnen Frames zu erfassen. Der Schlüssel lag schlicht darin, wie der Computer die verschiedenen Momente der Körperbewegung zu dem endgültigen Bild kombinierte. Indem er den Scan der Kamera als einen Zeitplan von Ereignissen statt als eine einzige Momentaufnahme behandelte, konnte das System einen sauberen, unverzerrten 3D-Körper rekonstruieren, der ohne das Wackeln oder die Scherung, die bisherige Versuche plagten, animiert und aus jedem beliebigen Winkel betrachtet werden konnte.
Diese Arbeit zeigt, dass die Art und Weise, wie eine Kamera ein Bild einfängt, nicht nur ein technisches Detail ist, das später korrigiert werden muss, sondern ein fundamentaler Bestandteil der Physik des Sehens. Durch die Integration des Kameraverhaltens direkt in den 3D-Rekonstruktionsprozess hat der Forscher gezeigt, dass es möglich ist, eine klare, genaue digitale Darstellung einer bewegten Person aus unvollkommenem Videomaterial zurückzugewinnen. Die Erkenntnisse legen nahe, dass die Werkzeuge, die zur Behebung einer Art von Bildverzerrung, wie etwa Unschärfe, verwendet werden, nicht einfach ausgetauscht werden können, um eine andere, wie den Rolling Shutter zu beheben, da die Art des Fehlers eine andere ist. Während das aktuelle System am besten mit mehreren Kameras und gut beleuchteten Bedingungen funktioniert und auf einem mathematischen Modell der Körpergelenke basiert, eröffnet es einen neuen Weg für die Erstellung realistischer digitaler Menschen aus dem alltäglichen Videomaterial, das uns umgibt. Der Forscher lässt die Frage offen, ob diese dichte zeitliche Abtastung schließlich dazu verwendet werden kann, Videos zu erstellen, die schneller laufen, als die Kamera sie aufgenommen hat, aber für den Moment ist die Errungenschaft ein klareres, wahrhaftigeres Bild der bewegten menschlichen Form.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.