AnyStyle: Single-Pass Multimodal Stylization for 3D Gaussian Splatting
AnyStyle ist ein Feed-Forward-Framework, das eine Zero-Shot, Pose-Free 3D-Gaussian-Splatting-Rekonstruktion und -Stilisierung ermöglicht, indem es multimodale (textuelle und visuelle) Konditionierung in bestehende Backbones integriert und so eine überlegene Stilkontrollierbarkeit bei gleichzeitiger Bewahrung der geometrischen Qualität bietet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Architekt, der versucht, ein 3D-Modell eines realen Raumes zu erstellen, aber Sie haben nur ein paar unscharfe Fotos aus zufälligen Winkeln und wissen nicht genau, wo die Kamera bei jedem Schnappschuss stand. Lange Zeit war das Erstellen einer perfekten 3D-Welt aus solch ungeordneten Hinweisen wie der Versuch, ein riesiges Puzzle mit verbundenen Augen zu lösen; es dauerte Stunden, in denen Computer mathematische Berechnungen durchführten, um die Form der Wände und der Möbel zu bestimmen. Doch vor kurzem hat eine neue Technik namens „3D Gaussian Splatting“ alles verändert. Betrachten Sie diese Methode als das Bemalen einer Szene, nicht mit festen Ziegeln, sondern mit Millionen winziger, flauschiger, farbiger Wolken (Gaussians), die im Raum schweben. Wenn man sie aus verschiedenen Blickwinkeln betrachtet, verschmelzen sie zu einem soliden, realistischen Objekt, und das geschieht unglaublich schnell. Das ist ein großer Durchbruch, denn es bedeutet, dass wir endlich 3D-Welten für Videospiele oder Filme in Sekunden statt in Stunden erschaffen können.
Es gab jedoch einen Haken. Während diese neuen Methoden zwar schnell die Form des Raumes aufbauen konnten, fiel es ihnen schwer, sein Aussehen an einen bestimmten künstlerischen Stil anzupassen, wie etwa ein Foto eines Wohnzimmers in ein Van-Gogh-Gemälde oder eine Cyberpunk-Stadt zu verwandeln. Frühere Versuche waren entweder zu langsam, erforderten, dass der Computer die ganze Welt für jeden neuen Stil von Grund auf neu lernte, oder konnten einen Stil nur kopieren, wenn man ihnen ein Bild zeigte, was keinen Raum dafür ließ, dem Computer zu sagen: „Mache es wie ein Aquarellgemälde mit weichen Kanten.“ Hier setzt das neue Paper „AnyStyle“ an, um dieses Problem zu lösen.
Die Forscher hinter AnyStyle haben ein cleveres neues System entwickelt, mit dem Sie Ihre ungeordneten, ungestellten Fotos einer Szene nehmen und sie sofort in eine 3-dimensionale Welt mit einem völlig neuen künstlerischen Stil verwandeln können – und das in einem einzigen, blitzschnellen Durchgang. Der Zaubertrick besteht darin, dass Sie dem Computer nicht nur ein Bild des gewünschten Stils zeigen müssen; Sie können auch einfach eine Beschreibung eingeben, wie „mache es wie eine Skizze mit schweren Kohlestrichen“ oder „verwandle es in eine neonbeleuchtete Cyberpunk-Szene“. Das System versteht sowohl Bilder als auch Wörter und mischt diese zusammen, um die 3D-Wolken in die richtige Form und Farbe zu lenken.
Um zu verstehen, wie sie das geschafft haben, stellen Sie sich vor, das Gehirn des Computers sei in zwei Teams aufgeteilt. Das erste Team ist ein „eingefrorener“ Experte, der sich nie verändert; seine einzige Aufgabe ist es, auf Ihre Fotos zu schauen und die Geometrie zu bestimmen – also wo die Wände, Böden und Objekte sind. Dieses Team ist zuverlässig und schnell, da es bereits an tausenden Szenen trainiert wurde. Das zweite Team ist der „Künstler“, der frei experimentieren darf. Dieses Team nimmt die Forminformationen vom ersten Team und die Stilvorgaben (aus Ihrem Text oder Bild) und malt die Szene. Der geniale Teil ihres Designs ist ein spezieller „Injektionsmechanismus“. Anstatt den Künstler dazu zu zwingen, die Welt neu zu lernen, schleusen sie die Stilvorgaben einfach wie eine geheime Notiz in den Arbeitsablauf des Künstlers ein. Diese Notiz sagt dem Künstler genau, wie er die Farben und Texturen anpassen soll, ohne die Form des Raumes zu verändern. Da der Form-Experte eingefroren und der Künstler leichtgewichtig ist, findet der gesamte Prozess in einem Bruchteil einer Sekunde statt – genauer gesagt, in weniger als 0,1 Sekunden pro Eingabebild.
Das Paper zeigt, dass diese Methode eine signifikante Verbesserung gegenüber früheren Versuchen darstellt. Während andere Systeme, die versuchen, dies in einem Schritt zu erledigen, oft Schwierigkeiten haben, komplexe Anweisungen zu befolgen oder erfordern, dass der Computer jedes Mal von Grund auf neu trainiert, arbeitet AnyStyle mit einem vortrainierten Modell und fügt lediglich eine kleine, flexible Schicht darüber hinzu. Die Forscher ließen Menschen die Ergebnisse mit anderen Top-Methoden vergleichen. Die Ergebnisse waren eindeutig: Die Menschen bevorzugten die AnyStyle-Bilder, weil sie eher dem beabsichtigten Kunststil entsprachen und gleichzeitig die Details der ursprünglichen Szene beibehielten. Das System bewies zudem, dass es sowohl Text als auch Bilder gleichermaßen gut handhaben kann, was es ermöglicht, einen Stil zu verfeinern, indem man ein Referenzfoto mit einem Textprompt wie „mache die Farben weicher“ kombiniert.
Kurz gesagt: Die Autoren haben herausgefunden, dass die Trennung der Aufgaben „Form bestimmen“ und „Stil anwenden“ sowie die Verwendung einer intelligenten Methode zur Einspeisung von Stilvorgaben, die das bestehende System nicht stört, hochqualitative, stilisierte 3D-Welten sofort erschafft. Sie haben nicht nur vermutet, dass dies funktionieren könnte; sie haben es gemessen und gezeigt, dass ihre Methode bessere Ergebnisse liefert als aktuelle State-of-the-Art-Tools und dies ohne stundenlange Trainingszeit tut. Das bedeutet, dass Sie in naher Zukunft vielleicht in der Lage sein werden, ein paar Fotos Ihres Schlafzimmers zu machen und sofort zu sehen, wie es als Aquarellgemälde, als Comic-Szene oder als futuristische Stadt aussehen würde, ohne darauf warten zu müssen, dass ein Computer stundenlang Zahlen berechnet.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.