SemanticSlider3D: Training-Free Continuous Semantic Editing for 3D Objects

Stellen Sie sich vor, Sie halten einen physischen Gegenstand in Ihren Händen, vielleicht einen Holzstuhl oder eine Keramikvase. Wenn Sie dessen Stil von rustikal zu futuristisch ändern wollten, müssten Sie das Holz wegschnitzen oder den Ton umformen – ein Prozess, der langsam, permanent und mit erheblichem Geschick verbunden ist. In der digitalen Welt folgt die Erstellung dreidimensionaler Objekte für Filme, Videospiele oder Produktdesign traditionell einem ähnlichen Weg der manuellen Arbeit. Designer bauen Modelle Stück für Stück auf und verfeinern jede Kurve und jede Oberfläche. Vor kurzem hat die künstliche Intelligenz eine Abkürzung angeboten, die es Menschen ermöglicht, 3D-Objekte einfach durch das Eintippen einer Beschreibung zu generieren. Diese KI-Tools wirken jedoch oft wie ein Lotterieautomat: Man gibt einen Prompt ein, und das System liefert ein Ergebnis. Wenn das Ergebnis zu modern oder nicht ganz richtig ist, kann man es nicht einfach nur ein wenig nachjustieren; man muss mit einer neuen Beschreibung von vorne beginnen, in der Hoffnung auf ein besseres Ergebnis. Dies macht es schwierig, kleine, präzise Anpassungen vorzunehmen, wie etwa einen Stuhl etwas runder zu machen oder ein Auto etwas aerodynamischer, ohne die Kontrolle über das gesamte Design zu verlieren.

Ein Forschungsteam hat eine neue Methode namens SemanticSlider3D entwickelt, um dieses Problem zu lösen. Ihre Arbeit führt eine Möglichkeit ein, das Aussehen und das Gefühl eines 3D-Objekts kontinuierlich über einen einfachen Schieberegler zu bearbeiten, ähnlich wie die Lautstärkeregelung an einem Stereoanlage, aber eben für den Stil oder das Material eines digitalen Objekts. Anstatt bei jeder Änderung von Grund auf neu zu beginnen, ermöglicht dieses System dem Benutzer, ein bestehendes 3D-Modell zu nehmen und einen Regler vor und zurück zu schieben, um zu sehen, wie es sich glatt von einem Extrem zum anderen verwandelt. Beispielsweise könnte ein Benutzer ein Standard-Klavier nehmen und einen Regler verschieben, um es zunehmend futuristischer aussehen zu lassen, wobei er jede subtile Variation dazwischen sieht – von einem klassischen Holzfinish bis hin zu einem eleganten, leuchtenden Design mit integrierten Lichtern. Das System erreicht dies, ohne für jedes neue Objekt oder jeden neuen Stil neu trainiert werden zu müssen, was es zu einem flexiblen Werkzeug für Designer macht, die viele Möglichkeiten schnell erkunden müssen.

Die Kernherausforderung, der die Forscher gegenüberstanden, war, dass 3D-Objekte weitaus komplexer sind als flache Bilder. Wenn man ein 2D-Bild bearbeitet, ändert man nur das, was die Kamera aus einem bestimmten Winkel sieht. Aber ein 3D-Objekt existiert im Raum, und die Änderung seines Aussehens von einer Seite muss konsistent mit der Art und Weise sein, wie es von den anderen Seiten aussieht. Wenn eine KI die Vorderseite eines Stuhls so verändert, dass sie futuristisch aussieht, aber die Rückseite alt belässt, wirkt das Ergebnis fehlerhaft und unrealistisch. Frühere Versuche, dieses Problem zu lösen, bestanden darin, ein 2D-Bild des Objekts zu bearbeiten und dann zu versuchen, dieses Bild wieder in eine 3D-Form zurückzuverwandeln. Die Forscher stellten fest, dass dieser Ansatz scheiterte, da der Prozess der Rückumwandlung des Bildes in 3D Fehler und Inkonsistenzen einführte, was oft dazu führte, dass Objekte verzerrt aussah oder ihre ursprüngliche Form verloren.

Um diese Fehler zu umgehen, bauten die Forscher ihr System so auf, dass es direkt im „Gehirn“ des Computers arbeitet, in dem das 3D-Objekt gespeichert ist, anstatt zuerst mit den flachen Bildern zu arbeiten. Sie verwendeten ein leistungsstarkes KI-Modell, das die Struktur von 3D-Formen versteht. Der Prozess beginnt damit, das ursprüngliche 3D-Objekt aus vielen verschiedenen Blickwinkeln zu betrachten, vergleichbar mit einem Überwachungssystem, das einen Raum aus jeder Richtung erfasst. Das System fordert dann ein Sprachmodell auf, zwei Beschreibungen zu verfassen: eine, die das Objekt in seinem negativen Extrem (dem Gegenteil der gewünschten Änderung) beschreibt, und eine weitere, die das positive Extrem (die gewünschte Änderung) beschreibt. Wenn das Ziel beispielsweise ist, ein Sofa „sehr futuristisch“ aussehen zu lassen, generiert das System eine Beschreibung eines klassischen, traditionellen Sofas und eine weitere eines ultra-eleganten, modernen Sofas.

Als Nächstes identifiziert das System, welche Kamerablickwinkel am wichtigsten sind, um die Veränderung zu zeigen. Wenn der Benutzer die Größe der Augen eines Charakters ändern möchte, ignoriert das System die Ansichten von hinten und konzentriert sich nur auf die Vorderseite. Dann verwendet es die kontrastierenden Beschreibungen, um für jeden wichtigen Blickwinkel ein Paar Bilder zu erstellen: eines, das das Objekt im negativen Extrem zeigt, und eines, das das Objekt im positiven Extrem zeigt. Durch den Vergleich dieser Paare berechnet das System eine spezifische Richtung in seinem internen mathematischen Raum, die vom alten Aussehen zum neuen Aussehen führt. Diese Richtung dient als Leitfaden. Wenn ein Benutzer den Schieberegler bewegt, folgt das System diesem Leitfaden und passt die Form und Textur des Objekts Schritt für Schritt an. Da das System direkt an der 3D-Struktur arbeitet, stellt es sicher, dass die Änderungen aus jedem Blickwinkel konsistent aussehen, wodurch die Integrität des Objekts gewahrt bleibt, während der neue Stil angewendet wird.

Die Forscher testeten diese Methode an einem Datensatz von fünfzig verschiedenen Objekten, die von Tieren und Möbeln bis hin zu Lebensmitteln und Fahrzeugen reichten. Sie verglichen ihr neues Slider-System mit einem Standardansatz, der versuchte, 2D-Bilder zu bearbeiten und diese dann in 3D zurückzuverwandeln. Fünf Experten bewerteten die Ergebnisse und beurteilten sie danach, wie viel Varianz der Slider erzeugte, wie konsistent die Änderungen waren, die allgemeine Qualität des 3D-Modells und ob das System versehentlich Teile des Objekts veränderte, die unberührt bleiben sollten. Die Ergebnisse waren eindeutig: Die neue Slider-Methode wurde überwältigend bevorzugt. Sie erzeugte ein viel breiteres Spektrum an bedeutsamen Änderungen, behielt die hohe Qualität und strukturelle Integrität der 3D-Objekte bei und bewahrte erfolgreich nicht verwandte Merkmale. Zum Beispiel: Wenn ein Stuhl futuristischer gestaltet wurde, änderte das System den Stil, ohne versehentlich die Anzahl der Beine oder die Grundstruktur der Sitzfläche zu verändern.

Um zu sehen, wie dieses Werkzeug in einem realen Design-Umfeld funktionieren würde, luden die Forscher sechs Personen mit Erfahrung in der 3D-Modellierung ein, das System in einer kontrollierten Umgebung zu nutzen. Diese Teilnehmer wurden gebeten, verschiedene Prototypen zu erstellen, wie etwa das Design einer Lampe oder einer Prothese für ein Bein. Die Teilnehmer fanden, dass der Slider ihnen half, Designideen zu erkunden, die sie ursprünglich gar nicht in Betracht gezogen hatten. Ein Teilnehmer, der eine moderne Stehlampe entwerfen wollte, war überrascht, eine Retro-Variante zu finden, die interessantere Details bot als die moderne Version, die er ursprünglich vorgesehen hatte. Ein anderer Teilnehmer, der eine Prothese für ein Bein entwarf, stellte fest, dass das Betrachten des gesamten Spektrums der Optionen ihn dazu inspirierte, über neue Funktionen nachzudenken, die er zuvor nicht berücksichtigt hatte. Das Werkzeug fungierte nicht nur als Editor, sondern als Partner im kreativen Prozess, der den Nutzern half, klarer zu definieren, was sie eigentlich wollten, indem es ihnen das gesamte Spektrum der Möglichkeiten aufzeigte.

Dennoch zeigte die Studie auch einige Einschränkungen auf. Während das System sehr gut darin funktionierte, den allgemeinen Stil, die Materialien oder die „Stimmung“ eines Objekts zu verändern, war es weniger präzise, wenn es um spezifische geometrische Details ging, wie etwa die exakte Größe eines einzelnen Auges oder die Höhe eines bestimmten Teils. Die Forscher merkten an, dass die Handhabung solch feingliedriger struktureller Änderungen für das System immer noch schwierig ist, um sie reibungslos zu bewältigen. Zudem ist die Zeit, die zur Generierung des Sliders benötigt wird, erheblich, wobei die initiale Einrichtung etwa zwölf Minuten dauert und jeder neue Punkt auf dem Slider etwa anderthalb Minuten zur Erstellung benötigt. Das bedeutet, dass das Werkzeug zwar leistungsstark ist, aber noch nicht instantan reagiert und die Nutzer geduldig sein müssen, während das System arbeitet.

Trotz dieser Einschränkungen deuten die Ergebnisse darauf hin, dass dies ein bedeutender Schritt nach vorn in der Art und Weise ist, wie Menschen mit künstlicher Intelligenz für das Design interagieren. Das System zeigt, dass es möglich ist, Nutzern eine feingliedrige Kontrolle über 3D-Objekte zu geben, ohne dass sie Experten für 3D-Modellierungssoftware sein müssen. Indem es Menschen erlaubt, durch einen kontinuierlichen Bereich von Stilen und Attributen zu gleiten, schlägt das Werkzeug die Brücke zwischen der vagen Natur von Text-Prompts und den präzisen Anforderungen des professionellen Designs. Es bietet eine Möglichkeit, den riesigen Raum der kreativen Möglichkeiten zu navigieren und Designern dabei zu helfen, das perfekte Gleichgewicht zwischen ihrer ursprünglichen Idee und dem Endprodukt zu finden. Wenn sich die Technologie weiterentwickelt – insbesondere in Bezug auf die Handhabung komplexer geometrischer Änderungen und die Reduzierung der Wartezeiten –, könnte sie zu einem Standardbestandteil des kreativen Arbeitsablaufs werden und die Art und Weise transformieren, wie wir die Objekte der Zukunft uns vorstellen und bauen.