Human-in-the-Loop Atlas-Based 3D Asset Segmentation for Interactive Content Workflows
Dieses Paper präsentiert eine Human-in-the-Loop-Pipeline, die durch die Kombination von Greedy View Selection, interaktiver Segmentierung mit SAM 2 und Label Studio sowie Back-Projection segmentierte 2D-parametrisierte Atlanten aus 3D-Modellen generiert und so effiziente Downstream-Aufgaben wie Materialzuweisung und Stiltransfer für interaktive Content-Workflows ermöglicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie wollten eine riesige, komplizierte Skulptur bemalen, aber anstatt einen Pinsel zu halten, müssen Sie die gesamte Statue in ein riesiges, flaches Stück Papier einwickeln, das sich perfekt über jede Kurve und jede Beule legt. Dies ist die Welt der 3D-Asset-Segmentierung, ein Bereich der Computergrafik, in dem Künstler und Ingenieure versuchen, digitale Modelle in sinnvolle Teile zu zerlegen, damit sie eingefärbt, texturiert oder animiert werden können. Betrachten Sie ein 3D-Modell wie eine komplexe Lego-Burg; um nur die Farbe der Fenster oder des Daches zu ändern, müssen Sie genau wissen, welche Lego-Steine zu den Fenstern und welche zum Dach gehören. Lange Zeit hatten Computer Schwierigkeiten, dies automatisch zu tun, da sie oft durch seltsame Formen oder glatte Oberflächen, die überall gleich aussehen, verwirrt wurden. Obwohl intelligente Computerprogramme (genannt „Foundation Models“) sehr gut darin geworden sind, Dinge auf flachen 2D-Fotos zu erkennen, stolpern sie immer noch, wenn sie gefragt werden, wie man ein 3D-Objekt auf eine Weise zerlegt, die für ein bestimmtes Videospiel oder eine Virtual-Reality-Erfahrung sinnvoll ist. Deshalb suchen Forscher nach einem besseren Weg: einer Methode, die es einem Menschen ermöglicht, den Computer anzuleiten, indem sie die Geschwindigkeit von KI mit dem geschulten Auge eines menschlichen Experten kombiniert.
Dieses Paper stellt eine clevere neue Pipeline vor, die wie ein hochtechnologisches Team aus einem Roboter und einem menschlichen Künstler agiert, um dieses Rätsel zu lösen. Die Forscher, die bei Fraunhofer IGD arbeiten, entwickelten ein System, das zuerst die perfekten Kameraperspektiven ermittelt, um ein 3D-Objekt von jeder möglichen Seite aus zu fotografieren, um sicherzustellen, dass kein Fleck im Dunkeln bleibt. Sie nennen dies eine „Greedy Set Cover Strategy“, was eine schicke Art zu sagen ist: Der Computer spielt das Spiel „Wie wenige Fotos kann ich machen, um das Ganze zu sehen?“. Soblich er diese Fotos hat, nutzt er ein leistungsstarkes KI-Tool namens SAM 2, um zu erraten, wo sich die verschiedenen Teile des Objekts befinden. Aber hier kommt die Wendung: Der Computer macht dies nicht einfach allein. Ein Mensch greift ein, um die Arbeit der KI zu überprüfen, Fehler zu korrigieren und Linien zu ziehen, wo die KI verwirrt war. Schließlich nimmt der Computer all diese korrigierten 2D-Zeichnungen und wickelt sie wie ein maßgeschneidertes Stickerblatt zurück auf das 3D-Modell, wodurch ein „segmentierter Atlas“ entsteht. Dieser Atlas ist eine flache Karte, auf der jedes winzige Quadrat genau weiß, zu welchem Teil des 3D-Objekts es gehört – bereit für den nächsten Schritt bei der Erstellung eines Videospiels oder Films.
Das Team testete diese Methode an acht verschiedenen Objekten des Kulturerbes, die von einem Marmorkopf des David von Michelangelo über einen viktorianischen Stuhl bis hin zu einem mittelalterlichen Schwert reichten. Sie fanden heraus, dass das System bei großen, klaren Flächen sehr gut funktioniert, aber für schwierige Stellen wie winzige Details, tiefe Löcher oder Teile, die ihren Nachbarn exakt ähneln, immer noch eine menschliche Hand benötigt. Bei der Statue des David konnte die KI beispielsweise das Haar und den Hals leicht erkennen, aber die winzigen Augen und Ohren erforderten, dass ein Mensch sie von Hand zeichnete, da der Marmor so glatt war und es an Kontrast mangelte. Ähnlich verhielt es sich bei einem Stuhl mit einer hohlen Unterseite: Die Kameras hatten Schwierigkeiten, in die dunklen Ecken zu sehen, was zusätzliche manuelle Arbeit erforderte. Über alle Tests hinweg dauerte der Prozess zwischen 15 und 35 Minuten pro Objekt, wobei die komplexeren Statuen länger brauchten. Die Ergebnisse zeigten, dass die KI zwar eine große Hilfe ist, aber noch nicht perfekt ist; die besten Ergebnisse erzielt man mit einem „Human-in-the-Loop“-Ansatz, bei dem der Computer die schwere Arbeit erledigt und der Mensch die Feinabstimmung vornimmt. Die Autoren legen nahe, dass diese Methode ein solider, nutzbarer Schritt nach vorne für die Erstellung interaktiver Inhalte ist, geben aber auch zu, dass sie kein Zauberstab ist, der jedes Problem automatisch löst. Sie planen, dies in Zukunft mit mehr Menschen zu testen, um zu sehen, ob es sich auch in professionellen realen Umgebungen bewährt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.