Human-in-the-Loop Atlas-Based 3D Asset Segmentation for Interactive Content Workflows
Dit artikel presenteert een human-in-the-loop-pipeline die gesegmenteerde 2D-geparameteriseerde atlas genereert uit 3D-modellen door middel van een combinatie van greedy view selection, interactieve segmentatie met SAM 2 en Label Studio, en back-projectie, wat efficiënte downstream-taken zoals materiaaltoewijzing en stijltransfer voor interactieve content-workflows mogelijk maakt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een gigantisch, ingewikkeld beeldhouwwerk probeert te schilderen, maar in plaats van een penseel vast te houden, moet je het hele standbeeld omwikkelen met een gigantisch, plat stuk papier dat perfect over elke curve en bult past. Dit is de wereld van 3D-assetsegmentatie, een hoek van de computergraphics waar kunstenaars en ingenieurs proberen digitale modellen in betekenisvolle stukken te snijden zodat ze gekleurd, getextureerd of geanimeerd kunnen worden. Denk aan een 3D-model als een complex Lego-kasteel; om de kleur van alleen de ramen of het dak te veranderen, moet je precies weten welke Lego-steentjes bij de ramen horen en welke bij het dak. Een lange tijd hebben computers moeite gehad om dit automatisch te doen, omdat ze vaak in de war raken door vreemde vormen of gladde oppervlakken die overal hetzelfde lijken te zijn. Hoewel slimme computerprogramma's (genaamd "foundation models") erg goed zijn geworden in het herkennen van dingen op platte 2D-foto's, struikelen ze nog steeds wanneer ze de opdracht krijgen om een 3D-object op een manier op te snijden die logisch is voor een specifieke videogame of virtuele realiteitservaring. Daarom zoeken onderzoekers naar een betere manier: een methode die een mens de computer laat begeleiden, waarbij de snelheid van AI wordt gecombineerd met het zorgvuldige oog van een menselijke expert.
Dit artikel introduceert een slimme nieuwe pijplijn die fungeert als een hightech team van een robot en een menselijke kunstenaar om dit puzzelstuk op te lossen. De onderzoekers, werkzaam bij Fraunhofer IGD, creëerden een systeem dat eerst bepaalt wat de perfecte set camerastandpunten is om vanuit elke mogbare kant foto's te maken van een 3D-object, om er zeker van te zijn dat geen enkel plekje in het donker blijft. Ze noemen dit een "greedy set cover strategy", wat een chique manier is om te zeggen dat de computer een spelletje speelt van "hoe weinig foto's kan ik maken om het hele ding te zien?". Zodra deze foto's zijn gemaakt, gebruikt het een krachtige AI-tool genaamd SAM 2 om te raden waar de verschillende onderdelen van het object zich bevinden. Maar hier komt de twist: de computer doet dit niet alleen. Een mens stapt in om het werk van de AI te controleren, fouten te herstellen en lijnen te trekken waar de AI in de war raakte. Ten slotte neemt de computer al deze gecorrigeerde 2D-tekeningen en wikkelt ze terug op het 3D-model als een op maat gemaakte stickerkaart, waardoor een "gesegmenteerde atlas" ontstaat. Deze atlas is een platte kaart waarbij elk klein vierkantje precies weet bij welk deel van het 3D-object het hoort, klaar voor de volgende stap in het maken van een videogame of film.
Het team heeft deze methode getest op acht verschillende culturele erfgoedobjecten, variërend van een marmeren hoofd van Michelangelo's David tot een Victoriaanse stoel en een middeleeuws zwaard. Ze kwamen tot de conclusie dat het systeem heel goed werkt voor grote, duidelijke vlakken, maar dat het nog steeds een menselijke hand nodig heeft voor lastige plekken zoals kleine details, diepe gaten of onderdelen die precies hetzelfde lijken als hun buren. Zo kon de AI bij het standbeeld van David bijvoorbeeld gemakkelijk het haar en de nek herkennen, maar hadden de kleine ogen en oren een mens nodig om ze met de hand te tekenen omdat het marmer zo glad was en een gebrek aan contrast vertoonde. Op een vergelijkbare manier hadden de camera's bij een stoel met een holle onderkant moeite om de donkere hoeken in te zien, wat extra handmatig werk vereiste. Over de hele linie duurde het proces tussen de 15 en 35 minuten per object, waarbij de complexere beelden langer duurden. De resultaten lieten zien dat hoewel de AI een enorme hulp is, het nog niet perfect is; de beste resultaten komen voort uit een "human-in-the-loop"-benadering waarbij de computer het zware werk doet en de mens de verfijning verzorgt. De auteurs suggereren dat deze methode een solide, bruikbare stap voorwaarts is voor het creëren van interactieve content, hoewel ze toegeven dat het geen toverstaf is die elk probleem automatisch oplost. Ze zijn van plan dit in de toekomst met meer mensen te testen om te zien of het standhoudt in professionele werkomgevingen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.