Stroke3D: Lifting 2D strokes into rigged 3D model via latent diffusion models

Stroke3D introduceert een innovatief tweestapsframework dat met behulp van latent diffusion-modellen, 2D-streken en tekstprompts direct rigbare 3D-meshes genereert door eerst gecontroleerde skeletten te creëren en vervolgens verrijkte mesh-synthese toe te passen.

De kern

Stel je voor dat je een poppenkast wilt bouwen. Vroeger moest je eerst de poppen (de 3D-modellen) maken, en dan, met heel veel geduld en technische kennis, van binnen een geraamte (skelet) en touwtjes (gewrichten) aanbrengen zodat je ze kon laten dansen. Dat was het werk van dure specialisten.

Stroke3D is als een magische toverstaf die dit proces volledig omkeert en vereenvoudigt. Het is een nieuwe uitvinding die het mogelijk maakt om direct een beweegbaar 3D-poppetje te creëren, simpelweg door twee dingen te doen:

1. Een tekening maken met je vinger of muis (2D-strepen).
2. Een zinnetje te typen wat je wilt zien (bijvoorbeeld: "Een dinosaurus die klaarstaat om te springen").

Hier is hoe het werkt, vertaald naar alledaagse beelden:

1. De "Geraamte-architect" (Het Skelet)

In plaats van eerst een pop te maken en er later een botjes-pakje in te proppen, begint Stroke3D met het bouwen van het skelet.

• De Tekening als Blauwdruk: Als je een lijntje tekent op je scherm, ziet de computer dit niet als een simpele kladje, maar als een blauwdruk voor de botten.
• De "Geheime Code" (Latent Diffusion): De computer gebruikt een slimme "vertaler" (een AI-model genaamd Sk-DiT). Deze vertaler neemt je tekening en je tekst en vertaalt ze naar een onzichtbare, digitale ruimte waar het skelet wordt ontworpen.
• De Controle: Het mooie is: als je in je tekening een lange nek tekent, krijgt het 3D-skelet ook een lange nek. Als je tekst zegt "een vogel", weet het systeem dat het vleugels nodig heeft. Het bouwt het geraamte precies zoals jij het in je hoofd hebt, zonder dat je hoeft te weten hoe 3D-software werkt.

2. De "Kleding- en Huid-maker" (Het Netje)

Zodra het skelet staat, moet het er nog uitzien als een echt dier of persoon.

• De "TextuRig" Bibliotheek: De makers hebben een enorme bibliotheek (TextuRig) samengesteld met duizenden 3D-modellen die al perfect zijn uitgerust met een skelet en een mooie huid (textuur). Het is alsof ze een kast vol met kant-en-klare poppen hebben die ze kunnen gebruiken als inspiratie.
• De "Perfecte Pass" (SKA-DPO): Soms past de huid niet helemaal goed op het skelet (zoals een trui die te groot is). Om dit op te lossen, gebruikt het systeem een slimme "jury" (SKA-DPO). Deze jury kijkt naar verschillende versies van de pop en kiest degene waar de huid het strakst en het mooist om het skelet heen zit. Het leert van elke fout om de volgende keer nog beter te passen.

Waarom is dit zo speciaal?

Vroeger was het maken van een beweegbaar 3D-personage als het bouwen van een auto: je moest eerst het chassis, dan de motor, dan de wielen, en dan pas de lak. Als je een foutje maakte, moest je vaak helemaal opnieuw beginnen.

Stroke3D is als een 3D-printer voor poppenkastfiguren.

• Je tekent een lijn (de vorm).
• Je zegt wat het is (de naam).
• De printer (de AI) spitst direct een figuur op die direct klaar is om te bewegen.

Het Resultaat

Je krijgt niet alleen een statisch beeld, maar een volledig "rigged" 3D-object. Dat betekent dat je het direct kunt laten dansen, rennen of springen in software zoals Blender, zonder dat je zelf de botten hoeft te plaatsen.

Kortom: Stroke3D haalt de moeilijke techniek weg en laat je gewoon creatief zijn. Je tekent je droom, en de computer bouwt het voor je, compleet met botten en huid, klaar voor actie!

Technische samenvatting

Probleemstelling

Rigged 3D-assets (3D-modellen met een skeletstructuur voor animatie) zijn essentieel voor realistische animatie in AR/VR, robotica en de filmindustrie. Echter, het maken van dergelijke assets is traditioneel complex en vereist gespecialiseerde software (zoals Blender) en expertise. Bestaande generatieve methoden voor 3D hebben twee belangrijke beperkingen:

1. Moeilijkheid om animatie-ready geometrie te genereren: Veel methoden genereren statische 3D-vormen zonder de hiërarchische skeletstructuur die nodig is voor animatie.
2. Beperkte structurele controle: Bestaande methoden voor het genereren van skeletten (vaak end-to-end van mesh naar skelet) missen expliciete structurele controle. Dit leidt tot onvoorspelbare resultaten waarbij botten op onnodige plekken verschijnen of ontbreken waar ze cruciaal zijn.

Er is dus behoefte aan een methode die gebruikers in staat stelt om direct animatie-ready 3D-modellen te creëren vanuit intuïtieve inputs, zoals getekende lijnen en tekst, met volledige controle over de skeletstructuur.

Methodologie: Stroke3D

Stroke3D is een nieuw raamwerk dat een tweestaps-pijplijn introduceert om rigged 3D-meshes te genereren vanuit 2D-getekende lijnen (strokes) en een tekstuele prompt. Het proces is als volgt opgebouwd:

1. Gecontroleerde Skeletgeneratie (Controllable Skeleton Generation)

In plaats van eerst een mesh te genereren en deze later te riggen, volgt Stroke3D een "skelet-eerst" benadering.

• Skeletal Graph VAE (Sk-VAE): Het skelet wordt voorgesteld als een graaf $G=(X, E)$, waarbij $X$ de coördinaten van de gewrichten zijn en $E$ de topologie (botten). Een Variational Autoencoder (VAE) encodeert deze graafstructuur in een continue latente ruimte.
• Skeletal Graph Diffusion Transformer (Sk-DiT): Dit model genereert de latente embedding van het skelet. Het is een Diffusion Transformer (DiT) aangepast voor grafdata:
  • Het gebruikt TransformerConv in plaats van standaard self-attention om alleen interactie tussen verbonden knopen (botten) toe te staan.
  • Cross-attention integreert semantische informatie uit de tekstprompt.
  • Structurele conditionering: De 2D-strokes van de gebruiker worden omgezet in features (XY-coördinaten en topologie) en geconcateneerd met de ruis in het diffusieproces. Dit zorgt voor expliciete structurele controle.
  • Tijdens training worden 2D-projecties van 3D-skeletten verstoord om de onnauwkeurigheid van handgetekende lijnen te simuleren.
• De decoder van de VAE reconstrueert het hoogwaardige 3D-skelet uit de gegenereerde embedding.

2. Verbeterde Mesh-synthese (Enhanced Mesh Synthesis)

Zodra het skelet gegenereerd is, wordt een getextureerde mesh gegenereerd die hierop is afgestemd.

• TextuRig Dataset: De auteurs hebben een nieuwe dataset samengesteld uit Objaverse-XL, genaamd TextuRig. Deze dataset bevat rigged meshes met hoge kwaliteit texturen en gedetailleerde beschrijvingen (gegenereerd door Vision-Language Models zoals Gemini). Dit lost het probleem op van bestaande datasets die vaak texturen missen.
• SKA-DPO (SKeleton Alignment - Direct Preference Optimization): Om de geometrische trouw aan het skelet te verbeteren, wordt een voorkeursoptimalisatiestrategie toegepast.
  • Er worden paren van gegenereerde meshes gegenereerd voor een gegeven skelet.
  • Een SKA Score (SKeleton Alignment Score) meet de geometrische overeenkomst tussen mesh en skelet.
  • Op basis van deze scores worden "winnaars" en "verliezers" geselecteerd om een voorkeursdataset te bouwen.
  • Het model wordt vervolgens gefinetuned met Direct Preference Optimization (DPO) om meshes te genereren die een hogere SKA-score behalen, wat leidt tot betere structurele coherentie.

Belangrijkste Bijdragen

1. Eerste framework voor 2D-stroke naar rigged 3D: Stroke3D is, voor zover bekend, het eerste systeem dat rigged 3D-meshes direct genereert vanuit gebruikersgetekende 2D-strokes en tekst.
2. Skelet-eerst workflow: Het introduceert een pionierende pijplijn die de skeletgeneratie ontkoppelt van de mesh-generatie, waardoor non-professionals volledige controle hebben over de animatie-structuur.
3. TextuRig Dataset: Een nieuw, zorgvuldig samengesteld dataset van getextureerde, rigged 3D-modellen met captions, essentieel voor het trainen van robuuste skelet-naar-mesh modellen.
4. SKA-DPO: Een nieuwe optimalisatiestrategie die de geometrische kwaliteit en de uitlijning tussen skelet en mesh significant verbetert via voorkeurslearning.

Resultaten

Uitgebreide experimenten op benchmarks zoals MagicArticulate en SKDream tonen aan dat Stroke3D superieur presteert:

• Skeletkwaliteit: Stroke3D bereikt de laagste Chamfer Distance (CD) scores (CD-J2J, CD-J2B, CD-B2B) in vergelijking met state-of-the-art methoden zoals RigNet, SKDream, MagicArticulate en UniRig. Het produceert skeletten die nauwkeuriger overeenkomen met de grondwaarheid en de intentie van de gebruiker.
• Mesh-kwaliteit: Door de combinatie van TextuRig en SKA-DPO verbetert de MeanInst. SKA-score met bijna 10 punten ten opzichte van de SKDream baseline. De gegenereerde meshes vertonen minder geometrische artefacten en houden beter stand bij automatische skinning en animatie.
• Robuustheid: Het model is bestand tegen onnauwkeurigheden in de invoerstrokes (bijv. verstoringen of onvolledige lijnen) en generaliseert goed naar verschillende categorieën (mens, dier, plant).

Betekenis en Impact

Stroke3D democratiseert de creatie van 3D-animatie-inhoud. Door de drempel te verlagen van complexe 3D-software naar een intuïtief "teken-en-schrijf"-interface, maakt het het mogelijk voor niet-professionals om direct gebruiksklare, rigged 3D-assets te maken. De methode lost het fundamentele probleem op van het genereren van animatie-ready geometrie met expliciete structurele controle, wat een belangrijke stap voorwaarts is voor de toepassing van generatieve AI in de creatieve industrie, gaming en simulatie.