Technische Samenvatting: Rigel3D

Probleemstelling

Recente vooruitgang in 3D-generatieve modellen heeft de synthese van hoogwaardige statische assets vanuit afbeeldingen, tekst en latente verdelingen mogelijk gemaakt. Er blijft echter een kritieke beperking bestaan: deze outputs missen de skelet-rigs, gewrichtshierarchieën en skinningweights die nodig zijn voor standaard animatiepijplijnen. Bijgevolg vereisen gegenereerde meshes vaak aanzienlijke nabewerking om "animatieklaar" te worden voor gebruik in games, film, simulatie en belichaamde AI.

Bestaande automatische rigging-methoden (zoals Pinocchio, RigNet, TARig en recente template-vrije benaderingen) proberen deze kloof te overbruggen door skeletten en skinningweights te voorspellen voor voltooide statische vormen. Het paper betoogt dat deze post-hoc aanpak fundamenteel beperkend is. Omdat de geometrie, topologie en deelstructuur van generatieve outputs vaak aanzienlijk afwijken van de trainingsverdeling van downstream-riggers, leidt het behandelen van rigging als een aparte stap na vormgeneratie tot inconsistenties. De kernuitdaging is om geometrie en rigstructuur gezamenlijk te genereren, ondanks hun heterogene aard: oppervlaktegeometrie is dicht en lokaal, terwijl skeletten spaarzaam, hiërarchisch en intern zijn. Bovendien vereisen praktische animatiewerkstromen semantische gewrichtslabels voor motion retargeting, wat template-vrije generators doorgaans niet kunnen bieden.

Methodologie

De auteurs introduceren Rigel3D, een generatief framework dat animatieklare 3D-assets (meshes, skeletten, skinningweights en gewrichtslabels) op een end-to-end manier produceert. De methode breidt de Structured LATent (SLAT)-representatie van TRELLIS uit door twee gekoppelde latente sets te leren:

1. Surface SLats: Vangen geometrie en uiterlijk op.
2. Skeleton SLats: Vangen interne articulatiestructuur op.

1. Rig-bewuste Autoencoder

De kern van het systeem is een rig-bewuste autoencoder die gerigte meshes afbeeldt op deze gekoppelde latente representaties en ze decodeert tot een complete asset.

• Encoders:
  • Surface Encoder: Past de TRELLIS surface encoder aan, voxelt de input mesh en aggregeert multi-view DINOv2-features om surface SLats te produceren.
  • Rig Encoder: Construeert bot-features door skinning-gewogen middeling van de DINOv2-features van vertices die door elk bot worden beïnvloed. Deze features worden gerasteriseerd op het voxelrooster en verwerkt door een aparte sparse encoder om skeleton SLats te produceren.
• Decoders:
  • Mesh Decoder: Breidt de TRELLIS decoder uit om FlexiCubes-parameters te voorspellen. Cruciaal is dat het cross-attention van surface tokens naar skeleton tokens incorporeert, waardoor oppervlakte-reconstructie wordt gekonditioneerd op de interne rigstructuur.
  • Skeleton Decoder: Gebruikt een autoregressieve transformer om skeletttopologie te decoderen. Het stelt skeletten voor als sequenties van discrete tokens (gewrichtscoördinaten en ouder-indexen) in een breedte-zoekvolgorde. De generatie wordt gekonditioneerd op zowel surface als skeleton SLats via cross-attention.
  • Skinning Weight Decoder: Een op attention gebaseerde module die skinningweights voorspelt door punt-bot-similariteit te berekenen. Het embedt mesh-punten en botcoördinaten in een gedeelde ruimte en verfijnt ze via self-attention en cross-attention naar de latente representaties. Dit stelt het model in staat om skeletten met variabele aantallen botten te verwerken.

2. Generatie van Animatieklare Assets

Om assets vanuit afbeeldingen te genereren, maakt Rigel3D gebruik van een tweestaps latent generatief model (geïnspireerd door TRELLIS) dat toegepast wordt op zowel surface als skeleton SLats:

• Stap I (Occupancy): Een rectified-flow transformer genereert het sparse voxel occupancy-rooster (welke voxels actief zijn) gekonditioneerd op input afbeeldingsfeatures.
• Stap II (Latent Codes): Een tweede flow transformer genereert de lokale latent codes die aan de actieve voxels zijn gekoppeld.
  De resulterende latente representaties ($Z_{surf}$ en $Z_{skel}$) worden doorgegeven aan de respectievelijke decoders om de mesh, het skelet en de skinningweights gelijktijdig te synthetiseren.

3. Open-Vocabulary Gewrichtslabeling

Om motion retargeting te ondersteunen, introduceert het paper een module die semantische labels toewijst aan gegenereerde gewrichten.

• In plaats van een gesloten-set classifier, embedt het model gegenereerde gewrichten in een gedeelde vision-language space (met behulp van een bevroren OpenCLIP text encoder).
• Het maakt gebruik van een autoregressieve transformer die konditioneert op gewrichtscoördinaten, hiërarchie en eerdere label-embeddings om gewrichts-embeddings te voorspellen.
• Dit stelt gegenereerde rigs in staat om te worden gekoppeld aan willekeurige kandidaat-labelsets (bijvoorbeeld specifieke retargeting-templates) via nearest-neighbor retrieval, waardoor de rig-generatie wordt ontkoppeld van een vaste vocabulaire.

Belangrijkste Bijdragen

1. Rigel3D Framework: Een end-to-end generatieve methode voor het creëren van animatieklare 3D-assets, waarbij meshes, optioneel uiterlijk, skeletten en skinningweights gezamenlijk en niet sequentieel worden geproduceerd.
2. Gekoppelde Latente Representaties: Een rig-bewuste autoencoder die gebruikmaakt van gekoppelde surface en skeleton SLats, met een door het skelet gekonditioneerde mesh decoder, een autoregressieve skeleton decoder en een op attention gebaseerde skinning decoder.
3. Open-Vocabulary Labeling: Een nieuwe module die motion retargeting mogelijk maakt door gegenereerde gewrichten te matchen met tekstlabels in een gedeelde vision-language space, waardoor willekeurige templates worden ondersteund zonder hertraining.
4. State-of-the-Art Prestaties: Gemonstreerde superieure prestaties ten opzichte van bestaande auto-rigging baselines (Anymate, Puppeteer) en concurrente generatiemethoden (AniGen) over meerdere metrieken op grote schaal gerigte assetdatasets.

Resultaten en Evaluatie

De methode werd geëvalueerd op de Anymate en ModelsResource datasets.

• Kwantitatieve Prestaties: Rigel3D presteerde beter dan baselines (Anymate, Puppeteer) op skeletmetrieken (J2J, J2B, B2B) en skinningmetrieken ($\ell_1$, $\ell_2$, KL-divergentie). Opvallend was dat het aanzienlijke winsten liet zien in bot-niveau structuur (B2B) en skinning-distributie-uitlijning (KL).
• Vergelijking met AniGen: Bij vergelijking met de concurrente AniGen-methode behaalde Rigel3D aanzienlijke verbeteringen in skeletnauwkeurigheid (bijvoorbeeld een relatieve reductie van 32,8% in J2J op ArticulationXL) terwijl het concurrerend bleef in skinningvoorspelling.
• Kwalitatieve Resultaten: Visuele vergelijkingen toonden aan dat Rigel3D nauwkeurigere gewrichtsplacering, coherente connectiviteit en soepelere skinning-overgangen produceert in vergelijking met post-hoc rigging-methoden.
• Labelnauwkeurigheid: De open-vocabulary labeling-module behaalde hoge Top-1 en Top-3 nauwkeurigheid bij het toewijzen van semantische labels aan gewrichten, en presteerde beter dan niet-autoregressieve varianten.

Betekenis

Het paper beweert dat Rigel3D de kloof tussen statische 3D-generatie en rig-gebaseerde animatiewerkstromen dicht. Door de onderlinge afhankelijkheid van geometrie en rigstructuur gezamenlijk te modelleren, vermijdt de methode de distributie-mismatches die inherent zijn aan post-hoc rigging. De introductie van open-vocabulary gewrichtslabeling verhoogt de praktische bruikbaarheid verder door directe compatibiliteit met diverse downstream motion retargeting-pijplijnen mogelijk te maken. De auteurs positioneren dit werk als een stap naar volledig geautomatiseerde, productieklaar 3D-assetcreatie waarbij de output niet slechts een statische vorm is, maar een volledig gerigte en animeerbare entiteit.

Beperkingen

De auteurs erkennen verschillende beperkingen:

• Gegenereerde rigs kunnen nog steeds ontbrekende gewrichten, spuriële takken of imperfecte connectiviteit bevatten.
• Skinning-deformaties kunnen minder natuurlijk zijn onder extreme poses, aangezien het model niet wordt gesuperviseerd door lange bewegingssequenties.
• Open-vocabulary labels kunnen dubbelzinnig zijn voor herhaalde structuren (bijvoorbeeld vingers, staarten).
• De methode erft beperkingen van op afbeelding gekonditioneerde 3D-generatie, zoals gevoeligheid voor dubbelzinnige of verduisterde inputweergaven.