Technische Samenvatting: CubePart: Een Open-Vocabulaire, Onderdeel-Controleerbare 3D-Generator

Probleemstelling

Interactieve 3D-assets in games en simulaties vereisen decompositie in specifieke semantische onderdelen om animatie, fysica en scriptgedrag te ondersteunen. Echter, huidige generatieve 3D-modellen produceren doorgaans ofwel monolithische meshes of willekeurige onderdeel-decomposities die niet overeenkomen met applicatie-specifieke schema's. Bestaande methoden die vertrouwen op 2D-grounding (bijvoorbeeld afbeeldingssegmentatie) falen in het controleren van verborgen onderdelen of het definiëren van complete 3D-semantische structuren vanwege view-afhankelijkheid. Bovendien vertrouwen bestaande onderdeel-bewuste generatiemethoden vaak op vaste taxonomieën of gesloten vocabulaires, wat hun vermogen beperkt om de diverse, open-eindige onderdeeldefinities te accommoderen die door verschillende downstream-toepassingen worden vereist. Er is een kritieke behoefte aan een 3D-natief, schema-gedreven interface die gebruikers in staat stelt om tijdens de generatie expliciet een open-vocabuallijst van semantische onderdelen op te geven.

Methodologie

CubePart is een twee-fasen generatief raamwerk dat is ontworpen om multi-onderdeel 3D-meshes te synthetiseren, geconditioneerd op een globale tekstprompt en een door de gebruiker gedefinieerd onderdeel-schema (een open-eindige lijst van onderdeelnamen).

1. Data Engine

Om open-vocabulaire training te ondersteunen, hebben de auteurs een grootschalige dataset samengesteld die ongeveer 462K assets en 2,02M onderdelen omvat. Deze pipeline automatiseert het creëren van met onderdelen gelabelde data uit ongestructureerde meshes met behulp van:

• Preprocessing: Filteren van degeneratieve geometrie en behoud van assets met 2–32 onderdelen.
• VLM-gebaseerde Kwaliteitsfiltering: Het gebruik van Vision-Language Models (VLM's) om mesh-defecten, scanartefacten en content op sceneniveau te identificeren.
• Set-of-Mark (SoM) Rendering: Een nieuwe annotatiestrategie waarbij 14 orbitale weergaven worden gerenderd als gepaarde afbeeldingen: een getextureerde weergave met onderdeelcontouren en genummerde markers, en een onderdeelgekleurde weergave waarbij elk onderdeel een distincte effen kleur heeft. Deze koppeling biedt zowel semantische context als ondubbelzinnige onderdeelidentificatie.
• VLM-gebaseerde Clustering en Naming: De VLM verwerkt alle weergaveparen simultaan om gerelateerde onderdelen te clusteren op basis van functie of logische relaties en wijst beknopte, beschrijvende namen toe (bijvoorbeeld "voorlinkerwiel" in plaats van een generieke bijschrift).
• Postprocessing: Het converteren van onderdelen naar waterdichte meshes met behulp van Dual Marching Cubes op unsigned distance fields voor training.

2. Generatieve Architectuur

Het raamwerk maakt gebruik van een twee-fasen diffusieproces gebaseerd op VecSet (vector set) latent representaties:

• Fase 1: Enkel-onderdeel Mesh Generatie (Globale Synthese)

  • Gebruikt een Multi-Modal Diffusion Transformer (MM-DiT) geconditioneerd op tekstprompts.
  • De tekstprompt is gestructureerd om de bestaande onderdelen expliciet op te sommen (bijvoorbeeld "Dit object bevat de volgende onderdelen: {lijst}").
  • Deze fase is vooraf getraind op ongeveer 4,7M mesh-tekstparen en fijngeschaald op de gecureerde met onderdelen gelabelde dataset om ervoor te zorgen dat de gegenereerde globale vorm structureel overeenkomt met het invoerschema.

• Fase 2: Multi-onderdeel Mesh Generatie (Decompositie)

  • Neemt de volledige vorm-latent uit Fase 1 en decomponeert deze in distincte onderdeel-latents.
  • Onderdeel-bewuste Prompting: Het model is geconditioneerd op de volledige lijst van onderdelen en een specifiek doelonderdeelnaam om segmentatiegrenzen te sturen.
  • Cross-Part Attention: Om geometrische grenzen op te lossen en overlappingen te voorkomen, voegen de auteurs toewijzing zero-initialized Transformer-blokken (Cross-Part Attention Residual Blocks) in de vooraf getrainde gewichten van Fase 1 in. Deze blokken faciliteren efficiënte inter-onderdeel communicatie zonder de geleerde globale geometrische priors te verstoren.
  • De output is een set van distincte meshes, één voor elk schema-element, die samenkomen tot een coherent object.

Belangrijkste Bijdragen

1. Schaalbare Data Engine: Een volledig geautomatiseerde pipeline voor het construeren van open-vocabulaire, met onderdelen gelabelde 3D-datasets met behulp van VLM's en Set-of-Mark prompting, resulterend in een dataset die meer dan 11 keer groter is dan eerdere inspanningen (PartVerse-XL).
2. Schema-Gedreven Architectuur: Een twee-fasen generatief model dat globale vormsynthese scheidt van onderdeel-niveau decoding, wat open-vocabulaire, onderdeel-controleerbare generatie mogelijk maakt terwijl globale geometrische coherentie behouden blijft.
3. End-to-End Integratie: Een demonstratie dat de gegenereerde multi-onderdeel meshes direct kunnen worden geïntegreerd in game-engines en worden aangestuurd door gedrags-scripts (bijvoorbeeld Lua-scripts voor rijden, vliegen of karakterarticulatie) zonder handmatige nabewerking.

Resultaten en Evaluatie

• Kwantitatieve Prestaties: Op de PartObjaverse-Tiny-benchmark presteert CubePart beter dan baselines (inclusief HoloPart, OmniPart, PartCrafter en PartPacker) in zowel holistische als onderdeel-niveau metrieken (Chamfer Distance en F-score). Specifiek bereikt de methode een holistische F-score van 0,974 en een onderdeel-niveau F-score van 0,743.
• Ablatie Studies:
  • Het verwijderen van schema-bewuste fijne afstelling leidt tot ontbrekende of onjuist benadrukte onderdelen.
  • Het verwijderen van het Cross-Part Attention-mechanisme veroorzaakt een ernstige daling in onderdeel-niveau nauwkeurigheid, wat de noodzaak bevestigt van inter-onderdeel communicatie voor het oplossen van grenzen.
  • Het modificeren van vooraf getrainde lokale attention-lagen (zoals gedaan in ander werk) verslechtert de prestaties in vergelijking met het gebruik van toewijzing zero-initialized blokken.
• Kwalitatieve Resultaten: Het systeem genereert succesvol complexe objecten (bijvoorbeeld een schildpad met een kasteel, een tank, een drone) waarbij specifieke onderdelen (wielen, torentjes, propellers) worden gegenereerd als distincte, structureel complete meshes die overeenkomen met het schema van de gebruiker. Het demonstreert ook het vermogen om de granulariteit van onderdelen te variëren (bijvoorbeeld het samenvoegen van spatborden met wielen versus het scheiden ervan) op basis van het invoerschema.

Betekenis en Claims

Het artikel beweert dat CubePart een significante stap voorwaarts is in het produceren van game-ready assets door te verschuiven van monolithische generatie naar schema-gedreven, onderdeel-controleerbare synthese. Door gebruikers in staat te stellen de semantische structuur van een object expliciet via tekst te definiëren, overbrugt de methode de kloof tussen generatieve AI en de rigide eisen van interactieve 3D-omgevingen. De auteurs benadrukken dat hun aanpak het directe gebruik van gegenereerde assets voor scriptgedrag of fysiek gesimuleerd gedrag mogelijk maakt, waardoor de behoefte aan handmatige decompositie en labeling door artiesten wordt geëlimineerd. Het werk positioneert tekst als een universele interface voor het controleren van 3D-structuur, en biedt een flexibel alternatief voor vaste taxonomieën of view-afhankelijke 2D-controles.