Riepilogo Tecnico: CubePart: Un Generatore 3D Controllabile per Parti a Vocabolario Aperto

Enunciato del Problema

Le risorse 3D interattive nei giochi e nelle simulazioni richiedono una decomposizione in parti semantiche specifiche per supportare animazioni, fisica e comportamenti scriptati. Tuttavia, i modelli generativi 3D attuali producono tipicamente o mesh monolitiche o decomposizioni di parti arbitrarie che non si allineano con gli schemi specifici dell'applicazione. I metodi esistenti basati sull'ancoraggio 2D (ad esempio, segmentazione di immagini) non riescono a controllare le parti nascoste o a definire strutture semantiche 3D complete a causa della dipendenza dalla vista. Inoltre, gli approcci esistenti alla generazione consapevole delle parti spesso si basano su tassonomie fisse o vocabolari chiusi, limitando la loro capacità di accogliere le definizioni di parti diverse e a vocabolario aperto richieste dalle diverse applicazioni a valle. Esiste un bisogno critico di un'interfaccia nativa 3D e guidata dallo schema che permetta agli utenti di specificare esplicitamente un elenco a vocabolario aperto di parti semantiche durante la generazione.

Metodologia

CubePart è un framework generativo a due stadi progettato per sintetizzare mesh 3D multi-parti condizionate da un prompt testuale globale e da uno schema di parti definito dall'utente (un elenco aperto di nomi di parti).

1. Motore di Dati

Per supportare l'addestramento a vocabolario aperto, gli autori hanno costruito un dataset su larga scala composto da circa 462K risorse e 2,02M parti. Questa pipeline automatizza la creazione di dati etichettati per le parti da mesh non strutturate utilizzando:

• Preprocessing: Filtraggio della geometria degenerata e mantenimento delle risorse con 2–32 parti.
• Filtraggio della Qualità Basato su VLM: Utilizzo di Modelli Linguaggio-Visione (VLM) per identificare difetti della mesh, artefatti di scansione e contenuti a livello di scena.
• Rendering Set-of-Mark (SoM): Una strategia di annotazione innovativa in cui 14 viste orbitali vengono renderizzate come immagini accoppiate: una vista testurizzata con contorni delle parti e marcatori numerati, e una vista colorata per le parti in cui ogni parte è di un colore solido distinto. Questa coppia fornisce sia il contesto semantico che un'identificazione inequivocabile delle parti.
• Clustering e Nomenclatura Basati su VLM: Il VLM elabora tutte le coppie di viste simultaneamente per raggruppare le parti correlate in base alla funzione o alle relazioni logiche e assegna nomi concisi e descrittivi (ad esempio, "ruota anteriore sinistra" invece di una didascalia generica).
• Postprocessing: Conversione delle parti in mesh a tenuta stagna utilizzando Dual Marching Cubes su campi di distanza senza segno per l'addestramento.

2. Architettura Generativa

Il framework impiega un processo di diffusione a due stadi basato su rappresentazioni latenti VecSet (insieme di vettori):

• Stadio 1: Generazione di Mesh a Singola Parte (Sintesi Globale)

  • Utilizza un Trasformatore di Diffusione Multi-Modale (MM-DiT) condizionato da prompt testuali.
  • Il prompt testuale è strutturato per elencare esplicitamente le parti costituenti (ad esempio, "Questo oggetto contiene le seguenti parti: {elenco}").
  • Questo stadio è pre-addestrato su ~4,7M coppie mesh-testo e fine-tunato sul dataset curato etichettato per le parti per garantire che la forma globale generata si allinei strutturalmente con lo schema di input.

• Stadio 2: Generazione di Mesh Multi-Parte (Decomposizione)

  • Prende il latente della forma completa dallo Stadio 1 e lo scompone in latenti di parti distinti.
  • Prompting Consapevole delle Parti: Il modello è condizionato sull'elenco completo delle parti e su un nome di parte target specifico per guidare i confini di segmentazione.
  • Attenzione Inter-Parte: Per risolvere i confini geometrici e prevenire sovrapposizioni, gli autori inseriscono appositi blocchi Transformer inizializzati a zero (Blocchi Residui di Attenzione Inter-Parte) nei pesi pre-addestrati dello Stadio 1. Questi blocchi facilitano una comunicazione efficiente tra le parti senza disturbare le priors geometriche globali apprese.
  • L'output è un insieme di mesh distinte, una per ogni elemento dello schema, che si assemblano in un oggetto coerente.

Contributi Chiave

1. Motore di Dati Scalabile: Una pipeline completamente automatizzata per la costruzione di dataset 3D etichettati per le parti e a vocabolario aperto utilizzando VLM e prompt Set-of-Mark, risultando in un dataset oltre 11 volte più grande dei precedenti sforzi (PartVerse-XL).
2. Architettura Guidata dallo Schema: Un modello generativo a due stadi che separa la sintesi della forma globale dalla decodifica a livello di parte, abilitando una generazione controllabile per le parti e a vocabolario aperto preservando la coerenza geometrica globale.
3. Integrazione End-to-End: Una dimostrazione che le mesh multi-parti generate possono essere integrate direttamente nei motori di gioco e guidate da script di comportamento (ad esempio, script Lua per guida, volo o articolazione dei personaggi) senza post-processing manuale.

Risultati e Valutazione

• Prestazioni Quantitative: Sul benchmark PartObjaverse-Tiny, CubePart supera le linee di base (inclusi HoloPart, OmniPart, PartCrafter e PartPacker) sia nelle metriche olistiche che a livello di parte (Distanza di Chamfer e F-score). Nello specifico, il metodo ottiene un F-score olistico di 0,974 e un F-score a livello di parte di 0,743.
• Studi di Ablazione:
  • Rimuovere il fine-tuning consapevole dello schema porta a parti mancanti o enfatizzate in modo errato.
  • Rimuovere il meccanismo di Attenzione Inter-Parte causa un calo severo nell'accuratezza a livello di parte, confermando la necessità di comunicazione tra le parti per risolvere i confini.
  • Modificare i livelli di attenzione locale pre-addestrati (come fatto in altri lavori) degrada le prestazioni rispetto all'uso di blocchi dedicati inizializzati a zero.
• Risultati Qualitativi: Il sistema genera con successo oggetti complessi (ad esempio, una tartaruga con un castello, un carro armato, un drone) in cui parti specifiche (ruote, torrette, eliche) sono generate come mesh distinte e strutturalmente complete che corrispondono allo schema dell'utente. Dimostra inoltre la capacità di variare la granularità delle parti (ad esempio, fondendo i parafanghi nelle ruote rispetto a separarli) in base allo schema di input.

Significato e Affermazioni

Il paper afferma che CubePart rappresenta un passo significativo verso la produzione di risorse pronte per i giochi, passando dalla generazione monolitica a una sintesi guidata dallo schema e controllabile per le parti. Consentendo agli utenti di definire esplicitamente la struttura semantica di un oggetto tramite testo, il metodo colma il divario tra l'IA generativa e i requisiti rigidi degli ambienti 3D interattivi. Gli autori sottolineano che il loro approccio abilita l'uso diretto delle risorse generate per comportamenti scriptati o simulati fisicamente, eliminando la necessità di decomposizione e etichettatura manuali da parte degli artisti. Il lavoro posiziona il testo come un'interfaccia universale per il controllo della struttura 3D, offrendo un'alternativa flessibile alle tassonomie fisse o ai controlli 2D dipendenti dalla vista.