Compos3D: Interactive Part-Based Composition for Creative Control in Generative 3D Models

Sintesi Tecnica: Compos3D

Problematica
Gli attuali flussi di lavoro dell'IA generativa 3D operano ampiamente come "black box a colpo singolo". Gli utenti forniscono un prompt testuale o un'immagine e ricevono un modello completo, ma possiedono una capacità limitata di manipolare l'output oltre al ri-prompting. Quando gli utenti desiderano preservare elementi specifici mentre modificano altri, si trovano di fronte a uno scenario di "gioco d'azzardo": rigenerare ripetutamente i modelli con prompt modificati rischia di perdere le caratteristiche desiderate e non offre alcun meccanismo per esprimere direttamente l'intento di progettazione oltre il linguaggio naturale. Sebbene progressi recenti permettano un raffinamento localizzato tramite editing guidato dal testo, il flusso di lavoro fondamentale rimane quello di accettare o rifiutare interi modelli piuttosto che trattarli come materia prima per la ricombinazione. Ciò limita il controllo dell'utente e non sfrutta appieno la diversità dello spazio generativo.

Metodologia: Il Sistema Compos3D
Compos3D introduce un flusso di lavoro di remix composizionale che scinde la generazione 3D in due fasi distinte: (1) la generazione di modelli candidati intermedi e (2) il remixing degli stessi in un design finale. Il sistema tratta i modelli generati come materiale sorgente da cui l'utente può estrarre, disporre e ricombinare parti.

Il sistema opera attraverso una pipeline unificata con tre fasi, supportando sia modalità di interazione 2D (basata su immagini) che 3D (basata su mesh):

1. Generazione Iniziale e Contesto di Remix: Gli utenti generano molteplici modelli 3D candidati da prompt testuali o immagini. Questi candidati vengono renderizzati per l'ispezione e i design promettenti vengono aggiunti a un pool di "Contesto di Remix". Gli utenti possono anche importare asset 2D o 3D esistenti.
2. Selezione delle Parti: Gli utenti segmentano le parti desiderate dai modelli candidati.
   • Modalità 2D: Utilizza il Segment Anything Model (SAM) per la segmentazione interattiva su immagini 2D tramite prompting positivo (click sinistro) e negativo (click destro).
   • Modalità 3D: Utilizza Point-SAM per la segmentazione direttamente sulle mesh 3D, consentendo agli utenti di selezionare regioni sulla superficie.
3. Composizione: Le parti selezionate vengono assemblate in una composizione grezza.
   • Canvas 2D: Gli utenti dispongono i segmenti di immagine estratti su un collage 2D, scalando e ruotandoli per esplorare l'intento di progettazione.
   • Canvas 3D: Gli utenti dispongono i segmenti di mesh estratti nello spazio 3D, consentendo un controllo preciso sulla posizione spaziale, la proporzione e la prospettiva.
4. Sintesi: Il sistema sintetizza la composizione grezza in un modello 3D coerente e di alta qualità.
   • Sintesi 2D: Il collage viene raffinato in un'immagine coerente utilizzando un modello di generazione di immagini (guidato da eventuali prompt testuali), che viene poi convertito in 3D tramite una pipeline image-to-3d.
   • Sintesi 3D: Il sistema voxelizza la disposizione 3D dell'utente per creare uno scaffold strutturale. Renderizza immagini multi-view del collage, le raffina con un modello image-to-image e alimenta sia la geometria voxelizzata che le feature multi-view nel pipeline TRELLIS. TRELLIS opera su una rappresentazione Structured Latent (SLAT) per generare congiuntamente geometria e aspetto, risolvendo cuciture e topologia pur preservando la disposizione spaziale di alto livello dell'utente.

Contributi Chiave
Il documento presenta quattro contributi primari:

1. Un Sistema per il Remixing Multi-Modale: Un sistema innovativo che consente la selezione basata su parti (tramite immagini 2D o mesh 3D), la composizione e la sintesi assistita dall'IA per modelli 3D generativi.
2. Studio Utente Controllato: Uno studio comparativo che valuta il flusso di lavoro di remixing rispetto a un tradizionale flusso di lavoro di rigenerazione attraverso entrambe le modalità 2D e 3D.
3. Confronto tra Modalità: Un'analisi dei compromessi tra le modalità di interazione 2D (velocità, semplicità) e 3D (precisione, ragionamento spaziale) all'interno di un flusso di lavoro composizionale.
4. Raccomandazioni di Design: Linee guida per futuri strumenti di modellazione 3D assistiti dall'IA, enfatizzando la composizione basata su parti e la commutazione fluida tra le modalità.

Risultati
Gli autori hanno condotto uno studio controllato entro i soggetti con otto modellatori 3D novelli. I partecipanti hanno completato compiti di progettazione utilizzando quattro condizioni: Remixing-2D, Remixing-3D, Regeneration-2D e Regeneration-3D.

• Confronto del Flusso di Lavoro (Remixing vs. Rigenerazione): I partecipanti hanno riportato un controllo creativo significativamente più elevato, un maggiore allineamento con il proprio intento di progettazione e una maggiore soddisfazione per il flusso di lavoro di remixing rispetto alla rigenerazione. Sebbene il remixing richiedesse un impegno cognitivo modestamente superiore, ciò era compensato da un maggiore divertimento e un più forte senso di proprietà. I dati qualitativi hanno indicato che la rigenerazione spesso rimuoveva le caratteristiche desiderate, mentre il remixing permetteva la preservazione e la ricombinazione esplicita.
• Confronto tra Modalità (2D vs. 3D): Le valutazioni per l'esito del compito e la reattività dello strumento sono state ampiamente simili tra le modalità. Tuttavia, la modalità 3D è stata valutata più alta per il supporto all'espressione creativa e al divertimento, con gli utenti che trovavano la manipolazione spaziale diretta più intuitiva. Al contrario, alcuni utenti hanno trovato la selezione 2D più semplice e meno ambigua.
• Compromessi: Lo studio ha identificato un chiaro compromesso: il Remixing-3D offriva il massimo controllo e fiducia, ma richiedeva il maggior sforzo. I flussi di lavoro 2D erano percepiti come più rapidi e diretti, ma offrivano un controllo meno preciso.

Significatività e Rivendicazioni
Il documento sostiene che Compos3D affronti una lacuna critica nella modellazione 3D generativa spostando il paradigma da "accetta o scarta" a "componi e raffina". Decoupling (scindendo) la generazione in creazione di candidati e remixing, il sistema fornisce agli utenti un controllo più fine sul risultato finale.

Gli autori concludono che i flussi di lavoro composizionali favoriscono un coinvolgimento creativo più profondo e un più forte senso di proprietà rispetto alla rigenerazione iterativa. Argomentano che i futuri strumenti 3D assistiti dall'IA dovrebbero dare priorità alla co-creazione rispetto all'automazione, supportando flussi di lavoro in cui gli utenti modellano attivamente i design attraverso il pensiero basato sulle parti. Inoltre, suggeriscono che l'integrazione di entrambe le modalità 2D e 3D consenta un equilibrio tra efficienza e precisione, permettendo agli utenti di esplorare rapidamente le idee in 2D prima di raffinare le disposizioni spaziali in 3D. Il documento postula che questo approccio non solo migliori l'usabilità, ma trasformi il ruolo dell'utente da prompter passivo ad designer attivo.