Sintesi Tecnica: Arbor: Condizionamento Geometrico Esplicito per la Generazione Controllabile di Asset 3D

Problema

Gli attuali metodi di generazione 3D condizionati da testo e immagini producono asset convincenti, ma mancano di un controllo diretto sulle specifiche regioni spaziali che un oggetto debba occupare, evitare o toccare. Nei flussi di lavoro professionali (ad esempio, la produzione di videogiochi), gli artisti spesso conoscono i requisiti spaziali — come una sedia che deve adattarsi a un determinato volume di seduta, un oggetto che deve lasciare spazio libero per il movimento, o un componente che deve esporre una superficie di contatto — prima che la generazione abbia inizio. Tuttavia, i prompt e le viste immagine sono vettori scarsi per questi vincoli, portando a un flusso di lavoro "slot machine" in cui gli artisti iterano attraverso molti prompt e devono effettuare una pulizia manuale. I metodi di controllo 3D esistenti si concentrano tipicamente sull'editing di asset esistenti, sul completamento di geometrie parziali o sulla guida dell'inferenza durante il campionamento, ma non offrono un'interfaccia nativa per specificare requisiti geometrici locali densi e tipizzati (involucro, evitamento, contatto) durante la generazione di un intero oggetto da un prompt testuale.

Metodologia

Arbor introduce un modulo di aggancio addestinabile per la generazione 3D latente condizionata dal testo che converte mesh di vincolo esplicite in un segnale di controllo nativo. Il sistema opera su un backbone basato su testo congelato (specificamente la famiglia TRELLIS, utilizzando TRELLIS 1 per la generazione e TRELLIS 2 per l'encoding) e inietta vincoli geometrici senza modificare i pesi del backbone.

1. Rappresentazione dei Vincoli

Arbor definisce tre tipi di vincoli spaziali, specificati dall'utente come mesh 3D:

• Regioni Hull (Involucro): Volumi in cui la geometria generata deve esistere (ad esempio, una seduta).
• Regioni di Evitamento (Avoidance): Volumi che devono rimanere vuoti (ad esempio, spazio di rispetto).
• Regioni di Contatto (Touch): Superfici che l'oggetto deve contattare senza estendersi significativamente oltre esse (ad esempio, le gambi che incontrano il suolo).

2. Pipeline di Encoding

Per integrare queste mesh dense nello spazio latente compresso del generatore:

• Riprogrammazione dell'Encoder: Arbor utilizza lo stack di encoder congelato di TRELLIS 2 (T2). Sebbene T2 sia progettato per la generazione condizionata da immagini, il suo encoder viene riutilizzato per elaborare le mesh di vincolo.
• Iniezione del Segnale: Le mesh di vincolo vengono convertite in campi di forma e materiale allineati su una griglia voxel. Fondamentalmente, i canali degli attributi ausiliari (originariamente destinati ai parametri del materiale) vengono riutilizzati per codificare flag binari per i tipi di vincolo (hull, avoid, touch) insieme alle normali della superficie.
• Generazione dei Token: Gli encoder congelati di T2 mappano questi campi in token densi, sparsi e a 32 dimensioni. Questi token vengono proiettati per corrispondere alla larghezza del generatore T1 e aumentati con embedding posizionali 3D appresi.

3. Router Geometrico e Adapter

Una sfida centrale è iniettare token di vincolo densi nella struttura latente sparsa del generatore in modo efficiente. Arbor risolve questo problema tramite un Geometry Router e un Residual Adapter:

• Routing: Il reticolo di query latenti del generatore (griglia 16³) viene partizionato in gruppi. Per ogni gruppo, il router seleziona i token di vincolo locale più rilevanti in base alla vicinanza spaziale (selezione Top-K tramite punti di ancoraggio) e appende un set di token di riepilogo globale appresi. Ciò assicura che ogni regione latente riceva solo l'evidenza del vincolo pertinente alla sua posizione spaziale.
• Iniezione dell'Adapter: Un ramo residuo leggero viene inserito in ogni blocco transformer del generatore congelato (dopo la cross-attention del testo ma prima della rete Feed-Forward). L'adapter esegue la cross-attention tra gli stati nascosti condizionati dal testo e il contesto geometrico routato, iniettando il segnale di vincolo come un aggiornamento residuo.
• Addestramento: Solo l'adapter, il router, i livelli di proiezione e i moduli di riepilogo vengono addestrati. Il backbone (T1) e gli encoder (T2) rimangono congelati. Il modello è ottimizzato utilizzando l'obiettivo standard di flow-matching del backbone, senza l'uso di perdite esplicite di conformità ai vincoli nella configurazione di addestramento primaria.

Contributi Chiave

1. Interfaccia di Controllo Geometrico Esplicito: Un sistema unificato per specificare regioni tipizzate (hull, touch, avoidance) direttamente come mesh 3D, consentendo agli artisti di co-autore il processo di generazione.
2. Geometria Codificata come Condizione: Dimostrazione che gli encoder geometrici congelati possono essere riutilizzati per trasformare le mesh di vincolo e i segnali tipizzati in token latenti compatti che preservano la struttura locale e fungono da input per il modello.
3. Geometry Router e Adapter: Una nuova architettura che assegna l'evidenza del vincolo locale a specifiche regioni latenti e inietta questa evidenza in un generatore 3D congelato tramite un ramo residuo routato, consentendo un controllo geometrico denso senza compromettere la variabilità del generatore.

Valutazione e Risultati

Gli autori hanno valutato Arbor sul dataset Toys4K utilizzando sia benchmark di vincoli procedurali (automatici) che manuali (creati dagli utenti).

• Aderenza ai Vincoli: Arbor supera significativamente i baseline (inclusi il modello TRELLIS base, i metodi di steering al campionamento come Gradient e SpaceControl, e i metodi basati sul completamento come Spice-E) nell'aderire ai vincoli di hull, avoidance e touch.
• Preferenza degli Utenti: In uno studio comparativo con utenti (27 partecipanti, 404 prove), le varianti di Arbor sono state preferite rispetto al modello TRELLIS base e ad altri baseline. Il modello Arbor standard ha vinto il 45,9% dei confronti, salendo al 59,2% quando sono state unite tutte le varianti di Arbor.
• Qualità e Variazione: A differenza dei metodi di steering al campionamento che spesso degradano la qualità della geometria o causano il collasso delle forme, Arbor mantiene strutture di oggetti leggibili e preserva la variazione generativa del prior sottostante.
• Metriche: Arbor ha ottenuto punteggi elevati nel "Control Score" (una media armonica di aderenza al vincolo, corrispondenza del volume e somiglianza visiva), dimostrando di poter soddisfare i vincoli senza riempire eccessivamente o perdere l'intento semantico del prompt.
• Ablazioni: Gli esperimenti hanno confermato che il routing locale è il meccanismo principale per l'aderenza ai vincoli (mantenendo l'84,3% dell'IoU senza i riepiloghi globali), sebbene i riepiloghi globali forniscano il necessario contesto a livello di oggetto. Si è scoperto che il flusso del segnale (flag tipizzati) è critico; rimuoverlo ha causato un calo significativo delle prestazioni.

Significato e Rivendicazioni

Il paper sostiene che Arbor fornisce un'interfaccia mancante per la generazione di asset 3D, permettendo un controllo volumetrico esplicito senza interferire con la variabilità della creazione della forma del generatore. Trattando i vincoli come requisiti locali e tipizzati piuttosto che come evidenze target o prior globali, Arbor consente agli artisti di definire comportamenti spaziali specifici (ad esempio, "lascia spazio per il movimento" o "esponi una superficie di contatto") direttamente.

Gli autori posizionano Arbor come un passo verso la rendere la generazione di asset 3D più affidabile per l'uso in produzione, dove animazioni e interazioni richiedono superfici di interazione accurate. Notano che, sebbene l'attuale sistema guidi con successo la fase di struttura sparsa, non controlla ancora le fasi di raffinamento successive (dettaglio superficiale e materiali) né risolve completamente i conflitti semantici tra vincoli e prompt (ad esempio, garantire che un volume sia funzionalmente una "seduta"). Il lavoro suggerisce direzioni future che coinvolgono etichette di parti più ricche e l'estensione dell'aggancio routato alle fasi successive di generazione.