Beyond Spatial Compression: Interface-Centric Generative States for Open-World 3D Structure

Riepilogo Tecnico: Oltre la Compressione Spaziale: Stati Generativi Centrati sull'Interfaccia per la Struttura 3D in Ambienti Open-World

Enunciato del Problema
Gli approcci attuali alla modellazione generativa 3D trattano ampiamente la tokenizzazione come un compito di compressione spaziale. Metodi come PolyGen, MeshGPT e BPT mappano la geometria in sequenze discrete compatte per facilitare la generazione autoregressiva. Sebbene efficaci per oggetti CAD puliti e a componente singola (ad esempio ShapeNet), questi token incentrati sulla compressione faticano a gestire risorse open-world (ad esempio Objaverse-LVIS) caratterizzate da componenti intersecanti, topologia rumorosa e strutture canoniche deboli.

Il limite fondamentale identificato è una mismatch di rappresentazione: i token incentrati sulla compressione intrecciano la forma locale, l'identità del componente e le relazioni di assemblaggio in un flusso latente passivo. Di conseguenza, durante la decodifica, queste variabili critiche sono implicite e non indirizzabili nativamente. Ciò porta a errori strutturali come giunzioni non valide, interferenze tra componenti e fuoriuscita di posa (pose leakage), dove il modello non riesce a distinguere tra un attacco valido e una collisione o una superficie adiacente non correlata.

Metodologia: C2LT-3D
Il documento propone Token Locali Canonici Condizionati al Componente (C2LT-3D), uno stato generativo centrato sull'interfaccia che tratta la tokenizzazione come la costruzione di uno stato operativo piuttosto che come un codice compresso passivo. La rappresentazione fattorizza lo stato generativo in tre variabili distinte, ciascuna mirata a un specifico modo di fallimento della compressione spaziale:

1. Geometria Locale Canonica: Per affrontare la fuoriuscita di posa, il metodo codifica i grafici di superficie locali in un quadro canonico deterministico (rotazione $R_i$, posa $T_i$, scala $s_i$) prima della quantizzazione. Ciò stabilizza i frame locali in modo che il codebook catturi la forma piuttosto che le varianti di posa. Un encoder in stile PointNeXt e la Quantizzazione Scalare Finita (FSQ) mappano i vicini normalizzati su flussi di token di geometria ($t_{geo}$) e di confine ($t_{bnd}$).
2. Contesto Condizionato alla Partizione: Per prevenire le interferenze tra componenti, il modello inietta la proprietà del macro-componente non supervisionata come un bias strutturale morbido. Utilizzando componenti connessi e partizioni geometriche, il sistema genera suggerimenti di partizione ($p_i$). Un Transformer contestuale applica bias a coppie ($b_{part}$) per distinguere il supporto dello stesso partizione dalle interferenze dei componenti vicini, producendo token contestualizzati ($h_i$).
3. Priorità Relazionale della Giunzione: Per affrontare gli attacchi locali non validi, una testa di giunzione (seam head) assegna un punteggio ai bordi candidati tra supporti vicini. Prevede tre variabili: compatibilità ($\hat{C}_{ij}$), raffinamento della trasformazione relativa ($\Delta\hat{T}_{ij}$) e rischio di collisione ($\hat{y}^{coll}_{ij}$). Ciò permette al modello di valutare la compatibilità fisica e rifinire le trasformazioni durante la decodifica, piuttosto che inferire la validità esclusivamente dalla similarità superficiale.

Stato Operativo e Decodifica
Lo stato generativo è definito come un grafo relazionale discreto $G_{C2LT}$ contenente token locali, suggerimenti di partizione e variabili di bordo. La decodifica è inquadrata come una sequenza di transizioni di stato vincolate:

• Realizzazione dell'Oggetto: Una mappa deterministica e non appresa risolve il mismatch locale-globale. Proietta i punti decodificati nello spazio finale dell'oggetto, ma mantiene un punto solo se il suo supporto strutturale più vicino appartiene allo stesso componente non supervisionato (imposto da un margine $m$). Ciò sopprime la fuoriuscita tra componenti senza richiedere un modulo separato di recupero della struttura post-hoc.
• Riparazione Latente: La priorità della giunzione agisce come un operatore di assemblaggio. Se un attacco generato è non valido, il modello può classificare i genitori candidati e rifinire le trasformazioni utilizzando le variabili di stato esposte, consentendo un'intervento strutturale prima della ricostruzione della superficie.

Contributi Chiave

1. Cambiamento di Paradigma: Il documento formula la tokenizzazione 3D open-world come la costruzione di uno stato generativo operativo, separando esplicitamente geometria, proprietà e relazioni di attacco.
2. Rappresentazione Fattorizzata: C2LT-3D introduce una fattorizzazione compatta (geometria canonica, contesto di partizione, giunzioni relazionali) che mira a modi di fallimento distinti dei token incentrati sulla compressione.
3. Variabili Latenti Azionabili: Il metodo dimostra che gli stati discreti possono rimanere azionabili per la convalida degli attacchi, la riparazione latente e la decodifica vincolata senza annotazioni di parti semantiche o priori linguistici esterni.
4. Protocollo di Valutazione: Gli autori stabiliscono un protocollo di valutazione su oggetti fissi su 1.024 risorse Objaverse-LVIS multi-componente non viste, utilizzando metriche sensibili alla struttura (Punteggio di Separazione dei Componenti, Tasso di Contaminazione tra Componenti) insieme alle metriche geometriche standard.

Risultati
Valutato zero-shot su risorse open-world multi-componente (addestrato su ShapeNet), C2LT-3D dimostra una robustezza strutturale superiore rispetto alle baseline incentrate sulla compressione (BPT) e alle ablazioni solo spaziali (VQ-Patch):

• Robustezza Strutturale: C2LT-3D ottiene un Tasso di Contaminazione tra Componenti più basso (0,0141 contro 0,0727 per VQ-Patch) e un Punteggio di Separazione dei Componenti più alto (0,9780 contro 0,9608), indicando una migliore conservazione dei confini distinti dei componenti.
• Fedeltà Geometrica: Migliora la distanza di Chamfer (0,0268) e la distanza di Hausdorff (0,2282) rispetto a entrambe le baseline.
• Riparazione Latente: In compiti di riparazione avversaria dove la geometria locale suggerisce erroneamente un genitore non valido, la priorità della giunzione appresa ottiene un Valid@1 di 0,6669, superando significativamente le baseline basate sul vicino più vicino geometrico (0,1221) e i verificatori di supporto densi (0,2456).
• Serializzazione Controllata: Quando serializzato attraverso un decoder leggero fisso, il completo stato C2LT-3D produce il miglior Structural FID (0,2893) e qualità di intersezione dei componenti, confermando che le variabili di stato sono compatibili con una decodifica compatta e vincolata.

Significato e Affermazioni
Il documento afferma che le rappresentazioni generative 3D open-world dovrebbero essere valutate non solo in base alla fedeltà di ricostruzione, ma anche in base alla capacità dei loro stati discreti di rimanere operativi per il ragionamento strutturale a livello di assemblaggio. Il risultato centrale è rappresentativo: esponendo la proprietà e la validità dell'attacco come variabili esplicite, C2LT-3D abilita convalida, riparazione e intervento mirato che sono impossibili con flussi di token puramente compressi e passivi. Gli autori posizionano questo come un problema di progettazione dell'interfaccia, dove la scelta delle variabili di stato determina quali operazioni strutturali sono native al processo di generazione piuttosto che richiedere un recupero dopo la decodifica. Il lavoro non afferma di sostituire tutti i generatori di mesh, ma di fornire una fondazione per rappresentazioni che supportino il ragionamento strutturale in ambienti complessi e open-world.