Beyond Spatial Compression: Interface-Centric Generative States for Open-World 3D Structure

Technische Samenvatting: Voorbij Ruimtelijke Compressie: Interface-gerichte Generatieve Staten voor Open-World 3D-structuur

Probleemstelling
Huidige benaderingen voor 3D-generatieve modellering behandelen tokenisatie grotendeels als een taak voor ruimtelijke compressie. Methoden zoals PolyGen, MeshGPT en BPT mappingen geometrie naar compacte discrete sequenties om autoregressieve generatie te faciliteren. Hoewel effectief voor schone, single-component CAD-objecten (bijv. ShapeNet), worstelen deze op compressie gerichte tokens met open-world assets (bijv. Objaverse-LVIS) die gekenmerkt worden door kruisende componenten, ruis in de topologie en zwakke canonieke structuren.

De geïdentificeerde kernbeperking is een representatiemismatch: op compressie gerichte tokens verstrengelen lokale vorm, componentidentiteit en assemblagerelaties in een passieve latente stroom. Bijgevolg zijn tijdens het decoderen deze kritieke variabelen impliciet en niet natiu aan te spreken. Dit leidt tot structurele fouten zoals ongeldige naden, kruis-component interferentie en pose-lekkage, waarbij het model niet kan onderscheiden tussen een geldige bevestiging en een botsing of een niet-gerelateerd aangrenzend oppervlak.

Methodologie: C2LT-3D
Het artikel stelt Component-geconditioneerde Canonieke Lokale Tokens (C2LT-3D) voor, een interface-gerichte generatieve staat die tokenisatie behandelt als de constructie van een operationele staat in plaats van een passieve gecomprimeerde code. De representatie factoriseert de generatieve staat in drie distincte variabelen, die elk een specifieke faalmodus van ruimtelijke compressie aanpakken:

1. Canonieke Lokale Geometrie: Om pose-lekkage aan te pakken, encodeert de methode lokale oppervlakkaarten in een deterministische canonieke frame (rotatie $R_i$, pose $T_i$, schaal $s_i$) voordat kwantisatie plaatsvindt. Dit stabiliseert lokale frames zodat het codeboek vorm vangt in plaats van pose-varianten. Een PointNeXt-stijl encoder en Finite Scalar Quantization (FSQ) mappingen genormaliseerde buurten naar geometrie ($t_{geo}$) en grens ($t_{bnd}$) tokenstromen.
2. Partition-geconditioneerde Context: Om kruis-component interferentie te voorkomen, injecteert het model ongesuperviseerde macro-component eigendom als een zachte structurele bias. Met behulp van verbonden componenten en geometrische splitsing genereert het systeem partition hints ($p_i$). Een contextuele Transformer past paarsgewijze biases ($b_{part}$) toe om ondersteuning binnen dezelfde partition te onderscheiden van interferentie van naburige componenten, wat gecontextualiseerde tokens ($h_i$) oplevert.
3. Relationele Seem Prior: Om ongeldige lokale bevestigingen aan te pakken, scoort een seam-head kandidaat-randen tussen nabije ondersteuningen. Het voorspelt drie variabelen: compatibiliteit ($\hat{C}_{ij}$), verfijning van relatieve-transformatie ($\Delta\hat{T}_{ij}$) en botsingsrisico ($\hat{y}^{coll}_{ij}$). Dit stelt het model in staat om fysieke compatibiliteit te evalueren en transformaties te verfijnen tijdens het decoderen, in plaats van geldigheid uitsluitend af te leiden uit oppervlakte-相似heid.

Operationele Staat en Decodering
De generatieve staat wordt gedefinieerd als een discrete relationele graaf $G_{C2LT}$ die lokale tokens, partition hints en randvariabelen bevat. Decodering wordt geformuleerd als een reeks beperkte staatsovergangen:

• Object Realisatie: Een deterministische, niet-geleerde kaart lost de mismatch tussen lokaal en globaal op. Het projecteert gedecodeerde punten naar de uiteindelijke objectruimte, maar behoudt een punt alleen als zijn dichtstbijzijnde structurele ondersteuning behoort tot dezelfde ongesuperviseerde component (afgedwongen door een marge $m$). Dit onderdrukt kruis-component lekkage zonder een apart post-hoc structuurherstelmodule te vereisen.
• Latente Reparatie: De seam prior fungeert als een assemblage-operator. Als een gegenereerde bevestiging ongeldig is, kan het model kandidaat-ouders rangschikken en transformaties verfijnen met behulp van de blootgelegde staatvariabelen, waardoor structurele interventie mogelijk is voordat oppervlakreconstructie plaatsvindt.

Belangrijkste Bijdragen

1. Paradigmaverschuiving: Het artikel formuleert open-world 3D-tokenisatie als de constructie van een operationele generatieve staat, waarbij geometrie, eigendom en bevestigingsrelaties expliciet worden gescheiden.
2. Factorisatie van Representatie: C2LT-3D introduceert een compacte factorisatie (canonieke geometrie, partition context, relationele naden) die specifieke faalmodi van op compressie gerichte tokens aanpakt.
3. Actieerbare Latente Variabelen: De methode demonstreert dat discrete staten actiebaar kunnen blijven voor bevestigingsvalidatie, latente reparatie en beperkte decodering zonder semantische partannotaties of externe taalpriors.
4. Evaluatieprotocol: De auteurs stellen een vast-object evaluatieprotocol op voor 1.024 onzichtbare multi-component Objaverse-LVIS assets, waarbij structure-gevoelige metrieken (Component Separation Score, Cross-Component Contamination Rate) worden gebruikt naast standaard geometrische metrieken.

Resultaten
Geëvalueerd zero-shot op open-world multi-component assets (getraind op ShapeNet), toont C2LT-3D superieure structurele robuustheid in vergelijking met op compressie gerichte baselines (BPT) en alleen-ruimtelijke ablaties (VQ-Patch):

• Structurele Robuustheid: C2LT-3D bereikt een lagere Cross-Component Contamination Rate (0,0141 versus 0,0727 voor VQ-Patch) en een hogere Component Separation Score (0,9780 versus 0,9608), wat aangeeft dat distincte componentgrenzen beter behouden blijven.
• Geometrische Fideliteit: Het verbetert de Chamfer-afstand (0,0268) en Hausdorff-afstand (0,2282) ten opzichte van beide baselines.
• Latente Reparatie: In adversariale reparatietaken waarbij lokale geometrie misleidend een ongeldige ouder suggereert, bereikt de geleerde seam prior een Valid@1 van 0,6669, wat significant beter presteert dan geometrische nearest-neighbor baselines (0,1221) en dichte ondersteuningsverificaties (0,2456).
• Gereguleerde Serialisatie: Wanneer gesequenced via een vaste, lichtgewicht decoder, levert de volledige C2LT-3D-staat de beste Structural FID (0,2893) en component-snijkwaliteit op, wat bevestigt dat de staatvariabelen compatibel zijn met compacte, beperkte decodering.

Betekenis en Claims
Het artikel beweert dat open-world 3D-generatieve representaties niet alleen moeten worden geëvalueerd op reconstructiefideliteit, maar ook op of hun discrete staten operationeel blijven voor assemblage-niveau structurele redenering. Het centrale resultaat is representatief: door eigendom en bevestigingsgeldigheid bloot te leggen als expliciete variabelen, stelt C2LT-3D validatie, reparatie en gerichte interventie mogelijk die onmogelijk zijn met puur gecomprimeerde, passieve tokenstromen. De auteurs positioneren dit als een interface-ontwerpprobleem, waarbij de keuze van staatvariabelen bepaalt welke structurele operaties natiu zijn aan het generatieproces in plaats van herstel na decodering te vereisen. Het werk claimt niet alle mesh-generatoren te vervangen, maar een fundament te bieden voor representaties die structurele redenering ondersteunen in complexe, open-world omgevingen.