Beyond Spatial Compression: Interface-Centric Generative States for Open-World 3D Structure

Technische Zusammenfassung: Über die räumliche Kompression hinaus: Schnittstellen-zentrierte generative Zustände für Open-World-3D-Strukturen

Problemstellung
Derzeitige Ansätze zur 3D-generativen Modellierung behandeln die Tokenisierung weitgehend als Aufgabe der räumlichen Kompression. Methoden wie PolyGen, MeshGPT und BPT ordnen Geometrie auf kompakte diskrete Sequenzen ab, um eine autoregressive Generierung zu ermöglichen. Obwohl diese für saubere, einkomponentige CAD-Objekte (z. B. ShapeNet) effektiv sind, stoßen kompressionszentrierte Token bei Open-World-Assets (z. B. Objaverse-LVIS) an ihre Grenzen, die sich durch sich schneidende Komponenten, verrauschte Topologien und schwache kanonische Strukturen auszeichnen.

Die erkannte Kernbeschränkung ist eine Repräsentationsinkonsistenz: Kompressionszentrierte Token verflechten lokale Form, Komponentenidentität und Zusammenbau-Relationen in einem passiven latenten Strom. Folglich sind diese kritischen Variablen während der Dekodierung implizit und nicht nativ adressierbar. Dies führt zu Strukturfehlern wie ungültigen Nähten, Interferenzen zwischen Komponenten und Pose-Leckagen, bei denen das Modell nicht zwischen einer gültigen Verbindung und einer Kollision oder einer unrelated benachbarten Oberfläche unterscheiden kann.

Methodik: C2LT-3D
Die Arbeit schlägt Component-Conditioned Canonical Local Tokens (C2LT-3D) vor, einen Schnittstellen-zentrierten generativen Zustand, der die Tokenisierung als Konstruktion eines operationellen Zustands und nicht als passiven komprimierten Code behandelt. Die Repräsentation faktorisiert den generativen Zustand in drei distincte Variablen, die jeweils auf einen spezifischen Ausfallmodus der räumlichen Kompression abzielen:

1. Kanonische lokale Geometrie: Um Pose-Leckagen zu adressieren, kodiert die Methode lokale Oberflächenkarten in einen deterministischen kanonischen Rahmen (Rotation $R_i$, Pose $T_i$, Skalierung $s_i$) vor der Quantisierung. Dies stabilisiert lokale Rahmen, sodass das Codebuch die Form und nicht Pose-Varianten erfasst. Ein PointNeXt-artiger Encoder und Finite Scalar Quantization (FSQ) ordnen normalisierte Nachbarschaften Geometrie- ($t_{geo}$) und Grenz- ($t_{bnd}$) Tokenströmen zu.
2. Partition-konditionierter Kontext: Um Interferenzen zwischen Komponenten zu verhindern, injiziert das Modell unüberwachte Makro-Komponentenzugehörigkeit als weichen strukturellen Bias. Unter Verwendung von zusammenhängenden Komponenten und geometrischer Aufteilung generiert das System Partitionshinweise ($p_i$). Ein kontextueller Transformer wendet paarweise Biases ($b_{part}$) an, um Unterstützung innerhalb derselben Partition von Interferenzen benachbarter Komponenten zu unterscheiden, und erzeugt kontextualisierte Token ($h_i$).
3. Relationale Naht-Prior: Um ungültige lokale Verbindungen zu adressieren, bewertet ein Naht-Kopf Kandidatenkanten zwischen benachbarten Unterstützungen. Er sagt drei Variablen voraus: Kompatibilität ($\hat{C}_{ij}$), relative Transform-Verfeinerung ($\Delta\hat{T}_{ij}$) und Kollisionsrisiko ($\hat{y}^{coll}_{ij}$). Dies ermöglicht es dem Modell, die physikalische Kompatibilität zu bewerten und Transformen während der Dekodierung zu verfeinern, anstatt die Gültigkeit ausschließlich aus der Oberflächenähnlichkeit abzuleiten.

Operationeller Zustand und Dekodierung
Der generative Zustand wird als diskreter relationaler Graph $G_{C2LT}$ definiert, der lokale Token, Partitionshinweise und KantenvARIABLEN enthält. Die Dekodierung wird als Folge von eingeschränkten Zustandsübergängen formuliert:

• Objekt-Realisierung: Eine deterministische, nicht gelernte Abbildung löst die lokale-zu-globale Inkonsistenz auf. Sie projiziert dekodierte Punkte in den finalen Objektraum, behält jedoch einen Punkt nur dann bei, wenn seine nächste strukturelle Unterstützung derselben unüberwachten Komponente angehört (durch einen Rand $m$ erzwungen). Dies unterdrückt Leckagen zwischen Komponenten, ohne ein separates nachgelagertes Struktur-Wiederherstellungsmodul zu benötigen.
• Latente Reparatur: Die Naht-Prior fungiert als Zusammenbau-Operator. Wenn eine generierte Verbindung ungültig ist, kann das Modell Kandidaten-Eltern rangieren und Transformen unter Verwendung der exponierten Zustandsvariablen verfeinern, was strukturelle Eingriffe vor der Oberflächenrekonstruktion ermöglicht.

Hauptbeiträge

1. Paradigmenwechsel: Die Arbeit formuliert die Open-World-3D-Tokenisierung als Konstruktion eines operationellen generativen Zustands, der Geometrie, Zugehörigkeit und Verbindungsrelationen explizit trennt.
2. Faktorisierte Repräsentation: C2LT-3D führt eine kompakte Faktorisierung ein (kanonische Geometrie, Partitionskontext, relationale Nähte), die auf distincte Ausfallmodi kompressionszentrierter Token abzielt.
3. Handlungsorientierte latente Variablen: Die Methode zeigt, dass diskrete Zustände handlungsorientiert bleiben können für Verbindungsvalidierung, latente Reparatur und eingeschränkte Dekodierung, ohne semantische Teil-Annotationen oder externe Sprachpriors.
4. Evaluierungsprotokoll: Die Autoren etablieren ein Fixed-Object-Evaluierungsprotokoll an 1.024 unsichtbaren Multi-Komponenten-Objaverse-LVIS-Assets, das struktursensitive Metriken (Component Separation Score, Cross-Component Contamination Rate) neben Standard-Geometriemetriken verwendet.

Ergebnisse
Zero-Shot evaluiert an Open-World-Multi-Komponenten-Assets (trainiert auf ShapeNet), demonstriert C2LT-3D überlegene strukturelle Robustheit im Vergleich zu kompressionszentrierten Baselines (BPT) und rein räumlichen Ablationen (VQ-Patch):

• Strukturelle Robustheit: C2LT-3D erreicht eine niedrigere Cross-Component Contamination Rate (0,0141 vs. 0,0727 für VQ-Patch) und einen höheren Component Separation Score (0,9780 vs. 0,9608), was eine bessere Erhaltung distincter Komponenten-Grenzen anzeigt.
• Geometrische Fidelity: Es verbessert den Chamfer-Abstand (0,0268) und den Hausdorff-Abstand (0,2282) gegenüber beiden Baselines.
• Latente Reparatur: In adversarialen Reparatur-Aufgaben, bei denen die lokale Geometrie irreführend eine ungültige Elternkomponente suggeriert, erreicht der gelernte Naht-Prior einen Valid@1 von 0,6669 und übertrifft damit signifikant geometrische nearest-neighbor-Baselines (0,1221) und dichte Unterstützungs-Verifizierer (0,2456).
• Gesteuerte Serialisierung: Bei der Serialisierung durch einen festen, leichten Decoder liefert der vollständige C2LT-3D-Zustand die beste Structural FID (0,2893) und Komponenten-Schnittqualität, was bestätigt, dass die Zustandsvariablen mit kompakter, eingeschränkter Dekodierung kompatibel sind.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass Open-World-3D-generative Repräsentationen nicht nur durch Rekonstruktionsfidelity, sondern auch dadurch bewertet werden sollten, ob ihre diskreten Zustände operativ für zusammenbau-level strukturelles Reasoning bleiben. Das zentrale Ergebnis ist repräsentational: Durch die Exposition von Zugehörigkeit und Verbindungsvalidität als explizite Variablen ermöglicht C2LT-3D Validierung, Reparatur und gezielte Eingriffe, die mit rein komprimierten, passiven Tokenströmen unmöglich sind. Die Autoren positionieren dies als Schnittstellen-Designproblem, bei dem die Wahl der Zustandsvariablen bestimmt, welche strukturellen Operationen nativ im Generierungsprozess verankert sind, anstatt nach der Dekodierung wiederhergestellt werden zu müssen. Die Arbeit beansprucht nicht, alle Mesh-Generatoren zu ersetzen, sondern eine Grundlage für Repräsentationen zu bieten, die strukturelles Reasoning in komplexen Open-World-Umgebungen unterstützen.