Beyond Spatial Compression: Interface-Centric Generative States for Open-World 3D Structure

Résumé Technique : Au-delà de la Compression Spatiale : États Génératifs Centrés sur l'Interface pour la Structure 3D en Monde Ouvert

Énoncé du Problème
Les approches actuelles de la modélisation générative 3D traitent largement la tokenisation comme une tâche de compression spatiale. Des méthodes telles que PolyGen, MeshGPT et BPT mappent la géométrie vers des séquences discrètes compactes pour faciliter la génération autoregressive. Bien qu'efficaces pour des objets CAD propres et mono-composants (par exemple, ShapeNet), ces tokens centrés sur la compression peinent avec les actifs de monde ouvert (par exemple, Objaverse-LVIS) caractérisés par des composants intersectants, une topologie bruyante et des structures canoniques faibles.

La limitation fondamentale identifiée est un décalage de représentation : les tokens centrés sur la compression enchevêtrent la forme locale, l'identité du composant et les relations d'assemblage dans un flux latent passif. Par conséquent, lors du décodage, ces variables critiques sont implicites et non adressables nativement. Cela conduit à des erreurs structurelles telles que des coutures invalides, des interférences inter-composants et une fuite de pose, où le modèle ne peut distinguer une attache valide d'une collision ou d'une surface adjacente non liée.

Méthodologie : C2LT-3D
L'article propose des Tokens Locaux Canoniques Conditionnés par Composant (C2LT-3D), un état génératif centré sur l'interface qui traite la tokenisation comme la construction d'un état opérationnel plutôt que comme un code compressé passif. La représentation factorise l'état génératif en trois variables distinctes, chacune ciblant un mode de défaillance spécifique de la compression spatiale :

1. Géométrie Locale Canonique : Pour remédier à la fuite de pose, la méthode encode les cartes de surface locales dans un repère canonique déterministe (rotation $R_i$, pose $T_i$, échelle $s_i$) avant la quantification. Cela stabilise les repères locaux afin que le codebook capture la forme plutôt que les variantes de pose. Un encodeur de style PointNeXt et une Quantification Scalaire Finie (FSQ) mappent les voisinages normalisés vers des flux de tokens de géométrie ($t_{geo}$) et de frontière ($t_{bnd}$).
2. Contexte Conditionné par Partition : Pour prévenir les interférences inter-composants, le modèle injecte la propriété de macro-composant non supervisée comme un biais structurel doux. En utilisant des composantes connexes et un découpage géométrique, le système génère des indices de partition ($p_i$). Un Transformer contextuel applique des biais par paire ($b_{part}$) pour distinguer le support au sein d'une même partition de l'interférence des composants voisins, produisant des tokens contextualisés ($h_i$).
3. Prior Relatif de Couture : Pour remédier aux attaches locales invalides, une tête de couture évalue les arêtes candidates entre les supports voisins. Elle prédit trois variables : la compatibilité ($\hat{C}_{ij}$), le raffinement de la transformation relative ($\Delta\hat{T}_{ij}$) et le risque de collision ($\hat{y}^{coll}_{ij}$). Cela permet au modèle d'évaluer la compatibilité physique et d'affiner les transformations pendant le décodage, plutôt que d'inférer la validité uniquement à partir de la similarité de surface.

État Opérationnel et Décodage
L'état génératif est défini comme un graphe relationnel discret $G_{C2LT}$ contenant des tokens locaux, des indices de partition et des variables d'arêtes. Le décodage est formulé comme une séquence de transitions d'état contraintes :

• Réalisation de l'Objet : Une carte déterministe, non apprise, résout le décalage local-global. Elle projette les points décodés dans l'espace de l'objet final mais ne conserve un point que si son support structurel le plus proche appartient au même composant non supervisé (imposé par une marge $m$). Cela supprime la fuite inter-composants sans nécessiter de module séparé de récupération structurelle post-hoc.
• Réparation Latente : La priorité de couture agit comme un opérateur d'assemblage. Si une attache générée est invalide, le modèle peut classer les parents candidats et affiner les transformations en utilisant les variables d'état exposées, permettant une intervention structurelle avant la reconstruction de surface.

Contributions Clés

1. Changement de Paradigme : L'article formule la tokenisation 3D en monde ouvert comme la construction d'un état génératif opérationnel, séparant explicitement la géométrie, la propriété et les relations d'attache.
2. Représentation Factorisée : C2LT-3D introduit une factorisation compacte (géométrie canonique, contexte de partition, coutures relationnelles) qui cible des modes de défaillance distincts des tokens centrés sur la compression.
3. Variables Latentes Actionnables : La méthode démontre que les états discrets peuvent rester actionnables pour la validation d'attache, la réparation latente et le décodage contraint, sans annotations de parties sémantiques ni priors linguistiques externes.
4. Protocole d'Évaluation : Les auteurs établissent un protocole d'évaluation sur objet fixe sur 1 024 actifs Objaverse-LVIS multi-composants non vus, utilisant des métriques sensibles à la structure (Score de Séparation des Composants, Taux de Contamination Inter-Composants) parallèlement aux métriques géométriques standard.

Résultats
Évalué en zero-shot sur des actifs multi-composants de monde ouvert (entraîné sur ShapeNet), C2LT-3D démontre une robustesse structurelle supérieure par rapport aux bases de référence centrées sur la compression (BPT) et aux ablations purement spatiales (VQ-Patch) :

• Robustesse Structurelle : C2LT-3D atteint un taux de contamination inter-composants plus faible (0,0141 contre 0,0727 pour VQ-Patch) et un score de séparation des composants plus élevé (0,9780 contre 0,9608), indiquant une meilleure préservation des limites de composants distincts.
• Fidélité Géométrique : Il améliore la distance de Chamfer (0,0268) et la distance de Hausdorff (0,2282) par rapport aux deux bases de référence.
• Réparation Latente : Dans des tâches de réparation adversariales où la géométrie locale suggère de manière trompeuse un parent invalide, la priorité de couture apprise atteint un Valid@1 de 0,6669, surpassant significativement les bases de référence par plus proche voisin géométrique (0,1221) et les vérificateurs de support denses (0,2456).
• Sérialisation Contrôlée : Lorsqu'il est sérialisé via un décodeur léger fixe, l'état complet C2LT-3D produit le meilleur FID structurel (0,2893) et la meilleure qualité d'intersection des composants, confirmant que les variables d'état sont compatibles avec un décodage compact et contraint.

Signification et Revendications
L'article revendique que les représentations génératives 3D en monde ouvert ne doivent pas être évaluées uniquement par la fidélité de reconstruction, mais par le fait que leurs états discrets restent opérationnels pour le raisonnement structurel au niveau de l'assemblage. Le résultat central est représentatif : en exposant la propriété et la validité de l'attache comme des variables explicites, C2LT-3D permet la validation, la réparation et l'intervention ciblée, ce qui est impossible avec des flux de tokens purement compressés et passifs. Les auteurs positionnent cela comme un problème de conception d'interface, où le choix des variables d'état détermine quelles opérations structurelles sont natives au processus de génération plutôt que de nécessiter une récupération après décodage. Le travail ne revendique pas de remplacer tous les générateurs de maillages, mais de fournir une fondation pour des représentations qui soutiennent le raisonnement structurel dans des environnements complexes et ouverts.