Beyond Spatial Compression: Interface-Centric Generative States for Open-World 3D Structure

Resumen Técnico: Más allá de la Compresión Espacial: Estados Generativos Centrados en la Interfaz para la Estructura 3D de Mundo Abierto

Enunciado del Problema
Los enfoques actuales para el modelado generativo 3D tratan en gran medida la tokenización como una tarea de compresión espacial. Métodos como PolyGen, MeshGPT y BPT mapean la geometría a secuencias discretas compactas para facilitar la generación autoregresiva. Aunque son efectivos para objetos CAD limpios y de un solo componente (por ejemplo, ShapeNet), estos tokens centrados en la compresión luchan con activos de mundo abierto (por ejemplo, Objaverse-LVIS) caracterizados por componentes que se intersecan, topología ruidosa y estructuras canónicas débiles.

La limitación central identificada es una incompatibilidad de representación: los tokens centrados en la compresión enredan la forma local, la identidad del componente y las relaciones de ensamblaje en un flujo latente pasivo. En consecuencia, durante la decodificación, estas variables críticas son implícitas y no abordable de forma nativa. Esto conduce a errores estructurales como uniones inválidas, interferencias entre componentes y fuga de poses, donde el modelo no puede distinguir entre una unión válida y una colisión o una superficie adyacente no relacionada.

Metodología: C2LT-3D
El artículo propone Tokens Locales Canónicos Condicionados por Componente (C2LT-3D), un estado generativo centrado en la interfaz que trata la tokenización como la construcción de un estado operativo en lugar de un código comprimido pasivo. La representación factoriza el estado generativo en tres variables distintas, cada una dirigida a un modo de fallo específico de la compresión espacial:

1. Geometría Local Canónica: Para abordar la fuga de poses, el método codifica gráficos de superficie locales en un marco canónico determinista (rotación $R_i$, pose $T_i$, escala $s_i$) antes de la cuantización. Esto estabiliza los marcos locales para que el libro de códigos capture la forma en lugar de variantes de pose. Un codificador estilo PointNeXt y la Cuantización Escalar Finita (FSQ) mapean vecindarios normalizados a flujos de tokens de geometría ($t_{geo}$) y frontera ($t_{bnd}$).
2. Contexto Condicionado por Partición: Para prevenir la interferencia entre componentes, el modelo inyecta la propiedad de macrocomponentes no supervisada como un sesgo estructural suave. Utilizando componentes conectados y división geométrica, el sistema genera pistas de partición ($p_i$). Un Transformer contextual aplica sesgos por pares ($b_{part}$) para distinguir el soporte dentro de la misma partición de la interferencia de componentes vecinos, produciendo tokens contextualizados ($h_i$).
3. Prior Relacional de Unión: Para abordar las uniones locales inválidas, una cabeza de unión evalúa las aristas candidatas entre soportes cercanos. Predice tres variables: compatibilidad ($\hat{C}_{ij}$), refinamiento de transformación relativa ($\Delta\hat{T}_{ij}$) y riesgo de colisión ($\hat{y}^{coll}_{ij}$). Esto permite que el modelo evalúe la compatibilidad física y refine las transformaciones durante la decodificación, en lugar de inferir la validez únicamente a partir de la similitud superficial.

Estado Operativo y Decodificación
El estado generativo se define como un grafo relacional discreto $G_{C2LT}$ que contiene tokens locales, pistas de partición y variables de arista. La decodificación se enmarca como una secuencia de transiciones de estado restringidas:

• Realización del Objeto: Un mapa determinista y no aprendido resuelve la incompatibilidad local-global. Proyecta los puntos decodificados al espacio final del objeto, pero retiene un punto solo si su soporte estructural más cercano pertenece al mismo componente no supervisado (impuesto por un margen $m$). Esto suprime la fuga entre componentes sin requerir un módulo separado de recuperación de estructura post-hoc.
• Reparación Latente: La prior de unión actúa como un operador de ensamblaje. Si una unión generada es inválida, el modelo puede clasificar padres candidatos y refinar transformaciones utilizando las variables de estado expuestas, permitiendo una intervención estructural antes de la reconstrucción superficial.

Contribuciones Clave

1. Cambio de Paradigma: El artículo formula la tokenización 3D de mundo abierto como la construcción de un estado generativo operativo, separando explícitamente la geometría, la propiedad y las relaciones de unión.
2. Representación Factorizada: C2LT-3D introduce una factorización compacta (geometría canónica, contexto de partición, uniones relacionales) que aborda modos de fallo distintos de los tokens centrados en la compresión.
3. Variables Latentes Accionables: El método demuestra que los estados discretos pueden permanecer accionables para la validación de uniones, la reparación latente y la decodificación restringida sin anotaciones de partes semánticas o priores de lenguaje externos.
4. Protocolo de Evaluación: Los autores establecen un protocolo de evaluación de objetos fijos en 1.024 activos de Objaverse-LVIS de múltiples componentes no vistos, utilizando métricas sensibles a la estructura (Puntuación de Separación de Componentes, Tasa de Contaminación entre Componentes) junto con métricas geométricas estándar.

Resultados
Evaluado zero-shot en activos de mundo abierto de múltiples componentes (entrenado en ShapeNet), C2LT-3D demuestra una robustez estructural superior en comparación con las líneas base centradas en la compresión (BPT) y las ablaciones solo espaciales (VQ-Patch):

• Robustez Estructural: C2LT-3D logra una Tasa de Contaminación entre Componentes más baja (0.0141 frente a 0.0727 para VQ-Patch) y una Puntuación de Separación de Componentes más alta (0.9780 frente a 0.9608), indicando una mejor preservación de los límites de componentes distintos.
• Fidelidad Geométrica: Mejora la distancia de Chamfer (0.0268) y la distancia de Hausdorff (0.2282) sobre ambas líneas base.
• Reparación Latente: En tareas de reparación adversarias donde la geometría local sugiere engañosamente un padre inválido, la prior de unión aprendida alcanza un Valid@1 de 0.6669, superando significativamente a las líneas base de vecinos más cercanos geométricos (0.1221) y verificadores de soporte denso (0.2456).
• Serialización Controlada: Cuando se serializa a través de un decodificador ligero fijo, el estado completo de C2LT-3D produce el mejor FID Estructural (0.2893) y calidad de intersección de componentes, confirmando que las variables de estado son compatibles con una decodificación compacta y restringida.

Significado y Afirmaciones
El artículo afirma que las representaciones generativas 3D de mundo abierto no deben evaluarse solo por la fidelidad de reconstrucción, sino por si sus estados discretos permanecen operativos para el razonamiento estructural a nivel de ensamblaje. El resultado central es representacional: al exponer la propiedad y la validez de la unión como variables explícitas, C2LT-3D habilita la validación, la reparación y la intervención dirigida que son imposibles con flujos de tokens puramente comprimidos y pasivos. Los autores posicionan esto como un problema de diseño de interfaz, donde la elección de las variables de estado determina qué operaciones estructurales son nativas del proceso de generación en lugar de requerir recuperación después de la decodificación. El trabajo no afirma reemplazar todos los generadores de mallas, sino proporcionar una base para representaciones que apoyen el razonamiento estructural en entornos complejos de mundo abierto.