Beyond Spatial Compression: Interface-Centric Generative States for Open-World 3D Structure

Resumo Técnico: Além da Compressão Espacial: Estados Generativos Centrados na Interface para Estrutura 3D de Mundo Aberto

Declaração do Problema
As abordagens atuais para modelagem generativa 3D tratam majoritariamente a tokenização como uma tarefa de compressão espacial. Métodos como PolyGen, MeshGPT e BPT mapeiam geometria para sequências discretas compactas para facilitar a geração autoregressiva. Embora eficazes para objetos CAD limpos e de componente único (por exemplo, ShapeNet), esses tokens centrados em compressão lutam com ativos de mundo aberto (por exemplo, Objaverse-LVIS) caracterizados por componentes intersectantes, topologia ruidosa e estruturas canônicas fracas.

A limitação central identificada é uma mismatch de representação: tokens centrados em compressão entrelaçam forma local, identidade de componente e relações de montagem em um fluxo latente passivo. Consequentemente, durante a decodificação, essas variáveis críticas são implícitas e não endereçáveis nativamente. Isso leva a erros estruturais, como emendas inválidas, interferência entre componentes e vazamento de pose, onde o modelo não consegue distinguir entre uma fixação válida e uma colisão ou uma superfície adjacente não relacionada.

Metodologia: C2LT-3D
O artigo propõe Tokens Locais Canônicos Condicionados por Componente (C2LT-3D), um estado generativo centrado na interface que trata a tokenização como a construção de um estado operacional, e não como um código comprimido passivo. A representação fatoriza o estado generativo em três variáveis distintas, cada uma visando um modo de falha específico da compressão espacial:

1. Geometria Local Canônica: Para abordar o vazamento de pose, o método codifica gráficos de superfície local em um quadro canônico determinístico (rotação $R_i$, pose $T_i$, escala $s_i$) antes da quantização. Isso estabiliza quadros locais para que o livro de códigos capture a forma, e não variantes de pose. Um codificador estilo PointNeXt e Quantização Escalar Finita (FSQ) mapeiam vizinhanças normalizadas para fluxos de tokens de geometria ($t_{geo}$) e fronteira ($t_{bnd}$).
2. Contexto Condicionado por Partição: Para prevenir interferência entre componentes, o modelo injeta propriedade de macro-componente não supervisionada como um viés estrutural suave. Usando componentes conectados e divisão geométrica, o sistema gera dicas de partição ($p_i$). Um Transformer contextual aplica vieses pares a pares ($b_{part}$) para distinguir suporte da mesma partição de interferência de componentes vizinhos, produzindo tokens contextualizados ($h_i$).
3. Prior Relacional de Emenda: Para abordar fixações locais inválidas, uma cabeça de emenda pontua arestas candidatas entre suportes próximos. Ela prevê três variáveis: compatibilidade ($\hat{C}_{ij}$), refinamento de transformação relativa ($\Delta\hat{T}_{ij}$) e risco de colisão ($\hat{y}^{coll}_{ij}$). Isso permite que o modelo avalie a compatibilidade física e refine transformações durante a decodificação, em vez de inferir validade apenas a partir da similaridade de superfície.

Estado Operacional e Decodificação
O estado generativo é definido como um grafo relacional discreto $G_{C2LT}$ contendo tokens locais, dicas de partição e variáveis de aresta. A decodificação é enquadrada como uma sequência de transições de estado restritas:

• Realização do Objeto: Um mapa determinístico, não aprendido, resolve a incompatibilidade local-global. Ele projeta pontos decodificados no espaço final do objeto, mas retém um ponto apenas se seu suporte estrutural mais próximo pertencer ao mesmo componente não supervisionado (imposto por uma margem $m$). Isso suprime o vazamento entre componentes sem exigir um módulo separado de recuperação de estrutura pós-hoc.
• Reparo Latente: A prior de emenda atua como um operador de montagem. Se uma fixação gerada for inválida, o modelo pode classificar pais candidatos e refinar transformações usando as variáveis de estado expostas, permitindo intervenção estrutural antes da reconstrução de superfície.

Contribuições Principais

1. Mudança de Paradigma: O artigo formula a tokenização 3D de mundo aberto como a construção de um estado generativo operacional, separando explicitamente geometria, propriedade e relações de fixação.
2. Representação Fatorizada: O C2LT-3D introduz uma fatorização compacta (geometria canônica, contexto de partição, emendas relacionais) que visa modos de falha distintos de tokens centrados em compressão.
3. Variáveis Latentes Acionáveis: O método demonstra que estados discretos podem permanecer acionáveis para validação de fixação, reparo latente e decodificação restrita sem anotações de partes semânticas ou priores de linguagem externos.
4. Protocolo de Avaliação: Os autores estabelecem um protocolo de avaliação de objeto fixo em 1.024 ativos Objaverse-LVIS de múltiplos componentes não vistos, usando métricas sensíveis à estrutura (Pontuação de Separação de Componentes, Taxa de Contaminação entre Componentes) juntamente com métricas geométricas padrão.

Resultados
Avaliado zero-shot em ativos de mundo aberto de múltiplos componentes (treinado em ShapeNet), o C2LT-3D demonstra robustez estrutural superior em comparação com baselines centradas em compressão (BPT) e ablações apenas espaciais (VQ-Patch):

• Robustez Estrutural: O C2LT-3D alcança uma Taxa de Contaminação entre Componentes menor (0,0141 vs. 0,0727 para VQ-Patch) e uma Pontuação de Separação de Componentes maior (0,9780 vs. 0,9608), indicando melhor preservação de limites distintos de componentes.
• Fidelidade Geométrica: Melhora a distância de Chamfer (0,0268) e a distância de Hausdorff (0,2282) sobre ambas as baselines.
• Reparo Latente: Em tarefas de reparo adversariais onde a geometria local sugere erroneamente um pai inválido, a prior de emenda aprendida alcança um Valid@1 de 0,6669, superando significativamente baselines de vizinho mais próximo geométrico (0,1221) e verificadores de suporte denso (0,2456).
• Serialização Controlada: Quando serializado através de um decodificador leve fixo, o estado completo C2LT-3D produz o melhor Structural FID (0,2893) e qualidade de interseção de componentes, confirmando que as variáveis de estado são compatíveis com decodificação compacta e restrita.

Significado e Alegações
O artigo alega que representações generativas 3D de mundo aberto devem ser avaliadas não apenas pela fidelidade de reconstrução, mas por se seus estados discretos permanecem operacionais para raciocínio estrutural no nível de montagem. O resultado central é representacional: ao expor propriedade e validade de fixação como variáveis explícitas, o C2LT-3D permite validação, reparo e intervenção direcionada que são impossíveis com fluxos de tokens puramente comprimidos e passivos. Os autores posicionam isso como um problema de design de interface, onde a escolha das variáveis de estado determina quais operações estruturais são nativas ao processo de geração, em vez de exigir recuperação após a decodificação. O trabalho não alega substituir todos os geradores de malha, mas fornecer uma fundação para representações que suportam raciocínio estrutural em ambientes complexos e de mundo aberto.