LoST: Level of Semantics Tokenization for 3D Shapes

Título: LoST: Level of Semantics Tokenization for 3D Shapes (Tokenização de Nível de Semântica para Formas 3D)

1. O Problema

A tokenização é fundamental para modelos generativos autoregressivos (AR), que têm emergido como uma abordagem promissora para a geração 3D, oferecendo treinamento mais simples e integração com modelos de linguagem multimodal (MLLMs) em comparação aos modelos de difusão. No entanto, a forma ideal de tokenizar formas 3D permanece uma questão em aberto.

Os métodos atuais (State-of-the-Art - SOTA) baseiam-se principalmente em hierarquias de Nível de Detalhe Geométrico (LoD), como octrees e malhas progressivas. O artigo argumenta que essas hierarquias foram originalmente projetadas para renderização e compressão, não para modelagem generativa AR, resultando em três problemas principais:

1. Ineficiência de Tokens: Mesmo em escalas grosseiras, são necessários muitos tokens espaciais para esboçar a estrutura básica de um objeto, levando a modelos AR com alta perplexidade e baixa eficiência de amostragem.
2. Decodificação Inutilizável no Início: A simplificação geométrica agressiva usada para criar hierarquias LoD faz com que os prefixos curtos (os primeiros tokens) decodifiquem em formas excessivamente rústicas, que não possuem detalhes geométricos nem semânticos plausíveis.
3. Falta de Coerência Semântica: Prefixos curtos não geram formas completas e reconhecíveis, limitando a aplicabilidade em fluxos de trabalho AR onde a "geração de qualquer prefixo" é desejável.

2. Metodologia

O trabalho propõe o LoST (Level of Semantics Tokenization), uma nova abordagem que ordena os tokens por salência semântica em vez de detalhe geométrico.

Princípio Central

No LoST, a sequência de tokens é aprendida de forma que:

• Prefixos curtos: Já decodificam formas completas, plausíveis e que capturam a semântica principal do objeto (ex: um "montanha" genérica).
• Tokens subsequentes: Refinam progressivamente os detalhes geométricos e semânticos específicos da instância (ex: adicionar um rosto na montanha).

Arquitetura do Modelo

1. Codificador (Encoder):

   • Utiliza um VAE pré-treinado (Direct3D) para codificar nuvens de pontos em um triplano (3 planos de características).
   • Emprega um ViT (Vision Transformer) baseado em patches.
   • Introduz Tokens de Registro (Register Tokens): Parâmetros aprendíveis concatenados aos tokens do triplano. Diferente dos tokens originais, eles não estão associados a patches específicos, mas aprendem a capturar o sinal semântico hierárquico.
   • Usa Causal Masking e Nested Dropout (dropout aninhado) durante o treinamento. O dropout aninhado força o modelo a colocar informações grosseiras nos primeiros tokens e detalhes finos nos posteriores, criando a hierarquia semântica.

2. Decodificador (Decoder):

   • Utiliza um Diffusion-Transformer (DiT) generativo.
   • Como reconstruir geometria exata a partir de poucos tokens é ambíguo, o decodificador gera formas semanticamente plausíveis. À medida que o prefixo aumenta, a geração transita de "geração plausível" para "reconstrução de alta fidelidade".

3. Supervisão Semântica (O Desafio 3D):

   • Em 2D, usa-se a perda REPA para alinhar com features do DINO. Em 3D, não há features semânticas diretas equivalentes.
   • Solução Proposta (RIDA): O artigo introduz o Relational Inter-Distance Alignment (RIDA).
     • Um Extrator Semântico (student) é treinado para mapear o espaço latente do triplano 3D para um espaço de características que imita a estrutura relacional do espaço DINO (teacher, baseado em imagens 2D).
     • Em vez de regredir valores absolutos (que falha devido à diferença de modalidades), o RIDA alinha as distâncias relativas entre amostras.
     • A perda RIDA é composta por:
       • Contraste Global Relacional: Alinha embeddings globais.
       • Distilação de Rank Inter-Instância: Preserva a estrutura de ranking das distâncias (inspirado em Relational Knowledge Distillation).
       • Distilação de Estrutura Espacial: Preserva afinidades intra-instância (partes do objeto).

4. Modelo AR (LoST-GPT):

   • Um Transformer estilo GPT modela a sequência de tokens contínuos (não quantizados) do LoST.
   • Utiliza uma perda de difusão para previsão do próximo token em espaço contínuo, evitando a quantização que limita a fidelidade.

3. Principais Contribuições

1. Tokenização LoST: Um novo esquema de tokenização que ordena tokens por salência semântica, permitindo que prefixos curtos gerem formas completas e reconhecíveis.
2. Perda RIDA: Uma nova função de perda de alinhamento semântico 3D que alinha o espaço latente de triplano com o espaço semântico do DINO através de distâncias relativas, resolvendo o problema de falta de supervisão semântica direta em 3D.
3. Eficiência e Qualidade SOTA: Demonstração de que modelos AR treinados com LoST superam os métodos baseados em LoD, utilizando 0,1% a 10% dos tokens necessários pelos modelos anteriores, mantendo alta fidelidade geométrica e semântica.

4. Resultados Experimentais

Os experimentos foram realizados em um conjunto de dados de 300k formas 3D geradas via pipeline image-to-3D.

• Reconstrução (Tokenização):

  • O LoST superou significativamente o OctGPT e o VertexRegen em métricas de Chamfer Distance (geometria) e similaridade DINO/FID (semântica).
  • Eficiência: O LoST alcança reconstruções de alta qualidade com apenas 128 tokens, enquanto os baselines exigem milhares (ex: OctGPT usa ~50.000 tokens para resultados inferiores).
  • Prefixos Curtos: Com apenas 1 a 4 tokens, o LoST gera formas semanticamente corretas (ex: um submarino, um carro), enquanto os métodos LoD geram "andaimes" geométricos sem sentido.

• Geração Autoregressiva:

  • O LoST-GPT alcançou o estado da arte (SOTA) na geração 3D baseada em imagem/texto.
  • Obteve o menor FID e a maior similaridade DINO em comparação com ShapeLLM-Omni, OctGPT e Llama-Mesh.
  • Permite parada antecipada (early stopping): Para objetos simples, a geração pode ser interrompida após poucos tokens, economizando tempo de inferência sem perder a coerência semântica.

• Recuperação Semântica:

  • O espaço latente aprendido com RIDA foi testado em tarefas de recuperação de formas. O LoST superou o uso de latentes brutos de triplano e regressão direta, provando que o espaço foi reorganizado semanticamente (ex: recuperar um "submarino em forma de peixe" baseado na semântica, não apenas na geometria).

5. Significado e Impacto

O trabalho representa um avanço fundamental na geração 3D generativa ao mudar o paradigma de organização de tokens de geométrico para semântico.

• Viabilidade de AR 3D: Torna os modelos autoregressivos 3D práticos e eficientes, eliminando a necessidade de sequências de tokens massivas e permitindo integração direta com LLMs.
• Interpretabilidade: A capacidade de gerar formas completas a partir de poucos tokens torna o processo de geração mais controlável e interpretável.
• Generalização: A abordagem é agnóstica à representação 3D (funciona em triplanos e latentes de voxel como TRELLIS), sugerindo ampla aplicabilidade.

Em resumo, o LoST resolve o gargalo da tokenização ineficiente em 3D, permitindo que modelos generativos "pensem" em termos de significado do objeto antes de refinar sua geometria, alinhando-se melhor com a forma como humanos percebem e descrevem objetos.