LoST: Level of Semantics Tokenization for 3D Shapes

Resumen Técnico: LoST (Level of Semantics Tokenization for 3D Shapes)

1. El Problema

La tokenización es fundamental para los modelos generativos autoregresivos (AR), pero en el dominio de las formas 3D, la estrategia óptima sigue siendo una pregunta abierta.

• Limitaciones de los métodos actuales: Los enfoques de vanguardia (SOTA) se basan principalmente en jerarquías de Nivel de Detalle Geométrico (LoD), como octrees o mallas progresivas. Estas jerarquías fueron diseñadas originalmente para renderizado y compresión, no para modelado generativo.
• Ineficiencia y falta de coherencia semántica:
  • Hinchazón de tokens: Incluso en escalas gruesas, se requieren muchos tokens espaciales para esbozar la estructura básica de un objeto, lo que empuja a los modelos AR a regímenes de alta perplejidad y reduce la eficiencia de la muestra.
  • Decodificación temprana inútil: Las simplificaciones geométricas agresivas utilizadas en las jerarquías LoD producen formas iniciales que carecen de detalles tanto geométricos como semánticos. Esto impide la generación "de cualquier prefijo" (any-prefix generation), ya que los prefijos cortos no decodifican en formas plausibles o reconocibles, limitando su utilidad en flujos de trabajo AR.

2. Metodología

Los autores proponen LoST (Level of Semantics Tokenization), un nuevo esquema de tokenización que ordena los tokens por saliencia semántica en lugar de por resolución espacial.

• Concepto Central: En una secuencia de tokens LoST $\{\tau_1, \dots, \tau_K\}$, cada prefijo $\tau_{\le k}$ decodifica en una forma completa y plausible que captura la semántica principal del objeto original. Los tokens subsiguientes refinan progresivamente los detalles geométricos y semánticos específicos de la instancia.
• Arquitectura del Codificador (LoST Encoder):
  • Utiliza latentes de un VAE (basado en Direct3D) representados como un triplano.
  • Emplea un codificador ViT (Vision Transformer) sobre parches del triplano.
  • Introduce tokens de registro (register tokens): Parámetros aprendibles que se concatenan con los tokens del triplano. Estos tokens de registro capturan la señal semántica jerárquica.
  • Entrenamiento con Dropout Anidado y Máscara Causal: Se fuerza al modelo a aprender una estructura jerárquica 1D donde los primeros tokens capturan la semántica principal y los posteriores los detalles finos. Durante el entrenamiento, se mantienen solo prefijos aleatorios de los tokens de registro.
• Decodificador Generativo:
  • Dado que reconstruir geometría exacta desde muy pocos tokens es ambiguo, el decodificador se formula como un problema generativo.
  • Se utiliza un modelo Diffusion-Transformer (DiT) que reconstruye el latente completo condicionado a un prefijo variable de tokens de registro. A medida que aumenta la longitud del prefijo, la generación transita de "creación plausible" a "reconstrucción de alta fidelidad".
• Guía Semántica: RIDA (Relational Inter-Distance Alignment):
  • Para 3D, no existe una supervisión semántica directa como en imágenes (donde se usa DINO). Los autores proponen RIDA, una nueva función de pérdida de alineación semántica.
  • Mecanismo: En lugar de regredir directamente las características de DINO (lo cual falla por diferencias de modalidad), RIDA alinea la estructura relacional (distancias relativas) del espacio latente del triplano con el espacio semántico de DINO.
  • Un "extractor semántico" (estudiante) se entrena para que las distancias relativas entre muestras en su espacio latente coincidan con las distancias en el espacio de DINO (maestro). Esto reorganiza la representación 3D según la proximidad semántica.
  • La pérdida combina alineación global, destilación de rango inter-instancia y destilación de estructura espacial.

3. Contribuciones Clave

1. LoST: Un tokenizador de formas que ordena los tokens por saliencia semántica, permitiendo que prefijos cortos decodifiquen formas completas y reconocibles, mientras que los tokens adicionales añaden detalles.
2. RIDA (Relational Inter-Distance Alignment): Una nueva pérdida de alineación semántica 3D que funciona directamente en el espacio latente del triplano, evitando el costoso proceso de renderizado y decodificación para obtener supervisión semántica.
3. Modelo AR SOTA: Demostración de que un modelo Transformer estilo GPT simple, entrenado sobre tokens LoST, logra generación 3D AR de alta calidad y eficiencia, utilizando solo el 0.1% - 10% de los tokens necesarios por modelos anteriores.

4. Resultados

• Reconstrucción (Tokenización):
  • LoST supera significativamente a los baselines LoD (OctGPT, VertexRegen) en métricas geométricas (Chamfer Distance) y semánticas (FID, similitud DINO).
  • Logra una reconstrucción de alta fidelidad con 512 tokens, mientras que los métodos basados en LoD requieren decenas de miles de tokens para resultados similares.
  • Incluso con 1-4 tokens, LoST genera formas semánticamente plausibles, algo imposible para los métodos LoD que producen andamios abstractos.
• Generación Autoregresiva:
  • El modelo LoST-GPT (entrenado con 128 tokens) supera a los modelos SOTA (ShapeLLM-Omni, OctGPT, Llama-Mesh) en métricas de generación (FID más bajo, mayor similitud DINO).
  • Eficiencia: Reduce drásticamente la carga computacional. Mientras otros modelos usan miles o decenas de miles de tokens, LoST-GPT opera con solo 128.
  • Flexibilidad: Permite la detención temprana (early stopping) en la inferencia; para formas simples, se pueden generar resultados completos con muy pocos tokens.
• Recuperación Semántica: Los tokens LoST, alineados mediante RIDA, permiten tareas de recuperación de formas basadas en semántica, superando a los enfoques puramente geométricos.

5. Significado e Impacto

• Cambio de Paradigma: El trabajo desafía la noción de que la jerarquía espacial (LoD) es la mejor forma de organizar tokens para la generación 3D. Propone que la jerarquía semántica es superior para los modelos autoregresivos.
• Eficiencia sin precedentes: Al reducir la cantidad de tokens necesarios en órdenes de magnitud, LoST hace viable la integración de modelos 3D generativos en sistemas multimodales grandes (MLLMs) y flujos de trabajo interactivos donde la latencia y el ancho de banda son críticos.
• Usabilidad de Prefijos: La capacidad de generar formas completas y plausibles a partir de prefijos cortos abre nuevas posibilidades para la edición interactiva, la búsqueda semántica y la generación condicional eficiente.
• Generalización: La metodología (especialmente RIDA) es agnóstica a la representación 3D subyacente (funciona con triplanos y latentes de TRELLIS), lo que sugiere una amplia aplicabilidad en el futuro de la generación 3D.

En conclusión, LoST establece un nuevo estado del arte en la tokenización 3D, resolviendo el problema de la ineficiencia y la falta de coherencia semántica en los modelos generativos actuales mediante una reorganización inteligente de los tokens basada en la importancia semántica.