LoST: Level of Semantics Tokenization for 3D Shapes

1. Il Problema

La tokenizzazione è fondamentale per la modellazione generativa, specialmente nei modelli autoregressivi (AR) che stanno emergendo come soluzione promettente per la generazione 3D. Tuttavia, il modo ottimale per tokenizzare le forme 3D rimane una questione aperta.
I metodi attuali (State-of-the-Art) si basano principalmente su gerarchie di Livello di Dettaglio Geometrico (LoD), come octree o mesh progressive, originariamente progettate per il rendering e la compressione. Questi approcci presentano limiti significativi per la modellazione AR:

• Inefficienza dei token: Richiedono un numero elevato di token anche per rappresentare la struttura di base di un oggetto, spingendo i modelli AR in un regime di alta perplessità e riducendo l'efficienza del campionamento.
• Mancanza di coerenza semantica: Le gerarchie spaziali tradizionali non garantiscono che i prefissi brevi (i primi token decodificati) producano forme plausibili. Spesso, le prime fasi di decodifica risultano in strutture geometriche troppo grezze o semanticamente incoerenti, rendendo inutilizzabile la generazione "any-prefix" (generazione basata su qualsiasi prefisso).

2. Metodologia: LoST (Level of Semantics Tokenization)

Gli autori propongono LoST, un nuovo schema di tokenizzazione che ordina i token in base alla salienza semantica piuttosto che alla risoluzione spaziale. L'obiettivo è che i primi prefissi della sequenza decodifichino forme complete e plausibili che catturano la semantica principale dell'oggetto, mentre i token successivi raffinino i dettagli geometrici e semantici specifici dell'istanza.

Componenti Chiave del Metodo:

1. Codifica con Token di Registro (Register Tokens):

   • Partendo da latenti 3D codificati da un VAE (in questo caso, un triplane da Direct3D), viene utilizzato un encoder basato su ViT (Vision Transformer).
   • Invece di riorganizzare direttamente i token spaziali, vengono introdotti dei token di registro ($T_R$), parametri apprendibili concatenati ai token del triplane. Questi token agiscono come un "bottleneck" informativo, riassumendo le caratteristiche spaziali in una sequenza 1D ordinata semanticamente.
   • Viene utilizzata la causal masking e il nested dropout (dropout nidificato) durante l'addestramento. Il nested dropout forza il modello a mettere le informazioni grezze (semantica principale) nei primi token, mentre i token successivi aggiungono dettagli fini.

2. Decodifica Generativa:

   • Poiché ricostruire una geometria precisa da pochi token è ambiguo, LoST utilizza un decodificatore generativo (un modello Diffusion-Transformer o DiT).
   • Il decoder ricostruisce l'intero segnale latente condizionato da un prefisso di lunghezza variabile dei token di registro. All'aumentare della lunghezza del prefisso, la generazione passa da una "plausibilità semantica" a una "ricostruzione ad alta fedeltà".

3. RIDA (Relational Inter-Distance Alignment):

   • Per insegnare al modello a ordinare i token semanticamente, è necessaria una supervisione semantica. Poiché non esistono etichette semantiche dirette per le forme 3D, gli autori introducono RIDA.
   • RIDA allinea lo spazio latente 3D (triplane) con lo spazio semantico di DINO (un encoder visivo 2D addestrato su immagini), utilizzando una distillazione di conoscenza relazionale.
   • Invece di regredire direttamente le feature DINO (che fallirebbe a causa delle differenze di modalità 3D/2D), RIDA allinea le distanze relative tra i campioni nello spazio latente 3D con le distanze semantiche nello spazio DINO.
   • La loss RIDA è composta da tre parti:
     • Contrasto Relazionale Globale: Allinea gli embedding globali.
     • Distillazione del Ranking Inter-istanza: Preserva la struttura continua delle relazioni (rank) tra gli oggetti.
     • Distillazione della Struttura Spaziale: Preserva le affinità tra i token all'interno della stessa istanza.

4. LoST-GPT:

   • Per la generazione autoregressiva, viene addestrato un modello Transformer stile GPT sui token LoST continui (senza quantizzazione).
   • Utilizza una funzione di perdita di diffusione (diffusion loss) per la previsione del token successivo nello spazio continuo, permettendo una generazione efficiente e di alta qualità.

3. Contributi Chiave

• Introduzione di LoST: Un nuovo paradigma di tokenizzazione che ordina i token per salienza semantica, permettendo la decodifica di forme complete e riconoscibili anche con pochi token (prefissi brevi).
• Loss RIDA: Un nuovo obiettivo di allineamento semantico 3D calcolato direttamente nello spazio latente del triplane, che aggira la necessità di rendering costosi o supervisione semantica diretta, allineando la topologia relazionale 3D a quella di DINO.
• Efficienza e Qualità: Un modello AR addestrato su LoST raggiunge prestazioni SOTA utilizzando solo 0.1% - 10% dei token necessari dai modelli precedenti, mantenendo un'alta fedeltà geometrica e semantica.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset sintetizzati (300k forme) e valutati su un set di test non visto (1k forme complesse).

• Ricostruzione: LoST supera significativamente i baselines basati su LoD (OctGPT e VertexRegen) sia nelle metriche geometriche (Chamfer Distance) che semantiche (FID, Similarità DINO).
  • Con soli 1-4 token, LoST genera forme semanticamente plausibili, mentre i metodi LoD producono strutture astratte o inutilizzabili.
  • A parità di qualità, LoST richiede ordini di grandezza di token in meno (es. 128 token contro 50.000+ di OctGPT).
• Generazione Autoregressiva (AR):
  • Il modello LoST-GPT ottiene il miglior FID (34.251) e la massima similarità semantica DINO (0.758) tra tutti i modelli confrontati (ShapeLLM-Omni, OctGPT, Llama-Mesh), pur utilizzando solo 128 token.
  • La generazione è "any-prefix": è possibile fermare la generazione anticipatamente per oggetti semplici, ottenendo comunque un risultato coerente.
• Recupero Semantico (Shape Retrieval):
  • Grazie a RIDA, lo spazio latente 3D è riorganizzato semanticamente. Gli esperimenti di recupero mostrano che LoST supera di gran lunga i baselines geometrici e la regressione diretta nel trovare forme semanticamente simili (es. un sottomarino a forma di pesce viene recuperato correttamente in base alla forma, non solo alla geometria).

5. Significato e Impatto

Il lavoro di LoST rappresenta un cambio di paradigma nella tokenizzazione 3D:

• Superamento del LoD Geometrico: Dimostra che l'ordinamento spaziale (dal grezzo al fine) è subottimale per i modelli AR, mentre l'ordinamento semantico è superiore per la coerenza e l'efficienza.
• Integrazione con LLM: La capacità di generare forme complete con pochissimi token rende i modelli 3D AR molto più compatibili con i Large Language Models (LLM) multimodali, riducendo il costo computazionale e migliorando la fluidità dell'interazione testo-immagine-3D.
• Generalizzabilità: Sebbene testato su latenti triplane, l'approccio è agnostico rispetto alla rappresentazione 3D (dimostrato anche su latenti TRELLIS) e può essere esteso ad altre rappresentazioni come Gaussian Splatting.

In sintesi, LoST risolve il problema della "coerenza semantica precoce" nella generazione 3D, permettendo di creare modelli generativi più efficienti, controllabili e capaci di comprendere la semantica degli oggetti fin dai primi passi della generazione.