Order Matters: 3D Shape Generation from Sequential VR Sketches

1. Il Problema

La creazione di contenuti 3D di alta qualità è fondamentale per l'architettura e il design industriale, ma gli strumenti CAD tradizionali (come Blender) hanno una curva di apprendimento ripida e sono ottimizzati per la precisione piuttosto che per l'ideazione rapida. Sebbene i modelli generativi basati sul testo abbiano fatto progressi, il linguaggio naturale rimane troppo ambiguo per specificare geometrie complesse.

Il disegno in realtà virtuale (VR) offre un'alternativa più intuitiva e immersiva, permettendo di disegnare direttamente nello spazio 3D. Tuttavia, l'attuale ricerca sulla generazione di forme 3D da schizzi VR affronta tre sfide principali:

1. Scarsità di dati: Mancano dataset pubblici su larga scala di coppie schizzo-forma VR.
2. Disallineamento geometrico: Gli schizzi umani contengono imprecisioni spaziali che complicano l'addestramento e la valutazione.
3. Perdita di informazioni temporali: I metodi esistenti trattano gli schizzi VR come nuvole di punti non ordinate, ignorando l'ordine temporale dei tratti (stroke) e dei punti. Questo ordine, tuttavia, codifica informazioni cruciali su connettività, struttura e intento del design.

2. Metodologia

Gli autori propongono VRSKETCH2SHAPE, un framework end-to-end che genera forme 3D ad alta fedeltà da schizzi VR sequenziali, modellando lo schizzo come una sequenza ordinata di tratti, dove ogni tratto è una sequenza ordinata di punti 3D.

A. Pipeline di Generazione di Schizzi Sintetici

Per superare la scarsità di dati, è stato sviluppato un pipeline automatico e learning-free per generare schizzi VR sequenziali da mesh 3D arbitrarie:

1. Campionamento: Campionamento uniforme dei punti sulla superficie della mesh.
2. Estrazione di punti salienti: Utilizzo di Sharp Edge Sampling (SES) e di una soglia di curvatura per isolare spigoli, angoli e buchi.
3. Recupero dei tratti: Adattamento di spline di Bézier ai punti salienti per formare tratti candidati, seguiti da fusione e semplificazione.
4. Ordinamento: I tratti vengono ordinati tramite una traversata in profondità (DFS) su un grafo di connettività basato sulla vicinanza spaziale, introducendo una leggera stocasticità per simulare variazioni umane.

B. Raccolta Dati Reali

È stato creato un dataset reale di 900 schizzi VR su 4 categorie (sedie, tavoli, armadi, aerei) utilizzando un'interfaccia Unity con un meccanismo di surface-snapping (aggancio alla superficie). Questo riduce l'ambiguità di profondità, proiettando i punti disegnati sulla mesh di riferimento, garantendo un allineamento geometrico preciso.

C. Modello di Generazione (VRSKETCH2SHAPE)

Il modello combina un codificatore di schizzi order-aware con un generatore basato su diffusione:

1. Codificatore di Schizzi (Order-Aware Encoder):
   • Basato su un'architettura BERT modificata.
   • Tokenizzazione: Lo schizzo è tokenizzato come una sequenza di punti, con token speciali SEP (fine tratto) e EoS (fine schizzo).
   • Embedding:
     • Spaziale: I punti 3D sono codificati tramite Fourier features (per catturare dettagli geometrici ad alta frequenza).
     • Sequenziale: Vengono utilizzati embedding posizionali sinusoidali per l'indice del tratto e l'indice del punto all'interno del tratto.
   • L'encoder apprende le dipendenze temporali e strutturali della sequenza di disegno.
2. Generatore di Forma (Diffusion-Based):
   • Utilizza SDFUSION, un modello di diffusione latente per la generazione di forme 3D.
   • L'output dell'encoder BERT condiziona il processo di denoising del modello di diffusione.
   • La forma finale è rappresentata come una Signed Distance Function (SDF) e decodificata in mesh tramite Marching Cubes.

3. Contributi Chiave

1. Pipeline Sintetica Automatizzata: Un metodo scalabile per generare oltre 20.000 coppie schizzo-forma VR sintetiche, eliminando la necessità di costosi dataset manuali per l'addestramento iniziale.
2. Dataset VRSKETCH2SHAPE: Il primo dataset open-source multi-categoria contenente sia schizzi sintetici (20k+) che reali (900), tutti con ordine di tratti e punti preservato.
3. Modello Order-Aware: Un approccio che tratta esplicitamente gli schizzi come sequenze temporali, superando i limiti dei metodi basati su nuvole di punti non ordinate.
4. Generalizzazione Sintetico-Reale: Il modello dimostra una capacità eccezionale di generalizzare dagli schizzi sintetici a quelli reali con minimo o nessun fine-tuning.

4. Risultati

Il modello è stato valutato su dataset pubblici (3DVRChair) e sul nuovo dataset VRSKETCH2SHAPE:

• Prestazioni Quantitative: Supera i metodi precedenti (incluso Luo et al. e LAS-Diffusion) con margini significativi. Ad esempio, sul dataset VRSKETCH2SHAPE, riduce la Chamfer Distance (CD) a 4.8 (rispetto a 13.0 del metodo di confronto) e migliora l'F-score fino a 69.8.
• Adattamento Few-Shot: Anche con solo 50 schizzi reali per categoria per il fine-tuning, il modello raggiunge prestazioni quasi ottimali.
• Zero-Shot: Funziona bene anche senza fine-tuning su dati reali, dimostrando la robustezza dei dati sintetici generati.
• Schizzi Parziali e Completamento: Il modello mantiene stabilità e accuratezza anche quando riceve solo una frazione dello schizzo (es. 25-50% dei tratti), permettendo il completamento della forma 3D.
• Schizzi Free-Hand: Il modello generalizza bene a schizzi disegnati senza riferimento alla mesh, mantenendo coerenza strutturale e fedeltà all'intento dell'utente.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti fondamentale nel campo della progettazione 3D assistita da AI:

• Validazione dell'Ordine Temporale: Dimostra sperimentalmente che l'ordine dei tratti non è un rumore, ma un segnale strutturale essenziale per la comprensione della geometria e dell'intento del design.
• Riduzione del Costo dei Dati: La pipeline sintetica automatizzata offre una soluzione scalabile al problema della scarsità di dati annotati per compiti 3D complessi.
• Flussi di Lavoro Interattivi: La capacità di generare forme dettagliate da schizzi parziali o incompleti apre la strada a nuovi flussi di lavoro interattivi in VR, dove gli utenti possono iterare rapidamente sulle idee senza dover completare ogni dettaglio geometrico manualmente.
• Open Source: La pubblicazione completa di dataset, modelli e codice favorisce la riproducibilità e l'ulteriore sviluppo nella ricerca sulla generazione 3D.

In sintesi, VRSKETCH2SHAPE stabilisce un nuovo standard per la generazione di forme 3D da schizzi, dimostrando che modellare esplicitamente la sequenza temporale del disegno è la chiave per ottenere geometrie fedeli, strutturalmente accurate e semanticamente coerenti.