Voxify3D: Pixel Art Meets Volumetric Rendering

1. Enunciato del Problema

Il paper affronta la sfida di convertire automaticamente mesh 3D in arte voxel stilizzata. Sebbene l'arte voxel sia popolare nei videogiochi e nei media digitali, crearla manualmente è laborioso. I metodi automatizzati esistenti soffrono di tre limitazioni principali:

• Astrazione Geometrica vs. Preservazione Semantica: Il semplice downsampling perde caratteristiche semantiche critiche (ad esempio, dettagli facciali), mentre i campi radianti neurali (NeRF) si concentrano sul fotorealismo piuttosto che sull'astrazione discreta e a blocchi.
• Distorsione Prospettica: La stilizzazione neurale standard utilizza la proiezione prospettica, che causa un disallineamento tra pixel e voxel, risultando in gradienti sfocati e apparizioni incoerenti tra le diverse viste.
• Ottimizzazione Discreta: L'arte voxel richiede una piccola tavolozza di colori discreta (2–8 colori). I metodi basati su gradienti standard producono valori RGB continui, e le tecniche di quantizzazione esistenti mancano di differenziabilità o di controllo dell'utente sull'estrazione della tavolozza.

2. Metodologia: Voxify3D

Gli autori propongono Voxify3D, un framework differenziabile in due fasi che colma il divario tra l'ottimizzazione della mesh 3D e la supervisione dell'arte pixel 2D. La pipeline è composta da:

Fase 1: Inizializzazione della Griglia Voxel Grezza

• Base: Adatta DVGO (Direct Voxel Grid Optimization), che utilizza griglie esplicite di densità e colore invece di MLP per un addestramento più rapido.
• Processo: Il bounding box della mesh 3D viene partizionato in una griglia voxel. Il sistema ottimizza densità e colori RGB utilizzando perdite standard di rendering volumetrico (MSE) per stabilire una base geometrica e cromatica.

Fase 2: Affinamento dell'Arte Pixel Ortografico

Questa fase rifinisce la griglia grezza per raggiungere l'estetica specifica dell'arte voxel utilizzando tre innovazioni fondamentali:

1. Supervisione dell'Arte Pixel Ortografico:

   • Invece del rendering prospettico, il metodo rende sei viste ortografiche (frontale, posteriore, sinistra, destra, superiore, inferiore).
   • Perché: La proiezione ortografica garantisce raggi paralleli, eliminando la distorsione prospettica. Ciò consente un preciso allineamento pixel-voxel, assicurando che la supervisione dell'arte pixel 2D mappi direttamente sulla griglia voxel 3D senza sfocature.
   • Perdite: Include MSE per il colore, perdita di profondità per la preservazione geometrica e perdita alfa per imporre la trasparenza dello sfondo.

2. Perdita Semantica CLIP basata su Patch:

   • Per prevenire il "collasso semantico" (dove dettagli come occhi o orecchie scompaiono durante un downsampling estremo), il metodo calcola una perdita CLIP su patch casuali delle immagini renderizzate confrontate con le patch della mesh di input.
   • Ciò garantisce che l'output voxelizzato mantenga l'identità semantica dell'oggetto originale anche a basse risoluzioni (20×–50×).

3. Quantizzazione Differenziabile Vincolata alla Tavolozza (Gumbel-Softmax):

   • Meccanismo: Invece di regressare valori RGB continui, ogni voxel memorizza un vettore logit che rappresenta le probabilità su una tavolozza di colori predefinita.
   • Differenziabilità: Utilizza Gumbel-Softmax per campionare colori discreti durante l'addestramento. Un parametro di temperatura ($\tau$) viene ricotto da alto (esplorazione morbida) a basso (selezione discreta rigida).
   • Controllo della Tavolozza: Gli utenti possono scegliere il numero di colori (2–8) e la strategia di estrazione (K-means, Max-Min, Median Cut, Simulated Annealing) per definire la tavolozza prima dell'ottimizzazione.

3. Contributi Chiave

• Supervisione dell'Arte Pixel Ortografico: Il primo framework a collegare l'arte pixel 2D con l'ottimizzazione voxel 3D eliminando il disallineamento prospettico, abilitando un flusso di gradiente preciso per la stilizzazione discreta.
• Preservazione Semantica Adattiva alla Risoluzione: Una formulazione CLIP basata su patch che mantiene l'identità dell'oggetto sotto una discretizzazione estrema (20×–50×), risolvendo il problema del collasso semantico dove le perdite percettive standard falliscono.
• Quantizzazione Differenziabile Vincolata alla Tavolozza: Una pipeline end-to-end che integra Gumbel-Softmax con strategie flessibili di estrazione della tavolozza, consentendo spazi di colori discreti controllabili (2–8 colori) mantenendo la differenziabilità per l'ottimizzazione.

4. Risultati Sperimentali

Il metodo è stato valutato su mesh di personaggi diversificate (dataset Rodin, Unique3D, TRELLIS) e confrontato con baseline come IN2N, Vox-E, Blender Geometry Nodes e un'estensione "Pixel Art to 3D".

• Prestazioni Quantitative:
  • Ha ottenuto il punteggio CLIP-IQA più alto (37.12) tra tutti i metodi, indicando un allineamento semantico superiore e fedeltà nella stilizzazione.
  • Preferenza Utente: In uno studio con 72 partecipanti, Voxify3D è stato preferito per il 77,90% in termini di astrazione, per l'80,36% in termini di appeal visivo e per il 96,55% in termini di preservazione geometrica rispetto alle baseline.
• Risultati Qualitativi:
  • Preserva con successo le caratteristiche chiave (orecchie, occhi, arti) con bordi netti, mentre le baseline producono spesso risultati sfocati, grezzi o semanticamente incoerenti.
  • Dimostra flessibilità nel controllo della risoluzione (da 20× a 50×) e del numero di colori (da 2 a 8).
• Studi di Ablazione:
  • Rimuovere la Fase 1 porta a forme distorte.
  • Rimuovere la Proiezione Ortografica causa un grave disallineamento dei colori.
  • Rimuovere Gumbel-Softmax risulta in colori misti, non discreti, privi di confini chiari.
  • Rimuovere la Perdita CLIP porta alla perdita di chiarezza semantica.

5. Significato e Applicazioni

• Astrazione Controllabile: Voxify3D offre un controllo senza precedenti sul livello di astrazione e sulla ricchezza cromatica, rendendolo adatto a vari stili artistici.
• Potenziale di Fabbricazione: La struttura discreta e la tavolozza limitata rendono gli output direttamente applicabili alla fabbricazione fisica, come assemblaggi in stile LEGO (dimostrato nel paper).
• Efficienza: La pipeline in due fasi è significativamente più veloce della creazione manuale di arte voxel e funziona efficientemente su una singola GPU (~20 minuti per modello).
• Direzioni Future: Gli autori suggeriscono che il lavoro futuro potrebbe concentrarsi su risoluzioni voxel adattive per gestire forme altamente intricate e sull'integrazione di vincoli consapevoli dell'assemblaggio per la costruzione fisica.

In sintesi, Voxify3D risolve con successo il difficile problema di convertire mesh 3D in arte voxel di alta qualità e semanticamente coerente, combinando rendering ortografico, guida semantica e ottimizzazione discreta differenziabile.