Riepilogo Tecnico: NeuMesh++

Definizione del Problema

Sebbene le tecniche di rendering neurale implicito (ad esempio, NeRF) abbiano ottenuto un successo significativo nella sintesi di nuove viste e nella ricostruzione di scene 3D grazie alla loro alta qualità di rendering, esse risultano carenti nei flussi di lavoro di modellazione e modifica 3D. I metodi di rendering neurale esistenti per l'editing sono limitati a trasformazioni rigide o operazioni specifiche per categoria. Essi mancano della precisione e della flessibilità richieste dagli artisti, i quali preferiscono flussi di lavoro basati su mesh (ad esempio, in Blender o Maya) che consentano la deformazione geometrica non rigida, l'editing fine delle texture (scambio, riempimento, pittura) e la manipolazione semantica. Inoltre, i metodi esistenti spesso richiedono estese annotazioni manuali per l'editing fine e faticano con la distinguibilità spaziale locale (ad esempio, distinguere i punti all'interno rispetto all'esterno di una faccia della mesh) quando utilizzano una semplice interpolazione dei vertici della mesh.

Metodologia

Gli autori propongono NeuMesh++, una nuova rappresentazione di radianza neurale basata su mesh che codifica il campo neurale implicito su uno scaffold di mesh. Questo approccio colma il divario tra il rendering neurale volumetrico e la modellazione tradizionale basata su mesh.

Rappresentazione Core

La scena è decomposta in un insieme di campi di radianza locali, vincolati ai vertici. Ogni vertice $v$ sullo scaffold della mesh memorizza quattro parametri distinti apprendibili:

1. Codice Geometrico ($l_g$): Codifica la geometria locale.
2. Codice Texture ($l_t$): Codifica l'aspetto locale.
3. Codice Semantico ($l_s$): Codifica gli attributi semantici.
4. Colore di Modifica ($c_m$): Un attributo colore indipendente dalla vista e privo di decoder, per migliorare la fedeltà dell'editing della texture.

Pipeline di Rendering

Per un punto di query $x$ lungo un raggio della telecamera:

1. Parametrizzazione dello Spazio Locale: Il sistema identifica $K$ vertici della mesh più vicini. Invece di utilizzare coordinate globali, proietta $x$ sulla normale di ogni vicino per calcolare un indicatore locale $h_k = (p_k, w_k)$, dove $p_k$ è la distanza di proiezione e $w_k$ è la distanza inversa normalizzata. Questo affronta il problema della distinguibilità spaziale (interno/esterno della superficie) senza richiedere campi di distanza con segno (SDF).
2. Decoding: I decoder di geometria e radianza ($F_G, F_R$) prendono come input i codici locali e gli indicatori per predire la densità $\sigma_k$ e il colore $c_k$ per ogni vicino. Il colore finale include il colore di modifica: $c_k = F_R(l_t^k, h_k, d, n_k) + c_m^k$.
3. Post-Interpolazione: Una strategia di interpolazione spaziale fonde i contributi dei vertici vicini per ottenere la densità $\sigma$ e il colore $c$ finale nel punto $x$. Ciò crea un "campo di radianza locale" attorno a ciascun vertice, agnostico rispetto alla topologia della mesh (incluse le mesh non watertight).

Capacità di Editing

La natura disgiunta della rappresentazione abilita diverse funzionalità di editing:

• Editing Geometrico Guidato dalla Mesh: Poiché il campo di radianza è allineato alla mesh, deformare i vertici della mesh (ad esempio, tramite ARAP o simulazione fisica) deforma direttamente l'oggetto renderizzato senza necessità di ri-addestramento.
• Scambio di Texture (Texture Swapping): Allineando le mesh sorgente e target (usando Umeyama e ARAP), i codici texture e i colori di modifica vengono trasferiti tra i vertici in base alla prossimità euclidea.
• Riempimento di Texture (Texture Filling): Utilizza un approccio basato su tile nello spazio UV per ripetere le texture template da un modello pre-catturato su una regione target.
• Pittura di Texture (Texture Painting): Gli utenti dipingono su una vista 2D. Una strategia di ottimizzazione consapevole dello spazio identifica i colori di modifica influenzati tramite raggi di sonda e perfeziona solo questi colori specifici, evitando l'overfitting su una singola vista e preservando gli effetti dipendenti dalla vista.
• Editing Guidato dalla Semantica: I codici semantici sono distillati da segmentazioni 2D a vocabolario aperto (ad esempio, DINO, SAM). Un meccanismo di propagazione trasferisce il click dell'utente da una maschera semantica 2D a una 3D, permettendo la selezione della regione e l'editing con un singolo click.

Contributi Chiave

1. Nuova Rappresentazione Basata su Mesh: Un campo di radianza neurale codificato sui vertici della mesh con codici disgiunti di geometria, texture e semantica, che consente una perfetta integrazione con i flussi di lavoro basati su mesh.
2. Miglioramenti Tecnici per Stabilità e Fedeltà:
   • Parametrizzazione dello Spazio Locale: Un nuovo metodo che utilizza indicatori locali e post-interpolazione per stabilizzare l'addestramento senza un modello teacher pre-addestrato e migliorare la distinguibilità spaziale.
   • Colore di Modifica Apprendibile: Un parametro colore indipendente dalla vista su ogni vertice che migliora la fedeltà dell'editing della texture, in particolare per i colori al di fuori dello spettro appreso dal decoder.
   • Ottimizzazione Consapevole dello Spazio: Una strategia per la pittura delle texture che perfeziona selettivamente i colori di modifica per mantenere la coerenza tra le viste.
3. Propagazione Semantica: Un meccanismo per aggregare i priori semantici 2D nei codici dei vertici 3D, consentendo una selezione della regione senza sforzo tramite interazione con un singolo click.
   4.Efficienza: Il metodo raggiunge un rendering in tempo reale (circa 15 fps) e un editing veloce (secondi per le operazioni di geometria/texture) utilizzando codici latenti compatti e campionamento guidato dall'occupanza.

Risultati

Sono stati condotti estesi esperimenti su dataset del mondo reale (DTU) e sintetici (NeRF 360°).

• Qualità di Rendering: NeuMesh++ supera altri metodi di rendering neurale editabile (NeuTex, NeuManifold, BakedSDF, NeuMesh) in termini di PSNR, SSIM e LPIPS. Raggiunge una qualità paragonabile ai metodi allo stato dell'arte non editabili come Neuralangelo e DVGO, offrendo al contempo capacità di editing superiori.
• Prestazioni di Editing:
  • Geometria: Ha dimostrato con successo deformazioni non rigide e simulazioni fisiche (ad esempio, sedie che rimbalzano, piante che oscillano) senza fine-tuning.
  • Texture: Ha mostrato una superiore conservazione dei dettagli nello scambio e nel riempimento delle texture rispetto a NeuMesh, che spesso produceva risultati sfocati o distorti. Il colore di modifica ha permesso una pittura ad alta fedeltà di nuovi colori (ad esempio, verdi insaturi) che il decoder standard non era in grado di generare.
  • Semantica: Ha abilitato con successo la selezione di regioni 3D ed l'editing tramite un singolo click 2D.
• Efficienza: Il metodo renderizza immagini 800x800 a circa 15 fps, significativamente più veloce di Neuralangelo (28s) e NeuMesh (99s). Le operazioni di editing (deformazione geometrica, scambio/riempimento texture, pittura) richiedono circa 1-2 secondi.

Significato

Il paper sostiene che NeuMesh++ riesce a rompere la barriera tra il rendering neurale volumetrico e la modellazione 3D tradizionale basata su mesh. Codificando i campi neurali su uno scaffold di mesh con codici disgiunti, fornisce un insieme versatile di funzionalità di editing (deformazione geometrica, scambio/riempimento/pittura di texture e editing semantico) che sono sia efficienti che ad alta fedeltà. Il metodo elimina la necessità di estese annotazioni manuali per l'editing semantico e evita i problemi di convergenza sub-ottimali dei precedenti campi impliciti basati su mesh, rimuovendo la dipendenza da modelli teacher pre-addestrati. Gli autori sottolineano come questo approccio fornisca un flusso di lavoro pratico e amichevole per l'artista per l'editing di scene neurali implicite.