VecSet-Edit: Unleashing Pre-trained LRM for Mesh Editing from Single Image

1. Enunciato del Problema

Sebbene la generazione automatizzata di asset 3D abbia fatto rapidi progressi, l'editing localizzato di mesh 3D rimane un collo di bottiglia significativo. Gli approcci esistenti presentano diverse limitazioni:

• Problemi di Rappresentazione: La maggior parte dei metodi opera su rappresentazioni intermedie come 3D Gaussian Splatting (3DGS) o Neural Radiance Fields (NeRF), che mancano della topologia esplicita richiesta per l'animazione e la simulazione fisica.
• Risoluzione e Fedeltà: I metodi di editing basati su voxel (ad es. VoxHammer) soffrono di risoluzione limitata e costi computazionali elevati a granularità fini.
• Onere di Supervisione: Le attuali tecniche di editing delle mesh richiedono spesso maschere 3D o box di delimitazione laboriosi per definire le regioni di modifica, ostacolando la scalabilità.
• Preservazione dell'Identità: Rigenerare asset basati su prompt testuali o immagini altera spesso l'identità dell'oggetto originale o degrada i dettagli fini nelle regioni non modificate.

Gli autori propongono una soluzione che abilita l'editing localizzato e senza addestramento di mesh 3D, guidato esclusivamente da una singola immagine 2D e una maschera binaria 2D, sfruttando modelli di ricostruzione su larga scala (LRM) ad alta fedeltà basati su VecSet.

2. Metodologia

Il framework proposto, VecSet-Edit, opera direttamente nello spazio latente di un LRM VecSet pre-addestrato (specificamente TripoSG). La pipeline è composta da quattro componenti principali:

A. Analisi delle Proprietà Geometriche VecSet

Gli autori osservano che, sebbene i token VecSet siano non ordinati, essi esibiscono località spaziale. Un sottoinsieme di token corrisponde coerentemente a specifiche regioni geometriche della mesh. Ciò permette di riformulare il problema di editing come un problema di selezione dei token: identificare un sottoinsieme di token ($V_E$) responsabili della regione di modifica, preservando il resto ($V_P$).

B. Selezione dei Token (Localizzazione)

Per mappare una maschera di immagine 2D ai corretti token 3D senza supervisione 3D, il metodo impiega un processo di selezione in due fasi:

1. Inizializzazione dei Token Guidata dalla Maschera:
   • Utilizza le mappe di cross-attention tra i token VecSet e le caratteristiche dell'immagine 2D.
   • Aggrega i punteggi di attenzione sulla regione mascherata nell'immagine di input.
   • Filtra i livelli basandosi sulla divergenza KL per selezionare solo i livelli di attenzione più informativi, identificando un insieme grezzo di token di partenza ($V_I$) allineati con la maschera 2D.
2. Gating dei Token Allineato all'Attention:
   • Espande l'insieme di partenza utilizzando le mappe di self-attention all'interno del VecSet DiT (Diffusion Transformer).
   • Poiché la self-attention cattura la vicinanza geometrica e l'adiacenza topologica, questo passo recupera i token fortemente accoppiati all'insieme di partenza, garantendo che la regione selezionata sia spazialmente coerente e copra l'intera struttura 3D dell'oggetto target.

C. Framework VecSet-Edit (Diffusione e Potatura)

Una volta identificato il sottoinsieme di token modificabili ($V_E$), il framework esegue una diffusione vincolata:

• VecSet RePaint: Adatta la strategia RePaint allo spazio dei token latenti. I token modificabili ($V_E$) vengono iterativamente denoizzati guidati dall'immagine modificata target ($I_E$), mentre i token preservati ($V_P$) sono vincolati a seguire la loro traiettoria di diffusione originale per mantenere l'identità.
• Potatura dei Token Consapevole della Deriva: Un'innovazione critica per gestire la mobilità spaziale dei token VecSet. Durante le prime fasi di denoising, i token modificabili possono "derivare" in regioni che dovrebbero rimanere preservate, causando sovrapposizioni geometriche. Il metodo interviene a uno specifico timestep ($T_{pruning}$) per:
  • Identificare i token che sono derivati nella regione preservata ($V_{conflict}$).
  • Rimuovere questi token conflittuali a meno che non siano strettamente necessari per la modifica (supportati dalla condizione dell'immagine target).
  • Ciò garantisce confini puliti e previene artefatti geometrici.

D. Cottura delle Texture con Preservazione dei Dettagli

Per aggiornare le texture senza sfocare i dettagli originali:

• Il metodo calcola una maschera di differenza geometrica tra la mesh sorgente e quella modificata.
• Utilizza un MV-Adapter (Multi-View Adapter) per generare texture multi-vista.
• Crucialmente, la generazione della texture è limitata esclusivamente alle regioni in cui la geometria è cambiata. Questo approccio di "in-painting" garantisce che i dettagli ad alta frequenza nelle regioni non modificate siano perfettamente preservati dalla mesh originale.

3. Contributi Chiave

1. Primo Editing di Mesh VecSet Senza Addestramento: Introduce il primo framework per eseguire editing localizzato di mesh 3D direttamente nello spazio latente di un LRM VecSet ad alta fedeltà, evitando i colli di bottiglia di risoluzione dei metodi basati su voxel.
2. Nuovi Meccanismi di Selezione dei Token: Propone Inizializzazione dei Token Guidata dalla Maschera e Gating dei Token Allineato all'Attention per localizzare con precisione le regioni di modifica utilizzando esclusivamente supervisione 2D, risolvendo la sfida di mappare maschere 2D su token 3D non ordinati.
3. Potatura dei Token Consapevole della Deriva: Una strategia unica per rimuovere outlier geometrici durante il processo di diffusione, garantendo coerenza strutturale e prevenendo il "sangue" (bleeding) delle modifiche nelle aree preservate.
4. Cottura delle Texture con Preservazione dei Dettagli: Un modulo di sintesi delle texture che aggiorna solo la geometria modificata, mantenendo l'aspetto ad alta frequenza dell'asset originale nelle regioni non modificate.

4. Risultati Sperimentali

Il metodo è stato valutato sul dataset Edit3D-Bench (300 campioni) e confrontato con metodi SOTA come VoxHammer, Trellis, MVEdit e Instant3DiT.

• Qualità di Preservazione: VecSet-Edit ha ottenuto la minima Distanza di Chamfer (CD) (0.011) tra tutti i metodi di editing, superando significativamente VoxHammer (0.018) e Trellis (0.014). Ciò indica una preservazione superiore della geometria non modificata.
• Metriche Visive: Ha ottenuto PSNR (29.63) e SSIM (0.97) all'avanguardia nelle regioni non modificate, dimostrando alta fedeltà.
• Efficienza: Il metodo è circa 2 volte più veloce di Trellis e VoxHammer (circa 200s vs 600s) grazie all'efficienza del backbone VecSet.
• Studio Utenti: In uno studio con 12 professionisti 3D, VecSet-Edit ha ricevuto il 59.17% dei voti per "Preservazione della Regione" e il 58.33% per "Allineamento alla Condizione", superando significativamente tutte le baseline.
• Risultati Qualitativi: I confronti visivi mostrano che VecSet-Edit gestisce con successo topologie complesse (ad es. mani, ventole) e preserva dettagli intricati che altri metodi spesso distorcono o perdono.

5. Significato

VecSet-Edit colma il divario tra modelli generativi 3D e flussi di lavoro produttivi controllabili. Abilitando un editing preciso e localizzato di mesh esplicite utilizzando solo una singola immagine e una maschera 2D, elimina la necessità di costose annotazioni 3D e maschere 3D manuali. La capacità di preservare l'identità dell'asset e i dettagli fini mentre si modificano regioni specifiche rende questo approccio altamente prezioso per industrie come il gaming, l'animazione e la realtà virtuale, dove gli asset generati richiedono spesso raffinamenti prima dell'uso. Il lavoro stabilisce anche un nuovo paradigma per la manipolazione di rappresentazioni latenti non ordinate nei modelli di diffusione.