CustomTex: High-fidelity Indoor Scene Texturing via Multi-Reference Customization

Each language version is independently generated for its own context, not a direct translation.

Immagina di avere una casa in 3D, come un videogioco o un modello architettonico, ma che è completamente bianco e grigio, come un manichino di gesso non dipinto. Il tuo obiettivo è arredarla e decorarla: vuoi che il divano sembri di velluto rosso, che il tavolo sia di legno massello e che le pareti abbiano una carta da parati specifica.

Fino a oggi, farlo era un incubo. I metodi precedenti erano come dare istruzioni a un pittore che non ha mai visto la foto che vuoi: se gli dicevi "fai un divano rosso", lui ne faceva uno rosso, ma spesso il tessuto sembrava di plastica, le ombre erano sbagliate (come se fossero "cotte" nel colore) e non riusciva a capire che il divano doveva essere rosso e la poltrona blu.

CustomTex è la soluzione magica a questo problema. Ecco come funziona, usando delle analogie:

1. Il Problema: "Il Pittore che non vede le foto"

I vecchi metodi usavano solo parole (testo) per descrivere la stanza. È come chiedere a un cuoco: "Fammi un piatto italiano". Potrebbe fare la pasta, ma non sai se sarà fatta con pomodori freschi o in scatola, o se sarà piccante. Inoltre, spesso il risultato era sfocato o aveva ombre strane che non potevano essere cambiate dopo.

2. La Soluzione: CustomTex, il "Collage Intelligente"

CustomTex cambia le regole del gioco. Invece di usare solo parole, ti permette di mostrare foto reali di ciò che vuoi (un divano specifico, un tipo di legno preciso).

Immagina di avere un maestro restauratore molto speciale che lavora su due livelli contemporaneamente:

Livello 1: Il "Sognatore" (Distillazione Semantica)
Questo livello guarda le tue foto di riferimento e dice: "Ok, questo è un divano, quello è un tavolo". Si assicura che ogni oggetto nella stanza 3D assomigli esattamente all'oggetto nella tua foto. È come se il restauratore dicesse: "Non confondere il divano con la sedia; il divano deve avere quel preciso motivo a righe". Usa un trucco chiamato "attenzione incrociata" per assicurarsi che ogni pezzo del puzzle (ogni oggetto) prenda i colori e lo stile giusto dalla foto giusta.
Livello 2: Il "Raffinatore" (Distillazione a Livello Pixel)
Una volta che il "Sognatore" ha messo i colori giusti, il "Raffinatore" entra in scena. Il suo lavoro è prendere quel disegno e renderlo nitido e realistico. Immagina di prendere una foto sgranata e usare un filtro magico per renderla cristallina, aggiungendo i dettagli del tessuto, la venatura del legno e la lucentezza della pelle. Questo evita che la texture sembri "plasticosa" o sfocata.

3. Il Segreto: Non mescolare le carte

Il vero genio di CustomTex è che separa questi due compiti.

I vecchi metodi cercavano di fare tutto in una volta sola, e finivano per fare confusione (ombre sbagliate, dettagli sfocati).
CustomTex dice: "Prima assicuriamoci che il concetto sia giusto (questo è un divano), poi rendiamolo bellissimo (ecco la pelle vera)".

Inoltre, c'è un trucco contro le ombre "cotte". Spesso i computer dipingono le ombre direttamente sul colore (come se la luce fosse fissa per sempre). CustomTex invece impara a dipingere solo il materiale, lasciando che la luce della scena futura decida dove vanno le ombre. È come dipingere su una tela bianca invece che su una tela già illuminata: puoi spostare la luce dove vuoi dopo!

4. Il Risultato: Una casa su misura

Grazie a questo metodo, puoi prendere una stanza vuota e, mostrandogli le foto del tuo arredamento preferito, ottenere una texture 3D ad altissima risoluzione (fino a 4K, che è come un poster gigante) che:

Rispetta ogni singolo oggetto (il divano è diverso dalla sedia).
È nitidissimo (vedi i pori del legno).
Non ha ombre strane bloccate nel colore.
È pronto per essere usato in film, videogiochi o realtà virtuale.

In sintesi:
Se i vecchi metodi erano come dare a un bambino un foglio bianco e dire "disegna una casa carina", CustomTex è come dare a un architetto esperto le foto esatte dei mobili che vuoi, e lui ti restituisce una casa 3D perfettamente finita, dove ogni dettaglio è esattamente come lo hai immaginato, pronto per essere illuminato e vissuto.

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema

La creazione di texture 3D ad alta fedeltà e personalizzabili per scene interne è una sfida significativa nell'ambito della realtà virtuale, dell'architettura e della produzione cinematografica. Le attuali soluzioni presentano diverse limitazioni:

Mancanza di controllo istanza-specifico: I metodi basati su prompt testuali offrono flessibilità ma soffrono di ambiguità, rendendo difficile controllare attributi visivi fini (es. la trama specifica di un tessuto o il grano del legno) per singoli oggetti.
Qualità insufficiente e artefatti: Le texture generate spesso appaiono sfocate, prive di dettagli ad alta frequenza o presentano un'illuminazione "cotta" (baked-in shading), dove luci e ombre sono integrate nella texture stessa, rendendole inadatte a scenari di illuminazione diversi.
Limiti dei metodi basati su immagini: Anche i metodi che usano immagini di riferimento tendono a fornire un controllo globale e grossolano, fallendo nel mantenere la coerenza istanza-per-istanza in scene complesse con molti oggetti.

2. Metodologia: CustomTex

Il paper introduce CustomTex, un framework innovativo per la texturizzazione di scene 3D interne guidato da immagini di riferimento multi-istanza. L'obiettivo è generare una mappa di texture unificata ad alta risoluzione partendo da una scena 3D senza texture e un set di immagini di riferimento specifiche per ogni oggetto (es. divano, armadio, pareti).

L'architettura si basa su un approccio di doppia distillazione all'interno di un framework di ottimizzazione basato sulla Variational Score Distillation (VSD):

A. Rappresentazione della Texture

La texture $T(\theta)$ è rappresentata come un campo di texture implicito multi-risoluzione (derivato da Instant-NGP) che codifica le caratteristiche della texture a diverse scale nello spazio UV.

B. Distillazione a Livello Semantico (Semantic-level Distillation)

Questa fase garantisce la coerenza semantica e l'allineamento con le immagini di riferimento.

Utilizza un modello di diffusione depth-to-image pre-addestrato.
Introduce un meccanismo di Cross-Attention guidato dall'istanza (Instance Cross-Attention). Le immagini di riferimento vengono codificate in feature, e delle maschere di istanza ( $m_i$ ) vengono utilizzate per allineare specificamente le feature di ogni immagine di riferimento alla posizione corretta dell'oggetto nella mesh renderizzata.
Questo permette di trasferire lo stile e il contenuto semantico di ogni immagine di riferimento alla parte corrispondente della texture, gestendo le modalità multiple presenti nelle immagini di input.

C. Distillazione a Livello di Pixel (Pixel-level Distillation)

Questa fase si concentra sull'enhancement della fedeltà visiva e sulla riduzione degli artefatti.

Sfrutta un modello di Super-Risoluzione (SR) pre-addestrato (anch'esso basato su VSD).
A differenza di un semplice post-processing, la distillazione SR è integrata nel ciclo di ottimizzazione. Il gradiente della super-risoluzione viene combinato con il gradiente VSD semantico.
Questo approccio assicura che la texture finale non solo abbia la struttura corretta, ma anche dettagli ad alta frequenza nitidi, riducendo la sfocatura e l'illuminazione "cotta".

D. Strategia di Ottimizzazione

Il framework utilizza una strategia di ottimizzazione alternativa a due passi:

Si ottimizza la texture $T(\theta)$ mantenendo il modello LoRA (Low-Rank Adaptation) congelato.
Si aggiorna il modello LoRA per apprendere le prior dalle immagini di riferimento, mantenendo la texture congelata.
Questo ciclo si ripete per garantire che la texture apprenda sia la distribuzione semantica che i dettagli pixel-level.

3. Contributi Chiave

Framework di Generazione Flessibile: Un nuovo metodo che permette la personalizzazione a livello di istanza utilizzando multiple immagini di riferimento come prompt, superando i limiti dei prompt testuali.
Approccio a Doppia Distillazione: Una tecnica che separa e unisce efficacemente il controllo semantico (coerenza concettuale) e l'enhancement a livello di pixel (qualità visiva), preservando il contenuto semantico mentre si migliorano i dettagli.
VSD Guidato dall'Istanza: Un metodo di distillazione del punteggio che cattura le modalità multiple delle immagini di riferimento e risolve il problema dell'illuminazione "cotta" decomponendo la generazione globale in apparizioni locali di oggetti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset di scene 3D (3D-FRONT) confrontando CustomTex con metodi state-of-the-art (SOTA) come SceneTex, Paint3D, HY3D-2.1 e TEXture.

Risultati Quantitativi:
- Image-to-Texture: CustomTex ottiene i punteggi più alti in tutti i metrici (CLIP-I, CLIP-FID, Q-Align IQA/IAA), dimostrando una maggiore somiglianza distribuzionale con le immagini di riferimento e una qualità visiva superiore.
- Text-to-Texture: Anche quando i prompt testuali vengono convertiti in immagini di riferimento tramite GPT-4v, il metodo supera i competitor in fedeltà semantica e qualità dell'immagine.
Risultati Qualitativi:
- Le texture generate mostrano una coerenza istanza-per-istanza precisa (es. il divano ha la texture corretta rispetto all'immagine di riferimento, così come il tavolo).
- Riduzione significativa di sfocature, artefatti e ombre "cotte" rispetto ai metodi basati su testo o su singole immagini globali.
- Studio utente: I partecipanti hanno valutato CustomTex come superiore sia per qualità visiva che per coerenza con il prompt.
Ablation Study:
- L'uso della distillazione SR integrata (invece che come post-processing) è cruciale per la nitidezza.
- Il mascheramento a livello di feature (feature-level mask) è essenziale per la stabilità dell'illuminazione.
- L'input multi-riferimento è necessario per separare correttamente le istanze degli oggetti.

5. Significato e Impatto

Il lavoro di CustomTex stabilisce un percorso più diretto e user-friendly per l'editing dell'aspetto delle scene 3D.

Alta Fedeltà: Risolve il problema della qualità delle texture, fornendo dettagli nitidi adatti al rendering ad alta risoluzione.
Controllo Fine-Grained: Permette agli utenti di specificare esattamente come deve apparire ogni oggetto in una scena complessa, superando l'ambiguità dei prompt testuali.
Versatilità: Il metodo è in grado di gestire stili esagerati (es. Cyberpunk, Van Gogh) e si generalizza bene a layout complessi (cucine, uffici).
Limitazioni Future: Attualmente il processo di training è computazionalmente intensivo (circa 48 ore per 4K) e genera solo mappe di albedo diffuso, non includendo mappe di normali o ruvidità.

In sintesi, CustomTex rappresenta un avanzamento significativo nella texturizzazione 3D, spostando il paradigma da una generazione globale e ambigua a una personalizzazione precisa, istanza-specifica e ad alta fedeltà visiva.