M2StyleGS: Multi-Modality 3D Style Transfer with Gaussian Splatting

1. Il Problema

I metodi tradizionali di trasferimento stilistico 3D si basano su un'immagine di riferimento fissa per applicare pattern artistici alle scene 3D. Tuttavia, nelle applicazioni pratiche come la Realtà Virtuale (VR) e la Realtà Aumentata (AR), gli utenti richiedono input più flessibili, inclusi descrizioni testuali e immagini diversificate.
Le limitazioni principali degli approcci esistenti (come ConRF) includono:

• Allineamento approssimativo: La mappatura diretta delle caratteristiche CLIP (testo-immagine) allo spazio delle caratteristiche VGG (stile) è spesso imprecisa a causa della distribuzione ambigua e multivariata delle feature CLIP.
• Artefatti visivi: Questo allineamento grezzo porta a colori anomali, texture sfocate e incoerenze tra l'immagine di stile e la descrizione testuale.
• Mancanza di supporto multimodale: Molti metodi sono limitati all'input di immagini, senza supportare efficacemente il testo come guida stilistica.

2. Metodologia

Il lavoro propone M2StyleGS, una tecnica di stilizzazione in tempo reale che utilizza il 3D Gaussian Splatting (3DGS) come rappresentazione della scena 3D e conoscenze multimodali raffinate da CLIP come riferimento stilistico.

A. Rappresentazione e Trasferimento di Base

La scena 3D è rappresentata come un insieme di primitive Gaussiane. L'obiettivo è modificare i colori ($c_n$) di ciascuna gaussiana mantenendo invariata la geometria ($l_n, \Sigma_n, \delta_n$).
Il processo di trasferimento utilizza:

1. Un encoder CLIP per estrarre feature dall'immagine o dal testo di stile.
2. Una rete VGG pre-addestrata per estrarre le feature stilistiche di riferimento.
3. Un modulo AdaIN (Adaptive Instance Normalization) per trasferire le statistiche di stile (media e deviazione standard) dalle feature di riferimento ai colori delle gaussiane.

B. Subdivisive Flow (Flusso Sottodiviso)

Per risolvere il problema dell'allineamento approssimativo tra lo spazio delle feature CLIP e quello VGG, gli autori introducono una strategia di allineamento basata su un'Equazione Differenziale Ordinaria (ODE).

• Invece di una mappatura diretta, il metodo modella il flusso dalle feature sorgente (CLIP) a quelle target (VGG) come un percorso continuo nel tempo $t \in [0,1]$.
• Viene utilizzato un metodo di Eulero per simulare questo flusso in passi discreti (sottodivisioni).
• Il flusso viene segmentato in più round ($r$), dove ogni round utilizza l'output del precedente come nuovo punto di partenza, affinando progressivamente l'allineamento delle feature intermedie. Questo garantisce che la distribuzione delle feature intermedie sia coerente con lo spazio VGG, eliminando i colori anomali.

C. Funzioni di Perdita Ausiliarie

Per migliorare la qualità visiva e la coerenza multi-vista, vengono introdotti due nuovi termini di perdita:

1. Observation Loss ($L_{obs}$): Utilizza un modello di trasferimento stilistico 2D pre-addestrato come "priori osservativo". Confronta l'immagine stilizzata 3D generata con un'immagine stilizzata 2D autentica (sintetizzata dallo stesso modello) per allineare la distribuzione dei colori globali.
2. Suppression Loss ($L_{sup}$): Utilizza un discriminatore multi-scala per sopprimere le informazioni di colore fuorvianti durante il processo di decodifica, correggendo gli offset nella distribuzione del colore a livello di scena.

3. Contributi Chiave

1. Analisi delle cause degli errori: Identificazione che i colori anomali e le texture sfocate nei lavori precedenti derivano da una distribuzione delle feature disallineata e da un trasferimento di dominio stilistico approssimativo.
2. Metodo di allineamento ODE (Subdivisive Flow): Proposta di un metodo di matching del flusso che utilizza funzioni ODE per allineare con precisione le feature coppie testo-visive CLIP allo spazio delle feature VGG, incorporando tutte le feature intermedie generate durante l'allineamento.
3. Nuove funzioni di perdita: Introduzione di Observation Loss e Suppression Loss per regolarizzare il processo di trasferimento su tutta la scena 3D, migliorando la coerenza tra le diverse viste.
4. Integrazione Multimodale con 3DGS: Primo approccio, a conoscenza degli autori, a implementare la stilizzazione di scene arbitrarie usando input multimodali (testo o immagine) basandosi su 3DGS per il rendering in tempo reale.

4. Risultati

Gli esperimenti sono stati condotti sui dataset LLFF e Tanks & Temples, confrontando M2StyleGS con metodi SOTA (State-of-the-Art) come ConRF, StyleRF, StyleGaussian e CLIPNeRF.

• Qualità Visiva: M2StyleGS produce risultati più nitidi e con colori più fedeli rispetto ai metodi basati su NeRF (che tendono a essere sfocati) e a StyleGaussian (che ha un allineamento di colore grossolano).
• Coerenza Multi-Vista:
  • Rispetto a ConRF, M2StyleGS riduce l'LPIPS (percezione della differenza) del 32,92% per la coerenza a breve raggio nelle guide basate su immagini.
  • Supera significativamente tutti i metodi basati su testo (come CLIPStyler e CLIPNeRF) nel mantenere la coerenza strutturale e cromatica tra le diverse angolazioni.
• Studi di Ablazione: La rimozione del Subdivisive Flow o delle funzioni di perdita ausiliarie ($L_{obs}$, $L_{sup}$) porta a un aumento significativo degli errori (RMSE e LPIPS) e a una degradazione della qualità visiva, confermando l'efficacia di ciascun componente.

5. Significato e Impatto

M2StyleGS rappresenta un passo avanti significativo nel campo della grafica computerizzata 3D e della realtà aumentata/virtuale.

• Flessibilità: Permette agli utenti di definire lo stile di una scena 3D non solo tramite immagini, ma anche tramite descrizioni testuali, rendendo l'interazione più naturale.
• Efficienza: Sfruttando il 3D Gaussian Splatting, il metodo mantiene le prestazioni di rendering in tempo reale, cruciali per le applicazioni interattive.
• Qualità: Risolve i problemi cronici di incoerenza cromatica e sfocatura tipici dei metodi di trasferimento stilistico 3D precedenti, offrendo un nuovo standard per la generazione di contenuti artistici 3D di alta qualità.

In sintesi, il lavoro dimostra che è possibile unire la potenza espressiva dei modelli multimodali (CLIP) con l'efficienza del rendering 3D (3DGS) attraverso un'attenta ingegnerizzazione dell'allineamento delle feature e della regolarizzazione della perdita.