OP2GS: Object-Aware 3D Gaussian Splatting with Dual-Opacity Primitives

Riepilogo Tecnico di OP2GS: Primitive Gaussiane 3D Consapevoli degli Oggetti tramite Opacità Duale

1. Enunciato del Problema

Lo Splatting Gaussiano 3D (3DGS) offre una rappresentazione esplicita ed efficiente per la ricostruzione di scene reali, ma manca di un'identità intrinseca a livello di oggetto. Le sue primitive sono definite da geometria, colore e opacità, rendendole inadatte a compiti a valle come la comprensione di scene a vocabolario aperto senza modifiche. Gli approcci esistenti tentano di iniettare informazioni a livello di oggetto attraverso due vie principali, entrambe caratterizzate da limitazioni significative:

• Metodi basati su caratteristiche: Questi distillano embedding di caratteristiche ad alta dimensionalità (ad esempio da CLIP) nelle Gaussiane. Sebbene efficaci, comportano un elevato sovraccarico di archiviazione e decodifica e possono soffrire di incoerenza tra diverse viste dopo la composizione alfa.
• Metodi di sollevamento delle maschere: Questi proiettano maschere di oggetti 2D (ad esempio da SAM) nel campo gaussiano 3D tramite euristiche come il voto di maggioranza o il filtraggio dei pesi di rendering. Una modalità di fallimento critica qui è la contaminazione delle etichette. Poiché il 3DGS utilizza primitive morbide e semi-trasparenti, le Gaussiane "galleggianti" (spesso artefatti della densificazione) o le Gaussiane in regioni scure con bassa opacità complessiva possono dominare il peso di rendering lungo un raggio. Di conseguenza, queste galleggianti possono ricevere erroneamente etichette di oggetti, contaminando la maschera di segmentazione. Una volta che una Gaussiana è etichettata erroneamente, i metodi standard non possono sopprimere il suo contributo alla maschera dell'oggetto senza degradare anche la ricostruzione dell'aspetto visivo, poiché entrambi dipendono da un singolo campo di opacità.

2. Metodologia: OP2GS

Gli autori propongono OP2GS, una rappresentazione consapevole degli oggetti che disaccoppia la ricostruzione visiva dall'occupazione dell'istanza utilizzando una formulazione a doppia opacità.

Rappresentazione:
Ogni primitiva gaussiana è arricchita con due parametri scalari aggiuntivi:

1. Opacità dell'Istanza ($\sigma^*$): Un campo di opacità dedicato per il rendering della maschera dell'oggetto, che funge da campo di occupazione dell'istanza 1D.
2. Etichetta Scalare ($l$): Un ID intero dell'oggetto assegnato durante l'inizializzazione.

A differenza dei metodi precedenti che attaccano vettori di caratteristiche ad alta dimensionalità a ogni Gaussiana, OP2GS utilizza un'etichetta scalare compatta e un singolo scalare $\sigma^*$.

Pipeline di Addestramento:
Il metodo impiega una strategia di addestramento in due fasi:

• Fase 1 (3DGS Standard): Viene addestrato un modello 3DGS standard fino a quando la densificazione non si stabilizza.
• Fase 2 (Apprendimento dell'Istanza):
  • Inizializzazione: Vengono generate maschere di istanza coerenti con la vista utilizzando SAM2. I centri delle Gaussiane vengono proiettati sulle viste di addestramento e le etichette ($l$) vengono assegnate tramite voto di maggioranza.
  • Rendering a Doppia Opacità: Il processo di rendering viene suddiviso. L'opacità originale $\sigma$ gestisce la ricostruzione della radianza (colore), mentre $\sigma^*$ gestisce l'occupazione dell'istanza. Per un oggetto specifico $j$, la mappa di istanza renderizzata $S_j(v)$ viene calcolata accumulando $\alpha^*_i = \sigma^*_i G^2D_i(v)$ per le Gaussiane appartenenti all'oggetto $j$, utilizzando la stessa trasmittanza $T_i$ del ramo del colore.
  • Perdita di Oggetto Casuale ($L_{obj}$): Per ottimizzare $\sigma^*$, viene introdotta una perdita di oggetto casuale. In ogni iterazione, viene campionata un sottoinsieme di oggetti. Per un oggetto campionato $j$, viene calcolata una perdita di entropia incrociata tra la mappa di istanza renderizzata $S_j(v)$ e una maschera binaria di pseudo-etichetta $B_j$. Questo incoraggia le Gaussiane appartenenti all'oggetto ad aumentare il loro $\sigma^*$, sopprimendo al contempo il $\sigma^*$ delle Gaussiane etichettate erroneamente (galleggianti) verso zero.
  • Percorsi di Gradiente: I gradienti dalla perdita di ricostruzione dell'immagine ($L_{rgb}$) aggiornano l'opacità originale $\sigma$, il colore $c$ e la geometria. I gradienti da $L_{obj}$ aggiornano l'opacità dell'istanza $\sigma^*$ e la geometria. Ciò permette al modello di imparare a rendere le Gaussiane etichettate erroneamente "trasparenti" nel ramo della maschera, mantenendole "visibili" nel ramo del colore per preservare la fedeltà della scena.

Segmentazione a Vocabolario Aperto:
Invece di memorizzare caratteristiche linguistiche per Gaussiana, OP2GS esegue Aggregazione di Embedding di Oggetti:

1. Il campo di occupazione dell'istanza appreso viene sottoposto a soglia per creare maschere binarie di oggetti nelle viste selezionate.
2. Queste maschere agiscono come "cancelli geometrici" per ritagliare le regioni degli oggetti dalle immagini originali.
3. Vengono estratte le caratteristiche CLIP da queste regioni ritagliate e mediate su più viste per produrre un singolo descrittore semantico per oggetto.
4. Le query a vocabolario aperto vengono eseguite confrontando gli embedding di testo con questi descrittori di oggetti aggregati.

3. Contributi Chiave

• Rappresentazione a Doppia Opacità: L'introduzione di un'opacità dell'istanza $\sigma^*$ disaccoppia l'esistenza visiva dall'occupazione dell'istanza. Ciò permette al sistema di sopprimere le Gaussiane etichettate erroneamente nelle maschere di oggetti senza compromettere la ricostruzione fotorealistica della scena.
• Apprendimento dell'Istanza Consapevole della Visibilità: La proposta perdita di oggetto casuale ottimizza il campo di occupazione dell'istanza utilizzando i meccanismi di trasmittanza standard del 3DGS. Ciò risolve efficacemente la contaminazione delle etichette causata da galleggianti e sollevamento ambiguo delle maschere, imparando a azzerare l'opacità dell'istanza delle assegnazioni errate.
• Segmentazione a Vocabolario Aperto Compatta: Evitando l'archiviazione e la decodifica di caratteristiche per Gaussiana, OP2GS raggiunge un'accuratezza competitiva con un sovraccarico computazionale significativamente ridotto, consentendo velocità di inferenza di 121 FPS.

4. Risultati Sperimentali

Il metodo è stato valutato su benchmark a vocabolario aperto, in particolare i dataset 3DOVS e LERF-Mask.

• Accuratezza: Sul dataset 3DOVS, OP2GS ha raggiunto un mIoU medio del 97.1%, superando il miglior risultato precedente (ObjectGS al 96.4%). Sul dataset LERF-Mask, ha raggiunto un mIoU del 92.3% sulla scena "figurine" e del 91.0% su "ramen", superando i metodi precedenti nella maggior parte dei casi.
• Efficienza: OP2GS ha dimostrato una velocità di inferenza superiore rispetto ai metodi basati su caratteristiche. Con soli 2 byte di dati aggiuntivi per Gaussiana (per l'etichetta e $\sigma^*$), ha raggiunto 121.7 FPS, significativamente più veloce di Gaussian Grouping (43.6 FPS) e ObjectGS (78.6 FPS).
• Studi di Ablazione: Gli esperimenti hanno confermato che la formulazione a doppia opacità è cruciale; una linea di base che utilizza solo etichette votate a maggioranza e rendering standard dell'opacità ha prodotto un mIoU significativamente inferiore (ad esempio, 76.1% contro 97.1% su 3DOVS), dimostrando che l'apprendimento di $\sigma^*$ è essenziale per la separazione stabile degli oggetti tra le viste.

5. Significato e Affermazioni

Il documento afferma che OP2GS fornisce una rappresentazione compatta e robusta consapevole degli oggetti che affronta con successo il compromesso tra accuratezza ed efficienza nella comprensione delle scene 3D. Ridefinendo la primitiva gaussiana per includere un campo di occupazione dell'istanza dedicato, il metodo risolve il problema della "contaminazione delle etichette" intrinseco nel sollevamento diretto delle maschere. Gli autori sottolineano che questo approccio sfrutta l'apprendimento dell'occupazione fisicamente coerente del 3DGS per gestire le ambiguità di visibilità (come i galleggianti) con cui i metodi euristici di sollevamento faticano, mantenendo al contempo una footprint parametrica leggera adatta a dispositivi edge e applicazioni interattive. Il lavoro dimostra che il ragionamento esplicito a livello di oggetto nel 3DGS non richiede pesanti campi di caratteristiche, ma piuttosto un disaccoppiamento strutturale tra proprietà dell'aspetto e proprietà dell'istanza.