Riepilogo Tecnico: HarmoGS: Splatting Gaussiano 3D Robusto in Ambienti Non Controllati tramite Armonizzazione dei Gradienti Consapevole dei Conflitti

1. Enunciato del Problema

Ricostruire rappresentazioni 3D affidabili da collezioni di immagini non vincolate "in ambienti reali" rimane una sfida significativa nella visione artificiale. Sebbene recenti progressi come lo Splatting Gaussiano 3D (3DGS) abbiano raggiunto un rendering in tempo reale di alta qualità, essi presuppongono tipicamente un'illuminazione coerente e contenuti della scena stabili. Negli scenari reali, le immagini di addestramento sono spesso corrotte da distrattori transitori (ad esempio, pedoni in movimento, veicoli) e da incoerenze nell'aspetto indotte dall'illuminazione tra diverse viste.

I metodi esistenti fanno principalmente affidamento su maschere a livello di immagine per sopprimere supervisioni inaffidabili. Tuttavia, gli autori identificano due limitazioni critiche in questo approccio:

1. Occlusioni Residue: Le maschere spesso non riescono a escludere completamente oggetti transitori complessi o semanticamente ambigui, lasciando rumore residuo.
2. Conflitti di Illuminazione: Le maschere non possono risolvere le incoerenze nell'illuminazione dipendenti dalla vista.

Questi problemi irrisolti portano a conflitti di gradienti tra viste. Quando si ottimizza una rappresentazione gaussiana condivisa utilizzando viste incoerenti, i gradienti indotti possono puntare in direzioni opposte (formando angoli ottusi). Ciò destabilizza il processo di ottimizzazione, causando artefatti di ricostruzione visibili e primitivi fluttuanti.

2. Metodologia

Gli autori propongono HarmoGS, un framework 3DGS consapevole dei conflitti che affronta queste problematiche attraverso una strategia di addestramento a doppia vista e tre componenti fondamentali:

A. Mascheratura Guidata dalla Coerenza Semantica

Per migliorare l'affidabilità della supervisione prima della formazione del gradiente, il metodo introduce una strategia di mascheramento adattiva che rifinisce le maschere precedenti:

• Maschera Precedente: Una maschera binaria ($M_{bin}$) viene generata utilizzando un SAM (Segment Anything Model) pre-addestrato per identificare potenziali regioni transitorie.
• Punteggio di Coerenza Appreso: Un predittore leggero ($f_\psi$), guidato da un backbone DINOv2 congelato, impara un punteggio di coerenza pixel per pixel ($S_i$) durante l'addestramento. Questo punteggio è derivato sia dai residui fotometrici che dalle discrepanze semantiche tra le immagini renderizzate e quelle reali (ground-truth).
• Rifinitura Adattiva: La maschera finale ($M_i$) combina la maschera binaria precedente e il punteggio di coerenza appreso. Sopprime adattivamente le regioni inaffidabili (distrattori transitori) correggendo al contempo gli errori nella maschera binaria iniziale, garantendo che solo evidenze immagini affidabili contribuiscano al calcolo della perdita.

B. Armonizzazione dei Gradienti Consapevole dei Conflitti

Riconoscendo che la mascheratura da sola non può eliminare tutti i conflitti di ottimizzazione, il framework impiega un approccio di addestramento a doppia vista. Ad ogni iterazione, vengono campionate due viste e i loro gradienti specifici ($g_1, g_2$) vengono calcolati.

• Rilevamento dei Conflitti: Un conflitto è identificato quando il prodotto scalare dei due gradienti è negativo ($g_1^\top g_2 < 0$), indicando un angolo ottuso ($\theta > \pi/2$).
• Rotazione Ortogonale: Per risolvere il conflitto, il metodo ruota entrambi i gradienti all'interno del sottospazio da essi generato ($V = \text{span}(g_1, g_2$) finché non diventano ortogonali ($\tilde{g}_1^\top \tilde{g}_2 = 0$).
  • La correzione angolare totale ($\theta - \pi/2$) viene distribuita tra i due gradienti utilizzando un parametro di allocazione $\rho$.
  • La rotazione preserva le magnitudini originali dei gradienti eliminando al contempo l'interferenza direzionale negativa.
• Combinazione Lineare: I gradienti armonizzati vengono sommati ed espressi come combinazione lineare dei gradienti originali ($\tilde{g} = \tau_1 g_1 + \tau_2 g_2$) utilizzando coefficienti derivati analiticamente.
• Attenuazione Geometrica: Per gli attributi geometrici (posizione, rotazione, scala), viene applicato un fattore di attenuazione aggiuntivo se vengono rilevati conflitti, per sopprimere ulteriormente gli artefatti.

C. Densificazione e Potatura Consapevoli dei Conflitti

Il framework estende gli aggiornamenti strutturali standard del 3DGS per essere consapevole dei conflitti tra viste:

• Densificazione: Invece di fare affidamento sulle statistiche di una singola vista, il metodo aggrega i gradienti nello spazio delle viste da entrambe le viste campionate, modulati dai coefficienti consapevoli dei conflitti derivati nel passaggio di armonizzazione. Ciò guida la crescita gaussiana utilizzando segnali più affidabili e riconciliati dai conflitti.
• Potatura: Il metodo traccia i conflitti tra viste per ogni gaussiana nel tempo. Se una gaussiana mostra costantemente punteggi di conflitto elevati (indicando instabilità persistente o artefatti fluttuanti), la sua opacità viene periodicamente decaduta. Ciò permette al processo di potatura standard di rimuovere naturalmente queste primitive instabili.

3. Contributi Chiave

1. Framework di Armonizzazione dei Gradienti Consapevole dei Conflitti: Una strategia di addestramento a doppia vista innovativa che riconcilia esplicitamente i conflitti di gradienti tra viste ruotandoli in una configurazione ortogonale. Ciò riduce gli aggiornamenti incompatibili causati da distrattori transitori e incoerenze di illuminazione.
2. Mascheratura Guidata dalla Coerenza Semantica: Un meccanismo di mascheramento adattivo che impara punteggi di coerenza pixel per pixel per rifinire le maschere binarie precedenti, sopprimendo efficacemente la supervisione inaffidabile prima della formazione del gradiente.
3. Aggiornamenti Strutturali Consapevoli dei Conflitti: L'introduzione di strategie di densificazione e potatura che utilizzano segnali consapevoli dei conflitti per stabilizzare la crescita gaussiana e rimuovere primitive in conflitto persistente.
4. Prestazioni all'Avanguardia: Esperimenti estesi dimostrano che il metodo raggiunge una qualità di rendering superiore e una fedeltà di ricostruzione nei benchmark standard "in ambienti reali" rispetto alle basi NeRF e 3DGS esistenti.

4. Risultati Sperimentali

Gli autori hanno valutato HarmoGS su tre ampiamente utilizzati benchmark "in ambienti reali": PhotoTourism, NeRF On-the-go e RobustNeRF.

• Prestazioni Quantitative: Il metodo ha costantemente superato le basi all'avanguardia (inclusi RobustNeRF, WildGaussian, SpotLessSplats e AsymGS) su tutte le metriche (PSNR, SSIM, LPIPS). Ad esempio, sul dataset NeRF On-the-go, HarmoGS ha raggiunto un PSNR di 24,67 in scene ad alta occlusione, superando il precedente migliore (AsymGS) con un margine significativo.
• Risultati Qualitativi: I confronti visivi hanno mostrato che HarmoGS ha soppresso efficacemente gli artefatti fluttuanti e prodotto rendering più puliti con dettagli della scena più fedeli, in particolare in scene con occlusioni transitorie complesse e variazioni di illuminazione.
• Studi di Ablazione:
  • La rimozione dell'impostazione a doppia vista o del componente di armonizzazione dei gradienti ha portato a un calo notevole di PSNR e SSIM, confermando la necessità della riconciliazione dei conflitti.
  • La combinazione del punteggio di coerenza appreso ($S_i$) e della maschera precedente binaria ($M_{bin}$) ha prodotto risultati migliori rispetto all'uso di uno solo dei due componenti, dimostrando la loro natura complementare.
  • La densificazione e la potatura consapevoli dei conflitti hanno portato a una rappresentazione gaussiana più compatta (meno punti) mantenendo al contempo una qualità superiore, indicando la rimozione di primitive instabili.

5. Significato e Affermazioni

Il documento afferma che HarmoGS fornisce una soluzione robusta per la ricostruzione 3D in ambienti non vincolati affrontando la causa radice dell'instabilità dell'ottimizzazione: i conflitti di gradienti tra viste.

• Oltre la Mascheratura: Il lavoro sottolinea che la mascheratura nello spazio delle immagini è insufficiente per il 3DGS "in ambienti reali". Operando a livello di gradiente, il metodo risolve conflitti che persistono anche dopo la mascheratura, portando a un'ottimizzazione più stabile.
• Ottimizzazione a Doppia Vista: Gli autori sostengono che considerare congiuntamente due viste permette il rilevamento e la riconciliazione esplicita dei conflitti, una capacità assente nelle pipeline di ottimizzazione standard a singola vista.
• Generalizzabilità: Il metodo è presentato come un framework generale compatibile con le implementazioni 3DGS esistenti (costruite su Mip-Splatting) che migliora significativamente la robustezza contro distrattori transitori e cambiamenti di illuminazione senza richiedere euristiche specifiche della scena complesse.

Gli autori concludono che il loro approccio abilita la sintesi di nuove viste ad alta fedeltà in scenari reali impegnativi, avanzando l'applicabilità dello Splatting Gaussiano 3D a collezioni di immagini non vincolate.