CLONE: A 3DGS-Based Closed-Loop Differentiable Optimization Framework for Single-Image Normal Estimation

Sintesi Tecnica: CLONE – Un framework di ottimizzazione differenziabile a ciclo chiuso basato su 3DGS

Definizione del Problema
La stima delle normali di superficie da una singola immagine è un problema geometrico intrinsecamente mal posto, poiché l'inferenza della struttura 3D da un'osservazione 2D ammette molteplici soluzioni plausibili. Gli approcci esistenti soffrono di limitazioni fondamentali:

• I metodi discriminativi si affidano pesantemente a etichette di normali dense e costose (ground-truth) e mancano di una modellazione geometrica intrinseca, portando a una scarsa generalizzazione sotto variazioni di distribuzione.
• I metodi generativi (ad esempio, i modelli di diffusione) sfruttano forti prior di distribuzione ma spesso mancano di variabili geometriche esplicite e di percorsi stabili e differenziabili per propagare gli errori dallo spazio dell'immagine alla geometria 3D.
• I metodi geometrici espliciti (ad esempio, varianti di 3D Gaussian Splatting) forniscono un rendering differenziabile ma spesso non riescono a formulare la stima delle normali come un problema di ottimizzazione a ciclo chiuso in contesti a singola vista, mancando di vincoli sufficienti per determinare univocamente la geometria senza supervisione multi-vista.

La sfida centrale è l'assenza di un meccanismo di ottimizzazione differenziabile unificato che imponga simultaneamente i vincoli di ambiguità della soluzione e la coerenza geometrica senza richiedere etichette di normali ground-truth.

Metodologia
Gli autori propongono CLONE (Closed-Loop differentiable Optimization framework for single-image Normal Estimation), che riformula la stima delle normali da un compito di regressione diretta a un problema di ottimizzazione geometrica guidato dalla coerenza di riproiezione. Il framework opera senza supervisione delle normali a livello di pixel, utilizzando solo coppie immagine-modello 3D.

1. Rappresentazione Esplicita basata su 3DGS e Normali Analitiche:
   La scena è parametrizzata utilizzando il 3D Gaussian Splatting (3DGS). A differenza del 3DGS standard utilizzato per la ricostruzione del colore, CLONE deriva esplicitamente le normali di superficie analiticamente tramite la decomposizione in autovettori della matrice di covarianza Gaussiana ($\Sigma = U\Lambda U^\top$). L'autovettore corrispondente al valore proprio più piccolo definisce la normale superficiale locale. Ciò fornisce un percorso continuo e differenziabile dai parametri geometrici 3D all'orientamento della superficie.

2. Illuminazione Differenziabile e Riprojezione:
   Per colmare il divario tra geometria 3D e osservazioni 2D senza etichette di normali, gli autori introducono un modello di illuminazione differenziabile. Formulano una mappatura continua tra normali superficiali e radianza dell'immagine utilizzando un kernel di modulazione della luce apprendibile (un kernel oscillatorio con un inviluppo Gaussiano). Ciò consente al modello di simulare come le variazioni geometriche locali influenzino l'intensità dei pixel. Una perdita di riproiezione ($L_{photo}$) viene calcolata tra l'immagine renderizzata (generata miscelando i contributi Gaussiani) e l'immagine di input, consentendo ai gradienti di fluire direttamente dagli errori nello spazio dell'immagine verso i parametri geometrici 3D.

3. Raffinamento Ispirato alla Diffusione Condizionale:
   Per affrontare l'eccessivo smoothing (smussamento) inerente alle primitive Gaussiane, viene impiegato un network deterministico a un solo step ispirato alla diffusione. Invece di un processo generativo multi-step che tronca i gradienti, questo modulo agisce come un operatore di raffinamento residuo condizionato dal rumore. Esso riceve le normali 3DGS iniziali, inietta rumore a un passo fisso e utilizza una U-Net per predire una mappa delle normali raffinata. Questo preserva il bias strutturale induttivo dei modelli di diffusione mantenendo al contempo la differenziabilità end-to-end.

4. Fusione tramite Gating Cross-Domain:
   Un meccanismo di gating coordina la coerenza geometrica globale del ramo 3DGS e il recupero dei dettagli ad alta frequenza del ramo di diffusione.

• A livello di Feature: Le feature geometriche (da 3DGS) e le feature di texture (dall'encoder di diffusione) vengono allineate e fuse tramite un meccanismo di gating guidato dall'attenzione adattiva.
• A livello di Output: Un peso di gating spazialmente adattivo ($g$) fonde la normale geometrica iniziale ($n_{3dgs}$) e la normale raffinata ($n_{diff}$). La normale fusa finale è $n_{fuse} = \text{stopgrad}(g) \odot n_{3dgs} + (1 - \text{stopgrad}(g)) \odot n_{diff}$. Ciò assicura che la perdita fotometrica supervisioni entrambi i rami senza causare conflitti di gradiente.

5. Obiettivo di Ottimizzazione Unificato:
   Il sistema è ottimizzato end-to-end utilizzando una funzione di perdita composita:

• Perdita Fotometrica ($L_{photo}$): Garantisce la coerenza della ricostruzione dell'immagine.
• Regolarizzazione della Scala ($L_{scale}$): Vincola gli autovalori Gaussiani per prevenire forme degenerate.
• Coerenza delle Normali ($L_{normal}$): Incoraggia la normale raffinata a rimanere vicina alla normale geometrica nelle regioni in cui il peso di gating favorisce il prior geometrico.
• Regolarizzazione Direzionale ($L_{dir}$): Allinea le direzioni principali apprendibili con le normali geometriche.

Contributi Chiave

• Cambio di Paradigma: Il paper riformula la stima delle normali da singola immagine come un problema di ottimizzazione differenziabile a ciclo chiuso, eliminando la necessità di etichette di normali ground-truth utilizzando gli errori di riproiezione come segnale di supervisione primario.
• Modellazione Analitica delle Normali: Propone un metodo per derivare le normali analiticamente dalla covarianza Gaussiana 3D, ottimizzando in uno spazio geometrico continuo piuttosto che fare affidamento esclusivamente sulla regressione di feature 2D.
• Raffinamento Differenziabile: Un network deterministico a un solo step ispirato alla diffusione è progettato per migliorare i dettagli ad alta frequenza senza i problemi di troncamento del gradiente associati al campionamento della diffusione multi-step.
• Pipeline Unificata: L'integrazione della parametrizzazione 3DGS, del rendering differenziabile e del raffinamento della diffusione condizionale crea un flusso di gradiente stabile, alleviando efficacemente la natura mal posta del problema.

Risultati Sperimentali
Il metodo è stato valutato su tre benchmark: Google Scanned Objects (GSO), Omniobject3D e Wonder3D, utilizzando solo coppie RGB-modello 3D per l'addestramento (senza etichette di normali).

• Performance Quantitative: CLONE raggiunge prestazioni allo stato dell'arte, superando sia i metodi discriminativi supervisionati che i baseline di ricostruzione 3D generativa. Raggiunge un Errore Angolare Medio (MAE) di 13,2°, superando il secondo miglior metodo (Wonder3D++) dello 0,3°. Guida inoltre nel Median Angle Error (MedAE) e nell'accuratezza a soglie rigorose (ad esempio, 63,2% di accuratezza a <11,25°).
• Analisi Qualitativa: I confronti visivi mostrano che CLONE recupera efficacemente i dettagli geometrici fini (ad esempio, tasti di una tastiera, venature di una foglia, pattern di piume) e mantiene normali coerenti su strutture sottili e giunzioni complesse, dove i baseline soffrono di eccessivo smoothing, artefatti o silhouette interrotte.
• Robustezza: Il metodo dimostra una robustezza superiore rispetto ai cambiamenti di rumore in ingresso, variazioni di illuminazione e cambiamenti di viewpoint rispetto ai baseline, grazie ai suoi vincoli geometrici 3D espliciti.
• Studi di Ablazione: La rimozione di uno qualsiasi dei componenti core (inizializzazione 3DGS, allineamento cross-domain, fusione tramite gating, raffinamento tramite diffusione) porta a un significativo degrado delle prestazioni, confermando la necessità del design a ciclo chiuso.

Significatività e Rivendicazioni
Gli autori affermano che CLONE offre un nuovo paradigma per la stima delle normali da singola immagine che è indipendente dalle costose annotazioni delle normali. Sfruttando coppie immagine-modello 3D su larga scala e un framework di ottimizzazione differenziabile a ciclo chiuso, il metodo trasforma il compito da una mappatura affamata di dati a un compito di ottimizzazione centrato sulla geometria. Il paper asserisce che questo approccio affronta con successo l'ill-posedness del problema convertendo direttamente gli errori a livello di immagine in segnali di ottimizzazione per la geometria 3D, raggiungendo prestazioni comparabili o superiori ai baseline completamente supervisionati senza richiedere alcuna etichetta di normali. Ciò valida il potenziale della rappresentazione 3D esplicita combinata con il rendering differenziabile per l'apprendimento di geometria 3D con bassa necessità di annotazione.