Two-View Accumulation as the Primary Training Lever for Hybrid-Capture Gaussian Splatting: A Variance-Decomposition View of When Gradient Surgery Helps

1. Enunciato del Problema

La Sintesi di Nuove Vedute (NVS) a Cattura Ibrida (Hybrid-Capture) comporta la ricostruzione di scene 3D utilizzando telecamere poste a distanze estremamente diverse (ad esempio, vedute stradali a livello del suolo rispetto a vedute aeree da drone).

• Il Conflitto: Lo standard 3D Gaussian Splatting (3DGS) fallisce in questi contesti perché ottimizza un singolo insieme di parametri Gaussiani utilizzando una singola perdita fotometrica media.
  • Le vedute vicine richiedono dettagli ad alta frequenza, texture nitide e geometria locale precisa.
  • Le vedute lontane richiedono un aspetto mediato spazialmente e una coerenza globale stabile.
• Il Modo di Fallimento: Quando queste vedute eterogenee vengono aggregate in un singolo aggiornamento del gradiente, il segnale di ottimizzazione diventa distorto verso il regime dominante (spesso le vedute lontane), causando al modello un eccessivo livellamento delle renderizzazioni aeree o il fallimento nel ricostruire i dettagli a livello stradale.
• Il Divario: Il 3DGS standard addestrato per 30K iterazioni sottostima il regime minoritario di 1–3 dB rispetto alle baseline con pari capacità computazionale sui benchmark a cattura ibrida.

2. Metodologia: CrossGrad-GS

Gli autori propongono CrossGrad-GS, un framework lato addestramento che modifica come i gradienti vengono aggregati senza alterare la rappresentazione Gaussiana sottostante, il rasterizzatore o le regole di controllo della densità.

Componenti Principali:

1. Accoppiamento Bilanciato per Altitudine:

   • Le telecamere di addestramento vengono suddivise in gruppi Vicini e Lontani in base alla distanza euclidea mediana dal centro della scena.
   • Ad ogni passo dell'ottimizzatore, il metodo campiona una veduta vicina e una veduta lontana.
   • I gradienti vengono calcolati separatamente per entrambe le vedute sui parametri Gaussiani condivisi.

2. Riconciliazione Simmetrica dei Gradienti (Chirurgia dei Gradienti):

   • Se i gradienti vicini e lontani sono allineati ($g_{near}^T g_{far} \geq 0$), vengono sommati normalmente.
   • Se sono in conflitto ($g_{near}^T g_{far} < 0$), il metodo applica una proiezione simmetrica per rimuovere la componente distruttiva di ciascun gradiente che si oppone all'altro:
     $$g'_{near} = g_{near} - \frac{g_{near}^T g_{far}}{\|g_{far}\|^2 + \epsilon} g_{far}$$
     $$g'_{far} = g_{far} - \frac{g_{near}^T g_{far}}{\|g_{near}\|^2 + \epsilon} g_{near}$$
   • L'aggiornamento finale utilizza la somma di questi gradienti riconciliati: $\theta \leftarrow \theta - \eta(g'_{near} + g'_{far})$.

3. Framework di Decomposizione della Varianza:

   • Gli autori derivano un framework teorico che scompone la varianza del gradiente in componenti entro-regime ($\sigma^2_w$) e tra-regimi ($\sigma^2_b$).
   • Insight Chiave: Dimostrano che la riduzione della varianza derivante dall'accoppiamento strutturato (Vicino+Lontano) rispetto all'accoppiamento casuale dipende dal rapporto $\sigma^2_b / \sigma^2_w$.
   • Risultato Empirico: Nel 3DGS a cattura ibrida, $\sigma^2_b \ll \sigma^2_w$. Ciò implica che la specifica regola di accoppiamento (strutturata vs casuale) conta meno del cambiamento strutturale di renderizzare due vedute per passo. Il beneficio principale deriva dal dimezzare la varianza dello stimatore del gradiente utilizzando due vedute, piuttosto che dall'operatore di proiezione geometrica specifico.

3. Contributi Chiave

1. Diagnosi del Conflitto di Gradiente: Il paper quantifica che il 33–83% dei tensori di parametri condivisi presenta prodotti scalari negativi (conflitto) tra vedute vicine e lontane durante l'addestramento, stabilendo questo come una proprietà misurabile della cattura ibrida.
2. Identificazione della Leva Primaria: Attraverso un'ablazione estensiva, gli autori dimostrano che il cambiamento strutturale di renderizzare due vedute per passo dell'ottimizzatore spiega l'80–100% del guadagno di prestazioni.
   • Sorprendentemente, la specifica regola di accoppiamento (Vicino/Lontano strutturata, casuale o attiva basata sulla disparità della perdita) produce risultati PSNR statisticamente indistinguibili su tutti i benchmark.
   • Questo contraddice l'intuizione secondo cui la chirurgia "consapevole della direzione" sia il motore principale; al contrario, la riduzione della varianza derivante dall'accumulo a due vedute è dominante.
3. Risultati Negativi e Caratterizzazione Onesta: Il paper riporta che molte tecniche sofisticate di chirurgia dei gradienti (GradNorm, CAGrad, MGDA, gating basato sulla confidenza, accoppiamento attivo) rientrano nella varianza dei semi di un semplice controllo a due vedute casuale. Questo delimita il confine di ciò che effettivamente fa la differenza per il 3DGS a cattura ibrida.
4. Trasferimento della Struttura Portante: Il metodo si dimostra complementare ai miglioramenti a livello di rappresentazione, trasferendo con successo i guadagni a Scaffold-GS e Pixel-GS.

4. Risultati Sperimentali

Il metodo è stato valutato su cinque benchmark a cattura ibrida: UC-GS (NYC/SF), MatrixCity e HorizonGS (Road/Park).

• Guadagni di Prestazioni:
  • CrossGrad-GS (backbone Vanilla) ha migliorato il PSNR di +1.01 dB (NYC), +2.51 dB (MatrixCity), +3.35 dB (Road) e +0.73 dB (Park) rispetto al 3DGS Vanilla standard da 30K.
  • Crucialmente, ha superato un 3DGS Vanilla con pari capacità computazionale (60K iterazioni) su NYC, MatrixCity e Road, dimostrando che il guadagno non è dovuto semplicemente alla visione di più vedute di addestramento, ma a un migliore bilanciamento dei gradienti.
• Insight dell'Ablazione:
  • Due Vedute vs Una Veduta: Passare da 1 veduta/passo a 2 vedute/passo ha colmato il divario rispetto alla baseline a 60K.
  • Regole di Accoppiamento: L'accoppiamento strutturato Vicino/Lontano, l'accoppiamento casuale e l'accoppiamento attivo hanno tutti performato entro la varianza dei semi.
  • Sensibilità al Raggruppamento: Il metodo si basa sul fatto che la divisione Vicino/Lontano corrisponda ai veri regimi visivi. Su UC-GS SF (layout anisotropo delle telecamere), la divisione radiale predefinita ha fallito, evidenziando che il raggruppamento è una scelta di modellazione critica, non un semplice dettaglio implementativo.
• Risultati Qualitativi: CrossGrad-GS ha recuperato con successo texture ad alta frequenza nelle vedute vicine mantenendo la coerenza globale nelle vedute lontane, mentre il 3DGS Vanilla collassava in una media sfocata o perdeva completamente un regime.

5. Significato e Conclusione

• Cambiamento di Paradigma: Il paper sfida il focus prevalente su operatori complessi di chirurgia dei gradienti (come CAGrad o PCGrad) per questo specifico problema. Sostiene che per il 3DGS a cattura ibrida, la riduzione della varianza ottenuta semplicemente elaborando due vedute per passo è il fattore dominante, rendendo le proiezioni complesse consapevoli della direzione largamente ridondanti (entro il rumore statistico).
• Impatto Pratico: Fornisce una ricetta di addestramento semplice e a basso sovraccarico (renderizza 2 vedute, somma i gradienti riconciliati) che aumenta significativamente le prestazioni su dataset difficili terra-aria senza richiedere nuove rappresentazioni Gaussiane o pesanti cambiamenti architetturali.
• Contributo Teorico: Il framework di decomposizione della varianza offre una nuova lente per comprendere quando la chirurgia dei gradienti è necessaria. Suggerisce che se la varianza tra-regimi è bassa rispetto alla varianza entro-regime, un semplice accumulo è sufficiente e la chirurgia complessa aggiunge poco valore.

In sintesi, il paper identifica che il fallimento della cattura ibrida è principalmente un problema di aggregazione dei gradienti lato addestramento risolto al meglio dall'accumulo a due vedute, con la specifica strategia di accoppiamento secondaria rispetto al cambiamento strutturale del ciclo di addestramento.