Two-View Accumulation as the Primary Training Lever for Hybrid-Capture Gaussian Splatting: A Variance-Decomposition View of When Gradient Surgery Helps

1. Probleemstelling

Hybrid-Capture Novel View Synthesis (NVS) omvat het reconstrueren van 3D-scènes met camera's op sterk verschillende afstanden (bijvoorbeeld straatopnames op grondniveau versus luchtopnames van drones).

• Het Conflict: Standaard 3D Gaussian Splatting (3DGS) faalt in deze situaties omdat het één set Gaussische parameters optimaliseert met behulp van één gemiddelde fotometrische verliesfunctie.
  • Dichtbijzijnde weergaven vereisen details op hoge frequentie, scherpe texturen en precieze lokale geometrie.
  • Ver weg gelegen weergaven vereisen ruimtelijk gemiddelde verschijning en stabiele globale consistentie.
• De Faalmodus: Wanneer deze heterogene weergaven worden samengevoegd tot één gradiëntupdate, wordt het optimalisatiesignaal bevooroordeeld ten gunste van het dominante regime (vaak de ver weg gelegen weergaven), waardoor het model ofwel luchtopnames te veel verwast ofwel details op straatniveau niet kan reconstrueren.
• Het Gat: Standaard 3DGS getraind voor 30K iteraties onderpast het minderheidsregime met 1–3 dB in vergelijking met compute-gematchte baselines op hybrid-capture benchmarks.

2. Methodologie: CrossGrad-GS

De auteurs stellen CrossGrad-GS voor, een trainingsframework dat hoe gradiënten worden samengevoegd aanpast, zonder de onderliggende Gaussische representatie, de rasterizer of de regels voor dichtheidscontrole te wijzigen.

Kerncomponenten:

1. Altitude-gebalanceerde View Pairing:

   • Trainingscamera's worden opgesplitst in Near (dichtbij) en Far (ver) groepen op basis van de mediaan Euclidische afstand tot het centrum van de scène.
   • Bij elke optimalisator-stap samplet de methode één dichtbijzijnde weergave en één ver weg gelegen weergave.
   • Gradiënten worden afzonderlijk berekend voor beide weergaven op de gedeelde Gaussische parameters.

2. Symmetrische Gradiëntverzoening (Gradient Surgery):

   • Als de dichtbij- en ver-gradiënten uitgelijnd zijn ($g_{near}^T g_{far} \geq 0$), worden ze normaal opgeteld.
   • Als ze conflicteren ($g_{near}^T g_{far} < 0$), past de methode een symmetrische projectie toe om het destructieve component van elke gradiënt te verwijderen dat de andere tegenwerkt:
     $$g'_{near} = g_{near} - \frac{g_{near}^T g_{far}}{\|g_{far}\|^2 + \epsilon} g_{far}$$
     $$g'_{far} = g_{far} - \frac{g_{near}^T g_{far}}{\|g_{near}\|^2 + \epsilon} g_{near}$$
   • De uiteindelijke update gebruikt de som van deze verzoende gradiënten: $\theta \leftarrow \theta - \eta(g'_{near} + g'_{far})$.

3. Variance-Decomposition Framework:

   • De auteurs leiden een theoretisch kader af dat gradiëntvariatie decomposeert in within-regime ($\sigma^2_w$) en between-regime ($\sigma^2_b$) componenten.
   • Kerninzicht: Ze bewijzen dat de variatiereductie door gestructureerde pairing (Near+Far) versus willekeurige pairing afhangt van de verhouding $\sigma^2_b / \sigma^2_w$.
   • Empirische Bevinding: In hybrid-capture 3DGS geldt $\sigma^2_b \ll \sigma^2_w$. Dit impliceert dat de specifieke pairingregel (gestructureerd versus willekeurig) minder belangrijk is dan de structurele verandering van het renderen van twee weergaven per stap. Het primaire voordeel komt voort uit het halveren van de variatie van de gradiënt-schatter door het gebruik van twee weergaven, in plaats van de specifieke geometrische projectie-operator.

3. Belangrijkste Bijdragen

1. Diagnose van Gradiëntconflict: Het artikel kwantificeert dat 33–83% van de gedeelde parametertensors negatieve inwendige producten (conflict) vertoont tussen dichtbij- en ver weg gelegen weergaven tijdens training, en vestigt dit als een meetbare eigenschap van hybrid capture.
2. Identificatie van de Primaire Hevel: Door uitgebreide ablatie tonen de auteurs aan dat de structurele verandering van het renderen van twee weergaven per optimalisator-stap verantwoordelijk is voor 80–100% van de prestatiewinst.
   • Verrassend levert de specifieke pairingregel (gestructureerd Near/Far, willekeurig, of actieve loss-disparity) statistisch niet te onderscheiden PSNR-resultaten op over alle benchmarks.
   • Dit staat haaks op de intuïtie dat "richtingsbewuste" chirurgie de primaire drijvende kracht is; in plaats daarvan is de variatiereductie door two-view accumulation dominant.
3. Negatieve Resultaten & Eerlijke Karakterisering: Het artikel rapporteert dat veel geavanceerde gradient surgery-technieken (GradNorm, CAGrad, MGDA, confidence gating, active pairing) binnen de zaadvariatie van een eenvoudige willekeurige two-view control vallen. Dit schetst de grens van wat daadwerkelijk de prestaties verbetert voor hybrid-capture 3DGS.
4. Backbone Transfer: De methode blijkt complementair te zijn aan verbeteringen op representatieniveau, met succesvolle overdracht van winst naar Scaffold-GS en Pixel-GS.

4. Experimentele Resultaten

De methode werd geëvalueerd op vijf hybrid-capture benchmarks: UC-GS (NYC/SF), MatrixCity, en HorizonGS (Road/Park).

• Prestatiewinst:
  • CrossGrad-GS (Vanilla backbone) verbeterde de PSNR met +1.01 dB (NYC), +2.51 dB (MatrixCity), +3.35 dB (Road) en +0.73 dB (Park) ten opzichte van standaard 30K Vanilla 3DGS.
  • Cruciaal is dat het een compute-gematchte Vanilla 3DGS (60K iteraties) versloeg op NYC, MatrixCity en Road, wat bewijst dat de winst niet louter komt door het zien van meer trainingsweergaven, maar door betere gradiëntbalancering.
• Ablatie-inzichten:
  • Two-View versus One-View: De overstap van 1 weergave/stap naar 2 weergaven/stap dichte het gat met de 60K-baseline.
  • Pairingregels: Gestructureerde Near/Far pairing, Willekeurige pairing en Actieve pairing presteerden allemaal binnen de zaadvariatie.
  • Groepsgevoeligheid: De methode is afhankelijk van de Near/Far-splits die overeenkomt met de ware visuele regimes. Op UC-GS SF (anisotrope camera-indeling) faalde de standaard radiale splitsing, wat benadrukt dat groepering een kritieke modelkeuze is en niet slechts een implementatiedetail.
• Kwalitatieve Resultaten: CrossGrad-GS slaagde erin hoogfrequente texturen in dichtbijzijnde weergaven te herstellen terwijl het de globale consistentie in ver weg gelegen weergaven behield, terwijl Vanilla 3DGS instortte tot een wazig gemiddelde of één regime volledig verloor.

5. Betekenis en Conclusie

• Paradigmaverschuiving: Het artikel daagt de heersende focus op complexe gradient surgery-operatoren (zoals CAGrad of PCGrad) uit voor dit specifieke probleem. Het betoogt dat voor hybrid-capture 3DGS de variatiereductie bereikt door simpelweg twee weergaven per stap te verwerken, de dominante factor is, waardoor complexe richtingsbewuste projecties grotendeels overbodig worden (binnen statistische ruis).
• Praktische Impact: Het biedt een eenvoudige, low-overhead trainingsrecept (render 2 weergaven, sommeer verzoende gradiënten) dat de prestaties aanzienlijk verbetert op moeilijke lucht-grond datasets zonder nieuwe Gaussische representaties of zware architecturale wijzigingen te vereisen.
• Theoretische Bijdrage: Het variance-decomposition framework biedt een nieuwe lens om te begrijpen wanneer gradient surgery noodzakelijk is. Het suggereert dat als de between-regime variatie laag is ten opzichte van de within-regime variatie, eenvoudige accumulatie voldoende is en complexe chirurgie weinig waarde toevoegt.

Kortom, het artikel identificeert dat hybrid-capture falen primair een trainingszijde gradiëntaggregatieprobleem is dat het beste wordt opgelost door two-view accumulation, waarbij de specifieke pairingstrategie secundair is aan de structurele verandering van de trainingslus.