Two-View Accumulation as the Primary Training Lever for Hybrid-Capture Gaussian Splatting: A Variance-Decomposition View of When Gradient Surgery Helps

1. Énoncé du problème

La Synthèse de Nouvelle Vue (NVS) à Capture Hybride consiste à reconstruire des scènes 3D à l'aide de caméras situées à des distances radicalement différentes (par exemple, des vues de rue au niveau du sol par rapport à des vues aériennes de drones).

• Le Conflit : Le Gaussian Splatting 3D (3DGS) standard échoue dans ces contextes car il optimise un seul ensemble de paramètres gaussiens en utilisant une seule perte photométrique moyennée.
  • Les vues proches exigent des détails haute fréquence, des textures nettes et une géométrie locale précise.
  • Les vues lointaines exigent une apparence spatialement moyennée et une cohérence globale stable.
• Le Mode d'Échec : Lorsque ces vues hétérogènes sont agrégées dans une seule mise à jour de gradient, le signal d'optimisation devient biaisé vers le régime dominant (souvent les vues lointaines), ce qui amène le modèle soit à trop lisser les rendus aériens, soit à échouer à reconstruire les détails au niveau de la rue.
• Le Vide : Le 3DGS standard entraîné pendant 30 000 itérations sous-ajuste le régime minoritaire de 1 à 3 dB par rapport à des bases de référence appariées en calcul sur les benchmarks de capture hybride.

2. Méthodologie : CrossGrad-GS

Les auteurs proposent CrossGrad-GS, un cadre côté entraînement qui modifie comment les gradients sont agrégés sans changer la représentation gaussienne sous-jacente, le rasteriseur ou les règles de contrôle de densité.

Composants principaux :

1. Appariement de vues équilibré par altitude :

   • Les caméras d'entraînement sont divisées en groupes Proches et Lointains en fonction de la distance euclidienne médiane par rapport au centre de la scène.
   • À chaque étape de l'optimiseur, la méthode échantillonne une vue proche et une vue lointaine.
   • Les gradients sont calculés séparément pour les deux vues sur les paramètres gaussiens partagés.

2. Réconciliation symétrique des gradients (Chirurgie des gradients) :

   • Si les gradients proche et lointain sont alignés ($g_{near}^T g_{far} \geq 0$), ils sont additionnés normalement.
   • S'ils entrent en conflit ($g_{near}^T g_{far} < 0$), la méthode applique une projection symétrique pour éliminer la composante destructive de chaque gradient qui s'oppose à l'autre :
     $$g'_{near} = g_{near} - \frac{g_{near}^T g_{far}}{\|g_{far}\|^2 + \epsilon} g_{far}$$
     $$g'_{far} = g_{far} - \frac{g_{near}^T g_{far}}{\|g_{near}\|^2 + \epsilon} g_{near}$$
   • La mise à jour finale utilise la somme de ces gradients réconciliés : $\theta \leftarrow \theta - \eta(g'_{near} + g'_{far})$.

3. Cadre de décomposition de la variance :

   • Les auteurs dérivent un cadre théorique décomposant la variance du gradient en composantes au sein du régime ($\sigma^2_w$) et entre les régimes ($\sigma^2_b$).
   • Insight clé : Ils prouvent que la réduction de variance résultant d'un appariement structuré (Proche+Lointain) par rapport à un appariement aléatoire dépend du rapport $\sigma^2_b / \sigma^2_w$.
   • Résultat empirique : Dans le 3DGS à capture hybride, $\sigma^2_b \ll \sigma^2_w$. Cela implique que la règle d'appariement spécifique (structurée ou aléatoire) importe moins que le changement structurel du rendu de deux vues par étape. Le bénéfice principal provient de la réduction de moitié de la variance de l'estimateur de gradient en utilisant deux vues, plutôt que de l'opérateur de projection géométrique spécifique.

3. Contributions clés

1. Diagnostic du conflit de gradients : Le papier quantifie que 33 à 83 % des tenseurs de paramètres partagés présentent des produits scalaires négatifs (conflits) entre les vues proches et lointaines pendant l'entraînement, établissant cela comme une propriété mesurable de la capture hybride.
2. Identification du levier principal : Grâce à des ablations extensives, les auteurs démontrent que le changement structurel consistant à rendre deux vues par étape d'optimiseur explique 80 à 100 % du gain de performance.
   • De manière surprenante, la règle d'appariement spécifique (Proche/Lointain structurée, aléatoire, ou disparité de perte active) produit des résultats PSNR statistiquement indiscernables sur tous les benchmarks.
   • Cela contredit l'intuition selon laquelle la chirurgie "consciente de la direction" est le moteur principal ; au contraire, la réduction de variance issue de l'accumulation à deux vues est dominante.
3. Résultats négatifs et caractérisation honnête : Le papier rapporte que de nombreuses techniques sophistiquées de chirurgie des gradients (GradNorm, CAGrad, MGDA, gating par confiance, appariement actif) tombent dans la variance des graines d'un simple contrôle à deux vues aléatoire. Cela délimite la frontière de ce qui déplace réellement l'aiguille pour le 3DGS à capture hybride.
4. Transfert de colonne vertébrale : La méthode s'avère complémentaire aux améliorations au niveau de la représentation, transférant avec succès les gains à Scaffold-GS et Pixel-GS.

4. Résultats expérimentaux

La méthode a été évaluée sur cinq benchmarks de capture hybride : UC-GS (NYC/SF), MatrixCity, et HorizonGS (Route/Parc).

• Gains de performance :
  • CrossGrad-GS (colonne vertébrale Vanilla) a amélioré le PSNR de +1,01 dB (NYC), +2,51 dB (MatrixCity), +3,35 dB (Route) et +0,73 dB (Parc) par rapport au 3DGS Vanilla standard de 30 000 itérations.
  • Crucialement, il a surpassé un 3DGS Vanilla apparié en calcul (60 000 itérations) sur NYC, MatrixCity et Route, prouvant que le gain n'est pas simplement dû à la visualisation de plus de vues d'entraînement mais à un meilleur équilibrage des gradients.
• Insights des ablations :
  • Deux vues contre une vue : Le passage de 1 vue/étape à 2 vues/étape a comblé l'écart avec la base de référence 60K.
  • Règles d'appariement : L'appariement structuré Proche/Lointain, l'appariement aléatoire et l'appariement actif ont tous performé dans la variance des graines.
  • Sensibilité au regroupement : La méthode repose sur le fait que la séparation Proche/Lointain corresponde aux vrais régimes visuels. Sur UC-GS SF (disposition de caméra anisotrope), la séparation radiale par défaut a échoué, soulignant que le regroupement est un choix de modélisation critique, et non un simple détail d'implémentation.
• Résultats qualitatifs : CrossGrad-GS a récupéré avec succès des textures haute fréquence dans les vues proches tout en maintenant une cohérence globale dans les vues lointaines, tandis que le 3DGS Vanilla s'est effondré vers une moyenne floue ou a perdu un régime entièrement.

5. Importance et conclusion

• Changement de paradigme : Le papier remet en question l'accent prédominant sur les opérateurs complexes de chirurgie des gradients (comme CAGrad ou PCGrad) pour ce problème spécifique. Il soutient que pour le 3DGS à capture hybride, la réduction de variance obtenue en traitant simplement deux vues par étape est le facteur dominant, rendant les projections complexes conscientes de la direction largement redondantes (dans le bruit statistique).
• Impact pratique : Il fournit une recette d'entraînement simple et à faible surcharge (rendre 2 vues, sommer les gradients réconciliés) qui améliore considérablement les performances sur des ensembles de données sol-air difficiles sans nécessiter de nouvelles représentations gaussiennes ni de changements architecturaux lourds.
• Contribution théorique : Le cadre de décomposition de la variance offre un nouveau prisme pour comprendre quand la chirurgie des gradients est nécessaire. Il suggère que si la variance entre les régimes est faible par rapport à la variance au sein du régime, une simple accumulation suffit, et une chirurgie complexe ajoute peu de valeur.

En résumé, le papier identifie que l'échec de la capture hybride est principalement un problème d'agrégation de gradients côté entraînement mieux résolu par l'accumulation à deux vues, la stratégie d'appariement spécifique étant secondaire par rapport au changement structurel de la boucle d'entraînement.