Résumé Technique : ForeSplat

Énoncé du Problème

Les modèles de Splatting Gaussien 3D (3DGS) en feed-forward permettent une reconstruction de scène rapide et en un seul passage à partir de vues éparses, évitant ainsi le coût computationnel élevé de l'optimisation par scène. Cependant, la qualité de rendu immédiate de ces modèles reste inférieure à celle des reconstructions 3DGS entièrement optimisées. Un compromis pratique courant est le pipeline « prédire-puis-affiner », où un modèle feed-forward fournit une initialisation qui est ensuite affinée par quelques étapes d'optimisation par scène.

Le problème central identifié est un décalage entre l'entraînement et le déploiement. Les modèles feed-forward 3DGS standards sont entraînés uniquement pour minimiser l'erreur de rendu de leur sortie immédiate (erreur à zéro étape). Ils ne sont pas entraînés à produire des initialisations bien conditionnées pour l'optimisation en aval. Par conséquent, une prédiction avec une faible erreur à zéro étape peut se situer dans une région de l'espace des paramètres où la convergence est lente, les gradients sont non informatifs, ou l'optimisation stagne prématurément. De plus, la mise à l'échelle des modèles feed-forward pour égaler la qualité de l'optimisation par scène est entravée par la rareté d'annotations 3D à grande échelle et de haute qualité.

Méthodologie : ForeSplat

ForeSplat est un cadre d'entraînement conscient de l'optimisation conçu pour combler ce fossé. Au lieu d'entraîner le réseau à prédire directement le champ de radiance final, il entraîne le modèle à produire une initialisation propice à un affinage rapide et efficace.

Concept Central : Entraînement Conscient de l'Optimisation

Le cadre reformule l'objectif d'entraînement comme un problème d'apprentissage par méta-apprentissage. Le but est d'apprendre un ensemble initial de paramètres $G_0 = f_\Theta(I)$ tel que, après un bref processus d'affinage $R_K$ (composé de $K$ étapes d'optimisation), l'état résultant $G_K$ minimise la perte photométrique. La fonction objectif est :
$$\min_\Theta \mathbb{E}_I [L_A(R_K(f_\Theta(I)))]$$
Cela aligne l'objectif d'entraînement avec l'objectif de déploiement du pipeline « prédire-puis-affiner ».

MetaGrad : Règle de Méta-Gradient Multi-Ancre

La rétropropagation directe à travers la trajectoire d'affinage 3DGS multi-étapes est intraitable en raison de :

1. Dimension de la Hessienne : L'état gaussien contient des dizaines de millions de paramètres, rendant la matrice Hessienne impossible à stocker ou à calculer.
2. Surcharge Mémoire : Le déroulement du processus d'optimisation pour la différenciation d'ordre supérieur nécessite la mise en cache de tous les états intermédiaires, entraînant une utilisation mémoire prohibitive.

Pour contourner ces problèmes, ForeSplat introduit MetaGrad, une règle d'entraînement de méta-gradient d'ordre léger :

1. Déroulement de Trajectoire : Pendant l'entraînement, l'optimiseur déroule une courte trajectoire d'affinage à partir de la prédiction feed-forward $G_0$.
2. Échantillonnage Épars d'Ancres : Au lieu de superviser chaque étape, la méthode échantillonne un ensemble d'« états ancre » $\{G_k\}$ le long de la trajectoire à intervalles fixes (pas $\Delta$).
3. Perte Multi-Ancre : Une méta-perte $L_{meta}$ est calculée comme la moyenne pondérée équitablement des pertes photométriques à ces états ancre échantillonnés.
4. Estimation de Gradient de Substitut : Plutôt que de différencier toute la trajectoire, MetaGrad calcule les gradients d'ordre un $\nabla_{G_k} L_A(G_k)$ à chaque état ancre détaché. Ces gradients sont moyennés et utilisés comme signal de substitut pour mettre à jour la prédiction initiale $G_0$ et les poids du réseau $\Theta$.

Cette approche évite la différenciation d'ordre deux coûteuse tout en fournissant un signal stable et conscient de l'optimisation qui encourage le réseau à prédire des initialisations « favorables à l'affinage ».

Détails de l'Implémentation

• Plug-and-Play : Le cadre préserve l'architecture au moment de l'inférence du modèle hôte. Seule la tête de prédiction gaussienne est réentraînée (fine-tuning) en utilisant l'objectif MetaGrad.
• Protocole d'Entraînement : Le backbone est maintenu figé ; seule la tête de prédiction est optimisée pendant quelques milliers d'itérations.
• Contraintes d'Affinage : Pendant le déroulement de l'entraînement, les opérations structurelles (densification, clonage, division, élagage) sont désactivées ; seules les attributs gaussiens sont mis à jour, garantissant que le nombre de paramètres reste fixe.

Contributions Clés

1. Entraînement Conscient de l'Optimisation pour le 3DGS Feed-Forward : L'article identifie et résout le décalage entre l'entraînement pour l'erreur à zéro étape et le déploiement pour la qualité post-affinage. ForeSplat méta-entraîne les réseaux à minimiser la perte post-optimisation sans nécessiter de plus grands ensembles de données 3D.
2. Règle de Méta-Gradient Multi-Ancre (MetaGrad) : Une règle d'entraînement novatrice qui évite la différenciation d'ordre supérieur en agrégeant des gradients d'ordre un échantillonnés à plusieurs états ancre le long de la trajectoire de la boucle interne. Cette conception stabilise l'objectif méta sans engendrer de coûts computationnels d'ordre deux.
3. Compatibilité Plug-in : La méthode est démontrée sur divers backbones (AnySplat, Pi3X, et une variante distillée) et améliore constamment la qualité post-affinage sous des budgets d'optimisation fixes, sans changements architecturaux ni surcharge au moment de l'inférence.

Résultats Expérimentaux

Le cadre a été évalué sur cinq jeux de données (CO3Dv2, DL3DV-10K, GTA-SfM, ScanNet++, TartanAir) en utilisant trois backbones : AnySplat, Pi3X, et un Pi3X distillé (45 % des paramètres originaux).

• Qualité Post-Optimisation : Sur tous les backbones, les modèles entraînés avec ForeSplat ont atteint une qualité de reconstruction pic supérieure (PSNR, SSIM, LPIPS) par rapport aux homologues standards après le même nombre d'étapes d'affinage. Par exemple, sur Pi3X, le PSNR a augmenté de près de 0,9 dB (de 24,97 à 25,81) à 2 000 étapes.
• Vitesse de Convergence : Les initialisations entraînées avec MetaGrad ont convergé significativement plus vite. Elles ont atteint la performance des modèles standards en moins d'étapes d'affinage (par exemple, 300 à 500 étapes de moins) et ont continué à s'améliorer jusqu'à un plateau plus élevé.
• Déploiement Léger : La variante Pi3X distillée, entraînée avec ForeSplat, a atteint une reconstruction de haute qualité avec une taille de réseau compacte, démontrant la faisabilité d'un déploiement sur périphérie (edge).
• Compromis Temps-Qualité : Sous des budgets de temps fixes (par exemple, +2s à +20s post-optimisation), ForeSplat a constamment surpassé les bases standards, offrant un meilleur compromis pratique entre la vitesse de reconstruction et la fidélité.

Importance et Revendications

L'article revendique que ForeSplat établit une voie pratique vers une reconstruction 3D légère et de haute fidélité. En déplaçant une partie de la charge de modélisation de la scène du réseau feed-forward vers une étape d'affinage rapide et consciente de l'optimisation, le cadre réduit la pression de capacité sur le modèle de prédiction.

Les auteurs soulignent le potentiel de caméras de reconstruction 3D côté périphérie (edge). ForeSplat permet l'utilisation de modèles compacts et distillés capables d'inférer une représentation 3D initiale sur l'appareil, suivie de quelques secondes d'affinage pour atteindre une haute fidélité. Cela fait passer la reconstruction 3D d'un processus lourd en serveur et hors ligne vers un paradigme d'imagerie portable et interactif où la sortie native de la capture est une représentation de scène 3D rendable.

Le travail est limité à une post-optimisation à topologie fixe (désactivation des opérations structurelles comme la densification), mais il suggère que l'apprentissage de meilleures initialisations est une stratégie viable pour combler le fossé entre la prédiction feed-forward rapide et l'affinage itératif de haute qualité.