💻 computer science

LocusGS: Spatially Grounded Tokens for Feed-Forward 3D Gaussian Splatting

LocusGS améliore le Gaussian Splatting 3D feed-forward en introduisant des états d'ancrage 3D explicites (centre et rayon) pour les requêtes de Gaussiennes, lesquels guident l'agrégation et le décodage de caractéristiques spatialement cohérents afin d'améliorer la qualité du rendu et l'alignement structurel par rapport aux représentations purement latentes.

Auteurs originaux : Wenyu Li, Sidun Liu, Tongrui Hu, Peng Qiao, Yong Dou

Publié 2026-08-14

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Wenyu Li, Sidun Liu, Tongrui Hu, Peng Qiao, Yong Dou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de reconstruire un château en Lego géant et complexe en regardant seulement quelques photos de celui-ci sous différents angles. Dans le monde de la vision par ordinateur, c'est un défi classique appelé « reconstruction 3D ». Pendant longtemps, les ordinateurs devaient ajuster méticuleusement des millions de minuscules briques virtuelles une par une pour chaque nouveau château qu'ils voyaient, un processus lent et coûteux. Récemment, un raccourci astucieux appelé « 3D Gaussian Splatting » est arrivé. Au lieu de construire avec des blocs rigides, cette méthode utilise des millions de « nuages » 3D doux et flous (appelés Gaussiennes) qui peuvent être écrasés, étirés et colorés pour correspondre parfaitement à la forme et à l'aspect de la scène. Ces nuages peuvent être rendus en de nouvelles photos instantanément, ce qui les rend parfaits pour la réalité virtuelle et la robotique.

Cependant, il y a un hic avec la version la plus récente et la plus rapide de cette technologie. Pour rendre le processus encore plus rapide, certains chercheurs ont commencé à utiliser une approche « basée sur des requêtes » (query-based). Considérez cela comme l'embauche d'une équipe de détectives invisibles (appelés « tokens ») pour comprendre la forme du château. Chaque détective est censé examiner les photos, rassembler des indices, puis crier un groupe spécifique de nuages flous pour construire une partie du château. Idéalement, le Détective A devrait construire la porte d'entrée, et le Détective B devrait construire le toit. Mais le problème est que, dans les méthodes actuelles, les détectives s'embrouillent. Le Détective A pourrait crier des nuages pour la porte d'entrée, le toit et la cheminée en même temps, les éparpillant dans tout le château. Le résultat est une reconstruction désordonnée et floue où les nuages ne se fixent pas aux bons endroits, et la scène ressemble un peu à un rêve où les objets flottent aux mauvais endroits.

C'est là que le papier « LocusGS » intervient pour sauver la mise. Les auteurs, une équipe de l'Université Nationale de Technologie de Défense, ont réalisé que ces détectives invisibles manquaient d'une information cruciale : une adresse physique. Dans leur nouveau système, LocusGS, ils donnent à chaque détective une « ancre 3D ». Il ne s'agit pas d'une idée vague ; c'est une coordonnée spécifique dans l'espace 3D (un point central) et un rayon (la taille de leur « zone de responsabilité »). À mesure que les détectives travaillent, ils ne font pas que deviner ; ils affinent constamment leur adresse. Si un détective est assigné à la porte d'entrée, son ancre le maintient ancré précisément là, l'empêchant de s'égarer vers le toit. Ce « ancrage spatial » force les nuages flous à rester en groupes nets et compacts qui correspondent réellement à la forme de l'objet qu'ils sont censés représenter.

Le papier suggère que l'ajout de cette simple ancre physique fait une énorme différence. Lorsqu'ils ont testé leur méthode sur des ensembles de données standards comme RealEstate10K et DL3DV, ils ont constaté que LocusGS produisait des images plus nettes et plus claires que les meilleures méthodes précédentes, même en utilisant exactement le même nombre de nuages flous. Les « détectives » (tokens) ont cessé d'éparpiller leurs nuages partout et ont plutôt construit des grappes serrées et organisées qui suivent la géométrie de la scène parfaitement. Les auteurs ont mesuré cela en montrant que les nuages générés par un seul token étaient beaucoup plus proches les uns des autres (plus compacts) et que la structure 3D globale était plus cohérente. Ils ont également constaté que les ancres elles-mêmes formaient un « échafaudage » logique à travers la scène, cartographiant efficacement l'emplacement des différentes parties de l'objet avant même que les détails finaux ne soient dessinés.

En résumé, le papier soutient qu'en donnant à ces constructeurs numériques un emplacement physique clair pour se tenir, vous les empêchez de se perdre et d'éparpiller leur travail. Le résultat est une scène 3D qui semble plus réelle, avec moins d'artefacts flottants et des formes mieux définies. Les auteurs montrent que cette approche fonctionne bien avec différents nombres de vues de caméra et qu'elle ne nécessite pas de ralentir le système ou d'utiliser plus de puissance de calcul pour obtenir de meilleurs résultats. C'est un rappel que, parfois, la meilleure façon d'organiser un monde numérique chaotique est de donner à tout le monde une place précise où se tenir.

Résumé Technique : LocusGS

Problématique

Les méthodes récentes de Gaussian Splatting 3D (3DGS) à propagation directe (feed-forward) ont délaissé l'optimisation coûteuse par scène au profit d'une prédiction directe à partir des vues d'entrée. Parmi elles, les approches basées sur des requêtes (ex: TokenGS) représentent une scène à l'aide d'un ensemble fixe de requêtes apprenables (tokens). Chaque token agrège des preuves multi-vues via un décodeur Transformer et est décodé en un groupe de Gaussiennes 3D.

Cependant, les auteurs observent une limitation critique des méthodes existantes basées sur des requêtes : une faible cohérence spatiale. Bien que, idéalement, différentes requêtes devraient se spécialiser dans des régions locales distinctes et cohérentes de la scène, les Gaussiennes décodées à partir d'une seule requête latente s'éparpillent souvent dans des régions de la scène distantes et sans rapport. Cela résulte en une distribution spatialement diffuse qui s'aligne mal avec la structure sous-jacente de la scène. Les auteurs attribuent cet échec à la représentation purement latente des requêtes de Gaussiennes existantes, qui manquent d'une notion explicite de l'endroit où une requête opère dans l'espace 3D ou de la taille de la région qu'elle couvre. Par conséquent, les preuves multi-vues agrégées par une requête et les Gaussiennes qui en résultent ne sont pas contraintes à une région locale cohérente.

Méthodologie : LocusGS

Pour remédier à cela, les auteurs proposent LocusGS (Spatially Grounded Tokens), qui augmente chaque requête de Gaussienne par un état d'ancrage 3D explicite. Cet état se compose d'un centre 3D ( $\mu$ ) et d'un rayon de support ( $r$ ).

Composants Clés

États d'Ancrage 3D Explicites :
Au lieu de représenter une requête uniquement comme un vecteur de caractéristiques latentes, LocusGS associe chaque requête $i$ à une couche de décodeur $l$ à un état d'ancrage $a^l_i = (\mu^l_i, r^l_i)$ .
- Centre ( $\mu$ ) : Spécifie l'emplacement de référence 3D actuel de la requête.
- Rayon ( $r$ ) : Définit l'étendue de la région de support locale de la requête. Le rayon est paramétré via une variable non contrainte $\rho$ passée à travers une fonction softplus pour garantir la positivité.
- Ces états sont apprenables, partagés entre les scènes, et affinés progressivement à travers les couches du décodeur.
Décodeur Guidé par l'Ancrage :
Le décodeur utilise les états d'ancrage pour guider les mécanismes d'auto-attention (self-attention) et d'attention croisée (cross-attention) :
- Auto-attention Sensible à l'Ancrage : Un plongement positionnel dérivé du centre de l'ancre $\mu$ est injecté dans les caractures des tokens. Cela permet aux interactions entre les tokens de Gaussiennes de dépendre de leurs emplacements 3D relatifs, et non seulement de la similitude de leurs caractéristiques latentes.
- Biais Géométrique Ancre-vers-Rayon (Attention Croisée) : Pour agréger les preuves multi-vues, la méthode introduit un biais géométrique basé sur la distance entre le centre de l'ancre de la requête $\mu^l_i$ $μ_{i}^{l}$ et les rayons de caméra $\ell_j$ $ℓ_{j}$ associés aux tokens d'image.
  - Le biais est défini par $b^l_{ij} = -\frac{1}{2} \left( \frac{D(\mu^l_i, \ell_j)}{\sigma_0 r^l_i} \right)^2$ , où $D$ est la distance euclidienne du point au rayon.
  - Ce biais pénalise les tokens d'image dont les rayons sont éloignés de l'ancre, guidant ainsi la requête à se concentrer sur les observations géométriquement pertinentes. Le rayon $r^l_i$ contrôle la largeur de bande de cette préférence spatiale.
Affinement Dynamique de l'Ancre :
Après chaque couche du décodeur, les caractéristiques des tokens prédisent des mises à jour résiduelles ( $\Delta \mu, \Delta \rho$ ) pour le centre et le rayon de l'ancre. Cela permet à l'état de l'ancre d'adapter sa localisation 3D et son échelle de support à la scène d'entrée spécifique au fur et à mesure que le décodeur progresse.
Décodage de Gaussiennes Centré sur l'Ancre :
Dans l'étape finale de décodage, les Gaussiennes ne sont pas prédites de manière totalement non contrainte. Au lieu de cela, le modèle prédit des décalages locaux ( $\delta$ ) par rapport au centre de l'ancre final raffiné. Le centre de la Gaussienne finale est calculé comme suit :
$\mu^G_{i,k} = \mu^L_i + r^L_i \delta_{i,k}$
Ici, le centre de l'ancre fournit la référence globale, et le rayon met à l'échelle les décalages locaux. Cette formulation force les Gaussiennes décodées à partir d'un seul token à former un groupe local compact autour de l'ancre, plutôt que de s'éparpiller librement.
Supervision de Rendu Multi-couches :
L'objectif d'entraînement inclut une supervision de rendu aux couches intermédiaires du décodeur (en plus de la couche finale). La perte combine la reconstruction d'image (MSE + SSIM) avec une régularisation de visibilité appliquée à la fois aux centres des Gaussiennes décodés et aux centres des ancres, encourageant une organisation spatiale cohérente tout au long du processus de décodage.

Contributions Clés

Ancrage Spatial des Requêtes : L'introduction d'états d'ancrage 3D explicites (centre et rayon) aux requêtes de 3DGS, allant au-delà des représentations purement latentes.
Mécanismes Sensibles à l'Ancre : La conception de biais géométriques pour l'attention croisée (ancre-vers-rayon) et de plongements positionnels pour l'auto-attention qui utilisent l'état de l'ancre pour imposer la cohérence spatiale.
Génération de Gaussiennes Structurée : Une stratégie de décodage qui prédit des décalages locaux mis à l'échelle par le rayon de l'ancre, garantissant que les tokens génèrent des groupes de Gaussiennes spatialement compacts.
Affinement Progressif : Un mécanisme pour affiner itérativement les emplacements des ancres et les rayons de support à travers les couches du décodeur, permettant au modèle de s'adapter à la géométrie de la scène.

Résultats Expérimentaux

Les auteurs évaluent LocusGS sur des benchmarks de synthèse de vues nouvelles, spécifiquement RealEstate10K (RE10K) et DL3DV, en comparant avec des bases comme TokenGS, MVSplat et DepthSplat.

Qualité de Rendu : Sous des budgets de tokens et de Gaussiennes identiques, LocusGS surpasse systématiquement les bases basées sur les requêtes (TokenGS) en termes de PSNR, SSIM et LPIPS. Par exemple, sur DL3DV avec 4 vues d'entrée, LocusGS (4096 tokens) atteint un PSNR de 24,80 contre 23,44 pour TokenGS.
Organisation Spatiale : Les analyses qualitatives et quantitatives montrent que LocusGS produit des distributions de Gaussiennes nettement plus structurées.
- Compacité au niveau du Token : Le papier introduit une métrique $C_{centroid}$ pour mesurer la dispersion des Gaussiennes au sein d'un token. LocusGS réduit drastiquement cette dispersion (par exemple, de 5,11 à 0,19 sur RE10K), indiquant que les Gaussiennes issues d'un seul token sont étroitement regroupées.
- Configurations d'Ancres : Les ancres apprises forment un échafaudage spatial grossier et cohérent sur la scène, couvrant les structures principales et adaptant leurs rayons à la complexité locale (rayons plus grands dans les zones éparses, plus petits dans les zones détaillées).
Généralisation : Le modèle maintient un budget de Gaussiennes fixe indépendamment du nombre de vues d'entrée, contrairement aux méthodes denses alignées sur les pixels. Il démontre une performance robuste lors de tests avec des nombres variables de vues de contexte (2, 4 et 6 vues) sur DL3DV.
Efficacité : Bien que LocusGS ait un nombre de paramètres légèrement plus élevé (241,5M contre 222,0M pour TokenGS) et une latence de propagation (forward latency) supérieure, il atteint une qualité de reconstruction supérieure sans augmenter le nombre de Gaussiennes prédites.

Signification et Revendications

Le papier affirme que les états d'ancrage 3D explicites fournissent un a priori spatial efficace pour la 3DGS à propagation directe. En ancrant les requêtes dans l'espace 3D, LocusGS transforme les tokens de Gaussiennes, passant d'embeddings latents implicites à des requêtes de reconstruction spatiale interprétables.

Les auteurs soutiennent que cette approche ne fait pas qu'améliorer la précision du rendu, mais améliore fondamentalement l'organisation spatiale et l'interprétabilité de la représentation. Les résultats démontent que l'ancrage explicite dans l'espace 3D encourage les requêtes à se spécialiser dans des régions locales cohérentes, menant à des distributions de Gaussiennes plus structurées qui s'alignent mieux avec la géométrie de la scène. Ce travail suggère que l'incorporation d'états géométriques dans le mécanisme de requête est une étape cruciale vers une reconstruction de scène 3D plus robuste et structurée.