Loss-Guided Density Control and Efficient Backward Optimisation for Compact Gaussian Splatting

Imaginez essayer de construire un modèle tridimensionnel parfait d'une scène du monde réel, comme une place de ville animée ou une forêt paisible, en utilisant seulement une poignée de photographies. Pendant des années, les scientifiques ont lutté pour rendre ces modèles réalistes tout en les gardant assez petits pour se charger rapidement sur un ordinateur. L'objectif est de créer un jumeau numérique dans lequel vous pouvez vous déplacer, en le regardant sous n'importe quel angle, sans que l'image ne devienne floue ou que l'ordinateur ne ralentisse de manière excessive. Une percée récente appelée 3D Gaussian Splatting a changé la donne en représentant une scène non pas comme un maillage solide, mais comme un nuage de millions de minuscules ellipses floues. Imaginez ces ellipses comme des nuages de couleurs doux et lumineux qui se chevauchent pour former l'image finale. Bien que cette méthode produise des images instantanées éblouissantes, le processus consistant à apprendre à l'ordinateur comment disposer ces nuages est souvent lent et gaspille des ressources. L'ordinateur a tendance à créer trop de nuages là où l'image est déjà claire, et pas assez là où les détails sont manquants, ce qui conduit à un modèle hypertrophié qui prend beaucoup de temps à entraîner.

Des chercheurs de l'Université de technologie de Chengdu et de la société Shenzhen Sensing Data Technology ont proposé une nouvelle façon d'entraîner ces modèles qui est à la fois plus rapide et plus efficace. Leur approche se concentre sur trois améliorations principales : empêcher l'ordinateur de créer des nuages inutiles, supprimer ceux qui ne sont pas utiles et accélérer les calculs en coulisses. Au lieu d'ajouter aveuglément plus de nuages chaque fois que l'image semble légèrement floue, leur nouvelle méthode examine les erreurs réelles de l'image sur une période donnée. Si une zone spécifique de l'image a été bien reconstruite pendant plusieurs cycles, le système sait qu'il doit arrêter d'ajouter des nuages à cet endroit. Il ne permet la formation de nouveaux nuages que dans les zones qui ont encore du mal à paraître correctes. Cela empêche le modèle de s'encombrer de pièces redondantes qui ne servent à rien sinon à ralentir les choses.

Une fois que le modèle a ajouté de nouveaux nuages, les chercheurs ont également introduit un moyen de nettoyer le désordre. Ils ont développé un test pour identifier les nuages qui sont soit trop faibles pour être vus, soit qui oscillent trop pour être utiles. Ces nuages instables ou invisibles sont élagués, laissant derrière eux un ensemble de formes plus svelte et plus efficace. Pour rendre l'ensemble du processus encore plus rapide, l'équipe a réécrit le code informatique sous-jacent qui gère le gros du travail. En organisant les données de manière à ce que le processeur graphique de l'ordinateur puisse les lire plus fluidement, ils ont réduit le temps nécessaire pour calculer comment l'image doit changer. C'est similaire à la façon dont un bibliothécaire pourrait organiser des livres sur une étagère afin qu'un usager puisse saisir le suivant sans avoir à traverser la pièce ; les livres sont les mêmes, mais le chemin pour les obtenir est beaucoup plus court.

Les résultats de ce travail sont significatifs. Lors de tests sur des ensembles de données complexes contenant des scènes comme un vélo dans un jardin ou un char dans un temple, la nouvelle méthode a réduit le temps d'entraînement total de manière importante par rapport aux techniques précédentes. Dans un test spécifique sur une scène de vélo, le temps d'entraînement est passé de plus de 224 secondes à seulement 190 secondes, tandis que le nombre final de nuages utilisés pour construire la scène a été réduit de près de moitié, passant de plus de 947 000 à environ 570 000. Malgré l'utilisation de moins de nuages et une finition plus rapide, la qualité des images finales est restée élevée, la netteté visuelle et la précision des couleurs restant très proches des méthodes plus lentes d'origine. Les chercheurs ont découvert qu'en étant plus intelligents sur le moment où ajouter des détails et le moment où les supprimer, ils pouvaient créer des modèles 3D compacts et de haute qualité sans sacrifier la fidélité visuelle qui rend ces scènes si captivantes. Cela suggère que l'avenir de la création de mondes numériques pourrait résider non pas seulement dans l'ajout de plus de données, mais dans la gestion de celles-ci avec une plus grande précision.