Loss-Guided Density Control and Efficient Backward Optimisation for Compact Gaussian Splatting

Stellen Sie sich vor, Sie versuchen, ein perfektes, dreidimensionales Modell einer realen Szene, wie etwa eines belebten Stadtplatzes oder eines ruhigen Waldes, nur mit einer Handvoll Fotografien zu erstellen. Jahrelang haben Wissenschaftler darum gekämpft, diese Modelle realistisch aussehen zu lassen und sie gleichzeitig klein genug zu halten, um sie schnell auf einem Computer laden zu können. Das Ziel ist es, einen digitalen Zwilling zu erschaffen, in dem man umherwandern kann und den man aus jedem beliebigen Winkel betrachten kann, ohne dass das Bild verschwimmt oder der Computer extrem langsam wird. Ein jüngster Durchbruch namens 3D Gaussian Splatting hat die Spielregeln verändert, indem er eine Szene nicht als festes Netz (Mesh), sondern als eine Wolke aus Millionen winziger, unscharfer Ellipsen darstellt. Stellen Sie sich diese Ellipsen als weiche, leuchtende Farbwolken vor, die überlappen, um das fertige Bild zu bilden. Während diese Methode augenblicklich atemberaubende Bilder erzeugt, ist der Prozess, dem Computer beizubringen, wie er diese Wolken anordnet, oft langsam und verschwenderisch. Der Computer neigt dazu, an Stellen, an denen das Bild bereits klar ist, zu viele Wolken zu erzeugen, und an Stellen, an denen Details fehlen, zu wenige, was zu einem aufgeblähten Modell führt, das lange Zeit benötigt, um trainiert zu werden.

Forscher der Chengdu University of Technology und der Shenzhen Sensing Data Technology Company haben einen neuen Weg vorgeschlagen, diese Modelle zu trainieren, der sowohl schneller als auch effizienter ist. Ihr Ansatz konzentriert sich auf drei Hauptverbesserungen: den Computer daran zu hindern, unnötige Wolken zu erzeugen, diejenigen zu entfernen, die nicht helfen, und die Berechnungen im Hintergrund zu beschleunigen. Anstatt blind mehr Wolken hinzuzufügen, wann immer das Bild etwas unscharf aussieht, betrachtet ihre neue Methode die tatsächlichen Fehler im Bild über einen gewissen Zeitraum hinweg. Wenn ein bestimmter Bereich des Bildes über mehrere Runden hinweg gut rekonstruiert wurde, weiß das System, dass es an dieser Stelle aufhören muss, Wolken hinzuzufügen. Es erlaubt neue Wolken nur dort zu entstehen, wo die Darstellung noch Schwierigkeiten hat, richtig auszusehen. Dies verhindert, dass das Modell mit redundanten Teilen überladen wird, die nichts weiter tun, als es zu verlangsamen.

Nachdem das Modell neue Wolken hinzugefügt hat, haben die Forscher auch eine Methode eingeführt, um das Chaos zu beseitigen. Sie entwickelten einen Test, um Wolken zu identifizieren, die entweder zu schwach sind, um gesehen zu werden, oder zu sehr schwanken, um nützlich zu sein. Diese instabilen oder unsichtbaren Wolken werden weggeschnitten, wodurch ein schlankeres, effektiveres Set an Formen zurückbleibt. Um den gesamten Prozess noch schneller zu machen, hat das Team den zugrunde liegenden Computercode umgeschrieben, der die Schwerstarbeit leistet. Indem sie die Daten so organisieren, dass der Grafikprozessor des Computers sie reibungsloser lesen kann, haben sie die Zeit reduziert, die benötigt wird, um zu berechnen, wie sich das Bild verändern sollte. Dies ist vergleichbar mit einem Bibliothekar, der Bücher im Regal so anordnet, dass ein Besucher das nächste Buch nehmen kann, ohne den ganzen Raum durchqueren zu müssen; die Bücher sind dieselben, aber der Weg zu ihnen ist viel kürzer.

Die Ergebnisse dieser Arbeit sind bedeutend. Bei Tests an komplexen Datensätzen, die Szenen wie ein Fahrrad in einem Garten oder einen Panzer in einem Tempel enthielten, reduzierte die neue Methode die gesamte Trainingszeit im Vergleich zu bisherigen Techniken erheblich. In einem spezifischen Test einer Fahrradszene sank die Trainingszeit von über 224 Sekunden auf nur 190 Sekunden, während die endgültige Anzahl der zur Erstellung der Szene verwendeten Wolken um fast die Hälfte von über 947.000 auf etwa 570.000 reduziert wurde. Trotz der Verwendung weniger Wolken und eines schnelleren Abschlusses blieb die Qualität der finalen Bilder hoch, wobei die visuelle Schärfe und Farbgenauigkeit der ursprünglichen, langsameren Methoden sehr nahe kamen. Die Forscher fanden heraus, dass sie durch intelligenteres Vorgehen beim Hinzufügen von Details und beim Entfernen derselben kompakte, hochwertige 3D-Modelle erstellen konnten, ohne die visuelle Treue zu opfern, die diese Szenen so fesselnd macht. Dies deutet darauf hin, dass die Zukunft der Erstellung digitaler Welten nicht nur darin liegen könnte, mehr Daten hinzuzufügen, sondern diese mit größerer Präzision zu verwalten.