Die Erstellung eines dreidimensionalen Modells der realen Welt aus einer Sammlung von zweidimensionalen Fotografien ist eine grundlegende Herausforderung in der Computer Vision. Seit Jahrzehnten verlassen sich Wissenschaftler auf zwei Hauptansätze, um dieses Problem zu lösen. Der erste, bekannt als Multi-View Stereo, arbeitet wie ein menschliches Gehirn: Er betrachtet dasselbe Objekt aus verschiedenen Blickwinkeln, findet übereinstimmende Punkte und berechnet deren Abstand, um eine dichte Punktwolke aufzubauen, die die Oberfläche repräsentiert. Die zweite, neuere Methode namens 3D Gaussian Splatting repräsentiert eine Szene nicht als festes Objekt, sondern als einen Schwarm winziger, farbiger, transparenter Ellipsen, die im Raum schweben. Wenn eine Kamera auf diesen Schwarm blickt, verschmelzen die Ellipsen zu einem scharfen, realistischen Bild. Obwohl diese neue Methode unglaublich schnell ist und beeindruckende visuelle Ergebnisse liefert, hat sie einen erheblichen Mangel, wenn es darum geht, tatsächliche 3D-Formen zu bauen. In Bereichen, in denen die Kamera nur aus wenigen Winkeln darauf blicken kann oder in denen Objekte durch andere verdeckt sind, können diese schwebenden Ellipsen auseinanderdriften oder instabile, geisterhafte Strukturen bilden, die zwar auf einem Foto gut aussehen, aber keine echte, feste Oberfläche darstellen.

Forscher der Wuhan University und der Hangzhou Dianzi University haben ein neues Framework namens CoMVS-GS entwickelt, um dieses Problem zu beheben. Ihr Ziel war es, die Geschwindigkeit und visuelle Qualität der schwebenden Ellipsen mit der geometrischen Zuverlässigkeit der traditionellen punktbasierten Methode zu kombinieren. Anstatt diese beiden Techniken als separate Werkzeuge zu betrachten, verwoben sie sie zu einem einzigen Prozess. Das Ergebnis ist ein System, das genaue, feste 3D-Meshes sowohl von kleinen Objekten als auch von großen Außenumgebungen rekonstruieren kann, selbst bei schwierigen Lichtverhältnissen oder wenn Teile der Szene verborgen sind. Das Team stellte fest, dass sie, indem sie die Stärken der älteren, langsameren Methode nutzten, um die neuere, schnellere zu leiten, die schwebenden Artefakte eliminieren und Oberflächen erzeugen konnten, die sowohl visuell überzeugend als auch geometrisch präzise sind.

Der Prozess beginnt mit einem entscheidenden Schritt, noch bevor die eigentliche Optimierung startet. Traditionelle Methoden beginnen oft mit einem spärlichen Satz von Punkten, wodurch große Lücken entstehen, die der Computer erraten muss. Die Forscher verwendeten stattdessen eine dichte Punktwolke, die durch einen Standard-Multi-View-Stereo-Algorithmus generiert wurde, um ihr Modell zu initialisieren. Sie nahmen diese Punkte und gestalteten die schwebenden Ellipsen so, dass sie von Beginn an der lokalen Oberflächenorientierung und Dicke entsprachen. Stellen Sie sich vor, Sie versuchen, eine Wand zu bauen, indem Sie zuerst ein paar Ziegel in die Luft streuen und hoffen, dass sie sich zu einer flachen Linie niederlassen; diese neue Methode platziert die Ziegel genau dort, wo sie gebraucht werden, ausgerichtet auf die Oberfläche der Wand, noch bevor der Bau beginnt. Dies gab dem System einen starken geometrischen Vorsprung und verhinderte, dass die Ellipsen in den frühen Stadien des Trainings instabile Strukturen bildeten.

Nachdem das Modell initialisiert worden war, führten die Forscher eine kontinuierliche Feedbackschleife zwischen den beiden Techniken ein. Das System erstellt eine Tiefenkarte – was im Wesentlichen ein Bild ist, das zeigt, wie weit jeder Punkt in der Szene entfernt ist – und nutzt dieses Bild, um den Multi-View-Stereo-Algorithmus zu verfeinern. Im Gegenzug produzierte der verfeinerte Multi-View-Stereo-Algorithmus eine genauere Tiefenkarte, die dann dazu verwendet wurde, die schwebenden Ellipsen zu korrigieren. Diese gegenseitige Überwachung bedeutete, dass das System ständig seine eigene Arbeit überprüfte. Wenn die Ellipsen an einen Ort drifteten, an den sie nicht gehören sollten, zog die Multi-View-Stereo-Datenmenge sie zurück. Wenn die Multi-View-Stereo-Daten aufgrund mangelnder Textur unsicher waren, lieferte die dichte Wolke der Ellipsen eine stabile Orientierung. Diese wechselseitige Verfeinerung ermöglichte es dem Modell, Lücken zu füllen und Oberflächen zu glätten, mit denen frühere Methoden Schwierigkeiten hatten.

Der letzte Schritt bestand darin, diese verfeinerten Ellipsen in ein festes Mesh zu verwandeln, welches die Drahtgitterhaut ist, die ein 3D-Objekt repräsentiert. Viele bestehende Methoden versuchen dies, indem sie den gesamten 3D-Raum in ein Gitter aus winzigen Würfeln unterteilen und die Oberfläche innerhalb jedes Würfels berechnen. Dieser Ansatz ist empfindlich gegenüber der Größe der Würfel: Wenn die Würfel zu groß sind, gehen feine Details verloren, aber wenn sie zu klein sind, geht dem Computer der Speicher aus, insbesondere bei großen Außenaufnahmen. Die Forscher umgingen diese Falle durch den Einsatz einer anderen Technik namens Delaunay Graph-Cut Meshing. Anstatt sich auf ein starres Gitter zu verlassen, verbindet diese Methode die Oberflächenpunkte direkt und nutzt die Sichtlinie der Kamera, um zu bestimmen, welche Teile des Raums innerhalb des Objekts und welche außerhalb liegen. Dies ermöglichte es ihnen, eine saubere, vollständige Oberfläche ohne die Speicherbelastung oder den Detailverlust zu erstellen, die mit dem gitterbasierten Ansatz verbunden sind.

Das Team testete seine Methode an mehreren Datensätzen, darunter den Standard-DTU-Benchmark für die Objektrekonstruktion sowie neue Teilmengen großer Außenaufnahmen aus den Datensätzen GauU-Scene V2 und MatrixCity. Beim DTU-Benchmark erreichte ihre Methode eine durchschnittliche Fehlerrate, die mit den besten existierenden Techniken konkurriert und in der Genauigkeit der rekonstruierten Geometrie oft diese übertraf. In den Außenaufnahmen war der Unterschied noch ausgeprägter. Während andere Methoden Modelle mit schwebenden Fragmenten oder großen Löchern in Bereichen wie Wasser oder Gebäudefassaden erzeugten, produzierte CoMVS-GS saubere, kontinuierliche Oberflächen. Die Forscher stellten fest, dass ihre Methode Meshes mit signifikant weniger Flächen erzeugte – im Durchschnitt etwa 8,76 Millionen Flächen im Vergleich zu über 50 Millionen bei einigen Konkurrenten – während sie gleichzeitig eine höhere geometrische Genauigkeit beibehielt. Diese Kompaktheit deutet darauf hin, dass das Modell die wahre Form der Szene effizienter erfasst hat, ohne unnötige Komplexität zur Auffüllung von Lücken hinzuzufügen.

Die Studie umfasste auch Tests, um zu sehen, welche Teile ihres Systems am wichtigsten waren. Wenn sie die Initialisierung durch die dichte Punktwolke entfernten, hatte das Modell Schwierigkeiten, sich auf flachen Oberflächen zu konzentrieren, insbesondere auf Gebäudefassaden, die aus spitzen Winkeln betrachtet wurden. Wenn sie die gegenseitige Überwachungsschleife entfernten, sank die geometrische Genauigkeit und die Oberflächen wurden weniger glatt. Schließlich, als sie ihre neue Meshing-Technik wieder durch die traditionelle gitterbasierte Methode ersetzten, zeigten die resultierenden Modelle Löcher und unvollständige Regionen, was bestätigte, dass ihr Graph-Cut-Ansatz entscheidend für die Handhabung der Komplexität großer Außenaufnahmen war. Die Forscher kamen zu dem Schluss, dass durch die Integration von Multi-View-Stereo nicht nur als letzter Schritt, sondern als Quelle für die Initialisierung, die kontinuierliche Überwachung und die Oberflächenextraktion, sie ein Niveau an geometrischer Stabilität erreichen konnten, das keine der beiden Methoden allein erreichen konnte.

Obwohl die Methode einen bedeutenden Fortschritt darstellt, räumen die Autoren ein, dass sie weiterhin Herausforderungen mit hochreflektierenden oder transparenten Oberflächen hat, bei denen es schwierig ist, übereinstimmende Punkte über verschiedene Kameraperspektiven hinweg zu finden. Zudem erhöht der Prozess der periodischen Verfeinerung der Tiefenkarten die Rechenkosten, was bei sehr hochauflösenden Szenen ein Faktor sein könnte. Die Ergebnisse zeigen jedoch, dass die Kombination der geometrischen Strenge der traditionellen Photogrammetrie mit der Effizienz moderner neuronaler Darstellung ein gangbarer Weg zu robusteren und genaueren 3D-Rekonstruktionen ist. Die Arbeit legt nahe, dass die Zukunft der 3D-Modellierung nicht darin liegen könnte, sich zwischen verschiedenen Technologien zu entscheiden, sondern Wege zu finden, sie zusammenarbeiten zu lassen, indem man die Stärken der jeweils anderen nutzt, um die Schwächen des Gegenübers zu überwinden.