Het creëren van een driedimensionaal model van de echte wereld vanuit een verzameling tweedimensionale foto's is een fundamentele uitdaging in computer vision. Decennialang hebben wetenschappers op twee belangrijke manieren geprobeerd dit op te lossen. De eerste, bekend als multi-view stereo, werkt als een menselijk brein: het kijkt naar hetzelfde object vanuit verschillende hoeken, vindt overeenkomende punten en berekent hun afstand om een dichte wolk van punten te bouwen die het oppervlak vertegenwoordigen. De tweede methode, een nieuwere methode genaamd 3D Gaussian Splatting, stelt een scène niet voor als een solide object, maar als een zwerm van kleine, gekleurde, transparante ellipsen die door de ruimte zweven. Wanneer een camera naar deze zwerm kijkt, versmelten de ellipsen om een scherp, realistisch beeld te creëren. Hoewel deze nieuwe methode ongelooflijk snel is en verbluffende visuele resultaten oplevert, heeft het een aanzienlijk gebrek als het gaat om het bouwen van werkelijke 3D-vormen. In gebieden waar de camera vanuit weinig hoeken kan kijken, of waar objecten achter andere objecten verborgen zijn, kunnen deze zwevende ellipsen uit elkaar drijven of instabiele, spookachtige structuren vormen die er goed uitzien op een foto, maar geen echt, solide oppervlak vertegenwoordigen.

Onderzoekers aan de Wuhan University en de Hangzhou Dianzi University hebben een nieuw framework ontwikkeld genaamd CoMVS-GS om dit probleem op te lossen. Hun doel was om de snelheid en visuele kwaliteit van de zwevende ellipsen te combineren met de geometrische betrouwbaarheid van de traditionele op punten gebaseerde methode. In plaats van deze twee technieken als aparte hulpmiddelen te behandelen, hebben ze ze in één enkel proces geweven. Het resultaat is een systeem dat nauwkeurige, solide 3D-meshes kan reconstrueren van zowel kleine objecten als grote buitenomgevingen, zelfs in moeilijke lichtomstandigheden of wanneer delen van de scène verborgen zijn. Het team ontdekte dat door de sterke punten van de oudere, tragere methode te gebruiken om de nieuwere, snellere methode te sturen, ze de zwevende artefacten konden elimineren en oppervlakken konden produceren die zowel visueel overtuigend als geometrisch precies zijn.

Het proces begint met een cruciale stap voordat de hoofdoptimalisatie überhaupt start. Traditionele methoden beginnen vaak met een ijle verzameling punten, waardoor er grote gaten ontstaan die de computer moet raden hoe hij deze moet opvullen. De onderzoekers gebruikten in plaats daarvan een dichte puntenwolk gegenereerd door een standaard multi-view stereo algoritme om hun model te initialiseren. Ze namen deze punten en vormden de zwevende ellipsen om de lokale oppervlakteoriëntatie en dikte vanaf het allereerste moment te matchen. Stel je voor dat je een muur probeert te bouwen door eerst een paar bakstenen in de lucht te strooien en te hopen dat ze in een rechte lijn landen; deze nieuwe methode plaatst de bakstenen precies waar ze moeten zijn, uitgelijnd met het oppervlak van de muur, voordat de constructie begint. Dit gaf het systeem een sterke geometrische voorsprong, waardoor de ellipsen in de vroege stadia van de training geen instabiele structuren zouden vormen.

Zodn de het model was geïnitialiseerd, introduceerden de onderzoekers een continue feedbackloop tussen de twee technieken. Het systeem rendert een dieptekaart, wat in essentie een afbeelding is die laat zien hoe ver elk punt in de scène verwijderd is, en gebruikt die afbeelding om het multi-view stereo algoritme te verfijnen. Op zijn beurt zou het verfijnde multi-view stereo algoritme een nauwkeurigere dieptekaart produceren, die vervolgens werd gebruikt om de zwevende ellipsen te corrigeren. Deze wederzijdse supervisie betekende dat het systeem constant zijn eigen werk controleerde. Als de ellipsen naar een plek dreigden te drijven waar ze niet hoorden te zijn, zouden de multi-view stereo data hen terugtrekken. Als de multi-view stereo data onzeker was vanwege een gebrek aan textuur, zou de dichte wolk van ellipsen een stabiele gids bieden. Deze wederzijdse verfijning maakte het mogelijk om gaten op te vullen en oppervlakken glad te strijken die voor eerdere methoden moeilijk te behandelen waren.

De laatste stap bestond uit het omzetten van deze verfijnde ellipsen in een solide mesh, wat het draadmodel is dat wordt gebruikt om een 3D-object te representeren. Veel bestaande methoden proberen dit te doen door de gehele 3D-ruimte te verdelen in een rooster van kleine kubussen en het oppervlak binnen elke kubus te berekenen. Deze aanpak is gevoelig voor de grootte van de kubussen; als de kubussen te groot zijn, gaan fijne details verloren, maar als ze te klein zijn, raakt de computer het geheugen kwijt, vooral bij grote buitenopnames. De onderzoekers vermeden deze valkuil door een andere techniek te gebruiken genaamd Delaunay graph-cut meshing. In plaats van te vertrouwen op een rigide rooster, verbindt deze methode de oppervlaktepunten direct en gebruikt de gezichtslijn van de camera om te bepalen welke delen van de ruimte binnen het object vallen en welke daarbuiten liggen. Dit stelde hen in staat om een schoon, compleet oppervlak te creëren zonder de geheugendruk of het verlies van detail dat geassocieerd wordt met de roostergebaseerde aanpak.

Het team testte hun methode op verschillende datasets, waaronder de standaard DTU-benchmark voor reconstructie op objectniveau en nieuwe subsets van grootschalige buitenopnames van de GauU-Scene V2 en MatrixCity datasets. Op de DTU-benchmark behaalde hun methode een gemiddelde foutmarge die concurrerend is met de beste bestaande technieken, en presteerde vaak beter dan hen in de nauwkeurigheid van de gereconstrueerde geometrie. In de buitenopnames was het verschil nog duidelijker. Terwijl andere methoden modellen produceerden met zwevende fragmenten of grote gaten in gebieden zoals water of gevels van gebouwen, produceerde CoMVS-GS schone, continue oppervlakken. De onderzoekers merkten op dat hun methode meshes produceerde met aanzienlijk minder vlakken — gemiddeld ongeveer 8,76 miljoen vlakken vergeleken met meer dan 50 miljoen voor sommige concurrenten — terwijl de geometrische nauwkeurigheid hoger bleef. Deze compactheid suggereert dat het model de werkelijke vorm van de scène efficiënter vastlegde, zonder onnodige complexiteit toe te voegen om gaten op te vullen.

De studie omvatte ook tests om te zien welke onderdelen van hun systeem het belangrijkst waren. Wanneer zij de initiële dichtheid van de puntenwolk verwijderden, had het model moeite om te convergeren op platte oppervlakken, met name op gevels van gebouwen die vanuit scherpe hoeken werden bekeken. Wanneer zij de wederzijdse supervisieloop verwijderden, daalde de geometrische nauwkeurigheid en werden de oppervlakken minder glad. Ten slotte, toen zij hun nieuwe meshing-techniek vervingen door de traditionele roostergebaseerde methode, vertoonden de resulterende modellen gaten en onvolledige regio's, wat bevestigde dat hun graph-cut benadering essentieel was voor het aanpakken van de complexiteit van grote buitenopnames. De onderzoekers concludeerden dat door multi-view stereo niet alleen als een laatste stap te integreren, maar ook als een bron van initialisatie, continue supervisie en oppervlakte-extractie, zij een niveau van geometrische stabiliteit konden bereiken dat geen van beide methoden alleen kon bereiken.

Ho hoewel de methode een belangrijke stap voorwaarts vertegenwoordigt, erkennen de auteurs dat het nog steeds uitdagingen kent met sterk reflecterende of transparante oppervlakken, waarbij het vinden van overeenkomstige punten over verschillende camerastandpunten heen moeilijk is. Daarnaast voegt het proces van het periodiek verfijnen van de dieptekaarten een zekere computationele kost toe, wat een factor kan zijn voor zeer hoge resolutie scènes. De resultaten demonstreren echter dat het combineren van de geometrische strengheid van traditionele fotogrammetrie met de efficiëntie van moderne neurale rendering een levensvatbaar pad is naar robuustere en nauwkeurigere 3D-reconstructie. Het werk suggereert dat de toekomst van 3D-modellering niet ligt in het kiezen tussen verschillende technologieën, maar in het vinden van manieren om ze samen te laten werken, waarbij de sterke punten van de een worden benut om de zwaktes van de ander te overwinnen.