DerainSplat: Feed-Forward Clean 3D Gaussian Splatting from Sparse Rainy Views

Stel je voor dat je probeert een perfecte, 3D-hologram van een kamer te bouwen met slechts een paar foto's gemaakt met een smartphone. Dit is de opwindende wereld van 3D-reconstructie, een vakgebied waar computers proberen de vorm en het uiterlijk van de echte wereld te begrijpen vanuit platte plaatjes. Meestal werken deze computer-"architecten" het best wanneer de foto's kristalhelder zijn. Maar wat gebeurt er als het pijpenstelen regent? De foto's raken bedekt met strepen water, wazige plekken door druppels op de lens en een grijze, nevelige mist. Als je probeert met deze rommelige foto's een 3D-model te bouwen, raakt de computer in de war en ziet het resulterende hologram er vervormd en gebroken uit. Dit is een groot probleem voor zaken als zelfrijdende auto's of robots die helder moeten kunnen "zien" om veilig te navigeren, zelfs wanneer het weer verschrikkelijk is.

Lama tijd hadden wetenschappers twee hoofdwijzen om dit op te lossen. De ene manier was om te proberen elke foto afzonderlijk op te schonen voordat het 3D-model werd gebouwd, zoals het afvegen van een vuil raam voordat je erdoorheen kijkt. De andere manier was om het model langzaam op te bouwen, waarbij het telkens opnieuw werd aangepast voor elke specifieke regenachtige scène, wat ongelooflijk traag is. Een nieuwere, snellere methode genaamd 3D Gaussian Splatting is opgekomen, die een 3D-scène kan opbouwen in één enkele, razendsnelle blik. Deze snelle methode is echter ontworig voor heldere dagen en stort in wanneer hij geconfronteerd wordt met regen. De grote vraag die onderzoekers zich hebben gesteld is: Kunnen we een computer leren om naar een paar regenachtige foto's te kijken en direct de schone, droge 3D-wereld eronder te "zien", zonder eerst de foto's schoon te maken of uren te hoeven wachten op een resultaat?

Maak kennis met DerainSplat, een nieuwe benadering die zegt: "Ja, dat kunnen we!" De onderzoekers achter dit werk realiseerden zich dat het proberen schoon te maken van de foto's en daarna het model bouwen een slecht idee was, omdat de schoongemaakte foto's niet met elkaar overeenstemden, wat leidde tot een rommelig 3D-resultaat. In plaats daarvan bouwden ze een enorme trainingsspeeltuin waar ze een computer leerden om regen zelf te begrijpen. Ze creëerden een synthetische dataset door prachtige, heldere 3D-scènes te nemen en daar digitaal regen aan toe te voegen in vier realistische stadia: eerst dimden ze de lichten om een bewolkte lucht na te bootsen; vervolgens voegden ze een diepte-afhankelijke nevel toe die dikker wordt naarmate objecten verder weg zijn; daarna schilderden ze realistische regestrepen erop; en tot slot voegden ze waterdruppels toe die aan de cameralens kleven en het zicht vervormen.

Met behulp van deze trainingsdata werkt DerainSplat als een super slimme detective die niet alleen het raam afveegt, maar precies uitzoekt hoe de regen het zicht verstoort. Het voorspelt "weersfactoren"—zoals een kaart van waar de regestrepen zijn, hoe dik de mist is en waar de druppels op de lens zich verbergen. Het gebruikt deze kaarten vervolgens om het 3D-bouwproces te begeleiden. Denk aan een bouwploeg die precies weet welke stenen onder de modder zitten. In plaats van te proberen de modder van de stenen af te schrobben, negeren ze simpelweg de modderige delen en vullen ze de gaten op met schone stenen vanuit andere hoeken, terwijl ze ook het vertrouwen in de modderige plekken verlagen zodat ze de structuur niet verstoren.

De resultaten zijn indrukwekkend. Bij tests op diverse datasets, inclusief echte regenachtige scènes, produceerde DerainSplat veel schonere en nauwkeurigere 3D-modellen dan eerdere methoden. Het presteerde aanzienlijk beter dan bestaande snelle methoden, waarbij de beeldkwaliteitscores in sommige tests met meer dan 4 dB verbeterden, en dat deed het in een fractie van een seconde. Het artikel suggereert dat door te leren om het "weer" en de "scène" tegelijkertijd te scheiden, in plaats van in aparte stappen, we eindelijk betrouwbare 3D-werelden kunnen bouwen, zelfs wanneer de lucht grijs is en de grond nat. Dit betekent dat robots en autonome voertuigen in de toekomst met evenveel zelfvertrouwen door regenachtige straten kunnen navigeren als op zonnige dagen, waarbij ze de ware vorm van de wereld door de storm heen zien.