DerainSplat: Feed-Forward Clean 3D Gaussian Splatting from Sparse Rainy Views

Stellen Sie sich vor, Sie versuchen, ein perfektes, 3D-Hologramm eines Raumes zu erstellen, indem Sie nur wenige Fotos verwenden, die mit einem Smartphone aufgenommen wurden. Dies ist die aufregende Welt der 3D-Rekonstruktion, ein Bereich, in dem Computer versuchen, die Form und das Aussehen der realen Welt aus flachen Bildern zu verstehen. Normalerweise arbeiten diese Computer-„Architekten“ am besten, wenn die Fotos kristallklar sind. Aber was passiert, wenn es in Strömen regnet? Die Fotos sind bedeckt mit Wasserstreifen, unscharfen Stellen durch Regentropfen auf der Linse und einem dunstigen grauen Nebel. Wenn Sie versuchen, Ihr 3D-Modell mit diesen unordentlichen Fotos zu erstellen, wird der Computer verwirrt, und das resultierende Hologramm sieht verzerrt und kaputt aus. Dies ist ein großes Problem für Dinge wie selbstfahrende Autos oder Roboter, die „sehen“ müssen, um auch bei schlechtem Wetter sicher zu navigieren.

Lange Zeit hatten Wissenschaftler zwei Hauptwege, um dies zu beheben. Ein Weg war, zu versuchen, jedes Foto einzeln zu säubern, bevor man das 3D-Modell erstellt – so als würde man ein schmutziges Fenster abwischen, bevor man hindurchsieht. Der andere Weg war, das Modell langsam aufzubauen, indem man es immer wieder für jede spezifische Regenszene anpasst, was unglaublich langsam ist. Eine neuere, schnellere Methode namens 3D Gaussian Splatting ist entstanden, die eine 3D-Szene mit einem einzigen, blitzschnellen Blick erstellen kann. Diese schnelle Methode wurde jedoch für klare Tage entwickelt und bricht zusammen, wenn sie mit Regen konfrontiert wird. Die große Frage, die Forscher gestellt haben, lautete: Können wir einen Computer lehren, auf ein paar regnerische Fotos zu schauen und sofort die saubere, trockene 3D-Welt darunter zu „sehen“, ohne die Fotos zuerst reinigen zu müssen oder auf ein Ergebnis stundenlang warten zu müssen?

Hier kommt DerainSplat, ein neuer Ansatz, der sagt: „Ja, das können wir!“ Die Forscher hinter dieser Arbeit erkannten, dass der Versuch, die Fotos zuerst zu reinigen und dann das Modell zu bauen, eine schlechte Idee war, da die gereinigten Fotos nicht untereinander übereinstimmten, was zu einem unordentlichen 3D-Ergebnis führte. Stattdessen bauten sie einen riesigen Trainingsspielplatz, auf dem sie einen Computer lehrten, den Regen selbst zu verstehen. Sie erstellten einen synthetischen Datensatz, indem sie wunderschöne, klare 3D-Szenen nahmen und digital in vier realistischen Stufen Regen hinzufügten: Zuerst dimmten sie das Licht, um einen bewölkten Himmel nachzuahmen; dann fügten sie einen tiefenabhängigen Dunst hinzu, der weiter entfernte Objekte dicker erscheinen lässt; dann malten sie realistische Regenstreifen auf; und schließlich fügten sie Wassertropfen hinzu, die an der Kameralinse kleben und die Sicht verzerren.

Unter Verwendung dieser Trainingsdaten agiert DerainSplat wie ein superintelligenter Detektiv, der nicht nur das Fenster abwischt, sondern genau versteht, wie der Regen die Sicht beeinträchtigt. Er sagt „Wetterfaktoren“ voraus – wie eine Karte, wo die Regenstreifen sind, wie dicht der Nebel ist und wo die Linsentropfen sich verstecken. Er nutzt diese Karten dann, um den 3D-Bauprozess zu leiten. Denken Sie an eine Baustelle, die genau weiß, welche Ziegel mit Schlamm bedeckt sind. Anstatt zu versuchen, den Schlamm von den Ziegeln abzuschrubben, ignorieren sie einfach die schlammigen Teile und füllen die Lücken mit sauberen Ziegeln aus anderen Winkeln auf, während sie gleichzeitig das Vertrauen in die schlammigen Stellen verringern, damit diese die Struktur nicht stören.

Die Ergebnisse sind beeindruckend. Bei Tests auf verschiedenen Datensätzen, einschließlich realer regnerischer Szenen, erzeugte DerainSplat viel sauberere und genauere 3D-Modelle als bisherige Methoden. Es übertraf bestehende schnelle Methoden um eine signifikante Marge, verbesserte die Bildqualitätswerte in einigen Tests um über 4 dB und tat dies in einem Bruchteil einer Sekunde. Das Paper legt nahe, dass, indem wir lernen, das „Wetter“ vom „Szenario“ gleichzeitig zu trennen, anstatt in separaten Schritten, wir endlich zuverlässige 3D-Welten bauen können, selbst wenn der Himmel grau und der Boden nass ist. Das bedeutet, dass Roboter und autonome Fahrzeuge in Zukunft auch auf regnerischen Straßen genauso sicher navigieren können wie an sonnigen Tagen, indem sie die wahre Gestalt der Welt durch den Sturm hindurch sehen.