DerainSplat: Feed-Forward Clean 3D Gaussian Splatting from Sparse Rainy Views

Imaginez que vous essayiez de construire un hologramme 3D parfait d'une pièce en utilisant seulement quelques photos prises avec un smartphone. C'est le monde passionnant de la reconstruction 3D, un domaine où les ordinateurs tentent de comprendre la forme et l'apparence du monde réel à partir d'images plates. Habitellement, ces « architectes » informatiques fonctionnent mieux lorsque les photos sont parfaitement nettes. Mais que se passe-t-il lorsqu'il pleut à verse ? Les photos se retrouvent couvertes de traînées d'eau, de taches floues causées par des gouttelettes sur l'objectif et d'un brouillard grisâtre. Si vous essayez de construire votre modèle 3D avec ces photos désordonnées, l'ordinateur est confus, et l'hologramme résultant semble déformé et brisé. C'est un problème majeur pour des choses comme les voitures autonomes ou les robots qui doivent « voir » clairement pour naviguer en toute sécurité, même lorsque la météo est terrible.

Pendant longtemps, les scientifiques ont eu deux méthodes principales pour corriger cela. Une méthode consistait à essayer de nettoyer chaque photo individuellement avant de construire le modèle 3D, comme si l'on essuyait une fenêtre sale avant de regarder à travers elle. L'autre méthode consistait à construire le modèle lentement, en l'ajustant encore et encore pour chaque scène pluvieuse spécifique, ce qui est incroyablement lent. Une méthode plus récente et plus rapide, appelée 3D Gaussian Splatting, a émergé, capable de construire une scène 3D en un seul regard éclair. Cependant, cette méthode rapide a été conçue pour des jours de beau temps et s'effondre face à la pluie. La grande question que les chercheurs se posent est la suivante : pouvons-nous apprendre à un ordinateur à regarder quelques photos pluvieuses et à « voir » instantanément le monde propre et sec qui se trouve en dessous, sans avoir besoin de nettoyer les photos au préalable ou d'attendre des heures pour obtenir un résultat ?

Entrez en scène DerainSplat, une nouvelle approche qui dit : « Oui, nous le pouvons ! » Les chercheurs derrière ce travail ont réalisé que tenter de nettoyer les photos d'abord, puis de construire le modèle, était une mauvaise idée car les photos nettoyées ne concordaient pas entre elles, ce qui menait à un résultat 3D désordonné. Au lieu de cela, ils ont construit un immense terrain de jeu d'entraînement où ils ont appris à un ordinateur à comprendre la pluie elle-même. Ils ont créé un ensemble de données synthétiques en prenant de magnifiques scènes 3D claires et en y ajoutant numériquement de la pluie en quatre étapes réalistes : d'abord, ils ont tamisé la lumière pour imiter un ciel couvert ; ensuite, ils ont ajouté un brouillard dépendant de la profondeur qui s'épaissit à mesure que l'on s'éloigne des objets ; puis, ils ont peint des traînées de pluie réalistes ; et enfin, ils ont ajouté des gouttelettes d'eau collées à l'objectif de la caméra qui déforment la vue.

En utilisant ces données d'entraînement, DerainSplat agit comme un détective super intelligent qui ne se contente pas d'essuyer la fenêtre ; il comprend exactement comment la pluie perturbe la vue. Il prédit des « facteurs météorologiques » — comme une carte de l'emplacement des traînées de pluie, l'épaisseur du brouillard et l'endroit où les gouttelettes de l'objectif se cachent. Il utilise ensuite ces cartes pour guider le processus de construction 3D. Imaginez cela comme une équipe de construction qui sait exactement quelles briques sont couvertes de boue. Au lieu d'essayer de récurer la boue sur les briques, ils ignorent simplement les parties boueuses et comblent les vides en utilisant des briques propres provenant d'autres angles, tout en diminuant la confiance accordée aux zones boueuses pour qu'elles ne perturbent pas la structure.

Les résultats sont impressionnants. Testé sur divers ensembles de données, y compris des scènes pluvieuses du monde réel, DerainSplat a produit des modèles 3D beaucoup plus propres et plus précis que les méthodes précédentes. Il a surpassé les méthodes rapides existantes de manière significative, améliorant les scores de qualité d'image de plus de 4 dB dans certains tests, et ce, en une fraction de seconde. L'article suggère qu'en apprenant à séparer la « météo » de la « scène » tout d'un coup, plutôt que par étapes séparées, nous pouvons enfin construire des mondes 3D fiables, même quand le ciel est gris et le sol est mouillé. Cela signifie qu'à l'avenir, les robots et les véhicules autonomes pourraient naviguer dans des rues pluvieuses avec autant d'assurance que sur des rues ensoleillées, percevant la véritable forme du monde à travers la tempête.