DerainSplat: Feed-Forward Clean 3D Gaussian Splatting from Sparse Rainy Views

Imagina que estás intentando construir un holograma 3D perfecto de una habitación usando solo unas pocas fotos tomadas con un teléfono inteligente. Este es el emocionante mundo de la reconstrucción 3D, un campo donde las computadoras intentan comprender la forma y el aspecto del mundo real a partir de imágenes planas. Por lo general, estos "arquitectos" informáticos funcionan mejor cuando las fotos son nítidas. Pero, ¿qué pasa cuando cae una lluvia torrencial? Las fotos se cubren de rayas de agua, manchas borrosas por las gotas en la lente y una niebla grisácea. Si intentas construir tu modelo 3D con estas fotos desordenadas, la computadora se confunde y el holograma resultante se ve deformado y roto. Este es un gran problema para cosas como los coches autónomos o los robots que necesitan "ver" con claridad para navegar de forma segura, incluso cuando el clima es terrible.

Durante mucho tiempo, los científicos tuvieron dos formas principales de solucionar esto. Una forma era intentar limpiar cada foto individualmente antes de construir el modelo 3D, como limpiar un cristal sucio antes de mirar a través de él. La otra forma era construir el modelo lentamente, ajustándolo una y otra vez para cada escena lluviosa específica, lo cual es increíblemente lento. Un método más nuevo y rápido llamado 3D Gaussian Splatting ha surgido, el cual puede construir una escena 3D en un solo vistazo ultrarrápido. Sin embargo, este método rápido fue diseñado para días despejados y colapsa cuando se enfrenta a la lluvia. La gran pregunta que los investigadores se han estado haciendo es: ¿Podemos enseñar a una computadora a mirar unas pocas fotos lluviosas y "ver" instantáneamente el mundo limpio y seco que hay debajo, sin necesidad de limpiar las fotos primero o esperar horas por un resultado?

Aquí entra DerainSplat, un nuevo enfoque que dice: "¡Sí, podemos!". Los investigadores detrás de este trabajo se dieron cuenta de que intentar limpiar las fotos primero y luego construir el modelo era una mala idea porque las fotos limpiadas no concordaban entre sí, lo que llevaba a un resultado 3D desordenado. En su lugar, construyeron un enorme patio de recreo de entrenamiento donde enseñaron a una computadora a entender la lluvia en sí misma. Crearon un conjunto de datos sintético tomando hermosas escenas 3D despejadas y añadiendo lluvia digitalmente en cuatro etapas realistas: primero, atenuaron las luces para imitar un cielo nublado; segundo, añadieron una neblina dependiente de la profundidad que se vuelve más espesa cuanto más lejos están los objetos; tercero, pintaron rayas de lluvia realistas; y finalmente, añadieron gotas de agua pegadas a la lente de la cámara que distorsionan la vista.

Usando estos datos de entrenamiento, DerainSplat actúa como un detective superinteligente que no solo limpia la ventana; descubre exactamente cómo la lluvia está alterando la visión. Predice "factores climáticos" —como un mapa de dónde están las rayas de lluvia, qué tan espesa es la niebla y dónde se esconden las gotas de la lente—. Luego, utiliza estos mapas para guiar el proceso de construcción 3D. Piensa en ello como una cuadrilla de construcción que sabe exactamente qué ladrillos están cubiertos de barro. En lugar de intentar fregar el barro de los ladrillos, simplemente ignoran las partes embarradas y rellenan los huecos utilizando ladrillos limpios desde otros ángulos, además de disminuir la confianza de las partes embarradas para que no arruinen la estructura.

Los resultados son impresionantes. Al ser probado en varios conjuntos de datos, incluyendo escenas lluviosas del mundo real, DerainSplat produjo modelos 3D mucho más limpios y precisos que los métodos anteriores. Superó a los métodos rápidos existentes por un margen significativo, mejorando las puntuaciones de calidad de imagen en más de 4 dB en algunas pruebas, y lo hizo en una fracción de segundo. El artículo sugiere que al aprender a separar el "clima" de la "escena" todo a la vez, en lugar de en pasos separados, finalmente podemos construir mundos 3D fiables incluso cuando el cielo está gris y el suelo está mojado. Esto significa que, en el futuro, los robots y los vehículos autónomos podrían navegar por calles lluviosas con la misma confianza que en las soleadas, viendo la verdadera forma del mundo a través de la tormenta.