DerainSplat: Feed-Forward Clean 3D Gaussian Splatting from Sparse Rainy Views

Imagine que você esteja tentando construir um holograma 3D perfeito de uma sala usando apenas algumas fotos tiradas com um smartphone. Este é o emocionante mundo da reconstrução 3D, um campo onde computadores tentam entender a forma e a aparência do mundo real a partir de imagens planas. Normalmente, esses "arquitetos" de computador funcionam melhor quando as fotos estão cristalinas. Mas o que acontece quando está chovendo torrencialmente? As fotos ficam cobertas por rastros de água, manchas borradas causadas por gotas na lente e uma névoa cinzenta e nebulosa. Se você tentar construir seu modelo 3D com essas fotos bagunçadas, o computador ficará confuso, e o holograma resultante parecerá deformado e quebrado. Este é um grande problema para coisas como carros autônomos ou robôs que precisam "enxergar" claramente para navegar com segurança, mesmo quando o tempo está terrível.

Por muito tempo, os cientistas tiveram duas maneiras principais de corrigir isso. Uma maneira era tentar limpar cada foto individualmente antes de construir o modelo 3D, como limpar uma janela suja antes de olhar através dela. A outra maneira era construir o modelo lentamente, ajustando-o repetidamente para cada cena chuvosa específica, o que é incrivelmente lento. Um método mais novo e rápido chamado 3D Gaussian Splatting surgiu, que pode construir uma cena 3D em um único olhar relâmpago. No entanto, esse método rápido foi projetado para dias claros e colapsa quando confrontado com a chuva. A grande questão que os pesquisadores têm feito é: Podemos ensinar um computador a olhar para algumas fotos chuvosas e instantaneamente "enxergar" o mundo limpo e seco por baixo, sem precisar limpar as fotos primeiro ou esperar horas por um resultado?

Apresentamos o DerainSplat, uma nova abordagem que diz: "Sim, nós podemos!". Os pesquisadores por trás deste trabalho perceberam que tentar limpar as fotos primeiro e depois construir o modelo era uma má ideia porque as fotos limpas não concordavam entre si, levando a um resultado 3D bagunçado. Em vez disso, eles construíram um enorme parquinho de treinamento onde ensinaram um computador a entender a chuva em si. Eles criaram um conjunto de dados sintéticos pegando belas cenas 3D nítidas e adicionando chuva digitalmente em quatro estágios realistas: primeiro, diminuíram as luzes para imitar um céu nublado; em seguida, adicionaram uma névoa dependente da profundidade que fica mais espessa quanto mais longe os objetos estão; depois, pintaram rastros de chuva realistas; e, finalmente, adicionaram gotas de água presas à lente da câmera que distorcem a visão.

Usando esses dados de treinamento, o DerainSplat age como um detetive superinteligente que não apenas limpa a janela; ele descobre exatamente como a chuva está atrapalhando a visão. Ele prevê "fatores meteorológicos" — como um mapa de onde os rastros de chuva estão, quão espessa é a névoa e onde as gotas da lente estão se escondendo. Ele então usa esses mapas para guiar o processo de construção 3D. Pense nisso como uma equipe de construção que sabe exatamente quais tijolos estão cobertos de lama. Em vez de tentar esfregar a lama dos tijolos, eles simplesmente ignoram as partes lamacentas e preenchem as lacunas usando tijolos limpos de outros ângulos, enquanto também diminuem a confiança dos pontos lamacentos para que não estraguem a estrutura.

Os resultados são impressionantes. Quando testado em vários conjuntos de dados, incluindo cenas chuvosas do mundo real, o DerainSplat produziu modelos 3D muito mais limpos e precisos do que os métodos anteriores. Ele superou os métodos rápidos existentes por uma margem significativa, melhorando as pontuações de qualidade de imagem em mais de 4 dB em alguns testes, e fez isso em uma fração de segundo. O artigo sugere que, ao aprender a separar o "clima" da "cena" de uma só vez, em vez de em etapas separadas, podemos finalmente construir mundos 3D confiáveis mesmo quando o céu está cinzento e o chão está molhado. Isso significa que, no futuro, robôs e veículos autônomos poderão navegar em ruas chuvosas com tanta confiança quanto em dias ensolarados, enxergando a verdadeira forma do mundo através da tempestade.