Dehaze-then-Splat: Generative Dehazing with Physics-Informed 3D Gaussian Splatting for Smoke-Free Novel View Synthesis

Resumo Técnico: Dehaze-then-Splat

1. O Problema

O trabalho aborda o desafio duplo de remoção de fumaça/neblina em múltiplas visões e síntese de novas visões (NVS) para reconstrução 3D. O cenário específico é o Track 2 do Desafio NTIRE 2026 de Restauração e Reconstrução 3D, baseado no conjunto de dados RealX3D, que contém imagens degradadas por fumaça física e condições de baixa luminosidade.

A tensão fundamental identificada pelos autores é a seguinte:

• Modelos de dehazing (remoção de neblina) generativos de última geração (como o Nano Banana Pro) produzem resultados visualmente impressionantes em imagens individuais (alta qualidade 2D).
• No entanto, como esses modelos processam cada visão de forma independente, eles introduzem inconsistências inter-quadros (variações estocásticas em cor, textura e detalhes "alucinados").
• Quando essas imagens inconsistentes são usadas para treinar modelos de reconstrução 3D (como 3D Gaussian Splatting - 3DGS), as inconsistências levam a:
  • Renderizações borradas.
  • Deriva de textura (texture drift).
  • Instabilidade estrutural e artefatos flutuantes (floaters).
  • Falha em garantir a consistência fotométrica e geométrica necessária para uma reconstrução 3D de alta fidelidade.

2. Metodologia: Pipeline Dehaze-then-Splat

Os autores propõem um pipeline de duas etapas que combina a restauração generativa com treinamento de 3DGS informado por física.

Etapa 1: Dehazing Generativo e Normalização

• Modelo: Utilização do Nano Banana Pro (via API Gemini) para remover a fumaça quadro a quadro.
• Prompt Engineering: Uso de prompts estruturados (6 pontos) para garantir a remoção da fumaça enquanto preservam a geometria e a aparência realista, superando prompts simples.
• Normalização de Brilho: Para corrigir inconsistências de brilho global entre quadros adjacentes (que podem variar até 0.12), aplica-se uma normalização por canal (média/desvio padrão).
  • Se há Ground Truth (GT): Normaliza-se para as estatísticas do GT.
  • Sem GT: Normaliza-se para a mediana de todas as frames (self-normalization).
• Alinhamento: Redimensionamento das imagens geradas para corresponder exatamente às intrínsecas da câmera.

Etapa 2: Treinamento de 3DGS com Priors Físicos
Para compensar as variações introduzidas na Etapa 1, o treinamento do 3DGS é enriquecido com funções de perda auxiliares informadas por física que atuam como regularizadores de consistência multi-visão:

1. Supervisão de Profundidade (Pearson):

   • Gera mapas de profundidade pseudo (pseudo-depth) das imagens originais com fumaça usando Depth Anything V2.
   • Aplica uma perda de correlação de Pearson ponderada e invariante de escala entre a profundidade renderizada e a pseudo-profundidade.
   • Impacto: Ancoragem da geometria, mesmo com variações de textura.

2. Regularização de Priori de Canal Escuro (DCP):

   • Força o canal escuro da imagem renderizada a ser próximo de zero, suprimindo resíduos de neblina.

3. Perda de Gradiente de Dupla Fonte:

   • Alinha a estrutura de bordas da imagem renderizada com uma referência estrutural secundária (saída do modelo MB-TaylorFormer), garantindo consistência nas bordas.

4. Estratégia de Densificação MCMC e Parada Antecipada:

   • Substitui heurísticas manuais de divisão/clonagem por uma estratégia MCMC (Markov Chain Monte Carlo) que gerencia a densidade de Gaussianas via injeção de ruído estocástico.
   • Parada Antecipada (Early Stopping): A densificação é interrompida cedo (ex: passo 3000, ~104k-161k Gaussianas).
   • Motivo: O treinamento prolongado com dados inconsistentes faz o modelo "memorizar" os artefatos de cada visão, causando explosão de Gaussianas e artefatos flutuantes. O pico de qualidade ocorre antes que o modelo tenha capacidade suficiente para overfitting.

Função de Perda Total:
$$L = (1-\lambda_s)L_1 + \lambda_s L_{SSIM} + \lambda_d L_{DCP} + \lambda_p L_{depth} + \lambda_g L_{grad}$$

3. Contribuições Principais

• Identificação da Tensão 2D-3D: Evidência empírica de que a alta qualidade de restauração 2D por quadro não garante consistência multi-visão e pode degradar a reconstrução 3D se não for regularizada.
• Pipeline Híbrido: Proposta de uma abordagem "Dehaze-then-Splat" que separa a restauração da reconstrução, mas utiliza regularização física na etapa de reconstrução para corrigir as falhas da etapa de restauração.
• Regularização Informada por Física: Demonstração de que a combinação de supervisão de profundidade (via Pearson), DCP e gradientes de dupla fonte é essencial para estabilizar o 3DGS em cenários de dados inconsistentes.
• Controle de Capacidade: A descoberta de que a parada antecipada da densificação é crítica para evitar artefatos em regimes de poucas visões com dados gerados.

4. Resultados

Os resultados foram validados na cena Akikaze (com Ground Truth disponível):

• Desempenho de NVS (Síntese de Nova Visão):
  • PSNR: 20.98 dB (melhoria de +1.50 dB sobre a linha de base sem regularização).
  • SSIM: 0.683.
  • LPIPS: 0.600.
• Comparação de Componentes (Ablação):
  • A supervisão de profundidade foi o componente mais impactante (+0.79 dB).
  • A estratégia MCMC superou a estratégia padrão (+0.47 dB).
  • A parada antecipada (STOP=3k) superou a parada tardia (STOP=15k) em +0.35 dB, confirmando que o overfitting aos artefatos de visão única é o principal inimigo.
• Comparação de Modelos 2D:
  • O Nano Banana Pro (com normalização) alcançou 20.07 dB de PSNR por quadro, superando significativamente métodos clássicos (DCP: ~11.9 dB) e outros baseados em aprendizado (MB-TaylorFormer: 17.00 dB).
• Falha de Abordagens Alternativas:
  • Uma abordagem end-to-end de decomposição de espalhamento (integrando o modelo de Koschmieder diretamente no 3DGS) falhou (10.28 dB), colapsando para $\beta \to 0$, provando que a separação das etapas com regularização é superior neste contexto.

5. Significado e Conclusão

O trabalho destaca que soluções eficazes para restauração 3D em condições degradadas não podem ser puramente 2D (que geram inconsistências) nem puramente 3D end-to-end (que falham sem priores fortes de restauração).

A solução proposta Dehaze-then-Splat equilibra a qualidade de restauração com a coerência cruzada (cross-view coherence) através de:

1. Uso de modelos generativos de ponta para a base visual.
2. Aplicação rigorosa de priores físicos e controle de capacidade durante o treinamento 3D.

Os autores sugerem que trabalhos futuros devem focar em integrar restrições de consistência multi-visão diretamente na etapa de dehazing (ex: modelos generativos de vídeo ou mecanismos de atenção multi-visão) para fechar ainda mais essa lacuna. O código está disponível publicamente.