Resumo Técnico: DelowlightSplat

Declaração do Problema

A síntese de novas vistas e a reconstrução 3D a partir de imagens com pose esparsa são críticas para robótica e RA/RV. Embora métodos recentes de Splatting Gaussiano 3D (3DGS) feed-forward tenham amortizado com sucesso a otimização por cena, prevendo diretamente Gausianas 3D a partir de vistas esparsas, eles falham significativamente em condições de baixa luminosidade. Em regimes de baixa luminosidade, o contraste reduzido, o ruído do sensor e o viés de cor degradam a correspondência de características. Essa ruptura na correspondência interrompe a agregação de volumes de custo, levando a geometrias incorretas e aparências excessivamente suavizadas.

Soluções alternativas existentes, como um pipeline "restaurar-então-reconstruir" (melhorando imagens 2D antes da reconstrução), são insuficientes. A melhoria por imagem frequentemente introduz deslocamentos de cor dependentes da vista e inconsistências de iluminação, falhando em otimizar explicitamente a consistência multi-vista, o que resulta em reconstrução a jusante instável. Além disso, há uma escassez de dados de supervisão multi-vista realistas onde as vistas-alvo estão limpas enquanto as vistas de contexto estão degradadas, tornando difícil treinar modelos especificamente para esta tarefa.

Metodologia: DelowlightSplat

Os autores propõem DelowlightSplat, um framework 3DGS feed-forward de duas vistas, consciente de baixa luminosidade, projetado para reconstruir cenas 3D limpas e normalmente iluminadas diretamente a partir de entradas de baixa luminosidade. O pipeline consiste em três etapas principais:

1. Benchmark Controlável de Baixa Luminosidade Multi-vista

Para abordar a falta de dados de treinamento, os autores construíram um benchmark baseado em um conjunto de dados de vistas com pose em grande escala. Em vez de degradar cenas inteiras, eles degradam apenas as vistas de contexto (imagens de entrada) enquanto mantêm as vistas-alvo (verdadeira terra) limpas. O operador de degradação $\mathcal{L}$ aplica quatro transformações probabilísticas sequencialmente às imagens de contexto:

• Escurecimento Gamma: $I \leftarrow I^\gamma$ com $\gamma > 1$.
• Escala de Exposição: $I \leftarrow s \cdot I$ com $0 < s < 1$.
• Deslocamento de Canal RGB: Escalonamento independente dos canais R, G e B.
• Desfoque: Convolução com um kernel Gaussiano.

Este protocolo isola o impacto das entradas de baixa luminosidade na reconstrução, impedindo que o modelo simplesmente aprenda a imitar aparências de baixa luminosidade.

2. Adaptador de Baixa Luminosidade

Um módulo front-end leve é introduzido para mapear entradas de baixa luminosidade em um domínio de representação adequado para raciocínio multi-vista. Diferentemente de modelos de melhoria 2D autônomos, este adaptador é otimizado para melhorar a correspondência para o pipeline subsequente.

• Mecanismo: Prevê uma correção residual $\Delta(I_i)$ usando uma pequena pilha de blocos residuais convolucionais.
• Saída: A imagem adaptada é calculada como $\tilde{I}_i = \text{clip}(I_i + \lambda \cdot \tanh(\Delta(I_i)))$.
• Benefício: Esta formulação residual permite que o modelo permaneça próximo à identidade para degradações leves (evitando super-melhoria) e é treinada de ponta a ponta com a espinha dorsal de reconstrução.

3. Rede de Splatting Gaussiano Feed-forward

As vistas de contexto adaptadas $\{\tilde{I}_i\}$ são processadas por um codificador multi-vista baseado em volume de custo:

• Codificação de Características: Extrai características 2D e realiza interação entre vistas para agregar evidências geometricamente consistentes.
• Construção de Geometria: Prevê profundidade e quantidades relacionadas à densidade em cada pixel. Estas são retroprojetadas em 3D para formar centros Gaussianos ($\mu$). Covariâncias ($\Sigma$) e opacidades ($\alpha$) são parametrizadas para garantir positividade definida e intervalos válidos.
• Aparência: Cada Gaussiana carrega coeficientes de Harmônicos Esféricos (SH) ($h$) para representar cor dependente da vista.
• Objetivo de Treinamento: A rede é supervisionada usando imagens-alvo limpas ($I^\star_t$) através de uma combinação de perda pixel a pixel (por exemplo, $\ell_2$ ou Charbonnier) e perda perceptual.

Principais Contribuições

1. Um Benchmark Controlável de Baixa Luminosidade Multi-vista: Um framework de treinamento e avaliação que degrada apenas vistas de contexto com transformações probabilísticas, mantendo vistas-alvo limpas, permitindo a ablação sistemática de efeitos de baixa luminosidade.
2. Pipeline DelowlightSplat: Um pipeline 3DGS feed-forward de duas vistas novel que integra um Adaptador de Baixa Luminosidade leve para melhoria residual. Esta abordagem melhora a correspondência entre vistas e prevê diretamente Gausianas 3D limpas para renderização de novas vistas, evitando as inconsistências de pipelines de duas etapas.

Resultados Experimentais

O método foi avaliado contra duas linhas de base:

• Lowlight MVSplat: Alimentar diretamente imagens de baixa luminosidade em um reconstrutor feed-forward padrão.
• DarkIR $\to$ MVSplat: Um pipeline de duas etapas usando um forte modelo de restauração 2D (DarkIR) seguido de reconstrução.

Desempenho Quantitativo (Síntese de Nova Vista em Baixa Luminosidade):
O DelowlightSplat superou significativamente ambas as linhas de base:

• PSNR: Melhorou de 8,49 (Lowlight MVSplat) e 17,11 (DarkIR $\to$ MVSplat) para 23,08.
• SSIM: Melhorou de 0,372 e 0,723 para 0,833.
• LPIPS: Reduziu de 0,355 e 0,225 para 0,162 (menor é melhor).

Observações Qualitativas:

• A reconstrução direta resultou em texturas excessivamente suavizadas e artefatos geométricos (por exemplo, estruturas flutuantes).
• A linha de base de duas etapas melhorou o brilho, mas introduziu deslocamentos de cor dependentes da vista e desfoque residual devido à restauração inconsistente por imagem.
• O DelowlightSplat produziu bordas mais nítidas, geometria estável e cor/sombreamento consistentes entre as vistas.

Significado e Alegações

O artigo afirma que o DelowlightSplat efetivamente preenche a lacuna entre a reconstrução 3D feed-forward padrão e condições de baixa luminosidade. Ao integrar a adaptação de baixa luminosidade diretamente no pipeline de reconstrução, em vez de tratá-lo como uma etapa de pré-processamento separada, o método otimiza explicitamente a consistência multi-vista. Os resultados demonstram que esta abordagem produz maior fidelidade de reconstrução e qualidade perceptual sob diversas degradações de baixa luminosidade (gamma, exposição, deslocamento de cor e desfoque) em comparação com métodos diretos ou de duas etapas existentes.

Os autores notam que trabalhos futuros poderiam estender o modelo para lidar com mais vistas, contextos temporais mais longos e artefatos de sensores do mundo real, como desfoque de movimento severo e ruído espacialmente variável.