Light 'em Up: Enabling Few-Shot Low-Light 3D Gaussian Splatting with Multi-Scale Explicit Retinex Illumination Decoupling

1. Formulação do Problema

A Síntese de Nova Visão (NVS) 360° em Baixa Luminosidade permanece um desafio significativo na visão computacional. Os métodos existentes lutam com três questões principais quando aplicados a cenas do mundo real com baixa exposição:

• Inconsistência Fotométrica: A iluminação insuficiente leva à amplificação de ruído e distorção de cor, perturbando a consistência de aparência necessária para a reconstrução geométrica multivista.
• Artefatos Dependentes da Visão: Abordagens não supervisionadas frequentemente sofrem com deriva de cor severa quando os pontos de vista variam significativamente (cobertura total de 360°), enquanto modelos de aprimoramento 2D supervisionados falham em generalizar para cenas 3D não vistas sem retreinamento.
• Escassez de Dados: A maioria dos métodos existentes de NVS em baixa luminosidade requer entradas de visão densas ou extensos dados de treinamento pareados, tornando-os impraticáveis para cenários de poucas visões e poucos exemplos comuns em aplicações do mundo real (por exemplo, direção autônoma noturna, digitalização de patrimônio cultural).

2. Metodologia: MERID-GS

Os autores propõem o MERID-GS, um framework que integra o Desacoplamento Explícito de Iluminação Retinex Multiescala com o 3D Gaussian Splatting (3DGS). O pipeline consiste em três estágios distintos:

A. Desacoplamento Explícito de Iluminação Retinex Multiescala (MERID)

Em vez de modelar a degradação de iluminação implicitamente dentro da representação 3D, o MERID-GS realiza o desacoplamento explícito no domínio da imagem com base na teoria de Retinex ($I = L \times R$, onde $I$ é intensidade, $L$ é iluminação e $R$ é refletância).

• Ganho Regularizado Aprendível: Para evitar instabilidade numérica no domínio logarítmico (comum em baixa luminosidade), o modelo opera no domínio espacial. Ele introduz uma função de ganho aprendível $g(x)$ que se adapta à informação de luminância e estrutura, suprimindo a amplificação de ruído enquanto aprimora regiões escuras.
• Representação de Estado de Iluminação: O modelo constrói uma característica de estado de iluminação ($\mathbf{F}_{illu}$) codificando a luminância de baixa frequência, a refletância e o ganho logarítmico. Isso serve como um prior para o posterior remoção de ruído.

B. Atenção com Portão de Frequência Guiada por Estado de Iluminação (IS-FGA)

Para abordar o emaranhado de ruído e estruturas verdadeiras em características de baixa luminosidade, os autores introduzem um mecanismo de atenção inovador dentro de uma arquitetura codificador-decodificador em forma de U:

• Modulação de Valor Condicionada à Frequência: O ramo de valor ($V$) do mecanismo de atenção é decomposto em bandas de baixa, média e alta frequência. Essas bandas são moduladas com base na característica de estado de iluminação, permitindo que o modelo aprimore seletivamente frequências estruturais enquanto suprime frequências dominadas por ruído.
• Portão Condicionado ao Estado de Iluminação: Um mecanismo de portão elemento a elemento suprime ainda mais a propagação de ruído em regiões escuras antes que a agregação padrão de atenção ocorra.

C. Cabeça de Reflexão e 3D Gaussian Splatting

• Cabeça de Reflexão: Um módulo leve (usando convoluções $1\times1$ e GELU) é aplicado ao componente de refletância para corrigir desvios de cor e material entre cenas. Crucialmente, esta cabeça é projetada para adaptação de poucos exemplos, exigindo apenas algumas amostras de uma nova cena para ajuste fino.
• Síntese 3DGS: As imagens de refletância corrigidas são alimentadas no 3D Gaussian Splatting. Como a iluminação foi explicitamente desacoplada e normalizada, o otimizador 3DGS pode focar na geometria e na refletância, levando a uma convergência estável mesmo com entradas esparsas.

3. Contribuições Principais

1. Framework MERID-GS: O primeiro método a combinar o desacoplamento explícito de iluminação baseado em Retinex com 3DGS para NVS em baixa luminosidade, permitindo renderização de alta qualidade em cenas não vistas a partir de observações esparsas.
2. Mecanismo IS-FGA: Um módulo de atenção inovador que usa estados de iluminação para guiar o portão de frequência, suprimindo efetivamente a propagação de ruído enquanto preserva detalhes estruturais em regiões escuras.
3. Adaptabilidade de Poucos Exemplos: O sistema alcança síntese estável com apenas 10 visões de entrada de luz normal para adaptação, reduzindo o tempo de treinamento por cena para aproximadamente 5 minutos.
4. Dataset LLD: Os autores construíram o LLD (Low-Light Dataset), um dataset multivista de 360° completo cobrindo 6 cenas com imagens pareadas de baixa luminosidade e luz normal, abordando a falta de benchmarks para esta tarefa específica.

4. Resultados Experimentais

O método foi avaliado nos datasets NeRF360, LOM_full e no novo LLD, comparando-se com baselines state-of-the-art não supervisionados (por exemplo, Luminance-GS) e supervisionados (por exemplo, Retinexformer, MambaLLIE).

• Desempenho Quantitativo:
  • O MERID-GS alcançou desempenho SOTA em todas as métricas (PSNR, SSIM, LPIPS).
  • PSNR Médio: 25,03 dB (vs. ~17–19 dB para os próximos melhores métodos supervisionados).
  • SSIM: 0,796 (vs. ~0,67 para as baselines).
  • LPIPS: 0,166 (quanto menor, melhor, superando significativamente as baselines).
• Desempenho Qualitativo:
  • Comparações visuais mostram que o MERID-GS elimina a deriva de cor e a amplificação de ruído vistas em outros métodos.
  • Ele preserva a consistência geométrica e detalhes finos em regiões escuras onde outros métodos falham ou produzem artefatos.
• Eficiência:
  • O processo de adaptação de poucos exemplos leva apenas ~5 minutos por cena.
  • Estudos de ablação confirmaram que remover a Cabeça de Reflexão ou o IS-FGA degrada significativamente o desempenho (reduzindo o PSNR em ~7 dB e ~0,55 dB, respectivamente).

5. Significado

Este trabalho preenche a lacuna entre o aprimoramento 2D de baixa luminosidade e a reconstrução de cena 3D. Ao desacoplar explicitamente a iluminação da refletância, o MERID-GS resolve a questão fundamental de "iluminar" uma cena 3D sem confundir mudanças de iluminação com mudanças geométricas ou de material.

• Impacto Prático: Permite reconstrução 3D de alta fidelidade em ambientes desafiadores (noturno, baixa luminosidade interna) com requisitos mínimos de dados, tornando-o viável para aplicações como direção autônoma, AR/VR e preservação de patrimônio digital.
• Generalização: A modelagem explícita de iluminação permite que o modelo generalize para cenas completamente não vistas sem a necessidade de retreinamento extensivo, um passo crítico para a implantação no mundo real.