Lightweight Low-Light Image Enhancement via Distribution-Normalizing Preprocessing and Depthwise U-Net

Título: Realce de Imagem em Baixa Luz Leve via Pré-processamento de Normalização de Distribuição e U-Net com Convoluções Profundas (Depthwise)

Autores: Shimon Murai, Teppei Kurita, Ryuta Satoh e Yusuke Moriuchi (Sony Semiconductor Solutions Corporation).
Conquista: 4º lugar no Desafio de Realce de Imagem em Baixa Luz Eficiente (ELLIE) da NTIRE 2026 no CVPR.

---

1. O Problema

Imagens capturadas em condições de baixa luz sofrem com visibilidade reduzida, ruído severo e distorção de cores, o que degrada não apenas a qualidade visual, mas também prejudica tarefas de visão computacional subsequentes (como detecção de objetos).

O desafio central abordado neste trabalho é o desenvolvimento de uma rede de Realce de Imagem em Baixa Luz (LLIE) que seja:

• Extremamente leve: Deve caber em menos de 1 MB de armazenamento (em precisão fp16).
• Eficiente em parâmetros: Deve competir com métodos de ponta (SOTA) que possuem milhões de parâmetros, mas que falham quando reduzidos drasticamente de escala.
• Robusta: Deve lidar com grandes variações de brilho e contraste tanto entre imagens quanto dentro da mesma imagem.

Métodos existentes baseados em Transformers ou decomposição Retinex aprendida tendem a degradar significativamente quando escalonados para regimes de sub-1 milhão de parâmetros, pois suas "frentes" aprendidas (pre-processadores) exigem largura e profundidade suficientes para funcionar.

---

2. Metodologia

Os autores propõem uma arquitetura de duas etapas que desacopla a correção de brilho da restauração de cor, utilizando uma abordagem híbrida de algoritmos clássicos e redes neurais leves.

Etapa 1: Pré-processamento de Normalização de Distribuição (Congelado)

Em vez de usar uma rede neural para aprender a correção de brilho (o que consome muitos parâmetros), o método utiliza algoritmos clássicos ou leves como pré-processadores congelados (não treináveis durante a fase principal).

• Entrada: A imagem de baixa luz original é processada por duas abordagens complementares:
  1. CPGA-Net: Uma rede leve baseada em priors de canal e correção gama (treinada e congelada).
  2. CLAHE: Equalização de histograma adaptativa com limite de contraste no espaço CIE Lab.
• Mecanismo: A saída desses dois algoritmos é concatenada com a imagem original, formando um tensor de 9 canais.
• Objetivo: Normalizar a distribuição de entrada (reduzir a variância inter e intra-imagem de brilho e contraste). Isso fornece ao rede treinável "vistas complementares" da cena, permitindo que ela foque apenas na correção de cor residual e não na recuperação de brilho.

Etapa 2: U-Net Leve com Convoluções Profundas (DWConv)

A rede treinável é um U-Net compacto de 3 níveis, construído inteiramente com blocos de convoluções separáveis por profundidade (Depthwise-Separable Convolutions).

• Arquitetura:
  • Encoder: Projeta os 9 canais de entrada e realiza downsampling (redução de resolução) com aumento de canais.
  • Bloco: Cada bloco consiste em convoluções 3x3 separáveis por profundidade, seguidas por GroupNorm, ativação GELU e conexões residuais.
  • Decoder: Realiza upsampling bilinear e fusão via concatenação de canais.
• Saída: Uma correção residual de cor que é somada à saída do pré-processador CPGA (resíduo global).

Função de Perda

O treinamento utiliza uma combinação de perda pixel a pixel (L1) e perda perceptual (LPIPS), o que se mostrou crucial para a qualidade visual.

---

3. Principais Contribuições

1. Framework de Duas Etapas Leve: Uma arquitetura que atinge qualidade perceptual competitiva com menos de 1 MB de parâmetros (fp16), superando métodos maiores em eficiência.
2. Princípio de Normalização de Distribuição: Demonstração de que o segredo não é o algoritmo específico de pré-processamento, mas sim a provisão de vistas de brilho normalizado complementares. Isso reduz a carga de aprendizado da rede, que não precisa aprender a recuperar o brilho, apenas a corrigir as cores residuais.
3. Eficiência de Parâmetros: Evidência experimental de que, sob o mesmo orçamento de parâmetros (~338K), a arquitetura proposta supera versões "miniaturizadas" de RetinexFormer e HVI-CIDNet. Isso confirma que pré-processadores congelados são mais eficientes do que front-ends aprendidos para redes muito pequenas.
4. Resultados Competitivos: 4º lugar no desafio NTIRE 2026 ELLIE, com benchmarks extensivos em LOLv1, LOLv2-Real e LOLv2-Synthetic.

---

4. Resultados e Desempenho

• Comparação em LOLv1 (Teste):
  • O modelo Ours-Mid (859K parâmetros) alcançou um LPIPS de 0.099.
  • Superou o RetinexFormer (1.6M parâmetros, LPIPS 0.161) e aproximou-se do HVI-CIDNet (2.0M parâmetros, LPIPS 0.086).
  • No grupo de modelos <1MB, o Ours-Tiny (338K parâmetros) obteve o melhor LPIPS e DISTS entre todos os concorrentes.
• Comparação Paramétrica (Ablação):
  • Quando comparado diretamente com versões escalonadas para baixo de RetinexFormer e HVI-CIDNet (ambos ~330K parâmetros), o modelo proposto superou ambos em PSNR, LPIPS e DISTS.
  • O RetinexFormer-Tiny sofreu uma queda drástica de desempenho (perda de 0.48 dB em PSNR), indicando que sua arquitetura baseada em Transformers não escala bem para tamanhos tão pequenos.
• Ablação de Pré-processamento:
  • Substituir o CPGA-Net por correção gama simples ou equalização de histograma (HE) resultou em desempenho comparável.
  • Isso confirma que a diversidade das vistas de brilho é mais importante do que a complexidade do algoritmo de pré-processamento.
• Generalização:
  • Os resultados se mantiveram consistentes em LOLv2-Real e LOLv2-Synthetic, onde o modelo Mid superou o RetinexFormer com metade dos parâmetros.

---

5. Significado e Conclusão

Este trabalho estabelece um novo paradigma para redes neurais extremamente leves em tarefas de restauração de imagem. A principal lição é que, para modelos com poucos parâmetros, não se deve tentar aprender tudo (brilho + cor + ruído) de ponta a ponta.

Ao externalizar a tarefa difícil de correção de brilho para algoritmos clássicos congelados (que normalizam a distribuição de dados), a rede neural treinável pode ser drasticamente simplificada (apenas convoluções profundas) e focada em uma tarefa residual mais simples (correção de cor). Isso permite atingir qualidade visual de nível competitivo com uma fração do custo computacional e de memória de métodos baseados em Transformers ou arquiteturas complexas, tornando a tecnologia viável para dispositivos móveis e embarcados com recursos limitados.

Limitações: O método depende da qualidade do pré-processador congelado; se este falhar catastróficamente (ex: regiões extremamente saturadas), a rede subsequente não consegue recuperar totalmente a imagem. Além disso, há uma pequena lacuna na fidelidade estrutural (SSIM) em comparação com modelos muito maiores.