Low Light Image Enhancement Challenge at NTIRE 2026

Resumo Técnico: Desafio de Melhoria de Imagem em Baixa Luminosidade (LLIE) do NTIRE 2026

1. O Problema

A melhoria de imagens em baixa luminosidade (LLIE) é uma tarefa fundamental na visão computacional, essencial para aplicações que vão desde a fotografia consumer até a navegação autônoma. No entanto, o desenvolvimento de modelos robustos e generalizáveis enfrenta um gargalo crítico: a limitação dos conjuntos de dados de treinamento existentes (como LOL-V1, LOL-V2 e LSRW).

• Limitações Atuais: Esses datasets tradicionais são frequentemente capturados em ambientes controlados, com ISO baixo ou cenas artificialmente escurecidas. Consequentemente, modelos treinados nesses dados falham ao generalizar para ambientes reais e descontrolados ("in-the-wild"), especialmente ao lidar com imagens legadas de dispositivos padrão que sofrem de perda de detalhe, ruído severo e baixo contraste.
• Objetivo do Desafio: Preencher a lacuna entre o treinamento sintético e a aplicação no mundo real, promovendo soluções inovadoras para a melhoria de imagens em baixa luz de disparo único (SLLIE) em condições extremas.

2. Metodologia e Configuração do Desafio

O desafio foi realizado em duas faixas (tracks) distintas, baseadas no Low-light Smartphone Dataset (LSD), capturado com 15 câmeras de smartphones em ambientes diversos e condições de iluminação extremas (0,1–200 lux).

• Track 1 (Melhoria de Imagem em Baixa Luminosidade - LLIE):
  • Entrada: Imagens de baixa luminosidade que já foram pré-processadas (denoised).
  • Foco: Recuperação de detalhes estruturais e cores precisas.
  • Métricas: PSNR, SSIM e LPIPS (foco em fidelidade de referência).
• Track 2 (Denoising e Melhoria Conjunta - JDLLIE):
  • Entrada: Imagens de baixa luminosidade com ruído original do sensor (noisy).
  • Foco: Remoção de ruído e melhoria de luminosidade simultaneamente, preservando a autenticidade do ruído do sensor onde necessário.
  • Métricas: MoS (Mean Opinion Score - preferência humana), NIQUE, MUSIQUE e CLIPIA (foco em qualidade perceptual sem referência).

Estrutura do Dataset:

• Treino: Extração de patches de 512x512 de cenas de alta resolução (4K+).
• Validação/Teste: Conjuntos ocultos com imagens de alta resolução para avaliação quantitativa e perceptual.

3. Contribuições Chave e Soluções Top

O artigo revisa 22 equipes que submeteram entradas válidas, destacando diversas arquiteturas inovadoras. As soluções vencedoras e notáveis incluem:

• Abordagens Híbridas e Fusão de Modelos (SYSU-FVL - 1º Lugar Track 1):
  • Utilizaram uma fusão ponderada de dois modelos distintos (ESDNet e DarkIR) baseados em arquiteturas U-Net hierárquicas. A fusão empírica dos pesos (0.66 e 0.34) permitiu robustez superior.
• Aprendizado Hierárquico e Coarse-to-Fine (WHU-MVP - 2º Lugar Track 1):
  • Propuseram o LL-ESDNet, que realiza uma melhoria inicial em resolução reduzida usando Transformers e usa esse resultado como guia para refinamento em alta resolução, integrando atenção mútua entre resoluções.
• Decomposição Hierárquica Universal (KLETech-CEVI - 3º Lugar Track 1):
  • Modelo UHDM que usa um codificador-decodificador hierárquico para extrair representações de características multi-escala, equilibrando iluminação global e estruturas espaciais finas.
• Roteamento Dinâmico de Especialistas (BITssvgg - 4º Lugar Track 1):
  • DERNet combina blocos Transformer para contexto global com um mecanismo de roteamento dinâmico de especialistas leves para lidar com degradações espaciais variáveis, adaptando-se a regiões com iluminação e textura diferentes.
• Propagação de Ondículas e Espaço de Cor (BAU-Vision - 3º Lugar Track 2):
  • Wave-P substitui o downsampling tradicional por Transformadas de Ondículas Discretas (DWT) para preservar detalhes de alta frequência. Utilizam o espaço de cor HVI e modulação de luz global para consistência.
• Estratégias de Treinamento e Domínio (YuFans - 7º Lugar Track 1):
  • BAPE focou na adaptação de domínio, reconhecendo que as imagens de teste eram significativamente mais escuras que o treino. Usaram aumento de brilho estocástico, escalonamento progressivo de patches e ponte de múltiplas fontes de dados.
• Modelos de Difusão e Fluxo Latente (AAIR ARM - 1º Lugar Track 2):
  • LFM-LLIE utiliza um framework de correspondência de fluxo (flow-matching) no espaço latente, mapeando distribuições de imagens escuras para normais usando um backbone HDiT, reduzindo custo computacional e capturando estatísticas semânticas.
• Grounding Físico e Dualidade (RetinexDualV2 - 5º Lugar Track 2):
  • Introduziu um módulo de grounding físico explícito (TS-PGM) que extrai priors de iluminação diretamente da entrada ruidosa, guiando a restauração dual (refletância/iluminação) para garantir plausibilidade física.
• Redes Baseadas em Ondículas e KAN (PSU - 13º Lugar Track 2):
  • DUSKAN usa uma rede dupla: um caminho para processamento espectral-espacial (FFT) e outro baseado no teorema de Kolmogorov-Arnold (KAN) para aprender não-linearidades adaptativas, substituindo ativações fixas.

4. Resultados

• Participação: 195 equipes registradas na Track 1 e 153 na Track 2; 22 equipes submeteram resultados finais válidos.
• Track 1 (LLIE):
  • Vencedor: SYSU-FVL (Score: 94.80).
  • Destaque para a combinação de modelos (fusão) e arquiteturas baseadas em Transformers.
• Track 2 (JDLLIE):
  • Vencedor: BAU-Vision (Score: 98.70).
  • A Track 2 mostrou que a remoção de ruído e a melhoria de iluminação devem ser tratadas conjuntamente para evitar artefatos, com modelos baseados em difusão e redes físicas obtendo bons resultados perceptuais.
• Análise de Métricas: Houve uma correlação significativa entre métricas objetivas (PSNR/SSIM) e preferências humanas (MoS) nas melhores soluções, embora ainda existam desafios em condições extremas onde métricas tradicionais não capturam totalmente a qualidade visual.

5. Significado e Conclusão

O NTIRE 2026 LLIE representa um marco na transição da melhoria de imagens de baixa luminosidade de ambientes controlados para o mundo real ("in-the-wild").

• Avanço Tecnológico: O desafio demonstrou que a combinação de arquiteturas modernas (Transformers, Difusão, KAN) com estratégias de treinamento específicas (fusão, grounding físico, adaptação de domínio) é crucial para superar as limitações de datasets antigos.
• Desafios Futuros: Apesar dos avanços, as soluções ainda produzem artefatos em condições extremas, revelando uma lacuna entre métricas de benchmark e desempenho no mundo real.
• Impacto: O dataset LSD e as metodologias apresentadas estabelecem um novo padrão para pesquisa em visão computacional, incentivando o desenvolvimento de algoritmos robustos para dispositivos móveis e aplicações críticas em ambientes de baixa luz.

O artigo conclui que o futuro do campo deve focar em fechar a lacuna entre métricas objetivas e a percepção humana, além de lidar com a complexidade de ruídos não-Gaussianos e degradações não lineares típicas de sensores reais.