HPGN: Hybrid Priors-Guided Network for Compressed Low-Light Image Enhancement

Resumo Técnico: HPGN para Aprimoramento de Imagens de Baixa Luz Comprimidas

Declaração do Problema
Em aplicações práticas, imagens de baixa luz são frequentemente comprimidas para reduzir custos de armazenamento e transmissão. No entanto, essa compressão introduz artefatos (por exemplo, bloqueio, desfoque) que se somam à degradação inerente às condições de baixa luz. Os métodos existentes de Aprimoramento de Imagens de Baixa Luz (LLIE) geralmente falham em mitigar esses artefatos de compressão quando aplicados diretamente a entradas comprimidas. Além disso, as abordagens atuais para Aprimoramento de Imagens de Baixa Luz Comprimidas (CLLIE) frequentemente dependem de uma estratégia em dois estágios: primeiro remover os blocos da imagem, depois aprimorar a iluminação. Essa abordagem em cascata leva ao acúmulo de erros, aumento da complexidade do modelo e custos significativos de tempo de treinamento, pois modelos separados são frequentemente necessários para diferentes Fatores de Qualidade JPEG (QF). Adicionalmente, muitos métodos existentes não utilizam explicitamente metadados de compressão (como QF ou Matrizes de Quantização) para orientar o processo de aprimoramento.

Metodologia
Os autores propõem a Rede Guiada por Priors Híbridos (HPGN), um framework de estágio único projetado para aprimorar conjuntamente imagens de baixa luz comprimidas em níveis de compressão variados. A arquitetura consiste em dois componentes principais:

1. Filtro de Informação Híbrida (HIF): Este é um módulo plug-and-play que ajusta dinamicamente os recursos integrando três tipos de priors:

   • Prior de Iluminação: Derivado da imagem comprimida de entrada ($I_{comp}$) por meio de um processo de estimativa de brilho global e extração de recursos de iluminação local.
   • Priors de Compressão:
     • Ramo do Fator de Qualidade (QF): Utiliza o QF para gerar coeficientes de mapeamento ($M_{qf1}, M_{qf2}$) que realizam multiplicação canal a canal nos recursos de iluminação. Isso aborda mudanças na correlação de canais e deslocamentos de recursos causados pela quantização.
     • Ramo da Matriz de Quantização (QM): Utiliza a Matriz de Quantização DCT para gerar coeficientes de mapeamento espacial ($N_{qm}$). Estes são aplicados via multiplicação elemento a elemento para modelar distribuições de recursos espaciais, amplificando o aprimoramento em áreas-chave (como texturas e bordas) e corrigindo localmente regiões com degradação significativa de quantização.
   • O HIF combina esses priors para produzir recursos refinados que orientam o aprimoramento subsequente.

2. Aprimorador de Imagem (IE): Um módulo baseado em CNN composto por Blocos Residuais Multiescala Recursivos (RMRB) empilhados. Cada RMRB contém Blocos Residuais Multiescala (MRB) que empregam uma arquitetura de ramificação multiescala. Os recursos de entrada são subamostrados para capturar correlações em diferentes resoluções, processados através de Blocos de Contexto (CB) e fundidos dinamicamente. Essa estrutura visa lidar com escalas variadas de distribuição de luz enquanto mantém baixa complexidade.

Estratégia de Treinamento
Para permitir que um único modelo lide com imagens de qualidades de compressão variadas, os autores empregam uma estratégia de geração aleatória de QF durante o treinamento. Em vez de treinar modelos separados para QFs específicos, a rede é treinada em imagens comprimidas com QFs gerados aleatoriamente. Isso permite que o modelo aprenda uma representação unificada para diversos níveis de compressão, reduzindo significativamente o tempo de treinamento e os recursos computacionais em comparação com abordagens de múltiplos modelos ou de dois estágios.

Principais Contribuições

• Framework de Estágio Único: A HPGN é proposta como uma rede unificada de estágio único para aprimoramento de baixa luz comprimida, eliminando a necessidade de modelos de remoção de blocos e aprimoramento em cascata.
• Filtro de Informação Híbrida (HIF): Um módulo inovador que alavanca priors de compressão (QF e QM) juntamente com priors de iluminação para mitigar a perda de informação durante o ajuste de brilho. Os autores destacam sua natureza "plug-and-play", permitindo que seja incorporado a outros métodos de LLIE.
• Treinamento com QF Aleatório: Uma estratégia que permite que um único modelo aprimore robustamente imagens em níveis de compressão variados, abordando os problemas de escalabilidade dos métodos anteriores que exigem otimização específica para cada QF.

Resultados Experimentais
O método foi avaliado em quatro conjuntos de dados: LOLv1, LOLv2-real, LOLv2-syn e um conjunto de dados personalizado LOLv1-randomQF.

• Desempenho Quantitativo: No conjunto de dados LOLv1-randomQF, a HPGN alcançou desempenho state-of-the-art, superando a segunda melhor abordagem (CAPformer) em até 0,21 dB em PSNR e alcançando pontuações SSIM mais altas.
• Eficiência: A HPGN demonstra eficiência superior, exigindo apenas 2,69M de parâmetros, o que corresponde a aproximadamente 30,7% dos parâmetros utilizados pelo CAPformer (8,77M).
• Escalabilidade: Estudos de ablação e testes de integração (Tabela 2) mostram que adicionar o módulo HIF a frameworks de LLIE existentes (MIRNetv2 e Retinexformer) melhora significativamente seu desempenho em tarefas conjuntas com aumento mínimo de parâmetros.
• Qualidade Visual: Comparações qualitativas indicam que a HPGN produz resultados visuais superiores com ruído reduzido e menos artefatos de compressão em comparação tanto com métodos de LLIE padrão quanto com abordagens em cascata de dois estágios.

Significado e Alegações
O artigo afirma que a HPGN aborda a lacuna crítica no tratamento de imagens de baixa luz comprimidas, unificando a remoção de artefatos de compressão e o aprimoramento de iluminação em um único estágio eficiente. Ao utilizar explicitamente metadados de compressão (QF e QM) como orientação, o método adapta-se a níveis de compressão variados sem necessidade de retreinamento. Os autores posicionam a HPGN como uma solução versátil que não apenas supera os métodos SOTA existentes em precisão, mas também oferece um framework mais eficiente computacionalmente e flexível para aplicações do mundo real onde os níveis de compressão de imagem variam. O artigo observa que, embora o foco atual seja no JPEG, o conceito central de usar metadados de compressão para orientar o aprimoramento é extensível a outros padrões, embora adaptações específicas seriam necessárias para cenários não-JPEG ou de compressão extrema.