PixIE: Prompted Pixel-Space Low-Light Image Enhancement

Resumo Técnico: PixIE – Aprimoramento de Imagens em Baixa Luz no Espaço de Pixels com Prompt

Declaração do Problema
O aprimoramento de imagens em baixa luz (LLIE) é um desafio complexo que envolve as tarefas conjuntas de remoção de ruído, restauração de contraste e recuperação de detalhes semânticos. A fotografia em baixa luz do mundo real sofre com ruído severo dependente do sinal, texturas colapsadas e cores distorcidas. Embora métodos recentes de aprendizado profundo (CNNs, Transformers, Mamba e modelos de Difusão) tenham avançado o campo, eles frequentemente são limitados pela distribuição de seus dados de treinamento. Em regiões severamente subexpostas, o ruído e a textura tornam-se indistinguíveis, levando mapeamentos aprendidos a produzir suavização excessiva, desvio de cor ou aprimoramentos inconsistentes entre regiões semanticamente distintas. Além disso, abordagens existentes que utilizam modelos fundamentais (como DINO, CLIP ou SAM) tipicamente empregam condicionamento grosseiro, global ou por patches. Isso cria uma "lacuna semântico-espacial", falhando em alinhar o direcionamento semântico de alto nível com as operações no nível de pixels necessárias para a recuperação de detalhes de alta fidelidade, resultando frequentemente em inconsistências entre regiões e estruturas locais suavizadas em excesso.

Metodologia
Os autores propõem o PixIE, um framework de aprimoramento de imagens em baixa luz (LLIE) no espaço de pixels, feed-forward e de ponta a ponta, semanticamente prompted por um modelo fundamental de visão (DINOv3). Diferentemente de abordagens no espaço latente que comprimem imagens, o PixIE opera diretamente no espaço de pixels para preservar detalhes de alta frequência. A arquitetura consiste em três componentes principais:

1. Stream de Remoção de Ruído Multi-Escala:
   Antes do prompting semântico, a imagem de entrada passa por um stream de remoção de ruído multi-escala, livre de semântica. Este módulo utiliza blocos Transformer (estilo Restormer) para suprimir ruído pesado e preservar estruturas grosseiras. As características são propagadas de escalas finas para escalas grosseiras. Crucialmente, este stream permanece "livre de semântica" para evitar que ruído severo corrompa os priores semânticos; o condicionamento DINO é introduzido apenas após esta fase inicial de remoção de ruído.

2. Embedding de Pixels com Múltiplos Campos Receptivos (MRPE):
   Antes da injeção semântica, o framework aplica MRPE às características desruidadas. Este módulo agrega contexto local usando convoluções paralelas com tamanhos de kernel de 1×1, 3×3 e 5×5. Ao alocar mais canais para campos receptivos maiores (3×3 e 5×5) do que para o ramo pontual (1×1), o MRPE cria representações conscientes do vizinhança. Isso aborda a limitação de embeddings pontuais padrão, que carecem de campos receptivos espaciais e lutam para distinguir sinal de ruído dependente do sinal.

3. Bloco de Pixels Promptado por DINO (DPPB):
   Este é o módulo central de integração semântica. Em vez de usar concatenação por patches grosseira, o DPPB injeta características intermediárias de um encoder DINOv3 congelado (especificamente as camadas 2, 5, 8 e 11) no pipeline no espaço de pixels.

   • Mecanismo: Os tokens DINO são redimensionados para corresponder à grade de características e processados por um MLP leve para prever parâmetros de modulação AdaLN-Zero.
   • Continuidade Espacial: Esses parâmetros são aumentados via interpolação bilinear e uma convolução profunda (depth-wise) para criar um campo de modulação espacialmente contínuo e de resolução total. Isso elimina bordas rígidas de patches e garante direcionamento semântico suave e por pixel.
   • Modulação: Os parâmetros previstos ($\alpha, \beta, \gamma$) modulam as subcamadas de atenção e feed-forward do bloco residual, permitindo aprimoramento espacialmente coerente.

4. Compactação Espacial-Canal (SCC):
   Para tornar a atenção no espaço de pixels computacionalmente viável em designs multi-escala (onde as dimensões de canal aumentam), a SCC é aplicada ao ramo de atenção. Ela dobra o mapa de características espaciais em patches não sobrepostos e comprime a dimensão do canal antes de aplicar a Atenção Transposta Multi-Cabeça com Múltiplas Convoluções (MDTA). Isso reduz o custo da atenção de $O(HW \cdot C^2)$ para $O(H_p W_p \cdot D_{attn}^2)$, tornando o custo independente do aumento da largura do canal em escalas mais grosseiras.

Contribuições Principais

• Framework PixIE: O primeiro método a injetar semânticas de modelos fundamentais diretamente em um pipeline de LLIE no espaço de pixels via modulação por pixel e espacialmente contínua, permitindo um aprimoramento verdadeiro de pixel para semântica.
• Bloco de Pixels Promptado por DINO (DPPB): Um bloco residual novel que converte tokens de patches DINO em um campo de modulação suave e de resolução total, evitando as emendas de grade e descontinuidades associadas ao condicionamento por patches.
• Compactação Espacial-Canal (SCC): Uma estratégia de eficiência que reduz conjuntamente as grades de tokens espaciais e as dimensões de canal, permitindo que a atenção no espaço de pixels permaneça acessível em arquiteturas multi-escala.
• Embedding de Pixels com Múltiplos Campos Receptivos (MRPE): Um módulo leve que agrega contexto de vizinhança antes do prompting semântico, melhorando a robustez ao ruído dependente do sinal em comparação com embeddings pontuais.

Resultados Experimentais
Os experimentos foram conduzidos em benchmarks padrão de LLIE: LOLv1, LOLv2 (Real e Sintético) e o grande conjunto de dados do mundo real LSRW.

• Desempenho Quantitativo: O PixIE alcança desempenho de última geração (SOTA) em três dos quatro conjuntos de dados. Ele melhora o PSNR médio em 1,9% a 15,0% sobre métodos SOTA recentes e reduz o LPIPS (perda perceptual) em 8,5% a 44,4%. No LOLv2-Real, alcança um PSNR de 29,08 dB e um SSIM de 0,902.
• Generalização: Em conjuntos de dados não pareados (LIME, VV, DICM, NPE, MEF), o PixIE consistentemente se classifica entre os três primeiros em métricas sem referência (NIQE e CLIP-IQA), demonstrando forte generalização para cenários do mundo real sem verdade fundamental.
• Análise Qualitativa: Comparações visuais mostram que o PixIE recupera detalhes mais nítidos (por exemplo, texto, texturas) e cores mais estáveis do que concorrentes como RetinexFormer, WaveMamba e DiffLL. Ele separa efetivamente detalhes estruturais de alta frequência do ruído pesado, sem a suavização excessiva ou sangramento de cor observados em outros métodos.

Significado e Alegações
O artigo afirma que o PixIE representa uma mudança significativa no LLIE ao integrar com sucesso priores semânticos de alto nível em um pipeline de restauração no espaço de pixels, sem sacrificar a eficiência computacional ou a fidelidade de detalhes. Os autores enfatizam que sua abordagem resolve o compromisso entre coerência semântica global e recuperação de detalhes locais no nível de pixels. Ao usar modulação espacialmente contínua em vez de condicionamento por patches grosseiro, o PixIE evita artefatos de fronteira que afligem métodos existentes guiados por modelos fundamentais. O trabalho demonstra que separar o processo de remoção de ruído do refinamento semântico e utilizar embeddings conscientes da vizinhança é crucial para lidar com o ruído severo e dependente do sinal característico da fotografia em baixa luz do mundo real.