CANDLE: Illumination-Invariant Semantic Priors for Color Ambient Lighting Normalization

Título: CANDLE: Priors Semânticos Invariantes à Iluminação para Normalização de Iluminação Ambiental Colorida

1. O Problema

A Normalização de Iluminação Ambiental (ALN) visa recuperar uma imagem uniformemente iluminada a partir de observações corrompidas por iluminação espacialmente variável e multi-fonte.

• Desafio Específico: O foco deste trabalho é a iluminação colorida (multi-colorida). Diferente da remoção de sombras em luz branca, a iluminação colorida introduz deslocamentos cromáticos severos, saturação de realces (highlights) e reflexos dependentes do material.
• Limitações Atuais: Métodos existentes baseados em priores geométricos (como normais de superfície) ou de baixa nível (frequência) falham quando o viés cromático induzido pela iluminação domina a geometria local. Modelos de restauração RGB não supervisionados tendem a confundir deslocamentos de cor induzidos pela luz com a cor intrínseca do objeto, resultando em distorções de cor e normalização espacialmente inconsistente.

2. Observação Chave e Motivação

Os autores identificaram que os recursos auto-supervisionados do DINOv3 permanecem altamente consistentes entre imagens sob iluminação colorida e suas correspondentes "Ground Truth" (GT) sob iluminação ambiente, mesmo quando a aparência RGB diverge drasticamente.

• Em comparação com CLIP e ResNet-50 supervisionados, o DINOv3 demonstra uma invariância à iluminação superior, mantendo a consistência semântica e de estrutura do objeto mesmo em regiões severamente corrompidas.
• Isso sugere que os recursos do DINOv3 podem servir como um "prior semântico" robusto para desentrelaçar a cor intrínseca do objeto da contaminação cromática da iluminação.

3. Metodologia: CANDLE

O CANDLE (Color Ambient Normalization with DINO Layer Enhancement) é um framework de restauração guiado semanticamente, composto por duas contribuições principais:

A. DINO Omni-layer Guidance (D.O.G.)

Substitui a injeção de normais de superfície (usada em métodos anteriores) por uma injeção adaptativa de recursos do DINOv3 em múltiplas camadas do codificador.

• Seleção de Prompt (PSF): Seleciona e funde adaptativamente as camadas mais relevantes do DINOv3 (camadas 6, 12, 18, 24 de um ViT-L/16 congelado) para cada estágio do codificador. Camadas rasas fornecem limites de material precisos, enquanto camadas profundas fornecem identidade do objeto invariante à luz.
• Bloco de Fusão Residual DINO (DRFB): Injeta esses recursos semânticos no backbone de restauração através de atenção cruzada baseada em queries. Isso permite que cada localização espacial recupere a região semanticamente mais consistente do prior DINO, condicionando a restauração de forma robusta.

B. Refinamento de Cor-Frequência

Para evitar falhas no decodificador (como colapso cromático em realces e contaminação de detalhes via conexões de salto), o CANDLE introduz dois módulos:

• BFACG (Bifurcated Feature-Adaptive Color Guidance): Separa o fluxo de decodificação em dois ramos paralelos: um focado em detalhes geométricos (Fstr) e outro em correção de cor invariante à luz (Fchr). Um mapa de borda modula a fusão, direcionando bordas para o ramo estrutural e regiões planas para a correção de cor.
• SFFB (Spectral Feature Fusion Block): Filtra as conexões de salto (skip connections) que carregam recursos do codificador corrompidos pela iluminação. Utiliza decomposição por wavelets de Haar para separar componentes de baixa frequência (viés de cor global) de alta frequência (detalhes estruturais), suprimindo seletivamente o viés de iluminação antes de reconstruir o recurso.

4. Resultados Experimentais

Os experimentos foram conduzidos no benchmark CL3AN e na competição NTIRE 2026 ALN.

• Desempenho no CL3AN:
  • O CANDLE alcançou 21.066 dB de PSNR, superando o método anterior mais forte (RLN2) em +1.22 dB e o PromptNorm em +1.85 dB.
    Ablações confirmaram que a substituição de priores geométricos por priores semânticos (D.O.G.) é o fator dominante de ganho (+1.85 dB), e o refinamento de cor-frequência adiciona ganhos adicionais de qualidade perceptual.
• Competição NTIRE 2026:
  • Track de Iluminação Colorida: 3º lugar no ranking perceptual (LPIPS) e 2º melhor LPIPS entre todos os participantes.
  • Track de Iluminação Branca: 2º lugar em fidelidade (PSNR) e menor FID (49.838) entre todas as submissões, demonstrando forte generalização mesmo em cenários dominados por luminância.

5. Contribuições Principais

1. Nova Perspectiva de Prior: Demonstra que representações auto-supervisionadas (DINOv3) são superiores a priores geométricos ou baseados em frequência para a tarefa de normalização de iluminação colorida, devido à sua invariância à aparência cromática.
2. Arquitetura D.O.G.: Propõe a injeção adaptativa de recursos semânticos de múltiplas camadas no codificador, substituindo a dependência de normais de superfície.
3. Refinamento Decodificador: Introduz o design BFACG + SFFB para desacoplar a restauração estrutural da cromática e filtrar vazamento de iluminação nas conexões de salto.
4. Estado da Arte (SOTA): Alcança resultados de ponta no benchmark CL3AN e destaca-se em competições de restauração de imagem, validando a eficácia da abordagem em condições de iluminação complexas.

6. Significado e Impacto

O trabalho resolve um dos gargalos mais difíceis na restauração de imagens: a recuperação da cor intrínseca de objetos sob iluminação colorida complexa. Ao provar que a consistência semântica (via DINO) é mais robusta do que a consistência geométrica ou espectral nesse contexto, o CANDLE redefine o estado da arte para normalização de iluminação. A abordagem é particularmente relevante para aplicações de visão computacional no mundo real, onde a iluminação raramente é controlada ou monocromática, garantindo que algoritmos subsequentes (como reconhecimento de objetos) recebam dados com cores fiéis e consistentes.

O código está disponível publicamente no repositório do GitHub mencionado no artigo.