PhaSR: Generalized Image Shadow Removal with Physically Aligned Priors

1. O Problema

A remoção de sombras em imagens é uma tarefa fundamental em visão computacional, essencial para aplicações como sensoriamento remoto, segmentação, rastreamento e reconstrução 3D. No entanto, existem desafios significativos que as abordagens atuais não conseguem resolver completamente:

• Ambiguidade Intrínseca: É difícil distinguir entre a escuridão causada por uma sombra e a escuridão intrínseca do material do objeto (ex: um objeto preto), levando a distorções de cor.
• Generalização Limitada: A maioria dos métodos de ponta (SOTA) funciona bem em cenários de iluminação direta de uma única fonte (sombras externas), mas falha em cenários complexos de iluminação ambiente, como interiores com múltiplas fontes de luz, luz difusa e mudanças de cor.
• Desalinhamento de Priors: Métodos que utilizam priors físicos (geométricos e semânticos) frequentemente sofrem com conflitos entre esses sinais. As características geométricas (profundidade, normais) são sensíveis a variações locais de iluminação, enquanto as características semânticas (identidade do objeto) são estáveis. Sem um alinhamento adequado, o ruído geométrico pode corromper a consistência semântica, ou o excesso de suavização semântica pode apagar as bordas das sombras.
• Falha em Priors Físicos: Arquiteturas convencionais de codificador-decodificador tendem a perder esses priors físicos ao passar pelo gargalo (bottleneck) da rede, resultando em bordas desfocadas e recuperação imperfeita.

2. Metodologia: PhaSR

O PhaSR (Physically Aligned Shadow Removal) propõe uma abordagem de alinhamento de prior em dois níveis para desentrelaçar a iluminação da refletância intrínseca, garantindo robustez desde sombras de luz única até iluminação ambiente complexa.

A. Normalização Fisicamente Alinhada (PAN)

Esta é uma etapa de pré-processamento model-free (sem aprendizado de parâmetros) que corrige a iluminação global antes da entrada na rede neural. Baseia-se na teoria de Retinex no domínio logarítmico:

1. Normalização de Cor Gray-World: Remove o viés cromático global causado pela cor da fonte de luz (ex: luz quente ou fria).
2. Decomposição Retinex no Domínio Logarítmico: Separa a imagem normalizada em componentes de refletância ($\hat{R}$) e iluminação ($\hat{S}$) através de operações de fechamento (closed-form), assumindo que a sombra altera principalmente a iluminação, não a refletância.
3. Recombinação e Normalização: Recombina os componentes e normaliza o intervalo dinâmico para produzir uma imagem de entrada consistente com a iluminação, suprimindo viéses cromáticos globais.

B. Atenção de Retificação Geométrico-Semântica (GSRA)

Esta é a inovação central da arquitetura, projetada para alinhar e harmonizar priors de diferentes modalidades dentro da rede Transformer:

• Entradas de Prior: Utiliza embeddings semânticos do DINO-v2 (estáveis em relação à iluminação) e mapas de profundidade/normais do DepthAnything-v2 (precisos geometricamente, mas sensíveis à luz).
• Mecanismo de Atenção Diferencial: Estende o conceito de Differential Attention para o alinhamento cruzado de modalidades. Em vez de apenas fundir características, a GSRA calcula uma atenção retificada:
  $$A_{rect} = A_{sem} - \lambda \cdot A_{geo}$$
  Onde $A_{sem}$ é a atenção semântica e $A_{geo}$ é a atenção geométrica.
• Função: Esta subtração atua como um mecanismo de "portão" físico. Ela suprime o ruído geométrico em regiões uniformemente iluminadas (onde a geometria pode ser enganosa) enquanto preserva a precisão geométrica nas bordas reais das sombras. Isso harmoniza a precisão local (geometria) com a estabilidade global (semântica).

C. Arquitetura da Rede

O modelo utiliza um encoder-decoder hierárquico baseado em Transformers.

• Encoder: Integra os prios semânticos (DINO) em cada estágio.
• Bottleneck: Integra prios geométricos (profundidade e normais).
• Decoder: Utiliza blocos GSRA para refinar as características, alinhando os prios antes da reconstrução da imagem.
• Perda: Combina Charbonnier Loss (fidelidade de pixel) e SSIM Loss (consistência estrutural).

3. Principais Contribuições

1. Módulo PAN: Introduz uma normalização de pré-processamento baseada em fórmulas fechadas (Gray-world + Retinex logarítmico) que melhora consistentemente a arquitetura base em 0,15–0,34 dB em diversas condições de iluminação, sem custo de treinamento adicional.
2. GSRA (Atenção de Retificação): Propõe um mecanismo de atenção diferencial cruzado que alinha explicitamente prios geométricos e semânticos, resolvendo conflitos de modalidade em cenários de iluminação complexa (ambiente/múltiplas fontes).
3. Generalização Robusta: Demonstra desempenho de ponta (SOTA) não apenas em benchmarks tradicionais de remoção de sombras (ISTD, ISTD+), mas também em cenários desafiadores de normalização de luz ambiente (Ambient6K), onde métodos anteriores falham.

4. Resultados Experimentais

O PhaSR foi avaliado em cinco conjuntos de dados: ISTD, ISTD+, INS, WSRD+ e o desafiador Ambient6K (luz branca múltipla e iluminação indireta complexa).

• Desempenho Quantitativo:
  • No conjunto WSRD+ (interior real), alcançou 28.44 dB (PSNR) e 0.842 (SSIM), superando o anterior líder DenseSR (26.28 dB).
  • No conjunto Ambient6K, alcançou 23.32 dB, superando métodos especializados em normalização de luz ambiente (IFBlend, RLN2-Lf) e métodos de remoção de sombras (OmniSR, DenseSR).
  • Em testes de generalização cruzada (treinar em um dataset, testar em outro), o PhaSR manteve a maior robustez, sofrendo menos degradação de desempenho ao mudar de sombras externas para iluminação ambiente interna.
• Eficiência Computacional:
  • O modelo possui apenas 18.95 M de parâmetros e 55.63 GFLOPs.
  • É significativamente mais rápido que métodos baseados em difusão (ex: StableShadowDiffusion leva 452ms vs. 87.9ms do PhaSR para uma imagem de 640x480), tornando-o viável para implantação em tempo real.
• Comparação com LLMs Multimodais: O PhaSR superou drasticamente modelos de linguagem multimodal (como Qwen-image-edit e Nano Banana) em qualidade (mais de 12 dB a mais) e velocidade (0.2s vs. 30s-25min), provando que prios físicos específicos são superiores para esta tarefa.

5. Significado e Impacto

O trabalho PhaSR representa um avanço significativo ao tratar a remoção de sombras não apenas como um problema de "pintura" ou reconstrução de textura, mas como um problema de alinhamento físico de priors.

• Superação do Paradigma de Máscaras: Ao contrário de muitos métodos que dependem de máscaras de sombra explícitas (que são difíceis de obter em cenários reais), o PhaSR opera sem máscaras, tornando-o mais prático para aplicações do mundo real.
• Ponte entre Remoção de Sombras e Normalização de Luz: O método demonstra que uma abordagem fisicamente alinhada pode unificar a remoção de sombras diretas e a normalização de iluminação ambiente complexa, um passo crucial para a visão computacional em ambientes não controlados.
• Eficiência e Precisão: O equilíbrio entre alta precisão e baixa complexidade computacional posiciona o PhaSR como uma solução viável para sistemas embarcados e aplicações em tempo real.

Em resumo, o PhaSR estabelece um novo estado da arte ao integrar corretamente a física da formação de imagens (Retinex, geometria) com a representação semântica profunda, resolvendo o problema de desalinhamento que limitava a generalização de métodos anteriores.