Resumo Técnico: NamedCurves+ para Melhoria de Imagem

Declaração do Problema

A melhoria de imagem permanece um desafio persistente na visão computacional, particularmente no equilíbrio entre o aprimoramento automatizado da qualidade e a interpretabilidade e o controle do usuário. Embora métodos de aprendizagem profunda que utilizam conjuntos de dados pareados (imagens brutas e retoques de especialistas) tenham alcançado um forte desempenho, eles sofrem de duas limitações críticas:

1. Falta de Interpretabilidade: Arquiteturas de ponta a ponta (ex: U-Nets) ou mecanismos de ponderação complexos (ex: Tabelas de Consulta 3D ou 3D LUTs) funcionam como caixas pretas, tornando difícil entender como edições específicas são aplicadas.
2. Interatividade Limitada: Os modelos existentes muitas vezes carecem de uma parametrização adequada para ajustes do usuário. Os usuários não podem modificar facilmente o resultado para atender a preferências específicas ou corrigir gostos estéticos individuais sem retreinar o modelo.

Além disso, existe uma lacuna entre o controle manual oferecido por softwares profissionais (que frequentemente dependem de nomes de cores familiares como "vermelho", "verde" ou "azul") e os resultados rígidos dos sistemas automatizados atuais.

Metodologia: NamedCurves+

O artigo propõe o NamedCurves+, um framework baseado em aprendizagem que integra o conceito de Nomeação de Cores com Curvas de Tom e um mecanismo de fusão baseada em Transformer. A arquitetura consiste em quatro componentes primários:

1. Backbone de Padronização

Para lidar com a variabilidade de iluminação e configurações de câmera, a imagem de entrada $x$ é primeiro processada por um backbone do tipo UNet (inspirado no LPIENet). Este módulo padroniza a entrada em um espaço latente canônico ($\hat{y}_b$), garantindo uma decomposição de nomeação de cores consistente, independentemente das condições originais de captura. O backbone utiliza camadas MobileNet, módulos de atenção CBAM e conexões de salto (skip connections) de múltiplas resoluções.

2. Decomposição por Nomeação de Cores

Em vez de processar a imagem como um todo, o método a decompõe em mapas de probabilidade baseados em nomes de cores universais.

• Decomposição: Usando um modelo baseado em Van de Weijer et al., a imagem é mapeada para 11 categorias de cores (vermelho, azul, verde, amarelo, rosa, roxo, laranja, marrom, branco, cinza, preto).
• Agrupamento: Para lidar com variações de intensidade onde o mat (hue) permanece semelhante (ex: laranja vs. marrom, ou rosa vs. roxo), os 11 mapas são agrupados em 6 canais distintos: Laranja-Marrom-Amarelo, Rosa-Roxo, Vermelho, Verde, Azul e Acromático (Branco-Cinza-Preto).

3. Estimativa de Curva de Tom de Bezier

Para cada um dos 6 grupos de cores e para cada canal RGB, a rede estima uma curva de tom global.

• Parametrização: As curvas são definidas usando curvas de Bezier com $M$ pontos de controle. O primeiro ponto é fixo em $(0,0)$ e o último em $(1,1)$.
• Aprendizagem: A rede prevê incrementos ($\Delta P$) para os pontos de controle em relação ao ponto anterior, garantindo a monotonicidade. Esses incrementos são normalizados e acumulados para formar os pontos de controle finais.
• Aplicação: Estas curvas são aplicadas como Tabelas de Consulta (Look-Up Tables) de 1D aos correspondentes mapas de probabilidade de cores, gerando seis imagens intermediárias ajustadas globalmente. Este passo proporciona interpretabilidade, pois cada curva representa explicitamente como uma cor específica é manipulada.

4. Fusão de Imagem Baseada em Transformer

Para abordar variações locais e evitar artefatos (como halos nas fronteiras de cores) que surgem de uma simples média ponderada, as seis imagens ajustadas globalmente são fundidas usando um bloco Transformer.

• Mecanismo: O bloco emprega Atenção Transposta, que calcula a co-variância cruzada entre canais em vez de localizações espaciais. Isso reduz a complexidade computacional de quadrática para linear em relação ao tamanho da imagem.
• Processo: O input de 18 canais (6 imagens $\times$ 3 canais) é concatenado, processado através de um extrator de características convolucional e refinado por um módulo de Atenção Transposta de Múltiplas Cabeças seguido por uma Rede Feed-Forward (FFN).
• Saída: A camada final produz a imagem sRGB aprimorada $\hat{y}$. Este passo captura dependências espaciais e edições dependentes do contexto que as curvas globais sozinhas não conseguem alcançar.

Função de Perda (Loss Function)

O objetivo de treinamento combina três termos:

1. Perda L2 entre a imagem padronizada $\hat{y}_b$ e o ground truth $y$ (ponderada por $\alpha=0.5$).
2. Perda L2 entre a saída final $\hat{y}$ e $y$.
3. Perda SSIM entre $\hat{y}$ e $y$.

Principais Contribuições

Os autores identificam três contribuições principais neste trabalho estendido:

1. Arquitetura de Fusão Eficiente: O redesenho do componente de fusão de imagem usando um bloco Transformer eficiente (Atenção Transposta) melhora a qualidade da imagem, reduz artefatos de halo nas fronteiras de cores e mantém velocidades de inferência rápidas.
2. Generalização para Múltiplas Tarefas: O framework é estendido além do retoque de imagem para incluir mapeamento de tom (tone mapping) e correção de exposição, alcançando resultados de estado da arte em benchmarks padrão.
3. Interatividade e Interpretabilidade Aprimoradas: Ao desacoplar os pesos do modelo das curvas de tom, o método permite que os usuários manipulem diretamente as curvas de Bezier associadas a cores específicas durante a inferência. Isso permite ajustes personalizados sem retreinar o modelo, oferecendo um nível de controle anteriormente indisponível em sistemas automatizados.

Resultados Experimentais

O método foi avaliado em quatro datasets: MIT-Adobe-5K, PPR10K, MSEC e SICE.

• Desempenho Quantitativo: O NamedCurves+ supera métodos de estado da arte (incluindo 3DLUT, AdaInt, RSFNet e o NamedCurves anterior dos autores) em métricas de PSNR, SSIM, LPIPS e diferença de cor ($\Delta E_{00}$, $\Delta E_{ab}$).
  • No MIT-Adobe-5K, alcançou um PSNR de 25.75 e SSIM de 0.940.
  • No MSEC (correção de exposição), alcançou um PSNR de 23.15 e SSIM de 0.878.
• Estudos de Ablação:
  • Remover o backbone causou a maior queda de desempenho, confirmando a necessidade de padronização.
  • Remover a decomposição por nomeação de cores reduziu significativamente o desempenho, validando a orientação semântica.
  • Remover o módulo Transformer degradou os resultados, destacando a necessidade de modelagem de contexto local.
  • O uso de 6 nomes de cores agrupados rendeu melhores resultados do que usar 11 nomes individuais ou estratégias de partição aleatórias.
• Eficiência: Apesar de adicionar um bloco Transformer, o novo mecanismo de fusão reduziu o tempo de inferência em 27% (de 26ms para 19ms) e os FLOPs em 6% comparado à abordagem anterior, devido à eficiência da atenção transposta.
• Estudo com Usuários: Um estudo 2AFC (Two-Alternative Forced Choice) com 15 observadores mostrou que o NamedCurves+ foi estatisticamente preferido em relação ao BGLUT e ao método NamedCurves anterior.

Significância e Alegações

O artigo afirma que o NamedCurves+ consegue preencher a lacuna entre o aprimoramento de imagem automatizado e o controle do usuário. Sua significância reside em:

• Explicabilidade: O uso de curvas de tom nomeadas por cores torna o processo de aprimoramento transparente; os usuários podem ver exatamente como as regiões "Vermelhas" ou "Verdes" estão sendo ajustadas.
• Interatividade: Permite customização pós-hoc flexível. Os usuários podem refinar a imagem retocada modificando curvas específicas para corresponder às suas preferências pessoais, um recurso ausente na maioria dos modelos de aprendizagem profunda de ponta a ponta.
• Robustez: A combinação de curvas condicionadas por cores globais e fusão via Transformer lida efetivamente tanto com problemas globais de exposição/contraste quanto com fronteiras de cores locais, mitigando os artefatos de halo comuns em métodos anteriores de decomposição de cores.

Os autores concluem que, embora o método seja limitado pela expressividade das curvas de tom para edições semânticas altamente localizadas, ele representa um passo significativo no desenvolvimento de sistemas de melhoria de imagem interpretáveis, interativos e de alta qualidade.