Oracle Supervision Transfers for Hyperparameter Prediction in Model-Based Image Denoising

Resumo Técnico: Transferências de Supervisão Oráculo para Previsão de Hiperparâmetros em Remoção de Ruído de Imagens Baseada em Modelo

Declaração do Problema
Desruidores de imagens baseados em modelo, que variam de solutores variacionais clássicos (por exemplo, TV, TGV) a modelos modernos baseados em difusão (por exemplo, DiffPIR), exigem seleção cuidadosa de hiperparâmetros para maximizar a qualidade de reconstrução (por exemplo, PSNR) para configurações específicas de imagem e ruído. Embora preditores aprendidos possam alcançar desempenho próximo ao oráculo para uma configuração fixa, essa abordagem sofre de baixa escalabilidade. Gerar os rótulos "oráculo" necessários — hiperparâmetros que maximizam o PSNR contra o ground truth limpo — requer uma busca em grade hierárquica computacionalmente dispendiosa para cada imagem de treinamento. Esse custo escala com o número de desruidores, tipos de ruído e suas misturas. Consequentemente, criar um preditor dedicado para cada nova configuração (novo desruidor, nova mistura de ruído ou nova resolução) é proibitivamente caro, pois cada um requer seu próprio conjunto de treinamento rotulado por oráculo.

Metodologia: HyperDn
Os autores propõem o HyperDn, um único preditor condicionado à configuração projetado para transferir supervisão oráculo através de diversas configurações de remoção de ruído. Em vez de treinar preditores separados para cada configuração, o HyperDn agrega rótulos oráculo de múltiplas configurações-fonte para treinar um modelo unificado.

• Arquitetura: O modelo consiste em um codificador de imagem compartilhado e uma cabeça de saída condicionada à configuração.
  • Codificador de Imagem: Construído sobre um ConvNeXtV2 pré-treinado no ImageNet truncado (caule e estágios 0–1), extrai características da imagem degradada. Também incorpora dimensões da imagem ($H, W$) via incorporação logarítmica.
  • Codificador de Condição: Codifica a configuração de remoção de ruído, incluindo identificadores para o termo de dados ($d$) e termo de priori ($r$), bem como metadados opcionais para atributos de ruído (por exemplo, misturas de tipos de ruído) e parâmetros de observação (por exemplo, contagem de fótons).
  • Leitura de Slots Calibrada pelo Desruidor: Esta é a inovação central para lidar com heterogeneidade. A saída é um vetor preenchido onde cada coordenada (slot) corresponde a um papel específico de hiperparâmetro (por exemplo, $\lambda$ para peso da priori, $\delta$ para limiar, $\gamma$ para razão TGV). A leitura utiliza incorporações de slot compartilhadas para papéis recorrentes entre diferentes desruidores, mas aplica uma transformação afim aprendida (escala e deslocamento) específica à configuração do desruidor-alvo. Isso permite que o modelo aprenda a semântica de um papel de hiperparâmetro (por exemplo, equilibrar fidelidade aos dados e priori) a partir de fontes baratas, adaptando-se aos intervalos numéricos específicos de alvos caros.
• Estratégia de Treinamento: O HyperDn é treinado via regressão em rótulos oráculo agregados de configurações-fonte. A função de perda penaliza apenas os slots "ativos" relevantes para a configuração específica da amostra de entrada, ignorando slots preenchidos. Para os experimentos de transferência do DiffPIR, o modelo é primeiro pré-treinado em um conjunto de 13 configurações-fonte não-DiffPIR (usando solutores TV/TGV) e depois ajustado finamente com poucos rótulos-alvo.

Principais Contribuições

1. Supervisão Oráculo Transferível: O artigo postula e demonstra que rótulos de hiperparâmetros oráculo não são específicos de configuração, mas contêm conhecimento transferível sobre propriedades da imagem (ruído, textura, bordas) e papéis de hiperparâmetros.
2. Treinamento Agrupado Multi-Configuração: O HyperDn utiliza um único preditor treinado em dados agrupados de 13 configurações-fonte, empregando um codificador compartilhado e uma cabeça de leitura especializada para lidar com números e semânticas variáveis de hiperparâmetros.
3. Transferência Assimétrica de Custos: O método transfere com sucesso supervisão de configurações com rótulos oráculo baratos (solutores TV/TGV rápidos, imagens pequenas) para aquelas com rótulos caros (amostragem de difusão DiffPIR lenta, imagens de alta resolução).

Resultados Experimentais
Os autores avaliam o HyperDn em três eixos de transferência:

1. Transferência Few-Shot para DiffPIR: Transferência de fontes TV/TGV para o modelo DiffPIR caro em imagens de 256×256.

   • Com apenas 2 rótulos oráculo-alvo, o HyperDn alcança 30,23 dB, dentro de 0,90 dB do oráculo (31,13 dB).
   • Esse desempenho supera um CNN treinado por configuração do zero usando 64 rótulos (29,92 dB), utilizando efetivamente 1/32 dos rótulos-alvo exigidos pela linha de base.
   • Sem pré-treinamento de fonte (apenas inicialização ImageNet), o desempenho cai significativamente, destacando o valor da supervisão agrupada.

2. Transferência Zero-Shot para Ruído Misto: Previsão de hiperparâmetros para misturas de ruído (por exemplo, impulso + Gaussiano) não vistas durante o treinamento, usando apenas dados-fonte de ruído único.

   • Com zero rótulos-alvo, o HyperDn alcança desempenho próximo ao oráculo (dentro de 0,21 dB e 0,09 dB do oráculo em dois alvos de ruído misto diferentes).
   • Linhas de base que simplesmente mediam previsões ou ótimos de modelos de ruído único falham significativamente (lacuna de 5–7 dB), demonstrando que o HyperDn aprende uma representação não trivial de misturas de ruído.

3. Transferência Zero-Shot Cross-Resolution: Transferência de imagens-fonte pequenas (96×96) para imagens-alvo grandes (512×768), onde a geração de rótulos oráculo é ~40× mais cara.

   • Com zero rótulos-alvo, o HyperDn mantém desempenho próximo ao oráculo (lacuna < 0,27 dB) em diversos conjuntos de dados (Kodak24, CBSD68, Urban100) e configurações.

Significado e Afirmações
O artigo afirma que a supervisão oráculo cara para previsão de hiperparâmetros pode ser efetivamente transferida de fontes para novas configurações-alvo. Isso reduz a necessidade de reconstruir rótulos oráculo para cada nova configuração de remoção de ruído. O significado reside em:

• Redução de Custos de Implantação: Ao permitir adaptação few-shot ou zero-shot, o método reduz drasticamente o custo computacional de gerar rótulos oráculo para novas configurações caras (como modelos de difusão ou imagens de alta resolução).
• Generalização: Demonstra que um único preditor pode generalizar através de diferentes paradigmas de remoção de ruído (variacional vs. difusão), tipos de ruído e resoluções de imagem.
• Praticidade: O custo de inferência é negligenciável (uma única passagem direta) em comparação com o solutor de remoção de ruído a jusante, tornando-o um componente viável para pipelines práticos de restauração de imagens.

Os autores permanecem modestos, observando que a transferência para novo desruidor é few-shot e não totalmente zero-shot (exigindo um pequeno número de rótulos-alvo para ajuste fino) e que os resultados zero-shot para ruído misto são limitados a misturas de tipos de ruído vistos individualmente durante o treinamento. Eles não afirmam garantias formais fora dos cenários testados, mas fornecem evidências empíricas da transferibilidade da supervisão oráculo.