Oracle Supervision Transfers for Hyperparameter Prediction in Model-Based Image Denoising

Resumen Técnico: Transferencias de Supervisión Oráculo para la Predicción de Hiperparámetros en la Eliminación de Ruido de Imágenes Basada en Modelos

Enunciado del Problema
Los eliminadores de ruido de imágenes basados en modelos, que van desde solutores variacionales clásicos (por ejemplo, TV, TGV) hasta modelos modernos basados en difusión (por ejemplo, DiffPIR), requieren una selección cuidadosa de hiperparámetros para maximizar la calidad de reconstrucción (por ejemplo, PSNR) para configuraciones específicas de imagen y ruido. Aunque los predictores aprendidos pueden lograr un rendimiento cercano al oráculo para una configuración fija, este enfoque adolece de una mala escalabilidad. Generar las etiquetas "oráculo" necesarias —hiperparámetros que maximizan el PSNR frente a la verdad fundamental limpia— requiere una búsqueda en cuadrícula jerárquica computacionalmente costosa para cada imagen de entrenamiento. Este costo escala con el número de eliminadores de ruido, tipos de ruido y sus mezclas. En consecuencia, crear un predictor dedicado para cada nueva configuración (nuevo eliminador de ruido, nueva mezcla de ruido o nueva resolución) es prohibitivamente costoso, ya que cada uno requiere su propio conjunto de entrenamiento etiquetado por oráculo.

Metodología: HyperDn
Los autores proponen HyperDn, un predictor único condicionado a la configuración diseñado para transferir la supervisión oráculo a través de diversas configuraciones de eliminación de ruido. En lugar de entrenar predictores separados para cada configuración, HyperDn agrupa etiquetas oráculo de múltiples configuraciones fuente para entrenar un modelo unificado.

• Arquitectura: El modelo consiste en un codificador de imágenes compartido y una cabeza de salida condicionada a la configuración.
  • Codificador de Imágenes: Construido sobre un ConvNeXtV2 preentrenado en ImageNet truncado (tallo y etapas 0–1), extrae características de la imagen degradada. También incorpora las dimensiones de la imagen ($H, W$) mediante incrustación logarítmica.
  • Codificador de Condición: Codifica la configuración de eliminación de ruido, incluyendo identificadores para el término de datos ($d$) y el término de priori ($r$), así como metadatos opcionales para atributos de ruido (por ejemplo, mezclas de tipos de ruido) y parámetros de observación (por ejemplo, conteo de fotones).
  • Lectura de Ranuras Calibrada por el Eliminador de Ruido: Esta es la innovación central para manejar la heterogeneidad. La salida es un vector rellenado donde cada coordenada (ranura) corresponde a un rol específico de hiperparámetro (por ejemplo, $\lambda$ para el peso de la priori, $\delta$ para el umbral, $\gamma$ para la relación TGV). La lectura utiliza incrustaciones de ranuras compartidas para roles recurrentes entre diferentes eliminadores de ruido, pero aplica una transformación afín aprendida (escala y desplazamiento) específica para la configuración del eliminador de ruido objetivo. Esto permite que el modelo aprenda la semántica de un rol de hiperparámetro (por ejemplo, equilibrar la fidelidad de los datos y la priori) a partir de fuentes económicas mientras se adapta a los rangos numéricos específicos de objetivos costosos.
• Estrategia de Entrenamiento: HyperDn se entrena mediante regresión sobre etiquetas oráculo agrupadas de configuraciones fuente. La función de pérdida penaliza solo las ranuras "activas" relevantes para la configuración específica de la muestra de entrada, ignorando las ranuras de relleno. Para los experimentos de transferencia a DiffPIR, el modelo se preentrena primero en un grupo de 13 configuraciones fuente no DiffPIR (utilizando solutores TV/TGV) y luego se ajusta finamente con pocas etiquetas objetivo.

Contribuciones Clave

1. Supervisión Oráculo Transferible: El artículo postula y demuestra que las etiquetas de hiperparámetros oráculo no son específicas de la configuración, sino que contienen conocimiento transferible sobre las propiedades de la imagen (ruido, textura, bordes) y los roles de los hiperparámetros.
2. Entrenamiento Agrupado Multi-Configuración: HyperDn utiliza un único predictor entrenado sobre datos agrupados de 13 configuraciones fuente, empleando un codificador compartido y una cabeza de lectura especializada para manejar números y semánticas variables de hiperparámetros.
3. Transferencia Asimétrica de Costos: El método transfiere con éxito la supervisión desde configuraciones con etiquetas oráculo económicas (solutores TV/TGV rápidos, imágenes pequeñas) hacia aquellas con etiquetas costosas (muestreo de difusión DiffPIR lento, imágenes de alta resolución).

Resultados Experimentales
Los autores evalúan HyperDn a través de tres ejes de transferencia:

1. Transferencia de Pocos Ejemplos a DiffPIR: Transferencia desde fuentes TV/TGV hacia el costoso modelo DiffPIR en imágenes de 256×256.

   • Con solo 2 etiquetas oráculo objetivo, HyperDn alcanza 30.23 dB, dentro de 0.90 dB del oráculo (31.13 dB).
   • Este rendimiento supera a una CNN por configuración entrenada desde cero utilizando 64 etiquetas (29.92 dB), utilizando efectivamente 1/32 de las etiquetas objetivo requeridas por la línea base.
   • Sin preentrenamiento de fuente (solo inicialización ImageNet), el rendimiento cae significativamente, destacando el valor de la supervisión agrupada.

2. Transferencia de Cero Ejemplos a Ruido Mixto: Predicción de hiperparámetros para mezclas de ruido (por ejemplo, impulsivo + Gaussiano) no vistas durante el entrenamiento, utilizando solo datos fuente de ruido único.

   • Con cero etiquetas objetivo, HyperDn alcanza un rendimiento cercano al oráculo (dentro de 0.21 dB y 0.09 dB del oráculo en dos objetivos de ruido mixto diferentes).
   • Las líneas base que simplemente promedian predicciones u óptimos de modelos de ruido único fallan significativamente (brecha de 5–7 dB), demostrando que HyperDn aprende una representación no trivial de las mezclas de ruido.

3. Transferencia Transversal de Resolución de Cero Ejemplos: Transferencia desde imágenes fuente pequeñas (96×96) hacia imágenes objetivo grandes (512×768), donde la generación de etiquetas oráculo es ~40 veces más costosa.

   • Con cero etiquetas objetivo, HyperDn mantiene un rendimiento cercano al oráculo (brecha < 0.27 dB) a través de diversos conjuntos de datos (Kodak24, CBSD68, Urban100) y configuraciones.

Significado y Afirmaciones
El artículo afirma que la supervisión oráculo costosa para la predicción de hiperparámetros puede transferirse eficazmente desde fuentes hacia nuevas configuraciones objetivo. Esto reduce la necesidad de reconstruir etiquetas oráculo para cada nueva configuración de eliminación de ruido. El significado radica en:

• Reducción de Costos de Despliegue: Al permitir adaptación de pocos ejemplos o cero ejemplos, el método reduce drásticamente el costo computacional de generar etiquetas oráculo para nuevas configuraciones costosas (como modelos de difusión o imágenes de alta resolución).
• Generalización: Demuestra que un único predictor puede generalizar a través de diferentes paradigmas de eliminación de ruido (variacional vs. difusión), tipos de ruido y resoluciones de imagen.
• Practicidad: El costo de inferencia es insignificante (un solo paso hacia adelante) en comparación con el solutor de eliminación de ruido aguas abajo, lo que lo convierte en un componente viable para pipelines prácticos de restauración de imágenes.

Los autores permanecen modestos, señalando que la transferencia a nuevos eliminadores de ruido es de pocos ejemplos en lugar de totalmente de cero ejemplos (requiriendo un pequeño número de etiquetas objetivo para el ajuste fino) y que los resultados de cero ejemplos para ruido mixto se limitan a mezclas de tipos de ruido vistos individualmente durante el entrenamiento. No afirman garantías formales fuera de los entornos probados, pero proporcionan evidencia empírica de la transferibilidad de la supervisión oráculo.