GDPO-SR: Group Direct Preference Optimization for One-Step Generative Image Super-Resolution

1. Problema y Motivación

El artículo aborda los desafíos en la Super-Resolución de Imágenes Generativa (ISR) en el mundo real, específicamente en el contexto de modelos de un solo paso (one-step).

• Limitaciones de los modelos actuales: Los métodos de ISR basados en difusión de un solo paso (como OSEDiff o InvSR) son eficientes en inferencia, pero sufren de una naturaleza determinista. Al mapear directamente la imagen de baja resolución (LR) a la de alta resolución (HR), carecen de la estocasticidad necesaria para generar múltiples salidas diversas, lo cual es un requisito fundamental para aplicar algoritmos de Aprendizaje por Refuerzo (RL) como la Optimización Directa de Preferencias (DPO).
• Deficiencias de los métodos RL existentes:
  • DPO (Direct Preference Optimization): Requiere pares de muestras positivas y negativas generados offline. Esto limita la diversidad de datos y la eficiencia de la muestra.
  • GRPO (Group Relative Policy Optimization): Genera múltiples muestras online, pero calcula la verosimilitud (likelihood) de la imagen completa, ignorando los detalles locales cruciales para la super-resolución, lo que puede degradar la calidad visual.
• Objetivo: Desarrollar un marco que integre RL en el entrenamiento de modelos de ISR generativa de un solo paso, superando la falta de diversidad y mejorando la optimización de preferencias sin sacrificar la fidelidad ni la eficiencia.

2. Metodología Propuesta: GDPO-SR

Los autores proponen GDPO (Group Direct Preference Optimization), un nuevo paradigma de entrenamiento que combina las ventajas de DPO y GRPO. La arquitectura consta de dos componentes principales:

A. Modelo Base: Difusión de Un Paso Consciente del Ruido (NAOSD)

Para habilitar la diversidad en un modelo determinista, se introduce el modelo NAOSD:

• Inyección de Ruido Controlable: Se inyecta ruido gaussiano controlable en las características latentes de la imagen LR antes de la etapa de denoising. Esto permite que el mismo input LR genere múltiples salidas de calidad variable.
• Estrategia de Pasos de Tiempo Desiguales (Unequal-Timestep): Para evitar la degradación del rendimiento causada por la inyección de ruido, se desacoplan dos tiempos:
  • $t_{add}$ (tiempo de adición de ruido): Se establece en un valor alto para expandir el espacio de muestreo y aumentar la diversidad.
  • $t_{diff}$ (tiempo de denoising): Se mantiene más bajo y conservador para preservar la fidelidad de la reconstrucción.
  • Esto permite generar una gama de muestras (desde buenas hasta malas) a partir de un solo input, satisfaciendo el requisito de estocasticidad para el RL.

B. Estrategia de Optimización: GDPO

El proceso de entrenamiento se divide en dos etapas:

1. Cálculo de la Ventaja (Advantage Calculation):

   • Se genera un grupo de $G$ muestras ISR a partir del mismo input LR usando diferentes semillas de ruido.
   • Función de Recompensa Consciente de Atributos (ARF): Se diseña una función de recompensa dinámica que equilibra métricas de fidelidad (FR, como PSNR) y métricas de percepción (NR, como MANIQA y MUSIQ).
   • Adaptación Espacial: La función ARF calcula la proporción de regiones suaves vs. detalladas en la imagen (usando gradientes de Sobel y entropía de Shannon). Asigna pesos adaptativos ($\rho_s$ y $\rho_d$) a las métricas FR y NR según la complejidad de la imagen (ej. priorizar fidelidad en edificios, percepción en vegetación).
   • Se calcula la ventaja relativa del grupo ($A_i$) estandarizando las recompensas dentro del grupo.

2. Optimización de la Política (Policy Optimization):

   • Se reformula la pérdida de Diffusion-DPO para incorporar las ventajas relativas del grupo.
   • La función de pérdida prioriza las muestras con mayor recompensa dentro del grupo generado online, mientras reduce la influencia de las muestras indeseables.
   • A diferencia de GRPO, GDPO hereda la ventaja de DPO de realizar cálculos implícitos de verosimilitud a nivel de píxel, lo que permite aprender mejor los detalles locales en lugar de solo la probabilidad global de la imagen.

3. Contribuciones Clave

1. Primera aplicación de RL a ISR generativa de un solo paso: Superan la limitación determinista de los modelos existentes mediante el modelo NAOSD.
2. Estrategia de pasos de tiempo desiguales: Un mecanismo novedoso para inyectar ruido y generar diversidad sin comprometer la fidelidad de la reconstrucción.
3. Función de Recompensa ARF: Una función de recompensa dinámica que adapta el equilibrio entre fidelidad y percepción basándose en el contenido de la imagen (regiones suaves vs. texturizadas).
4. Integración de DPO y GRPO: GDPO combina la precisión de DPO (optimización a nivel de píxel) con la eficiencia de muestreo de GRPO (grupos de muestras online), evitando las limitaciones de ambos por separado.

4. Resultados Experimentales

Los experimentos se realizaron en conjuntos de datos reales (RealSR, DRealSR) y sintéticos (DIV2K-val), comparando contra métodos basados en GAN, difusión multi-paso (StableSR, SeeSR, PASD) y otros métodos de un paso.

• Rendimiento Cuantitativo:
  • GDPO-SR logra el mejor rendimiento en métricas de fidelidad (PSNR, SSIM, LPIPS, DISTS) y percepción (MANIQA, MUSIQ, CLIPIQA) en la mayoría de los conjuntos de datos.
  • Supera significativamente a su modelo base (NAOSD) y a métodos RL previos como DP2OSR (que sacrifica fidelidad por calidad perceptual).
  • En el conjunto RealSR, mejora el PSNR de 25.25 a 25.48 dB y el MANIQA de 0.6459 a 0.6615.
• Rendimiento Cualitativo:
  • Las imágenes reconstruidas muestran texturas más claras y realistas (ej. ladrillos, hojas, venas) con menos artefactos y alucinaciones en comparación con métodos competidores.
• Eficiencia:
  • GDPO-SR mantiene un tiempo de inferencia y FLOPs comparables a los métodos de un paso más rápidos (como OSEDiff), demostrando que el entrenamiento con RL no añade sobrecarga computacional en la fase de inferencia.

5. Significado e Impacto

El trabajo es significativo porque cierra la brecha entre la eficiencia de los modelos de un solo paso y la capacidad de optimización avanzada de los métodos de Aprendizaje por Refuerzo.

• Paradigma de Entrenamiento: Establece un nuevo estándar para entrenar modelos generativos rápidos mediante la creación de diversidad artificial controlada (ruido) y su optimización mediante preferencias grupales.
• Calidad Visual: Demuestra que es posible obtener resultados de alta fidelidad y alta percepción simultáneamente en tareas de super-resolución del mundo real, un desafío histórico donde a menudo se sacrifica uno por el otro.
• Aplicabilidad: La estrategia de recompensa adaptativa (ARF) ofrece una dirección valiosa para el diseño de funciones de pérdida en tareas de visión por computadora donde el contenido de la imagen varía drásticamente.

En resumen, GDPO-SR representa un avance crucial hacia modelos de super-resolución que son simultáneamente rápidos (un paso), realistas y de alta fidelidad, superando las limitaciones de los enfoques deterministas y de los métodos de RL tradicionales.