Resumen Técnico: Modelos de Flujo Generativo Alineados con la Restauración para la Eliminación Ciega de Desenfoque por Movimiento

Enunciado del Problema

La eliminación ciega de desenfoque por movimiento tiene como objetivo recuperar una imagen latente limpia a partir de una única observación borrosa. Si bien las arquitecturas de aprendizaje profundo basadas en restauración han logrado una alta fidelidad (ajuste cercano a las imágenes de referencia mediante pérdidas a nivel de píxel), a menudo luchan por producir detalles perceptivamente realistas, lo que resulta en salidas excesivamente suavizadas. Por el contrario, los modelos generativos (como los modelos de difusión y de ajuste de flujo) entrenados en imágenes naturales a gran escala sobresalen en calidad perceptual, pero sufren una degradación severa de la fidelidad cuando se aplican directamente a tareas de restauración. Este "colapso de fidelidad" ocurre porque los objetivos de entrenamiento de los modelos generativos (transportar ruido a datos limpios) están inherentemente desalineados con los objetivos de restauración (recuperar contenido específico a partir de una entrada degradada). Aplicar ingenuamente modelos generativos sobre redes de restauración de alta fidelidad a menudo conduce a una caída significativa en la PSNR, fallando en preservar la calidad de reconstrucción inicial.

Metodología: DeblurFlow

Los autores proponen DeblurFlow, un marco que resuelve la discrepancia de objetivos entre generación y restauración mediante la reformulación de la trayectoria del flujo generativo. La metodología consta de tres componentes principales:

1. Formulación de Flujo Alineado con la Restauración

Los modelos de ajuste de flujo estándar aprenden un campo vectorial para transportar una muestra de ruido ($\epsilon$) a una imagen limpia ($x$). DeblurFlow reinterpreta esta trayectoria reemplazando el punto final de ruido con la observación borrosa ($y$).

• Redefinición de la Trayectoria: El camino se define como $x^*_t = (1-t)x + ty$, donde $y$ es la entrada borrosa y $x$ es la referencia limpia.
• Campo Vectorial como Residuo: La derivada de este camino, $v^* = y - x$, representa naturalmente el error residual entre el desenfoque y la imagen limpia.
• Alineación de la Pérdida: Bajo esta formulación, la pérdida estándar de ajuste de flujo coincide con una pérdida residual ($L_{res} = \|v_\theta(x^*_t, t) - (y - x)\|^2$). Esto permite optimizar modelos de flujo preentrenados bajo objetivos orientados a la restauración mediante Adaptación de Bajo Rango (LoRA), permitiéndoles predecir residuos en lugar de generar imágenes a partir de ruido.

2. Estrategia de Muestreo de Doble Experto

Para equilibrar la fidelidad de restauración y el realismo perceptual, el marco descompone la tarea en dos roles complementarios:

• Experto de Fidelidad: Una red de restauración preentrenada (por ejemplo, NAFNet) proporciona una estimación inicial de alta fidelidad ($x^*_t = f_\psi(y)$).
• Experto de Realismo: DeblurFlow actúa como un experto en realismo que preserva la fidelidad. Refina la estimación inicial prediciendo el error residual bajo el proceso de muestreo de ajuste de flujo.
• Entrenamiento Conjunto: Para abordar posibles brechas de distribución entre el entrenamiento sobre entradas borrosas crudas versus inicializaciones de alta fidelidad, el modelo se entrena conjuntamente tanto en el mapeo directo de borroso a limpio ($y \to x$) como en el mapeo dependiente del experto ($f_\psi(y) \to x$).

3. Representación Latente en el Espacio r

Para garantizar la eficiencia computacional, el marco opera en un espacio latente especializado denominado espacio r, en lugar de los espacios latentes estándar de VAE.

• Diseño: El espacio r está adaptado para la decodificación de residuos en lugar de la reconstrucción de imágenes limpias.
• Arquitectura: Utiliza un par codificador-decodificador con atajos residuales que propagan señales estructurales directamente desde la entrada borrosa.
• Eficiencia: Este diseño reduce significativamente el costo computacional de los componentes codificador-decodificador en comparación con los VAE estándar, haciendo que el proceso de muestreo iterativo sea práctico para aplicaciones del mundo real.

Contribuciones Clave

1. Formulación Alineada con la Restauración: El artículo propone un nuevo marco de eliminación de desenfoque que reformula la trayectoria del flujo generativo para tratar el campo vectorial como un error residual alineado con la tarea. Esto mitiga el colapso de fidelidad y hace que los modelos de flujo generativo sean compatibles con modelos de eliminación de desenfoque de alta fidelidad.
2. Espacio Latente r: La introducción del espacio r permite la codificación y decodificación que preservan la fidelidad con alta eficiencia computacional, reduciendo el costo del codificador-decodificador hasta en 9$\times$ en comparación con los latentes estándar de VAE.
3. Muestreo de Doble Experto: Una estrategia que descompone el problema en un experto de fidelidad y un experto en realismo que preserva la fidelidad, asegurando una alta fidelidad de restauración mientras mejora sustancialmente el realismo perceptual.

Resultados Experimentales

Los autores evaluaron DeblurFlow en cuatro conjuntos de datos: GoPro, HIDE, RealBlur-J y RWBI.

• Fidelidad vs. Realismo: En el conjunto de datos GoPro, DeblurFlow logró una PSNR de 33.05 dB (en comparación con 33.69 dB para el experto de fidelidad solo y 27.60 dB para una aplicación generativa ingenua) y una puntuación MUSIQ de 50.81 (significativamente más alta que los métodos basados en restauración como NAFNet en 45.28). Esto demuestra la capacidad de preservar la fidelidad mientras se mejora la calidad perceptual.
• Generalización: En el conjunto de datos del mundo real RWBI (que carece de referencia), DeblurFlow superó a los métodos basados en restauración y en difusión en todas las métricas sin referencia (CLIPIQA, NIQE, MUSIQ, MANIQA).
• Eficiencia Computacional: DeblurFlow procesa imágenes de resolución 2K en 0.41 segundos en una sola GPU. Esto es aproximadamente 3.4$\times$ más rápido que DiffIR y 6.5$\times$ más rápido que FFTFormer. El uso del espacio r redujo el costo computacional del codificador-decodificador de 422.7 GMACs a 19.5 GMACs.
• Estudios de Ablación: Los experimentos confirmaron que el objetivo de generación estándar causa un colapso de fidelidad (caída de PSNR de 33.69 a 27.60). La formulación de pérdida residual propuesta mitigó esta caída (restaurando la PSNR a 32.40), y el espacio r mejoró aún más tanto la fidelidad como el realismo mientras reducía los costos.

Significado y Afirmaciones

El artículo afirma que DeblurFlow cierra con éxito la brecha entre restauración y generación. Al reformular la trayectoria del flujo generativo para alinearse con los objetivos de restauración (predecir residuos en lugar de transportar ruido), el marco permite que un único modelo generativo funcione eficazmente como una herramienta de eliminación de desenfoque sin sacrificar la fidelidad proporcionada por las redes de restauración tradicionales.

Los autores enfatizan que su contribución no radica meramente en combinar componentes existentes, sino en la unificación bajo una formulación generativa alineada con la restauración. Este enfoque sugiere que la restauración y la generación no deben considerarse tareas distintas e incompatibles, sino que pueden explorarse dentro de un único modelo de flujo generativo. El método se presenta como una solución práctica que logra una fuerte fidelidad de restauración y realismo perceptual, manteniéndose lo suficientemente eficiente computacionalmente para su implementación en el mundo real. Los autores señalan que este marco podría extenderse potencialmente a otras tareas de restauración, como la eliminación de ruido de imágenes y la superresolución.