Generative Refocusing: Flexible Defocus Control from a Single Image

1. El Problema

El control de la profundidad de campo y el enfoque es fundamental en la fotografía artística, pero lograr un enfoque perfecto a menudo requiere múltiples tomas o equipo especializado. La refocalización de una sola imagen (single-image refocusing) busca permitir ajustes de enfoque y bokeh después de la captura, pero enfrenta tres limitaciones críticas en los métodos actuales:

• Dependencia de entradas específicas: La mayoría de los métodos requieren imágenes totalmente enfocadas (all-in-focus) y mapas de profundidad precisos, lo que limita su uso en imágenes reales que ya tienen desenfoque.
• Realismo limitado: Los métodos que utilizan datos sintéticos a menudo fallan en capturar las características ópticas auténticas y los aberraciones de las lentes reales. Por otro lado, los conjuntos de datos reales suelen estar restringidos a variaciones unidimensionales (solo barrido de apertura o solo de plano de enfoque), impidiendo el aprendizaje de una distribución conjunta flexible.
• Falta de control creativo: Los métodos existentes generalmente solo permiten controlar el tamaño de la apertura, no su forma, limitando los efectos de bokeh creativos (como corazones o estrellas).

2. Metodología: Generative Refocusing (GenRefocus)

Los autores proponen GenRefocus, un sistema de dos etapas basado en modelos de difusión (Diffusion Models) que transforma una sola imagen de entrada en una "cámara virtual" controlable. El pipeline se divide en dos redes neuronales principales:

A. Etapa 1: Desenfoque (DeblurNet)

• Objetivo: Recuperar una imagen nítida y totalmente enfocada (All-In-Focus o AIF) a partir de una entrada borrosa o desenfocada.
• Arquitectura: Utiliza un modelo de difusión (basado en FLUX) que procesa una secuencia unificada de tokens que concatena el latente ruidoso de la imagen y la imagen de entrada codificada por un VAE.
• Entrenamiento: Se entrena de manera supervisada utilizando datos reales emparejados (desenfoque/nítido) de conjuntos como DPDD y RealBokeh.

B. Etapa 2: Síntesis de Profundidad de Campo (BokehNet)

• Objetivo: Generar el efecto de bokeh controlable sobre la imagen AIF recuperada.
• Mecanismo:
  1. Estima un mapa de profundidad monocular ($D$) a partir de la imagen AIF.
  2. Calcula un mapa de desenfoque ($D_{def}$) basado en la fórmula: $D_{def} = K \cdot |D - D_{focus}|$, donde $K$ es el nivel de bokeh (intensidad) y $D_{focus}$ es el plano de enfoque seleccionado por el usuario.
  3. El modelo de difusión sintetiza la imagen final condicionada por la imagen AIF y el mapa de desenfoque.
• Control de Forma: Permite inyectar una imagen de la forma de la apertura (ej. corazón) como condición adicional para generar bokeh con geometrías personalizadas.

Esquema de Entrenamiento Híbrido (Innovación Clave)

Para superar la falta de datos reales con control dual (enfoque + apertura), los autores proponen un esquema de entrenamiento que combina tres fuentes:

1. Datos Sintéticos: Para mantener la consistencia geométrica y aprender la relación entre profundidad y desenfoque.
2. Conjunto ITW (In-The-Wild): Utiliza imágenes reales de bokeh. El sistema recupera la imagen AIF y estima el plano de enfoque y el nivel de bokeh ($K$) utilizando metadatos EXIF (focal, f-number) y máscaras de enfoque.
3. LFDOF y RealBokeh: Para estos datos que carecen de metadatos EXIF completos, los autores introducen un paso de refinamiento manual de las máscaras de enfoque y un método de calibración en bucle (simulator-in-the-loop) para encontrar el valor de $K$ que mejor coincide con la imagen real mediante SSIM.

3. Contribuciones Clave

1. Pipeline Flexible de Refocalización: Un sistema que acepta imágenes en cualquier estado de enfoque (borrosas o nítidas) y permite controlar el plano de enfoque, la intensidad del bokeh y la forma de la apertura.
2. Esquema de Entrenamiento Novel: Una estrategia que supera las limitaciones de los conjuntos de datos reales existentes completando las señales de control faltantes (mapas de desenfoque y niveles de bokeh), logrando unir la consistencia geométrica de los datos sintéticos con las aberraciones ópticas auténticas de las lentes reales.
3. Control de Forma de Apertura: Es el primer método de aprendizaje profundo que permite sintetizar bokeh con formas de apertura personalizadas (triángulos, corazones, estrellas) manteniendo la consistencia de la escena.
4. Rendimiento Superior: Validación en múltiples tareas (desenfoque, síntesis de bokeh y refocalización) superando a los métodos actuales (SOTA).

4. Resultados y Evaluación

El método fue evaluado en tres tareas principales utilizando métricas de fidelidad (LPIPS, DISTS) y calidad perceptual (CLIP-IQA, MANIQA, MUSIQ):

• Desenfoque (Defocus Deblurring): En los conjuntos de datos RealDOF y DPDD, GenRefocus supera a métodos como Bokehlicious, DiffCamera y Restormer. Visualmente, recupera detalles finos (como texto) que otros métodos distorsionan o no logran recuperar.
• Síntesis de Bokeh: En el nuevo conjunto de datos LF-Bokeh, el método logra la mejor fidelidad y controlabilidad, superando a enfoques basados en difusión pura y métodos híbridos.
• Refocalización: En el conjunto LF-Refocus, el método logra un enfoque preciso en el plano deseado mientras genera un bokeh realista, superando significativamente a Learn2Refocus y DiffCamera.
• Control de Forma: Demostraciones visuales confirman la capacidad de generar bokeh con formas específicas sin alterar la estructura de la escena.

5. Significado e Impacto

Generative Refocusing representa un avance significativo en la computación fotográfica al democratizar el control óptico avanzado.

• Flexibilidad: Permite a los usuarios corregir errores de enfoque en fotografías antiguas o mal enfocadas y aplicar efectos creativos que antes requerían lentes especiales o múltiples tomas.
• Realismo: Al integrar datos reales y aprender las características ópticas de lentes físicas, evita el aspecto "artificial" o de "pintura" común en los métodos puramente sintéticos.
• Aplicabilidad: Tiene implicaciones para la restauración de fotografías históricas, la edición de imágenes en la nube y herramientas creativas para fotógrafos y cineastas.

Limitaciones: El método depende de la estimación de profundidad; en superficies transparentes (como vidrio), la estimación de profundidad puede fallar, afectando la asignación del desenfoque. Además, en casos de desenfoque extremo, el modelo podría alucinar detalles incorrectos, lo que lo hace menos adecuado para aplicaciones críticas de precisión científica.