Resumen Técnico: AnyBokeh

Planteamiento del Problema

El control de la profundidad de campo (DoF) es una herramienta estética fundamental en la fotografía, sin embargo, la edición de bokeh post-captura desde una sola imagen sigue siendo un desafío. La dificultad central reside en dos incógnitas:

1. Estado de desenfoque de la fuente: La imagen de entrada puede contener ya un desenfoque por desenfoque espacialmente variable (algunas regiones nítidas, otras desenfocadas). Un editor práctico debe comprender este estado para decidir qué regiones enfocar, preservar o desenfocar más.
2. Parámetros ópticos: Los parámetros de la cámara (distancia de enfoque, apertura, distancia focal, tamaño del sensor) suelen estar incompletos o no disponibles para imágenes "en el mundo real" (in-the-wild).

Los métodos existentes suelen sufrir un "cuello de botella AIF (Todo en Foco)". O bien asumen que la entrada ya es nítida, o fuerzan una reconstrucción de una imagen AIF antes de renderizar el nuevo bokeh. Este enfoque descarta pistas de desenfoque útiles de la imagen de origen y propaga los artefactos de reconstrucción en la edición final. Además, sin metadatos completos, estos procesos de ejecución suelen requerir una "calibración de nivel de bokeh" guiada por la verdad de campo (ground-truth) para cada imagen para igualar la intensidad de desenfoque deseada, lo cual es impracticable para una edición ciega.

Metodología: AnyBokeh

Los autores proponen AnyBokeh, un marco guiado por la física para la edición de bokeh de cualquier-a-cualquier (any-to-any). En lugar de tratar el desenfoque de la fuente como una degradación que debe eliminarse, el método estima el estado de desenfoque de la fuente y transfiere sus características ópticas a una configuración objetivo.

1. Transferencia de la Huella Óptica Guiada por la Física

El marco se basa en el modelo de lente delgada, donde el Círculo de Confusión (CoC) está linealmente relacionado con la diferencia de disparidad entre un punto de la escena y el plano focal.

• Huella Óptica ($\kappa_{src}$): Los autores definen una pendiente específica de la fuente $\kappa_{src}$ que mapea las diferencias de disparidad al desenfoque en el espacio de la imagen. Esta pendiente absorbe factores ópticos globales (apertura, distancia focal, tamaño del sensor, resolución).
• Estimación: El sistema predice conjuntamente un mapa de CoC con signo ($CoC_{src}$) y un mapa de disparidad ($D$) a partir de la imagen de entrada.
• Transferencia: Al modelar la relación lineal $CoC \approx \kappa \cdot (D_{focus} - D)$, el método estima $\kappa_{src}$ a partir de los mapas predichos. Esta huella se transfiere analíticamente a los ajustes de enfoque y apertura objetivo deseados para calcular el mapa de CoC objetivo ($CoC_{tgt}$), evitando la necesidad de reconstrucción AIF o calibración en tiempo de prueba.

2. Condicionamiento de Doble CoC

El proceso de edición es gestionado por un editor generativo (basado en FLUX.1-Fill) condicionado por tres entradas:

1. La imagen de origen ($I_{src}$).
2. El mapa de CoC de la fuente ($CoC_{src}$).
3. El mapa de CoC objetivo ($CoC_{tgt}$).

Este condicionamiento de doble CoC permite al modelo observar explícitamente tanto el estado de desenfoque actual como el estado de salida deseado. Esto permite la síntesis de desenfoque relativo, donde el editor realiza un deblurring (eliminación de desenfoque) adaptativo espacial, preservación o renderizado de desenfoque basado en la transición entre los dos mapas de CoC.

3. Conjunto de Datos UnrealBokeh

Para entrenar los estimadores de CoC y disparidad bajo una supervisión física precisa, los autores construyeron UnrealBokeh, un conjunto de datos sintético de alta fidelidad renderizado en Unreal Engine.

• Contiene 11,477 imágenes y 382,888 pares de edición.
• Proporciona verdad de campo (ground-truth) de profundidad, distancia de enfoque, apertura, distancia focal, tamaño del sensor y resolución de imagen para cada imagen.
• Esto permite el cálculo de mapas de CoC densos y con signo, los cuales son esenciales para entrenar el estimador de la Etapa 1.

Principales Contribuciones

1. Transferencia de Huella Óptica Mediante CoC: Un marco que estima una huella óptica específica de la fuente ($\kappa_{src}$) a partir del desenfoque observado y la disparidad, transfiriéndola analíticamente a los ajustes objetivo. Esto elimina la necesidad de reconstrucción AIF y de la calibración del nivel de bokeh en tiempo de prueba.
2. Condicionamiento de Doble CoC: Una estrategia de condicionamiento novedosa donde el editor generativo recibe tanto el mapa de CoC de origen como el de destino. Esto convierte la edición de cualquier-a-cualquier en una tarea de síntesis de desenfoque relativo, permitiendo un control espacial preciso sobre el deblurring y el desenfoque.
3. Conjunto de Datos UnrealBokeh: Un conjunto de datos sintético de alta fidelidad con metadatos ópticos completos y mapas de CoC de verdad de campo, lo que permite un aprendizaje robusto de la estimación de la fuente de desenfoque y la geometría.

Resultados Experimentales

Los autores evaluaron AnyBokeh en entornos del mundo real (EBB! y RealBokeh) en tres configuraciones:

1. Edición de Bokeh de Cualquier-a-Cualquier: Edición de imágenes que ya contienen desenfoque. AnyBokeh superó a las líneas base de "deblur-entonces-renderizar" (que combinan estimadores AIF como Restormer/DRBNet con renderizadores de bokeh como BokehMe/BokehDiff) en similitud perceptual (LPIPS, DISTS) y realismo de distribución (FID). Crucialmente, logró esto sin calibración por imagen.
2. Renderizado de AIF-a-Bokeh: Incluso cuando la entrada está totalmente enfocada, AnyBokeh superó a los métodos de renderizado especializados, demostando que la formulación de transferencia relativa es robusta incluso cuando el desenfoque de la fuente es débil.
3. Eliminación de Desenfoque por Defocus (Bokeh-a-AIF): Al recuperar imágenes nítidas a partir de entradas desenfocadas, AnyBokeh logró puntuaciones DISTS y FID superiores en comparación con las líneas base de restauración, lo que indica una mejor estructura perceptual y realismo. Aunque las puntuaciones LPIPS fueron ligeramente menores (atribuido a la naturaleza generativa de la recuperación de detalles de alta frecuencia perdidos), la inspección visual mostró bordes más nítidos y texturas más realistas.

Significación y Limitaciones

Significación:
El artículo argumenta que el desenfoque de la fuente no es meramente ruido, sino un portador de información óptica útil. Al modelar y transferir explícitamente la "huella óptica", AnyBokeh permite una edición fiel y controlable en escenarios de cualquier-a-cualquier sin los artefactos introducidos por la reconstrucción AIF forzada. Une la brecha entre la óptica física y la edición generativa, permitiendo la manipulación de la profundidad de campo post-captura de forma ciega.

Limitaciones:

• Desenfoque Extremo: Cuando la entrada está severamente desenfocada, los detalles de alta frecuencia se pierden de forma irremediable. Aunque AnyBokeh funciona mejor que las líneas base, no puede recuperar completamente los detalles nítidos en estos casos extremos.
• Cambios de Bokeh Extremos: El método puede tener dificultades con cambios extremos en el tamaño de las bolas de bokeh (por ejemplo, reducir significativamente bolas de bokeh muy grandes), lo que podría dejar artefactos residuales o estructuras huecas debido a la oclusión y a la cobertura limitada de los datos de entrenamiento para tales extremos.
• Eficiencia de Inferencia: La inferencia de alta resolución depende de una estrategia de teselado y unión (tiling-and-stitching) para mantener las relaciones de aspecto, lo que aumenta el tiempo de ejecución en comparación con la inferencia de paso único.