Generative Refocusing: Flexible Defocus Control from a Single Image

Título: Generative Refocusing: Controle Flexível de Desfoque a partir de uma Única Imagem

1. O Problema

O controle da profundidade de campo (DoF) e do foco é fundamental na fotografia artística para guiar a atenção do espectador. No entanto, alcançar o foco perfeito frequentemente exige múltiplas tentativas ou equipamentos especializados.
O refocamento em imagem única (Single-Image Refocusing) visa permitir ajustes de foco e efeito bokeh (desfoque estético) após a captura. Apesar dos avanços, os métodos atuais enfrentam três limitações principais:

1. Restrição de Entrada: A maioria dos métodos exige imagens já totalmente focadas (all-in-focus) e mapas de profundidade precisos, limitando sua aplicação a imagens que já possuem desfoque controlado.
2. Realismo e Dados: Métodos baseados em dados sintéticos sofrem com a falta de realismo óptico (artefatos de simuladores), enquanto conjuntos de dados reais muitas vezes não fornecem a distribuição conjunta necessária de variações de foco e abertura para treinar modelos flexíveis.
3. Controle Limitado: As abordagens existentes geralmente controlam apenas o tamanho da abertura (intensidade do bokeh), ignorando a forma da abertura (ex: corações, estrelas), o que limita efeitos criativos.

2. Metodologia

Os autores propõem o Generative Refocusing (GenRefocus), um sistema de duas etapas baseado em modelos de difusão que transforma uma única imagem de entrada em uma "câmera virtual" controlável. O pipeline é decomposto em dois módulos principais:

• Etapa 1: DeblurNet (Recuperação de Foco)

  • Objetivo: Recuperar uma imagem totalmente focada (all-in-focus - AIF) a partir de uma entrada borrada ou desfocada.
  • Arquitetura: Utiliza um modelo de difusão (baseado em FLUX) que processa tokens unificados concatenando o latente ruidoso da imagem e o latente da imagem de entrada codificada por um VAE.
  • Treinamento: Treinado de forma supervisionada com dados reais emparelhados (desfocados e focados), permitindo lidar com entradas de qualquer estado de foco.

• Etapa 2: BokehNet (Síntese de Profundidade de Campo)

  • Objetivo: Gerar o efeito bokeh controlável na imagem recuperada (AIF).
  • Controles: Aceita o plano de foco do usuário ($D_{focus}$), o nível de desfoque ($K$) e, opcionalmente, a forma da abertura ($A$).
  • Mecanismo: Calcula um mapa de desfoque ($D_{def}$) baseado na diferença entre o mapa de profundidade estimado e o plano de foco desejado. O modelo de difusão sintetiza a imagem final condicionada a esses parâmetros.

• Esquema de Treinamento Híbrido (Inovação Chave)
  Para superar a escassez de dados reais bem anotados, o GenRefocus utiliza uma estratégia de três fontes:

  1. Dados Sintéticos: Garantem consistência geométrica e controle preciso.
  2. Dataset ITW (In-The-Wild): Usa imagens reais de bokeh. O sistema recupera a imagem AIF e estima o plano de foco e o nível de bokeh ($K$) usando metadados EXIF (focal length, f-number) e máscaras de foco, preenchendo os sinais de controle ausentes.
  3. LFDOF e RealBokeh: Para pares reais sem metadados suficientes, o método refina manualmente as máscaras de foco e calibra o nível $K$ através de um "simulador no loop", selecionando o valor que melhor corresponde à imagem real alvo.

• Controle de Forma da Abertura:
  Para permitir formas personalizadas (coração, estrela), os autores criaram o dataset PointLight-1K (imagens com pontos de luz) e introduziram um módulo LoRA (Low-Rank Adaptation) dedicado que é ajustado (fine-tuned) especificamente para condicionar a síntese à forma da abertura, sem degradar a qualidade geral.

3. Principais Contribuições

1. Pipeline Flexível: Aceita imagens em qualquer estado de foco (borradas ou focadas) e oferece controle intuitivo sobre o plano de foco, intensidade do bokeh e forma da abertura.
2. Esquema de Treinamento Inovador: Combina a consistência geométrica de dados sintéticos com as características ópticas autênticas de dados reais, completando sinais de controle ausentes em datasets do mundo real.
3. Desempenho Superior: Alcanha o estado da arte (SOTA) em tarefas de desborramento, síntese de bokeh e refocamento, validado em benchmarks existentes e novos datasets de luz de campo (Light-Field).
4. Criatividade: É o primeiro método a permitir a síntese de formas de abertura personalizadas a partir de uma única imagem.

4. Resultados e Avaliação

Os experimentos foram conduzidos em três tarefas principais:

• Desborramento de Desfoque (Defocus Deblurring):

  • No dataset RealDOF e DPDD, o GenRefocus superou métodos concorrentes (como Bokehlicious, DiffCamera, Restormer) na maioria das métricas de fidelidade (LPIPS, DISTS) e qualidade perceptual sem referência (CLIP-IQA, MANIQA).
  • Visualmente, recuperou detalhes finos (como texto) que outros métodos falharam em restaurar ou distorceram.

• Síntese de Bokeh:

  • No novo dataset LF-Bokeh, o método obteve os melhores resultados em fidelidade e controllabilidade (correlação entre o nível de bokeh solicitado e o resultado visual).
  • Superou abordagens baseadas em difusão pura, mantendo a consistência da cena e evitando artefatos de simulação.

• Refocamento (Refocusing):

  • No dataset LF-Refocus, o método superou pipelines de refocamento atuais, conseguindo reposicionar o plano de foco com precisão e gerar bokeh realista, enquanto métodos concorrentes frequentemente falhavam em colocar o foco no objeto desejado ou geravam desfoque espacialmente ambíguo.

• Estudo de Ablação:

  • Confirmou que a abordagem de duas etapas (Desborramento $\to$ Síntese) é superior ao refocamento direto, pois permite o uso de dados reais específicos para cada sub-tarefa e melhora a precisão do mapa de desfoque.

5. Significado e Impacto

O Generative Refocusing representa um avanço significativo na computação fotográfica ao democratizar o controle criativo de profundidade de campo.

• Aplicabilidade Prática: Permite que fotógrafos e editores corrijam fotos mal focadas ou alterem artisticamente o foco e o estilo do bokeh em fotos existentes, sem necessidade de hardware especial (como câmeras de luz de campo ou lentes de abertura variável).
• Realismo Óptico: Ao integrar dados reais e aprender características de lentes autênticas, o modelo supera as limitações de simuladores puramente sintéticos.
• Criatividade Expandida: A capacidade de definir formas de abertura personalizadas abre novas possibilidades para efeitos visuais criativos que eram anteriormente impossíveis de gerar a partir de uma única foto.

Limitações: O método ainda depende da estimativa de profundidade monoculares, o que pode falhar em superfícies transparentes ou em casos de desfoque extremo onde detalhes são perdidos irreversivelmente, levando a "alucinações" de textura.

O código e a página do projeto estão disponíveis em: https://generative-refocusing.github.io/.