Resumo Técnico: AnyBokeh

Declaração do Problema

O controle da profundidade de campo (DoF) é uma ferramenta estética fundamental na fotografia, mas a edição de bokeh pós-captura a partir de uma única imagem permanece um desafio. A dificuldade central reside em duas incógnitas:

1. Estado de Desfoque de Origem: A imagem de entrada pode já conter desfoque por defoco espacialmente variante (algumas regiões nítidas, outras desfocadas). Um editor prático deve compreender esse estado para decidir quais regiões devem ser nitidez, preservadas ou ainda mais desfocadas.
2. Parâmetros Ópticos: Parâmetros da câmera (distância de foco, abertura, distância focal, tamanho do sensor) são frequentemente incompletos ou indisponíveis para imagens "in-the-wild" (do mundo real).

Métodos existentes geralmente sofrem de um "gargalo AIF (All-In-Focus)". Eles ou assumem que a entrada já está nítida ou forçam uma reconstrução de uma imagem AIF antes de renderizar o novo bokeh. Essa abordagem descarta pistas de desfoque úteis da imagem de origem e propaga artefatos de reconstrução para a edição final. Além disso, sem metadados completos, esses pipelines frequentemente exigem uma "calibração de nível de bokeh" guiada pelo ground-truth para cada imagem para corresponder à intensidade de desfoque desejada, o que é impraticável para edições cegas.

Metodologia: AnyBokeh

Os autores propõem o AnyBokeh, um framework guiado pela física para edição de bokeh any-to-any (qualquer-para-qualquer). Em vez de tratar o desfoque de origem como uma degradação a ser removida, o método estima o estado de desfoque de origem e transfere suas características ópticas para uma configuração alvo.

1. Transferência de Impressão Digital Óptica Guiada por Física

O framework baseia-se no modelo de lente fina, onde o Círculo de Confusão (CoC) está linearmente relacionado à diferença de disparidade entre um ponto da cena e o plano focal.

• Impressão Digital Óptica ($\kappa_{src}$): Os autores definem uma inclinação específica da origem $\kappa_{src}$ que mapeia diferenças de disparidade para o desfoque no espaço da imagem. Esta inclinação absorve fatores ópticos globais (abertura, distância focal, tamanho do sensor, resolução).
• Estimativa: O sistema prevê conjuntamente um mapa de CoC assinado da origem ($CoC_{src}$) e um mapa de disparidade ($D$) a partir da imagem de entrada.
• Transferência: Ao modelar a relação linear $CoC \approx \kappa \cdot (D_{focus} - D)$, o método estima $\kappa_{src}$ a partir dos mapas previstos. Esta impressão digital é então transferida analiticamente para as configurações de foco e abertura alvo desejadas para computar o mapa de CoC alvo ($CoC_{tgt}$), evitando a necessidade de reconstrução AIF ou calibração em tempo de teste.

2. Condicionamento de Dual-CoC

O processo de edição é tratado por um editor generativo (baseado em FLUX.1-Fill) condicionado a três entradas:

1. A imagem de origem ($I_{src}$).
2. O mapa de CoC de origem ($CoC_{src}$).
3. O mapa de CoC alvo ($CoC_{tgt}$).

Este condicionamento de dual-CoC permite que o modelo observe explicitamente tanto o estado de desfoque atual quanto o estado de desfoque desejado. Isso possibilita a síntese de desfoque relativo, onde o editor realiza deblurring (desfoque) adaptativo espacial, preservação ou renderização de defoco com base na transição entre os dois mapas de CoC.

3. Dataset UnrealBokeh

Para treinar os estimadores de CoC e disparidade sob supervisão física precisa, os autores construíram o UnrealBokeh, um dataset sintético de alta fidelidade renderizado no Unreal Engine.

• Contém 11.477 imagens e 382.888 pares de edição.
• Fornece ground-truth de profundidade, distância de foco, abertura, distância focal, tamanho do sensor e resolução de imagem para cada imagem.
• Isso permite o cálculo de mapas de CoC densos e assinados, que são essenciais para treinar o estimador do Estágio 1.

Principais Contribuições

1. Transferência de Impressão Digital Óptica Mediada por CoC: Um framework que estima uma impressão digital óptica específica da origem ($\kappa_{src}$) a partir do desfoque observado e da disparidade, transferindo-a analiticamente para configurações alvo. Isso elimina a necessidade de reconstrução AIF e calibração de nível de bokeh em tempo de teste.
2. Condicionamento de Dual-CoC: Uma estratégia de condicionamento inovadora onde o editor generativo recebe tanto o mapa de CoC de origem quanto o de alvo. Isso transforma a edição any-to-any em uma tarefa de síntese de desfoque relativo, permitindo controle espacial preciso sobre deblurring e defoco.
3. Dataset UnrealBokeh: Um dataset sintético de alta fidelidade com metadados ópticos completos e mapas de CoC de ground-truth, permitindo a aprendizagem robusta de desfoque de origem e estimativa de geometria.

Resultados Experimentais

Os autores avaliaram o AnyBokeh em benchmarks do mundo real (EBB! e RealBokeh) em três configurações:

1. Edição de Bokeh Any-to-Any: Editando imagens que já contêm defoco. O AnyBokeh superou os baselines de "deblur-então-renderizar" (combinando estimadores AIF como Restormer/DRBNet com renderizadores de bokeh como BokehMe/BokehDiff) em similaridade perceptual (LPIPS, DISTS) e realismo de distribuição (FID). Crucialmente, alcançou isso sem calibração por imagem.
2. Renderização AIF-para-Bokeh: Mesmo quando a entrada é totalmente focada (all-in-focus), o AnyBokeh superou métodos de renderização especializados, demonstrando que a formulação de transferência relativa é robusta mesmo quando o desfoque de origem é fraco.
3. Deblurring de Defoco (Bokeh-para-AIF): Na recuperação de imagens nítidas a partir de entradas desfocadas, o AnyBokeh alcançou pontuações superiores de DISTS e FID em comparação com baselines de restauração, indicando melhor estrutura perceptual e realismo. Embora as pontuações de LPIPS tenham sido ligeiramente menores (atribuídas à natureza generativa da recuperação de detalhes de alta frequência perdidos), a inspeção visual mostrou bordas mais nítidas e texturas mais realistas.

Significância e Limitações

Significância:
O artigo argumenta que o desfoque de origem não é meramente ruído, mas um transportador de informações ópticas úteis. Ao modelar e transferir explicitamente a "impressão digital óptica", o AnyBokeh permite uma edição fiel e controlável em quaisquer cenários any-to-any sem os artefatos introduzidos pela reconstrução AIF forçada. Ele preenche a lacuna entre a óptica física e a edição generativa, permitindo a manipulação de DoF pós-captura de forma cega.

Limitações:

• Desfoque Extremo: Quando a entrada está severamente desfocada, detalhes de alta frequência são irrecuperavelmente perdidos. Embora o AnyBokeh tenha um desempenho superior aos baselines, ele não consegue recuperar totalmente os detalhes nítidos nesses casos extremos.
• Mudanças Extremas de Bokeh: O método pode ter dificuldades com mudanças extremas no tamanho das bolas de bokeh (por exemplo, reduzir significativamente bolas de bokeh muito grandes), podendo deixar artefatos residuais ou estruturas ocas devido à oclusão e à cobertura limitada de dados de treinamento para tais extremos.
• Eficiência de Inferência: A inferência de alta resolução depende de uma estratégia de tiling-e-costura (divisão em blocos e costura) para manter as proporções de aspecto, o que aumenta o tempo de execução em comparação com a inferência de passagem única.