Generative Refocusing: Flexible Defocus Control from a Single Image

1. 문제 정의 (Problem Statement)

기존의 단일 이미지 리포커싱 (Single-image Refocusing) 기술은 다음과 같은 주요 한계점을 가지고 있었습니다:

• 입력 제약: 대부분의 기존 방법론은 선명한 초점 (All-in-Focus, AIF) 이 입력되거나 정확한 깊이 맵 (Depth Map) 이 필수적으로 요구됩니다. 흐릿하게 촬영된 실제 이미지를 직접 처리하는 데 어려움이 있습니다.
• 데이터의 현실성 부족: 학습을 위해 시뮬레이터에서 생성된 합성 데이터에 의존하는 경우, 실제 렌즈의 광학적 왜곡 (Aberrations) 과 자연스러운 보케 (Bokeh) 특성을 재현하지 못합니다. 반면, 실제 데이터셋은 초점 평면이나 조리개 크기 중 하나만 변하는 1 차원적 변화에 그쳐, 두 변수를 동시에 제어하는 유연한 학습이 불가능합니다.
• 조리개 제어의 한계: 기존 방법들은 조리개 크기 (Aperture Size) 조절은 가능하지만, 조리개 모양 (Aperture Shape, 예: 하트, 별 모양) 을 사용자 정의하여 창의적인 보케 효과를 생성하는 기능은 지원하지 못했습니다.

2. 방법론 (Methodology)

저자들은 **Generative Refocusing (GenRefocus)**이라는 새로운 2 단계 파이프라인을 제안합니다. 이 시스템은 입력 이미지의 초점 상태와 관계없이 유연하게 작동하며, 사용자의 의도에 따라 초점 평면, 보케 강도, 조리개 모양을 자유롭게 제어할 수 있습니다.

A. 전체 아키텍처

시스템은 DeblurNet과 BokehNet이라는 두 개의 확산 모델 (Diffusion Model) 로 구성됩니다.

1. Stage 1: Defocus Deblurring (DeblurNet)

   • 흐릿한 입력 이미지 ($I_{in}$) 를 선명한 전경/후경이 모두 초점이 맞는 이미지 (All-in-Focus, $I_{aif}$) 로 복원합니다.
   • FLUX 기반의 확산 모델을 사용하며, 입력 이미지의 잠재 표현 (Latent tokens) 과 노이즈가 있는 잠재 토큰을 결합하여 반복적으로 노이즈를 제거 (Denoising) 합니다.
   • 이 단계는 다양한 흐림 상태의 입력을 처리할 수 있는 강력한 전처리 역할을 수행합니다.

2. Stage 2: Shallow Depth-of-Field Synthesis (BokehNet)

   • 복원된 선명한 이미지 ($I_{aif}$) 와 사용자가 지정한 초점 평면 (Focus Plane, $D_{focus}$), 보케 레벨 (Bokeh Level, $K$), 그리고 선택적 **조리개 모양 (Aperture Shape, $A$)**을 조건으로 받습니다.
   • 단안 깊이 추정기 (Monocular Depth Estimator) 를 통해 얻은 깊이 맵 ($D$) 과 사용자 지정 초점 평면의 차이를 기반으로 **Defocus Map ($D_{def}$)**을 계산합니다.
   • BokehNet 은 이 조건들을 입력받아 실제 광학적 특성을 모방한 자연스러운 보케가 적용된 최종 이미지 ($I_{out}$) 를 생성합니다.

B. 혁신적인 학습 전략 (Novel Training Scheme)

실제 데이터의 부족과 합성 데이터의 비현실성 문제를 해결하기 위해 세 가지 데이터 소스를 혼합하여 학습합니다:

1. 합성 데이터 (Synthetic Data): 실제 AIF 이미지와 깊이 맵을 기반으로 시뮬레이터를 사용하여 다양한 초점과 보케 레벨을 가진 데이터를 생성합니다. 기하학적 일관성을 확보합니다.
2. ITW (In-The-Wild) 데이터셋 활용: 실제 촬영된 보케 이미지에서 DeblurNet 을 이용해 AIF 이미지를 복원하고, EXIF 메타데이터 (초점 거리, F-넘버 등) 와 깊이 추정기를 결합하여 **보케 레벨 ($K$)**과 초점 평면을 역추정합니다. 이를 통해 실제 렌즈의 광학적 특성을 학습합니다.
3. LFDOF 및 RealBokeh 데이터셋: 깊이 맵과 EXIF 정보가 부족한 실제 데이터셋의 경우, 수동 정제 (Manual Refinement) 와 시뮬레이터 인 루프 (Simulator-in-the-loop) 보정을 통해 신뢰할 수 있는 보케 레벨 ($K^*$) 을 추정하여 학습에 활용합니다.

C. 조리개 모양 제어 (Aperture Shape Control)

• 점광원 (Point-light) 이 포함된 PointLight-1K 데이터셋을 생성하여 학습합니다.
• BokehNet 에 조리개 모양 이미지 ($A$) 를 조건으로 추가하고, 별도의 LoRA (Low-Rank Adaptation) 모듈을 파인튜닝하여 특정 모양 (하트, 별 등) 의 보케를 생성할 수 있도록 합니다.

3. 주요 기여 (Key Contributions)

1. 유연한 단일 이미지 리포커싱 파이프라인: 흐릿하거나 선명한 이미지 모두를 입력으로 받아, 초점 평면, 보케 강도, 조리개 모양을 자유롭게 제어할 수 있는 최초의 통합 시스템입니다.
2. 하이브리드 학습 전략: 합성 데이터의 기하학적 정확성과 실제 데이터의 광학적 사실성을 결합한 새로운 학습 방식을 제안하여, 시뮬레이터가 포착하지 못하는 실제 렌즈의 왜곡과 특성을 학습했습니다.
3. 창의적 조리개 모양 생성: 사용자 정의 모양 (하트, 별 등) 을 가진 보케 효과를 생성할 수 있는 기능을 구현했습니다.
4. 성능 입증: 초점 제거 (Defocus Deblurring), 보케 합성, 리포커싱 등 모든 벤치마크에서 기존 SOTA(State-of-the-Art) 방법론들을 압도하는 성능을 기록했습니다.

4. 실험 결과 (Results)

• Defocus Deblurring (초점 제거): RealDOF 및 DPDD 데이터셋에서 LPIPS, DISTS, CLIP-IQA 등 모든 지표를 통해 기존 방법 (Bokehlicious, DiffCamera 등) 보다 우수한 성능을 보였습니다. 특히 흐릿한 텍스트나 복잡한 장면에서도 선명도를 잘 복원했습니다.
• Bokeh Synthesis (보케 합성): LF-Bokeh 데이터셋에서 합성된 보케의 사실성 (Fidelity) 과 제어 가능성 (Controllability) 모두에서 최상위 성능을 달성했습니다. DiffCamera 는 해상도 제한으로 인해 성능이 떨어졌고, BokehDiff 는 고주파 세부 사항이 손실되었습니다.
• Refocusing (리포커싱): LF-Refocus 데이터셋에서 목표 초점 평면의 선명도와 배경의 자연스러운 흐림을 동시에 구현하여, 다른 방법론들이 겪는 공간적 모호성 (Spatial Ambiguity) 문제를 해결했습니다.
• 조리개 모양: Triangle, Heart, Star 등 다양한 모양의 보케가 배경의 점광원에서 자연스럽게 구현됨을 시각적으로 입증했습니다.

5. 의의 및 의의 (Significance)

이 논문은 컴퓨터 비전 및 컴퓨터 그래픽스 분야에서 단일 이미지 기반의 고급 사진 편집을 가능하게 하는 중요한 이정표입니다.

• 실용성: 전문 장비나 다중 촬영 없이도 일반 사용자가 스마트폰이나 일반 카메라로 촬영한 사진에서도 프로페셔널 수준의 초점 제어와 창의적인 보케 효과를 적용할 수 있게 합니다.
• 기술적 진보: 확산 모델 (Diffusion Models) 을 이미지 복원 (Deblurring) 과 합성 (Bokeh Synthesis) 으로 분해하여 제어 가능성을 극대화하고, 실제 데이터의 노이즈와 불완전성을 극복하는 학습 전략을 제시했습니다.
• 창의성 확장: 조리개 모양 제어 기능은 사진 예술의 새로운 가능성을 열어주며, 단순한 기술적 복원을 넘어 예술적 표현 도구로서의 가치를 높였습니다.

결론적으로, Generative Refocusing은 단일 이미지에서 가상 카메라의 모든 파라미터 (초점, 조리개 크기, 모양) 를 자유롭게 제어할 수 있는 강력한 프레임워크를 제시하며, 향후 이미지 편집 및 생성 AI 분야의 표준으로 자리 잡을 잠재력을 가지고 있습니다.