기술 요약: AnyBokeh

문제 정의

피사계 심도(DoF) 제어는 사진 촬영의 핵심적인 미적 도구이지만, 단일 이미지를 이용한 사후 캡처 보케(bokeh) 편집은 여전히 까다로운 과제입니다. 핵심적인 어려움은 두 가지 미지수에 있습니다:

1. 소스 블러 상태 (Source Blur State): 입력 이미지는 이미 공간적으로 변화하는 디포커스 블러(어떤 영역은 선명하고 다른 영역은 흐릿한 상태)를 포함하고 있을 수 있습니다. 실용적인 편집기는 어떤 영역을 선명하게 하고, 보존하며, 혹은 더 흐리게 만들지 결정하기 위해 이 상태를 이해해야 합니다.
2. 광학 파라미터 (Optical Parameters): 카메라 파라미터(초점 거리, 조리개, 초점 거리, 센서 크기)는 "in-the-wild" 이미지의 경우 불완전하거나 가용하지 않은 경우가 많습니다.

기존 방법들은 전형적인 **"AIF(All-In-Focus) 병목 현상"**을 겪습니다. 이들은 입력 이미지가 이미 선명하다고 가정하거나, 새로운 보케를 렌더링하기 전에 AIF 이미지를 강제로 재구성하려고 합니다. 이러한 접근 방식은 소스 이미지의 유용한 블러 단서를 버리게 되며, 재구성 과정에서 발생한 아티팩트를 최종 편집 결과물로 전파시킵니다. 또한, 메타데이터가 완전하지 않을 경우, 이러한 파이프라인은 원하는 블러 강도에 맞추기 위해 이미지마다 "보케 레벨 캘리브레이션(bokeh-level calibration)"과 같은 정답 기반의 과정이 필요하며, 이는 블라인드 편집(blind editing) 환경에서는 비실용적입니다.

방법론: AnyBokeh

저자들은 AnyBokeh라는 물리 가이드 기반의 any-to-any 보케 편집 프레임워크를 제안합니다. 이 방법은 소스 블러를 제거해야 할 열화(degradation)로 취급하는 대신, 소스의 블러 상태를 추정하고 그 광학적 특성을 타겟 설정으로 전이(transfer)합니다.

1. 물리 가이드 광학 지문 전이 (Physics-Guided Optical Fingerprint Transfer)

이 프레임워크는 씬의 한 점과 초점 평면 사이의 시차(disparity) 차이가 착란원(Circle of Confusion, CoC)과 선형 관계를 갖는 얇은 렌즈 모델(thin-lens model)에 의존합니다.

• 광학 지문 ($\kappa_{src}$): 저자들은 시차 차이를 이미지 공간의 디포커스(defocus)로 매핑하는 소스 고유의 기울기 $\kappa_{src}$를 정의합니다. 이 기울기는 글로벌 광학 요소(조리개, 초점 거리, 센서 크기, 해상도)를 흡수합니다.
• 추정: 시스템은 입력 이미지로부터 부호가 있는 소스 CoC 맵($CoC_{src}$)과 시차 맵($D$)을 공동으로 예측합니다.
• 전이: $CoC \approx \kappa \cdot (D_{focus} - D)$라는 선형 관계를 모델링함으로써, 방법론은 예측된 맵들로부터 $\kappa_{src}$를 추정합니다. 이 지문은 이후 원하는 타겟 초점 및 조리개 설정으로 분석적으로 전이되어 타겟 CoC 맵($CoC_{tgt}$)을 계산하며, 이를 통해 AIF 재구성이나 테스트 타임 캘리브레이션의 필요성을 제거합니다.

2. 이중 CoC 컨디셔닝 (Dual-CoC Conditioning)

편집 과정은 세 가지 입력을 조건으로 하는 생성적 편집기(FLUX.1-Fill 기반)에 의해 처리됩니다:

1. 소스 이미지 ($I_{src}$).
2. 소스 CoC 맵 ($CoC_{src}$).
3. 타겟 CoC 맵 ($CoC_{tgt}$).

이 이중 CoC 컨디셔닝은 모델이 현재의 블러 상태와 원하는 출력 상태를 모두 명시적으로 관찰할 수 있게 합니다. 이를 통해 편집기는 두 CoC 맵 사이의 전이를 바탕으로 공간 적응형 디블러링(deblurring), 보존 또는 디포커스 렌더링을 수행하는 **상대적 블러 합성(relative blur synthesis)**을 수행합니다.

3. UnrealBokeh 데이터셋

정확한 물리적 감독 하에 CoC 및 시차 추정기를 훈련시키기 위해, 저자들은 Unreal Engine으로 렌더링된 고충실도 합성 데이터셋인 UnrealBokeh를 구축했습니다.

• 이 데이터셋은 11,477개의 이미지와 382,888개의 편집 쌍을 포함합니다.
• 모든 이미지에 대해 정답(ground-truth) 깊이, 초점 거리, 조리개, 초점 거리, 센서 크기 및 이미지 해상도를 제공합니다.
• 이를 통해 1단계 추정기 학습에 필수적인 조밀한 부호 있는 정답 CoC 맵을 계산할 수 있습니다.

주요 기여

1. CoC 매개 광학 지문 전이: 관측된 블러와 시차로부터 소스 고유의 광학 지문($\kappa_{src}$)을 추정하고 이를 타겟 설정으로 분석적으로 전이하는 프레임워크입니다. 이는 AIF 재구성과 테스트 타임 보케 레벨 캘리브레이션의 필요성을 제거합니다.
2. 이중 CoC 컨디셔닝: 생성적 편집기가 소스 및 타겟 CoC 맵을 모두 받는 새로운 컨디셔닝 전략입니다. 이는 any-to-any 편집을 상대적 블러 합성 작업으로 전환하여, 디블러링과 디포커스에 대한 정밀한 공간 제어를 가능하게 합니다.
3. UnrealBokeh 데이터셋: 완전한 광학 메타데이터와 정답 CoC 맵을 갖춘 고충실도 합성 데이터셋으로, 강력한 소스 블러 및 기하 구조 추정을 가능하게 합니다.

실험 결과

저자들은 세 가지 설정에 걸쳐 실제 벤치마크(EBB!, RealBokeh)에서 AnyBokeh를 평가했습니다:

1. Any-to-Any 보케 편집: 이미 디포커스가 포함된 이미지를 편집하는 작업입니다. AnyBokeh는 지각적 유사성(LPIPS, DISTS)과 분포의 현실성(FID) 측면에서 "디블러 후 렌더링(deblur-then-render)" 베이스라인(Restormer/DRBNet과 같은 AIF 추정기와 BokehMe/BokehDiff와 같은 보케 렌더러의 조합)보다 우수한 성능을 보였습니다. 결정적으로, 이는 별도의 캘리브레이션 없이 달성되었습니다.
2. AIF-to-Bokeh 렌더링: 입력이 모든 영역이 선명한(all-in-focus) 경우에도, AnyBokeh는 전문화된 렌더링 방법들보다 우수한 성능을 보여주며 상대적 전이 공식이 소스 블러가 약한 상황에서도 견고함을 입증했습니다.
3. 디포커스 디블러링 (Bokeh-to-AIF): 디포커스된 입력으로부터 선명한 이미지를 복구하는 데 있어, AnyBokeh는 복원 베이스라인들에 비해 더 우수한 DISTS 및 FID 점수를 기록하며 더 나은 지각적 구조와 현실성을 보여주었습니다. LPIPS 점수는 약간 낮았으나(이는 누락된 고주파 세부 사항을 복구하는 생성적 특성 때문임), 시각적 검토 결과 경계선이 더 선명하고 텍스처가 더 사실적이었습니다.

의의 및 한계점

의의:
본 논문은 소스 블러가 단순한 노이즈가 아니라 유용한 광학 정보의 전달자라고 주장합니다. "광학 지문"을 명시적으로 모델링하고 전이함으로써, AnyBokeh는 강제적인 AIF 재구성으로 인한 아티팩트 없이 any-to-any 시나리오 전반에서 충실하고 제어 가능한 편집을 가능하게 합니다. 이는 물리적 광학과 생성적 편집 사이의 간극을 메우며, 블라인드 사후 캡처 DoF 조작을 가능하게 합니다.

한계점:

• 극심한 블러 (Extreme Blur): 입력 이미지가 심하게 디포커스된 경우, 고주파 세부 사항은 돌이킬 수 없이 손실됩니다. AnyBokeh가 베이스라인보다 성능은 뛰어나지만, 이러한 극단적인 경우에 선명한 디테일을 완전히 복구할 수는 없습니다.
• 극단적인 보케 변화 (Extreme Bokeh Changes): 매우 큰 보케 볼(bokeh ball)의 크기를 크게 줄이는 것과 같은 극단적인 변화에는 어려움을 겪을 수 있으며, 폐쇄(occlusion) 및 제한된 훈련 데이터 범위로 인해 잔류 아티팩트나 빈 구조(hollow structures)가 남을 수 있습니다.
• 추론 효율성 (Inference Efficiency): 고해상도 추론은 종횡비를 유지하기 위해 타일링 및 스티칭(tiling-and-stitching) 전략에 의존하며, 이는 단일 패스 추론에 비해 실행 시간을 증가시킵니다.