技術要約: AnyBokeh

問題提起

被写界深度（DoF）の制御は写真における基本的な審美的ツールであるが、単一の画像からの撮影後のボケ編集は依然として困難である。核心的な難しさは、以下の2つの未知数にある：

1. ソースのボケ状態: 入力画像には、すでに空間的に変化するデフォーカス・ボケ（一部の領域はシャープで、他の領域はボケている）が含まれている可能性がある。実用的なエディタは、どの領域をシャープにし、保持し、あるいはさらにデフォーカスさせるかを決定するために、この状態を理解しなければならない。
2. 光学パラメータ: 「イン・ザ・ワイルド（自然界）」の画像では、カメラパラメータ（焦点距離、絞り、焦点距離、センサーサイズ）が不完全であったり、利用できなかったりすることが多い。

既存の手法は、通常「AIF（全焦点）ボトルネック」に陥る。それらは、入力がすでにシャープであると仮定するか、あるいは新しいボケをレンダリングする前にAIF画像の再構成を強制する。このアプローチは、ソース画像から有用なボケの手がかりを破棄し、再構成によるアーティファクトを最終的な編集に伝播させてしまう。さらに、完全なメタデータがない場合、これらのパイプラインは、望ましいボケ強度に合わせるために、画像ごとのグラウンドトゥルースに基づいた「ボケレベルのキャリブレーション」を必要とすることが多く、これはブラインド編集においては非実用的である。

手法: AnyBokeh

著者らは、any-to-any ボケ編集のための物理ガイド型フレームワークである AnyBokeh を提案する。ソースのボケを除去すべき劣化として扱うのではなく、本手法はソースのボケ状態を推定し、その光学的な特性をターゲットの設定へと転送する。

1. 物理ガイド型 光学指紋転送 (Physics-Guided Optical Fingerprint Transfer)

このフレームワークは、円錯乱円（CoC）がシーンの点と焦点面との間の視差の差に線形に関連するという薄レンズモデルに基づいている。

• 光学指紋 ($\kappa_{src}$): 著者らは、視差の差を画像空間のデフォーカスにマッピングする、ソース固有のスロープ $\kappa_{src}$ を定義する。このスロープは、グローバルな光学要素（絞り、焦点距離、センサーサイズ、解像度）を吸収する。
• 推定: システムは、入力画像から符号付きのソースCoCマップ ($CoC_{src}$) と視差マップ ($D$) を共同で予測する。
• 転送: $CoC \approx \kappa \cdot (D_{focus} - D)$ という線形関係をモデル化することで、本手法は予測されたマップから $\kappa_{src}$ を推定する。この指紋は、その後、目的のターゲットの焦点および絞りの設定へと解析的に転送され、ターゲットのCoCマップ ($CoC_{tgt}$) を計算する。これにより、AIF再構成やテスト時のキャリブレーションの必要性を排除している。

2. デュアルCoCコンディショニング (Dual-CoC Conditioning)

編集プロセスは、3つの入力によって条件付けられた生成エディタ（FLUX.1-Fillに基づく）によって処理される：

1. ソース画像 ($I_{src}$)
2. ソースCoCマップ ($CoC_{src}$)
3. ターゲットCoCマップ ($CoC_{tgt}$)

この デュアルCoCコンディショニング により、モデルは現在のボケ状態と、目標とする出力状態の両方を明示的に観察することができる。これにより、相対的ボケ合成 (relative blur synthesis) が可能となり、エディタは2つのCoCマップ間の遷移に基づいて、空間適応的なデブラーリング、保存、またはデフォーカス・レンダリングを実行できる。

3. UnrealBokeh データセット

正確な物理的監督の下でCoCおよび視差の推定器を訓練するために、著者らはUnreal Engineでレンダリングされた高精度な合成データセットである UnrealBokeh を構築した。

• 11,477枚の画像と382,888組の編集ペアを含んでいる。
• すべての画像に対して、グラウンドトゥルースの深度、焦点距離、絞り、焦点距離、センサーサイズ、および画像解像度を提供している。
• これにより、ステージ1の推定器の学習に不可欠な、高密度で符号付きのグラウンドトゥルースCoCマップの計算が可能となる。

主な貢献

1. CoCを介した光学指紋転送: 観測されたボケと視差からソース固有の光学指紋 ($\kappa_{src}$) を推定し、それをターゲットの設定へと解析的に転送するフレームワーク。これにより、AIF再構成やテスト時のボケレベル・キャリブレーションの必要性が排除される。
2. デュアルCoCコンディショニング: 生成エディタがソースとターゲットの両方のCoCマップを受け取るという、新しいコンディショニング戦略。これにより、any-to-any 編集を相対的なボケ合成タスクへと変え、デブラーリングとデフォーカスに対する精密な空間制御を可能にする。
3. UnrealBokeh データセット: 完全な光学メタデータとグラウンドトゥルースCoCマップを備えた高精度な合成データセットであり、堅牢なソースボケと幾何学推定の学習を可能にする。

実験結果

著者らは、3つの設定において、実世界のベンチマーク（EBB! および RealBokeh）を用いてAnyBokehを評価した：

1. Any-to-Any ボケ編集: すでにデフォーカスが含まれている画像を編集する場合。AnyBokehは、「デブラー（Restormer/DRBNetなどのAIF推定器）してからレンダリングする（BokehMe/BokehDiffなどのボケレンダラーを使用）」というベースラインに対し、知覚的類似性（LPIPS, DISTS）および分布のリアリズム（FID）の両面で上回った。極めて重要な点は、これがキャリブレーションなしで達成されたことである。
2. AIF-to-Bokeh レンダリング: 入力が全焦点（AIF）である場合でも、AnyBokehは特化したレンダリング手法を上回り、相対的な転送定式化がソースのボケが弱い場合でも堅牢であることを示した。
3. デフォーカス・デブラーリング (Bokeh-to-AIF): デフォーカスされた入力からシャープな画像を復元する場合、AnyBokehは復元ベースラインと比較して優れたDISTSおよびFIDスコアを達成し、より優れた知覚的構造とリアリズムを示した。LPIPSスコアはわずかに低かったが（これは欠落した高周波詳細を復元する生成的な性質に起因する）、視覚的な検査では、よりシャープな境界とよりリアルなテクスチャが確認された。

重要性と限界

重要性:
本論文は、ソースのボケは単なるノイズではなく、有用な光学情報の担い手であると主張している。光学指紋を明示的にモデル化し転送することで、AnyBokehは、強制的なAIF再構成によって導入されるアーティファクトなしに、あらゆるシナリオにおいて忠実かつ制御可能な編集を可能にする。これは物理的な光学と生成的な編集の間の溝を埋め、ブラインドな撮影後DoF操作を実現するものである。

限界:

• 極端なボケ: 入力が深刻にデフォーカスされている場合、高周波の詳細は修復不可能である。AnyBokehはベースラインよりも優れた性能を示すが、このような極端なケースにおいてシャープな詳細を完全に復元することはできない。
• 極端なボケの変化: 本手法は、極端なボケ玉の大きさの変化（例：非常に大きなボケ玉を大幅に縮小する場合）において、遮蔽やそのような極端なケースに対する学習データの範囲の制限により、残留アーティファクトや空洞構造を残してしまう可能性がある。
• 推論効率: 高解像度の推論は、アスペクト比を維持するためにタイリングおよびステッチング戦略に依存しており、これによってシングルパスの推論と比較して実行時間が増加する。