Résumé Technique : AnyBokeh

Énoncé du Problème

Le contrôle de la profondeur de champ (DoF) est un outil esthétique fondamental en photographie, pourtant l'édition du bokeh post-capture à partir d'une image unique reste un défi. La difficulté principale réside dans deux inconnues :

1. État de flou source : L'image d'entrée peut déjà contenir un flou de défocalisation spatialement variable (certaines régions sont nettes, d'autres floues). Un éditeur pratique doit comprendre cet état pour décider quelles régions accentuer, préserver ou défocaliser davantage.
2. Paramètres optiques : Les paramètres de la caméra (distance de mise au point, ouverture, focale, taille du capteur) sont souvent incomplets ou indisponibles pour les images « de terrain » (in-the-wild).

Les méthodes existantes souffrent généralement d'un « goulot d'étranglement AIF (All-In-Focus) ». Elles supposent soit que l'entrée est déjà nette, soit imposent une reconstruction d'une image AIF avant de générer le nouveau bokeh. Cette approche rejette les indices de flou utiles de l'image source et propage les artefacts de reconstruction dans l'édition finale. De plus, sans métadonnées complètes, ces pipelines nécessitent souvent un « étalonnage du niveau de bokeh » guidé par la vérité terrain pour chaque image afin de correspondre à l'intensité de flou souhaitée, ce qui est impraticien pour une édition aveugle.

Méthodologie : AnyBokeh

Les auteurs proposent AnyBokeh, un cadre guidé par la physique pour l'édition de bokeh de type any-to-any (n'importe quoi vers n'importe quoi). Au lieu de traiter le flou source comme une dégradation à supprimer, la méthode estime l'état de flou source et transfère ses caractéristiques optiques à un réglage cible.

1. Transfert d'empreinte optique guidé par la physique

Le cadre repose sur le modèle de la lentille mince, où le cercle de confusion (CoC) est linéairement lié à la différence de disparité entre un point de la scène et le plan focal.

• Empreinte optique ($\kappa_{src}$) : Les auteurs définissent une pente spécifique à la source, $\kappa_{src}$, qui mappe les différences de disparité au défocalisation dans l'espace de l'image. Cette pente absorbe les facteurs optiques globaux (ouverture, focale, taille du capteur, résolution).
• Estimation : Le système prédit conjointement une carte de CoC signée ($CoC_{src}$) et une carte de disparité ($D$) à partir de l'image d'entrée.
• Transfert : En modélisant la relation linéaire $CoC \approx \kappa \cdot (D_{focus} - D)$, la méthode estime $\kappa_{src}$ à partir des cartes prédites. Cette empreinte est ensuite transférée analytiquement aux réglages de mise au point et d'ouverture cibles pour calculer la carte $CoC_{tgt}$, évitant ainsi le besoin de reconstruction AIF ou d'étalonnage au moment du test.

2. Conditionnement Dual-CoC

Le processus d'édition est géré par un éditeur génératif (basé sur FLUX.1-Fill) conditionné par trois entrées :

1. L'image source ($I_{src}$).
2. La carte $CoC_{src}$ de la source.
3. La carte $CoC_{tgt}$ cible.

Ce conditionnement dual-CoC permet au modèle d'observer explicitement l'état de flou actuel et l'état de flou souhaité. Cela permet une synthèse de flou relative, où l'éditeur effectue un défloutage, une préservation ou un rendu de défocalisation spatialement adaptatif basé sur la transition entre les deux cartes CoC.

3. Jeu de données UnrealBokeh

Pour entraîner les estimateurs de CoC et de disparité sous une supervision physique précise, les auteurs ont construit UnrealBokeh, un jeu de données synthétique de haute fidélité rendu dans Unreal Engine.

• Il contient 11 477 images et 382 888 paires d'édition.
• Il fournit la vérité terrain pour la profondeur, la distance de mise au point, l'ouverture, la focale, la taille du capteur et la résolution de l'image pour chaque image.
• Cela permet de calculer des cartes CoC denses et signées, essentielles pour l'entraînement de l'estimateur de l'Étape 1.

Contributions Clés

1. Transfert d'empreinte optique médiatisé par le CoC : Un cadre qui estime une empreinte optique spécifique à la source ($\kappa_{src}$) à partir du flou observé et de la disparité, transférant analytiquement cette empreinte aux réglages cibles. Cela élimine le besoin de reconstruction AIF et d'étalonnage du niveau de bokeh au moment du test.
2. Conditionnement Dual-CoC : Une stratégie de conditionnement novatrice où l'éditeur génératif reçoit à la fois les cartes CoC source et cible. Cela transforme l'édition any-to-any en une tâche de synthèse de flou relatif, permettant un contrôle spatial précis sur le défloutage et la défocalisation.
3. Jeu de données UnrealBokeh : Un jeu de données synthétique de haute fidélité avec des métadonnées optiques complètes et des cartes CoC de vérité terrain, permettant un apprentissage robuste du flou source et de l'estimation géométrique.

Résultats Expérimentaux

Les auteurs ont évalué AnyBokeh sur des benchmarks du monde réel (EBB! et RealBokeh) selon trois configurations :

1. Édition de Bokeh Any-to-Any : Édition d'images contenant déjà de la défocalisation. AnyBokeh surpasse les bases de comparaison « deblur-then-render » (combinant des estimateurs AIF comme Restormer/DRBNet avec des rendus de bokeh comme BokehMe/BokehDiff) en termes de similitude perceptuelle (LPIPS, DISTS) et de réalisme de la distribution (FID). Crucialement, il y parvient sans étalonnage par image.
2. Rendu AIF-to-Bokeh : Même lorsque l'entrée est totalement nette (all-in-focus), AnyBokeh surpasse les méthodes de rendu spécialisées, démontant que la formulation de transfert relatif est robuste même lorsque le flou source est faible.
3. Défloutage de défocalisation (Bokeh-to-AIF) : Pour la récupération d'images nettes à partir d'entrées défocalisées, AnyBokeh obtient des scores DISTS et FID supérieurs aux bases de comparaison de restauration, indiquant une meilleure structure perceptive et un meilleur réalisme. Bien que les scores LPIPS soient légèrement inférieurs (attribués à la nature générative de la récupération des détails haute fréquence manquants), l'inspection visuelle montre des contours plus nets et des textures plus réalistes.

Signification et Limites

Signification :
L'article soutient que le flou source n'est pas simplement du bruit, mais un vecteur d'informations optiques utiles. En modélisant et en transférant explicitement l'« empreinte optique », AnyBokeh permet une édition fidèle et contrôlable dans n'importe quel scénario any-to-any, sans les artefacts introduits par une reconstruction AIF forcée. Il comble le fossé entre l'optique physique et l'édition générative, permettant une manipulation de la profondeur de champ post-capture de manière aveugle.

Limites :

• Flou extrême : Lorsque l'entrée est sévèrement défocalisée, les détails haute fréquence sont irréversiblement perdus. Bien qu'AnyBokeh soit plus performant que les bases de comparaison, il ne peut pas pleinement récupérer les détails nets dans ces cas extrêmes.
• Changements de bokeh extrêmes : La méthode peut éprouver des difficultés lors de changements extrêmes de la taille des boules de bokeh (par exemple, réduire considérablement de très grandes boules de bokeh), laissant potentiellement des artefacts résiduels ou des structures creuses en raison de l'occlusion et de la couverture limitée des données d'entraînement pour ces extrêmes.
• Efficacité de l'inférence : L'inférence à haute résolution repose sur une stratégie de pavage et de couture (tiling-and-stitching) pour maintenir les rapports d'aspect, ce qui augmente le temps d'exécution par rapport à une inférence en un seul passage.