AnyBokeh: Physics-Guided Any-to-Any Bokeh Editing with Optical Fingerprint Transfer

तकनीकी सारांश: AnyBokeh

समस्या विवरण (Problem Statement)

डेप्थ-ऑफ-फील्ड (DoF) नियंत्रण फोटोग्राफी में एक मौलिक सौंदर्य उपकरण है, फिर भी एकल छवि से पोस्ट-कैप्चर बोकेह (bokeh) संपादन करना चुनौतीपूर्ण बना हुआ है। मुख्य कठिनाई दो अज्ञात कारकों में निहित है:

1. स्रोत ब्लर अवस्था (Source Blur State): इनपुट छवि में पहले से ही स्थानिक रूप से परिवर्तनशील डिफोकस ब्लर (कुछ क्षेत्र तीक्ष्ण, अन्य धुंधले) हो सकता है। एक व्यावहारिक संपादक को यह तय करने के लिए इस अवस्था को समझना चाहिए कि किन क्षेत्रों को तीक्ष्ण करना है, सुरक्षित रखना है, या और अधिक डिफोकस करना है।
2. ऑप्टिकल पैरामीटर (Optical Parameters): कैमरा पैरामीटर (फोकस दूरी, अपर्चर, फोकल लेंथ, सेंसर का आकार) अक्सर अपूर्ण या अनुपलब्ध होते हैं।

मौजूदा विधियाँ आमतौर पर एक "AIF (All-In-Focus) बॉटलनेक" से ग्रस्त होती हैं। वे या तो यह मान लेती हैं कि इनपुट पहले से ही तीक्ष्ण है या नए बोकेह को रेंडर करने से पहले एक AIF छवि के पुनर्निर्माण (reconstruction) पर ज़ोर देती हैं। यह दृष्टिकोण स्रोत छवि से उपयोगी ब्लर संकेतों (blur cues) को त्याग देता है और अंतिम संपादन में पुनर्निर्माण संबंधी आर्टिफैक्ट्स (artifacts) को प्रसारित कर देता है। इसके अलावा, पूर्ण मेटाडेटा के बिना, इन पाइपलाइनों को वांछित ब्लर स्ट्रेंथ से मेल खाने के लिए प्रति-छवि, ग्राउंड-ट्रुथ-निर्देशित "बोकेह-लेवल कैलिब्रेशन" की आवश्यकता होती है, जो ब्लाइंड एडिटिंग के लिए अव्यावहारिक है।

कार्यप्रणाली: AnyBokeh

लेखक AnyBokeh का प्रस्ताव करते हैं, जो any-to-any बोकेह संपादन के लिए एक भौतिकी-निर्देशित (physics-guided) फ्रेमवर्क है। स्रोत ब्लर को हटाने योग्य गिरावट (degradation) मानने के बजाय, यह विधि स्रोत ब्लर अवस्था का अनुमान लगाती है और उसके ऑप्टिकल गुणों को लक्षित सेटिंग में स्थानांतरित करती है।

1. भौतिकी-निर्देशित ऑप्टिकल फिंगरप्रिंट ट्रांसफर (Physics-Guided Optical Fingerprint Transfer)

यह फ्रेमवर्क थिन-लेंस मॉडल (thin-lens model) पर आधारित है, जहाँ सर्कल ऑफ कन्फ्यूजन (CoC) दृश्य बिंदु और फोकल प्लेन के बीच विस्थापन अंतर (disparity difference) से रैखिक रूप से संबंधित होता है।

• ऑप्टिकल फिंगरप्रिंट ($\kappa_{src}$): लेखक एक स्रोत-विशिष्ट ढलान (slope) $\kappa_{src}$ को परिभाषित करते हैं जो विस्थापन अंतर को इमेज-स्पेस डिफोकस में मैप करता है। यह ढलान वैश्विक ऑप्टिकल कारकों (अपर्चर, फोकल लेंथ, सेंसर का आकार, रिज़ॉल्यूशन) को समाहित करती है।
• अनुमान (Estimation): सिस्टम इनपुट छवि से संयुक्त रूप से एक साइन्ड (signed) सोर्स CoC मैप ($CoC_{src}$) और एक विस्थापन मैप ($D$) का अनुमान लगाता है।
• स्थानांतरण (Transfer): $CoC \approx \kappa \cdot (D_{focus} - D)$ के रैखिक संबंध को मॉडल करके, विधि अनुमानित मैप्स से $\kappa_{src}$ का अनुमान लगाती है। इस फिंगरप्रिंट को फिर लक्षित फोकस और अपर्चर सेटिंग्स में विश्लेषणात्मक रूप से स्थानांतरित किया जाता है ताकि लक्षित CoC मैप ($CoC_{tgt}$) की गणना की जा सके, जिससे AIF पुनर्निर्माण या टेस्ट-टाइम कैलिब्रेशन की आवश्यकता समाप्त हो जाती है।

2. ड्यूल-CoC कंडीशनिंग (Dual-CoC Conditioning)

संपादन प्रक्रिया को एक जनरेटिव एडिटर (FLUX.1-Fill पर आधारित) द्वारा संभाला जाता है जो तीन इनपुट पर कंडिशन (condition) होता है:

1. स्रोत छवि ($I_{src}$)।
2. स्रोत CoC मैप ($CoC_{src}$)।
3. लक्षित CoC मैप ($CoC_{tgt}$)।

यह ड्यूल-CoC कंडीशनिंग मॉडल को वर्तमान ब्लर अवस्था और वांछित आउटपुट अवस्था दोनों को स्पष्ट रूप से देखने की अनुमति देता है। यह रिलेटिव ब्लर सिंथेसिस (relative blur synthesis) को सक्षम बनाता है, जहाँ एडिटर दोनों CoC मैप्स के बीच संक्रमण के आधार पर स्थानिक रूप से अनुकूलित डिब्लरिंग (deblurring), संरक्षण, या डिफोकस रेंडरिंग करता है।

3. UnrealBokeh डेटासेट

सटीक भौतिक पर्यवेक्षण के तहत CoC और विस्थापन अनुमानकों को प्रशिक्षित करने के लिए, लेखकों ने Unreal Engine में रेंडर किए गए एक उच्च-निष्ठा वाले सिंथेटिक डेटासेट UnrealBokeh का निर्माण किया है।

• इसमें 11,477 छवियां और 382,888 एडिटिंग पेयर्स शामिल हैं।
• यह प्रत्येक छवि के लिए ग्राउंड-ट्रुथ डेप्थ, फोकस डिस्टेंस, अपर्चर, फोकल लेंथ, सेंसर साइज और इमेज रिज़ॉल्यूशन प्रदान करता है।
• यह घने, साइन्ड ग्राउंड-ट्रुथ CoC मैप्स की गणना करने की अनुमति देता है, जो स्टेज 1 एस्टिमेटर को प्रशिक्षित करने के लिए आवश्यक हैं।

मुख्य योगदान (Key Contributions)

1. CoC-मीडिएटेड ऑप्टिकल फिंगरप्रिंट ट्रांसफर: एक फ्रेमवर्क जो देखे गए ब्लर और विस्थापन से एक स्रोत-विशिष्ट ऑप्टिकल फिंगरप्रिंट ($\kappa_{src}$) का अनुमान लगाता है, और इसे लक्षित सेटिंग्स में विश्लेषणात्मक रूप से स्थानांतरित करता है। यह AIF पुनर्निर्माण और टेस्ट-टाइम बोकेह-लेवल कैलिब्रेशन की आवश्यकता को समाप्त करता है।
2. ड्यूल-CoC कंडीशनिंग: एक नवीन कंडीशनिंग रणनीति जहाँ जनरेटिव एडिटर दोनों स्रोत और लक्षित CoC मैप प्राप्त करता है। यह किसी भी प्रकार के संपादन को 'रिलेटिव ब्लर सिंथेसिस' कार्य में बदल देता है, जिससे डिब्लरिंग और डिफोकस पर सटीक स्थानिक नियंत्रण संभव होता है।
3. UnrealBokeh डेटासेट: एक उच्च-निष्ठा वाला सिंथेटिक डेटासेट जिसमें पूर्ण ऑप्टिकल मेटाडेटा और ग्राउंड-ट्रुथ CoC मैप्स हैं, जो स्रोत ब्लर और ज्योमेट्री अनुमान के मजबूत शिक्षण को सक्षम बनाता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन सेटिंग्स में वास्तविक दुनिया के बेंचमार्क (EBB! और RealBokeh) पर AnyBokeh का मूल्यांकन किया:

1. Any-to-Any बोकेह एडिटिंग: उन छवियों को संपादित करना जिनमें पहले से ही डिफोकस मौजूद है। AnyBokeh ने धारणात्मक समानता (LPIPS, DISTS) और वितरण यथार्थवाद (FID) में "डिब्लर-देन-रेंडर" बेसलाइन (जो Restormer/DRBNet जैसे AIF एस्टिमेटर्स और BokehMe/BokehDiff जैसे बोकेह रेंडरर्स को जोड़ती है) को पीछे छोड़ दिया। महत्वपूर्ण रूप से, इसने यह बिना प्रति-छवि कैलिब्रेशन के हासिल किया।
2. AIF-to-Bokeh रेंडरिंग: भले ही इनपुट ऑल-इन-फोकस हो, AnyBokeh ने विशेष रेंडरिंग विधियों को पछाड़ दिया, जो दर्शाता है कि सापेक्ष स्थानांतरण (relative transfer) फॉर्मूलेशन कमजोर स्रोत ब्लर के मामले में भी मजबूत है।
3. डेफोकस डिब्लरिंग (Bokeh-to-AIF): डिफोकस इनपुट से तीक्ष्ण छवियां प्राप्त करने में, AnyBokeh ने रेस्टोरेशन बेसलाइन की तुलना में बेहतर DISTS और FID स्कोर प्राप्त किए, जो बेहतर धारणात्मक संरचना और यथार्थवाद का संकेत देते हैं। हालांकि LPIPS स्कोर थोड़े कम थे (जो लापता उच्च-आवृत्ति विवरणों को पुनः प्राप्त करने की जनरेटिव प्रकृति के कारण है), दृश्य निरीक्षण ने तीक्ष्ण सीमाओं और अधिक यथार्थवादी बनावट को दिखाया।

महत्व और सीमाएं (Significance and Limitations)

महत्व:
यह शोध पत्र तर्क देता है कि स्रोत ब्लर केवल शोर (noise) नहीं है बल्कि उपयोगी ऑप्टिकल जानकारी का वाहक है। "ऑप्टिकल फिंगरप्रिंट" को स्पष्ट रूप से मॉडल और स्थानांतरित करके, AnyBokeh मजबूर AIF पुनर्निर्माण से उत्पन्न होने वाले आर्टिफैक्ट्स के बिना किसी भी 'any-to-any' परिदृश्य में निष्ठापूर्ण और नियंत्रणीय संपादन सक्षम करता है। यह भौतिकी (physics) और जनरेटिव एडिटिंग के बीच के अंतर को पाटता है, जिससे ब्लाइंड पोस्ट-कैप्चर DoF हेरफेर संभव होता है।

सीमाएं:

• अत्यधिक ब्लर (Extreme Blur): जब इनपुट अत्यधिक डिफोकस होता है, तो उच्च-आवृत्ति विवरण अपरिवर्तनीय रूप से खो जाते हैं। हालांकि AnyBokeh बेसलाइन से बेहतर प्रदर्शन करता है, यह इन चरम मामलों में तीक्ष्ण विवरणों को पूरी तरह से पुनः प्राप्त नहीं कर सकता है।
• अत्यधिक बोकेह परिवर्तन (Extreme Bokeh Changes): विधि बोकेह बॉल के आकार में अत्यधिक बदलाव (जैसे, बहुत बड़े बोकेह बॉल्स को काफी कम करना) के मामले में संघर्ष कर सकती है, जिससे ऑक्लूजन (occlusion) और सीमित प्रशिक्षण डेटा कवरेज के कारण अवशेष आर्टिफैक्ट्स या खोखली संरचनाएं रह सकती हैं।
• अनुमान दक्षता (Inference Efficiency): उच्च-रिज़ॉल्यूशन अनुमान के लिए पहलू अनुपात (aspect ratio) बनाए रखने हेतु 'टाइलिंग-एंड-स्टिचिंग' रणनीति पर निर्भर रहना पड़ता है, जिससे सिंगल-पास इन्फरेंस की तुलना में रनटाइम बढ़ जाता है।