💻 computer science

h-Flow: Flexible Flow-based Image Editing via Doob's h-Transform

यह शोध पत्र h-Flow प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त (training-free) ढांचा है जो इमेज एडिटिंग को कंडीशनल जनरेशन के रूप में पुनर्गठित करने के लिए Doob's h-Transform का लाभ उठाता है, जिससे क्लोज्ड-फॉर्म गाइडेंस और वेलोसिटी ऑर्थोगोनल डिकंपोजिशन के माध्यम से सोर्स कंसिस्टेंसी और टारगेट अलाइनमेंट पर लचीला और मजबूत नियंत्रण सक्षम होता है।

मूल लेखक: Zehui Guo, Zhen Wang, Junwei Shu, Yang Li, Changbo Wang, Long Chen

प्रकाशित 2026-07-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zehui Guo, Zhen Wang, Junwei Shu, Yang Li, Changbo Wang, Long Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक जादुई फोटो एडिटर है जो सिर्फ एक वाक्य टाइप करने से कुत्ते की तस्वीर को बिल्ली में बदल सकता है, या एक ग्रे पत्थर को ओरियो (Oreos) के ढेर में बदल सकता है। लेकिन यहाँ एक पेंच है: आप चाहते हैं कि नया बिल्ली बिल्कुल उसी कुत्ते की तरह दिखे हर उस चीज़ में जो मायने नहीं रखती—वही पोज़, वही बैकग्राउंड, वही लाइटिंग—जबकि केवल उसके फर और चेहरे को बदला जाए।

लंबे समय तक, इस काम को करने वाले टूल्स कुछ हदें तक एक केक को वापस आटे में बदलने की कोशिश करने जैसा था, फिर नया केक बनाने जैसा। ये "इनवर्जन-आधारित" (inversion-based) तरीके तस्वीर को शोर (noise) के एक धुंधले ढेर में वापस बदलने की कोशिश करते थे और फिर उसे दोबारा बनाते थे। समस्या यह थी कि वे अक्सर रेसिपी गलत कर देते थे, जिससे केक मूल जैसा दिखता ही नहीं था, या वे इतने नाजुक थे कि एक छोटा सा बदलाव (तापमान बदलना) भी सब कुछ बिगाड़ देता था। अन्य टूल्स ने पुरानी फोटो से नई फोटो तक एक सीधा रास्ता बनाने की कोशिश की, लेकिन वे एक भ्रमित जीपीएस (GPS) की तरह थे जो एक गलत मोड़ पर ही भटक जाते थे, जिससे मूल छवि की संरचना (structure) खो जाती थी।

यहाँ आता है h-Flow, फोटो एडिट करने का एक नया तरीका जो पूरे "अन-बेकिंग" (un-baking) के झंझट को पूरी तरह छोड़ देता है। अनुमान लगाने के बजाय, लेखक एक चतुर गणितीय ट्रिक का उपयोग करते हैं जिसे Doob's h-Transform कहा जाता है। इसे एक बहुत ही समझदार टूर गाइड की तरह समझें जो जानता है कि आपको कहाँ जाना है (नया प्रॉम्प्ट) और यह भी जानता है कि आप कहाँ से शुरू हुए थे (मूल फोटो)।

h-Flow कैसे काम करता है, इसे एक सरल उदाहरण से समझते हैं:

कल्पना कीजिए कि आप कार चला रहे हैं। आपके पास दो लक्ष्य हैं:

सड़क पर बने रहना: आपको मूल फोटो के सटीक पथ पर रहना होगा (ताकि बैकग्राउंड गायब न हो जाए)।
मंज़िल बदलना: आपको नए विचार की ओर मुड़ना होगा (जैसे "ग्रे रॉक" को "ओरियो कुकीज़" में बदलना)।

पुराने तरीकों ने दोनों काम एक साथ करने की कोशिश की, जिससे स्टीयरिंग व्हील को दो अलग-अलग दिशाओं में खींचा गया, जिसके कारण अक्सर कार अनियंत्रित होकर दुर्घटनाग्रस्त हो जाती थी। हालाँकि, h-Flow एक विशेष ऑर्थोगोनल डिकंपोजिशन (orthogonal decomposition) का उपयोग करता है। कल्पना कीजिए कि स्टीयरिंग व्हील में दो अलग-अलग, अदृश्य लीवर हैं:

एक लीवर रिकंस्ट्रक्शन (reconstruction) को नियंत्रित करता है (कार को सड़क पर बनाए रखना)।
दूसरा लीवर एडिटिंग (editing) को नियंत्रित करता है (नए गंतव्य की ओर मुड़ना)।

h-Flow का जादू यह है कि यह गणितीय रूप से सिद्ध करता है कि ये दोनों लीवर एक-दूसरे के पूरी तरह से लंबवत (90-डिग्री के कोण पर) हैं। इसका मतलब है कि आप विषय को बदलने के लिए "एडिट" लीवर को जितना भी ज़ोर से खींच लें, यह गलती से "रिकंस्ट्रक्शन" लीवर को नहीं धकेलेगा। आपको एक आदर्श संतुलन मिलता है जहाँ बैकग्राउंड एकदम स्थिर रहता है, लेकिन विषय ठीक वैसा ही बदल जाता है जैसा आपने चाहा था।

लेखकों ने 700 विविध छवियों (PIE-Bench) और एक कठिन मल्टी-ऑब्जेक्ट एडिट (PIE-Bench++) सेट पर इसका परीक्षण किया। उन्होंने पाया कि h-Flow ने न केवल काम किया; बल्कि इसने सात अन्य शीर्ष तरीकों की तुलना में 9 अलग-अलग मेट्रिक्स में लगातार पहला स्थान प्राप्त किया। यह मूल छवि की संरचना (PSNR और SSIM जैसी चीज़ों द्वारा मापा गया) को बनाए रखने के साथ-साथ नए टेक्स्ट विवरण (CLIP स्कोर द्वारा मापा गया) को भी पूरी तरह से हासिल करने में सफल रहा।

महत्वपूर्ण रूप से, यह पेपर इस विचार के खिलाफ तर्क देता है कि आपको पहले इमेज को शोर (noise) में बदलना होगा, या आपको उन "ह्यूरिस्टिक" (अनुमान आधारित) नियमों पर निर्भर होना होगा जो केवल विशिष्ट कैमरों या मॉडलों के लिए काम करते हैं। h-Flow ट्रेनिंग-फ्री है, जिसका अर्थ है कि इसे कुछ भी नया सीखने की आवश्यकता नहीं है; यह बस मौजूदा मॉडल के गणित का उपयोग करके संपादन को निर्देशित करता है।

शोधकर्ताओं ने दिखाया कि यह तरीका काम करता है चाहे आप प्रक्रिया को कैसे भी शुरू करें (चाहे आप किसी विशिष्ट "इनवर्जन" टूल का उपयोग कर रहे हों या बस थोड़ा शोर जोड़ रहे हों)। उनके परीक्षणों में, यहाँ तक कि जब उन्होंने h-Flow को ऐसे तरीके में लगाया जो आमतौर पर इमेज स्ट्रक्चर को नष्ट कर देता है, तब भी h-Flow ने एक "स्ट्रक्चरल स्टेबलाइज़र" की तरह काम किया, जिसने मूल लुक को वापस लाते हुए भी संपादन को सफलतापूर्वक पूरा किया।

इसलिए, जबकि अन्य टूल्स एक अनाड़ी चित्रकार की तरह हो सकते हैं जो कैनवास को धुंधला कर देता है, h-Flow एक सर्जन के स्थिर हाथ की तरह है, जो बिना किसी अनावश्यक पिक्सेल को छेड़े सटीक कट और बदलाव करता है। यह एक लचीला, गणितीय रूप से आधारित तरीका है यह कहने का कि, "इसे बदलो, लेकिन बाकी सब कुछ बिल्कुल वैसा ही रहने दो," और वास्तव में ऐसा करने का।

h-Flow का तकनीकी सारांश: Doob's h-Transform के माध्यम से लचीला फ्लो-आधारित इमेज एडिटिंग

समस्या विवरण (Problem Statement)
पूर्व-प्रशिक्षित टेक्स्ट-टू-इमेज रेक्टिफाइड फ्लो (RF) मॉडल्स का उपयोग करके टेक्स्ट-आधारित इमेज एडिटिंग, टारगेट अलाइनमेंट (लक्ष्य प्रॉम्प्ट का निष्ठापूर्वक पालन करना) और सोर्स कंसिस्टेंसी (मूल छवि की संरचना और बिना संपादित क्षेत्रों को संरक्षित करना) के बीच एक मौलिक समझौते (trade-off) का सामना करती है। मौजूदा दृष्टिकोण आम तौर पर दो श्रेणियों में आते हैं जिनकी विशिष्ट सीमाएँ हैं:

इनवर्जन-आधारित विधियाँ (Inversion-based methods): ये मूल छवि को पुन: उत्पन्न करने से पहले उसे एक लेटेंट नॉइज़ डिस्ट्रीब्यूशन में इनवर्ट करती हैं। हालांकि वे उच्च फिडेलिटी (fidelity) का लक्ष्य रखती हैं, लेकिन वे अक्सर ह्यूरिस्टिक (heuristic), आर्किटेक्चर-विशिष्ट डिजाइनों पर निर्भर करती हैं और इनवर्जन प्रक्रिया के दौरान त्रुटि संचय (error accumulation) से ग्रस्त होती हैं।
इनवर्जन-मुक्त विधियाँ (Inversion-free methods): ये स्रोत से लक्ष्य तक सीधे ट्रांसफॉर्मेशन ट्रेजेक्टरी (trajectory) का निर्माण करती हैं। हालांकि ये संरचनात्मक स्थिरता लागू करती हैं, लेकिन इनमें अक्सर एक एकीकृत सैद्धांतिक आधार की कमी होती है, जो उन्हें हाइपरपैरामीटर्स (जैसे रैंडम सीड्स, फ्लो स्टेप्स) के प्रति संवेदनशील और अस्थिर बनाती है।

मुख्य चुनौती बिना किसी अतिरिक्त प्रशिक्षण या नाजुक ह्यूरिस्टिक निर्माण पर निर्भर हुए, इन दोनों उद्देश्यों के बीच एक नियंत्रणीय और सुदृढ़ संतुलन प्राप्त करना है।

कार्यप्रणाली (Methodology)
लेखक h-Flow प्रस्तावित करते हैं, जो एक ट्रेनिंग-फ्री फ्रेमवर्क है जो इमेज एडिटिंग को Doob's h-Transform पर आधारित कई टर्मिनल इवेंट्स के तहत एक कंडीशनल जनरेशन समस्या के रूप में पुनर्गठित करता है।

डिटरमिनिस्टिक RF का सैद्धांतिक विस्तार (Theoretical Extension to Deterministic RF):
शास्त्रीय Doob's h-Transform गैर-शून्य डिफ्यूजन कोएफिशिएंट वाले स्टोकेस्टिक डिफरेंशियल इक्वेशंस (SDEs) के लिए परिभाषित है। हालाँकि, RF मॉडल डिटरमिनिस्टिक ऑर्डिनरी डिफरेंशियल इक्वेशंस (ODEs) के माध्यम से संचालित होते हैं जहाँ डिफ्यूजन कोएफिशिएंट $g(t) \equiv 0$ होता है, जिससे मानक h-Transform अपरिभाषित हो जाता है। इसे हल करने के लिए, लेखक एक समतुल्य SDE (equivalent SDE) का निर्माण करते हैं जो RF डायनेमिक्स के समान मार्जिनल डिस्ट्रीब्यूशन साझा करता है लेकिन इसमें एक गैर-शून्य डिफ्यूजन कोएफिशिएंट ( $g_{eq}(t) = \sqrt{2t/(1-t)}$ ) होता है। यह डिटरमिनिस्टिक RF फ्रेमवर्क पर h-Transform के कठोर अनुप्रयोग की अनुमति देता है।
h-फंक्शन्स के माध्यम से द्वैत-मार्गदर्शन (Dual-Guidance via h-Functions):
एडिटिंग प्रक्रिया को दो टर्मिनल बाधाओं के अनुरूप दो हार्मोनिक फंक्शनों ( $h$ -functions) द्वारा निर्देशित किया जाता है:

सोर्स कंसिस्टेंसी ( $h_{rec}$ ): यह इस बाधा को एनकोड करता है कि अंतिम छवि स्रोत छवि $x_0^{src}$ से मेल खानी चाहिए। यह एक क्लोज्ड-फॉर्म रिकंस्ट्रक्शन गाइडेंस टर्म प्रदान करता है, $v_{rec} = (x_t - x_0^{src})/t$ , जो ट्रेजेक्टरी को सटीक रूप से स्रोत की ओर मोड़ता है।
टारगेट अलाइनमेंट ( $h_{edit}$ ): यह लक्ष्य प्रॉम्प्ट $c^{edit}$ के साथ सिमेंटिक ट्रांजिशन को एनकोड करता है। गाइडेंस सिग्नल को टारगेट और सोर्स प्रॉम्प्ट्स के वेलोसिटी फील्ड्स के अंतर ( $\Delta_{edit} = v_\theta^{edit} - v_\theta^{src}$ ) के रूप में निकाला जाता है, जो साझा सामग्री को हटाते हुए केवल सिमेंटिक परिवर्तन को अलग करता है।

वेलोसिटी ऑर्थोगोनल डीकंपोजिशन (Velocity Orthogonal Decomposition):
एक प्रमुख नवाचार एडिटिंग सिग्नल का ऑर्थोगोनल प्रोजेक्शन (orthogonal projection) है। चूंकि एडिटिंग दिशा $\Delta_{edit}$ में रिकंस्ट्रक्शन वेलोसिटी $\tilde{v}_{rec}$ के समानांतर घटक हो सकते हैं, इसलिए उन्हें केवल जोड़ने से हस्तक्षेप (interference) हो सकता है। लेखक $\Delta_{edit}$ को $\tilde{v}_{rec}$ के ऑर्थोगोनल कॉम्प्लीमेंट पर प्रोजेक्ट करते हैं:
$\Delta_{edit}^\perp = \Delta_{edit} - \frac{\langle \Delta_{edit}, \tilde{v}_{rec} \rangle}{\|\tilde{v}_{rec}\|^2} \tilde{v}_{rec}$
यह दोनों उद्देश्यों को अलग करता है: रिकंस्ट्रक्शन वेलोसिटी स्रोत संरचना को संरक्षित करती है, जबकि ऑर्थोगोनल एडिटिंग घटक केवल सिमेंटिक सामग्री को संशोधित करता है। यह हाइपरपैरामीटर्स $\lambda_{rec}$ और $\lambda_{edit}$ के माध्यम से स्वतंत्र नियंत्रण की अनुमति देता है बिना एक-दूसरे के क्षरण के।
प्लग-एंड-प्ले कम्पैटिबिलिटी (Plug-and-Play Compatibility):
बैकवर्ड एडिटिंग ODE, फॉरवर्ड इनिशियलाइजेशन के प्रति उदासीन (agnostic) है। h-Flow को विभिन्न फॉरवर्ड प्रक्रियाओं (जैसे RF-Inversion, SDEdit, ODE-Inv) के साथ प्लग-एंड-प्ले तरीके से सहजता से जोड़ा जा सकता है।

प्रमुख योगदान (Key Contributions)

सैद्धांतिक आधार (Theoretical Grounding): यह पेपर एक समतुल्य SDE का निर्माण करके डिटरमिनिस्टिक रेक्टिफाइड फ्लो मॉडल्स के लिए Doob's h-Transform के पहले अनुप्रयोग को पेश करता है, जो ODE-आधारित फ्रेमवर्क में गाइडेड जनरेशन के लिए एक सिद्धांतवादी सैद्धांतिक सेतु प्रदान करता है।
डीकप्ल्ड कंट्रोल (Decoupled Control): समर्पित h-फंक्शन्स को डिजाइन करके और वेलोसिटी ऑर्थोगोनल डीकंपोजिशन का उपयोग करके, यह विधि स्पष्ट रूप से रिकंस्ट्रक्शन और एडिटिंग दिशाओं को अलग करती है, जिससे सोर्स फिडेलिटी और टारगेट अलाइनमेंट के बीच एक नियंत्रणीय ट्रेड-ऑफ सक्षम होता है।
ट्रेनिंग-फ्री फ्लेक्सिबिलिटी (Training-Free Flexibility): यह दृष्टिकोण प्री-ट्रेंड मॉडल के लिए किसी अतिरिक्त प्रशिक्षण या ग्रेडिएंट अपडेट की आवश्यकता नहीं करता है, यह केवल वेलोसिटी नेटवर्क के फॉरवर्ड पासेज पर निर्भर करता है।

प्रायोगिक परिणाम (Experimental Results)
लेखकों ने PIE-Bench और PIE-Bench++ डेटासेट्स पर सात बेसलाइन्स (RF-Inversion, FlowEdit, SDEdit, और UniEdit सहित) के विरुद्ध h-Flow का मूल्यांकन किया।

मात्रात्मक प्रदर्शन (Quantitative Performance): h-Flow ने दोनों बेंचमार्क्स पर 9 मेट्रिक्स (PSNR, LPIPS, SSIM, CLIP सिमिलैरिटी और एस्थेटिक स्कोर सहित) में सर्वश्रेष्ठ औसत रैंक प्राप्त की। इसने सोर्स कंसिस्टेंसी और टारगेट अलाइनमेंट को संतुलित करने में बेसलाइन्स को महत्वपूर्ण रूप से पीछे छोड़ दिया। उदाहरण के लिए, जहाँ UniEdit ने उच्च सोर्स कंसिस्टेंसी प्राप्त की, वहीं वह टारगेट अलाइनमेंट में पिछड़ गया; इसके विपरीत, ODEInv ने उच्च अलाइनमेंट प्राप्त किया लेकिन इमेज क्वालिटी गिर गई। h-Flow ने शीर्ष-स्तरीय अलाइनमेंट प्रदान करते हुए प्रतिस्पर्धी सोर्स कंसिस्टेंसी बनाए रखी।
गुणात्मक प्रदर्शन (Qualitative Performance): विजुअल तुलनाओं ने जटिल एडिट्स (जैसे सब्जेक्ट ट्रांसलेशन, लोकलाइज्ड एडिशन्स) को निष्पादित करने की h-Flow की क्षमता प्रदर्शित की, जबकि बैकग्राउंड स्ट्रक्चर और बिना संपादित क्षेत्रों को सख्ती से संरक्षित किया, जिससे अन्य विधियों में सामान्य आर्टिफैक्ट्स से बचा जा सका।
एब्लेशन स्टडीज (Ablation Studies):
- कम्पैटिबिलिटी: विविध फॉरवर्ड प्रोसेस (RF-Inversion, SDEdit, ODE-Inv) के साथ h-Flow को एकीकृत करने से एडिटेबिलिटी और फिडेलिटी के बीच ट्रेड-ऑफ में लगातार सुधार हुआ, जो अस्थिर फॉरवर्ड मेथड्स के लिए एक स्ट्रक्चरल स्टेबलाइजर के रूप में कार्य करता है।
- ऑर्थोगोनल प्रोजेक्शन: प्रोजेक्शन स्टेप को हटाने से स्ट्रक्चरल फिडेलिटी में सुधार किए बिना टेक्स्ट अलाइनमेंट स्कोर कम हो गया, जो पुष्टि करता है कि प्रोजेक्शन प्रभावी रूप से एडिटिंग और रिकंस्ट्रक्शन के बीच हस्तक्षेप को समाप्त करता है।
- हाइपरपैरामीटर्स: अध्ययन ने दिखाया कि $\lambda_{rec}$ और $\lambda_{edit}$ अपने संबंधित उद्देश्यों को स्वतंत्र रूप से नियंत्रित करते हैं, जो डीकपलिंग रणनीति को मान्य करता है।

महत्व और दावे (Significance and Claims)
पेपर का दावा है कि h-Flow फ्लो-आधारित इमेज एडिटिंग के लिए एक एकीकृत, सैद्धांतिक रूप से सुदृढ़ फ्रेमवर्क प्रदान करता है जो पूर्ववर्ती विधियों की ह्यूरिस्टिक प्रकृति और संवेदनशीलता को दूर करता है। डिटरमिनिस्टिक फ्लो के लिए Doob's h-Transform को कड़ाई से विस्तारित करके और ऑर्थोगोनल डीकंपोजिशन के माध्यम से एडिटिंग और रिकंस्ट्रक्शन उद्देश्यों को अलग करके, यह विधि विविध परिदृश्यों में सुदृढ़, लचीली और निष्ठावान एडिटिंग प्राप्त करती है। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण ट्रेनिंग-फ्री और प्लग-एंड-प्ले है, जिससे यह आर्किटेक्चरल संशोधनों के बिना मौजूदा RF मॉडल्स के लिए तुरंत लागू करने योग्य बन जाता है। यह कार्य सुझाव देता है कि भविष्य के विस्तार इस फ्रेमवर्क को वीडियो या 3D जनरेशन जैसे अन्य मोडैलिटीज पर लागू कर सकते हैं।

इसी तरह के और पेपर