🤖 machine learning

Flower: A Flow-Matching Solver for Inverse Problems

यह शोध पत्र Flower को प्रस्तुत करता है, जो एक पुनरावृत्ति सॉल्वर (iterative solver) है जो रैखिक व्युत्क्रम समस्याओं (linear inverse problems) के लिए प्री-ट्रेंड फ्लो मॉडल्स का लाभ उठाकर डेस्टिनेशन एस्टीमेशन (destination estimation), फिजिबिलिटी प्रोजेक्शन (feasibility projection) और टाइम प्रोग्रेशन (time progression) की तीन-चरणीय प्रक्रिया के माध्यम से बेयसियन पोस्टीरियर सैंपलिंग (Bayesian posterior sampling) का सन्निकटन प्राप्त करता है, जिससे विविध कार्यों में सुसंगत हाइपरपैरामीटर्स के साथ अत्याधुनिक पुनर्निर्माण गुणवत्ता प्राप्त होती है।

मूल लेखक: Mehrsa Pourya, Bassam El Rawas, Michael Unser

प्रकाशित 2026-02-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mehrsa Pourya, Bassam El Rawas, Michael Unser

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जिग्सॉ पज़ल (jigsaw puzzle) सुलझाने की कोशिश कर रहे हैं, लेकिन किसी ने तैयार पज़ल की एक फोटो ली है, उसे काट दिया है, आधे टुकड़ों को फर्श पर बिखेर दिया है, कुछ टुकड़ों पर कीचड़ लगा दिया है, और फिर वह गंदा ढेर आपको थमा दिया है। आपका लक्ष्य मूल चित्र को पूरी तरह से पुनर्गठित करना है।

कंप्यूटर की दुनिया में, इसे इनवर्स प्रॉब्लम (inverse problem) कहा जाता है। हमारे पास एक धुंधली, शोर वाली या अधूरी माप (वह गंदा ढेर) है, और हमें मूल, स्पष्ट छवि (पज़ल) का पता लगाना है।

यह पेपर इस समस्या को हल करने के लिए एक नया टूल पेश करता है जिसे Flower कहा जाता है। यह कैसे काम करता है, यहाँ सरल भाषा में समझाया गया है।

समस्या: अंधेरे में अनुमान लगाना

पारंपरिक रूप से, कंप्यूटर इसे अनुमान लगाने और जांचने के लिए, या भारी गणितीय नियमों का उपयोग करने के लिए कोशिश करते हैं। लेकिन ये तरीके अक्सर अटक जाते हैं या धुंधली, "मशाल" जैसी (mushy) छवियां बना देते हैं।

हाल ही में, वैज्ञानिकों ने जेनरेटिव मॉडल्स (Generative Models) बनाए हैं (जैसे वह AI जो टेक्स्ट से चित्र बनाता है)। इन मॉडल्स को एक मास्टर कलाकार की तरह समझें जिसने लाखों फोटो देखी हैं। वे जानते हैं कि एक "असली" चेहरा या एक "असली" बिल्ली कैसी दिखती है। वे शून्य से एक आदर्श चित्र बना सकते हैं।

चुनौती यह है: हम इस मास्टर कलाकार का उपयोग एक विशिष्ट टूटी हुई फोटो को ठीक करने के लिए कैसे करें? हम केवल कलाकार से एक रैंडम बिल्ली नहीं बनाने के लिए कह सकते; हमें उन्हें आपकी विशिष्ट बिल्ली को ठीक करने के लिए कहना होगा।

समाधान: Flower

लेखकों ने Flower बनाया है, जो एक विधि है जो इस मास्टर कलाकार के लिए एक स्मार्ट गाइड की तरह काम करती है। केवल अनुमान लगाने के बजाय, Flower इस इमेज को ठीक करने के लिए तीन चरणों वाले नृत्य (three-step dance) का उपयोग करता है।

यहाँ उपमा (analogy) दी गई है: कल्पना कीजिए कि आप अपने घर (रैंडम शोर) से एक विशिष्ट गंतव्य (स्पष्ट छवि) तक जाने की कोशिश कर रहे हैं, लेकिन आपके पास एक नक्शा है जो आंशिक रूप से कोहरे से ढका हुआ है (टूटी हुई माप)।

चरण 1: "क्रिस्टल बॉल" का अनुमान

सबसे पहले, AI वर्तमान अस्त-व्यस्त स्थिति को देखता है और पूछता है कि उसका "क्रिस्टल बॉल" (एक प्री-ट्रेन्ड न्यूरल नेटवर्क) क्या भविष्यवाणी करता है कि अंतिम, पूर्ण छवि कहाँ होनी चाहिए।

रूपक (Metaphor): यह खिड़की पर एक धुंधले धब्बे को देखने जैसा है और AI द्वारा यह कहने जैसा है, "जो मैं जानता हूँ उसके आधार पर, वह धब्बा शायद एक पक्षी है।" यह गंतव्य का सबसे अच्छा अनुमान लगाता है।

चरण 2: "रियलिटी चेक" (वास्तविकता की जाँच)

AI का अनुमान एक पक्षी के लिए तो एकदम सही हो सकता है, लेकिन हो सकता है कि वह आपके पास मौजूद वास्तविक मापों से मेल न खाए (शायद वह धब्बा वास्तव में एक कीड़ा है, पक्षी नहीं)।

रूपक: यह चरण एक सख्त संपादक की तरह है। AI कहता है, "मुझे लगता है कि यह एक पक्षी है!" और संपादक कहता है, "रुको, माप दिखाते हैं कि यह 2 इंच चौड़ा है और इसके छह पैर हैं। एक पक्षी इस पर फिट नहीं बैठता। चलो अनुमान को तथ्यों के अनुरूप एडजस्ट करते हैं।"
गणितीय शब्दों में, यह अनुमान को "फिजिबल सेट" (feasible set) पर प्रोजेक्ट (project) करना है—छवि को वास्तव में उस डेटा से मेल खाने के लिए मजबूर करना जो आपके पास शुरुआत में था।

3. "टाइम ट्रैवल" वाला चरण

अब, AI के पास एक परिष्कृत अनुमान है जो तथ्यों के अनुकूल है। लेकिन इसे अंतिम छवि के करीब पहुँचने के लिए समय में आगे बढ़ने की आवश्यकता है।

रूपक: कल्पना कीजिए कि आप एक रास्ते पर चल रहे हैं। आपने अभी अपनी दिशा सुधारी है (चरण 2)। अब, आप एक कदम आगे बढ़ाते हैं, लेकिन आप केवल एक सीधी रेखा में नहीं चलते। आप एक ऐसा कदम उठाते हैं जो "नदी के प्रवाह" (AI द्वारा सीखे गए गणितीय पथ) का सम्मान करता है। आप अपने सुधारे हुए अनुमान को थोड़े से ताज़ा "शोर" (रैंडमनेस) के साथ मिलाते हैं ताकि रास्ता लचीला बना रहे और आप किसी लूप में न फंस जाएं।

"Flower" क्यों विशेष है?

यह एक हाइब्रिड है: यह दो दुनियाओं के सर्वश्रेष्ठ गुणों को जोड़ता है। यह आधुनिक AI की रचनात्मक शक्ति (यह जानने के लिए कि एक अच्छी छवि कैसी दिखती है) और पारंपरिक गणित की कठोर तर्कशक्ति (यह सुनिश्चित करने के लिए कि छवि मापों से मेल खाती है) का उपयोग करता है।
यह सुसंगत (Consistent) है: यह पेपर गणितीय रूप से सिद्ध करता है कि यह तीन-चरणीय नृत्य केवल एक भाग्यशाली अनुमान नहीं है। यह वास्तव में "सर्वश्रेष्ठ संभव" उत्तर से नमूना लेने का एक कठोर तरीका है। यह कोहरे से भरे जंगल में सबसे संभावित पथ खोजने जैसा है।
यह सरल और तेज़ है: अन्य विधियों के विपरीत जिन्हें हर समस्या के लिए जटिल, धीमी गणनाओं की आवश्यकता होती है, Flower एक ही सरल सेटिंग्स (हाइपरपैरामीटर्स) का उपयोग करता है। चाहे आप एक धुंधले चेहरे को ठीक कर रहे हों, फोटो के गायब हिस्से को भर रहे हों, या एक्स-रे को साफ कर रहे हों, "Flower" का नुस्खा वही रहता है।

परिणाम

जब शोधकर्ताओं ने मानक समस्याओं (जैसे चेहरों से शोर हटाना, फोटो को अन-ब्लर करना, या छवियों के गायब हिस्सों को भरना) पर Flower का परीक्षण किया, तो इसने लगभग हर अन्य विधि को पछाड़ दिया। इसने कम आर्टिफैक्ट्स (अजीब गड़बड़ी) के साथ अधिक स्पष्ट छवियां बनाईं और भारी-भरकम प्रतिस्पर्धियों की तुलना में इसे तेजी से किया।

संक्षेप में: Flower एक स्मार्ट, कुशल गाइड है जो एक AI कलाकार को टूटी हुई तस्वीरों को ठीक करने में मदद करता है, जो लगातार "क्या वास्तविक दिखता है" और "डेटा क्या कहता है कि सत्य है" के बीच संतुलन बनाए रखता है।

यहाँ शोध पत्र "Flower: A FLOW-MATCHING SOLVER FOR INVERSE PROBLEMS" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा (Problem Definition)

यह शोध पत्र कम्प्यूटेशनल इमेजिंग में रैखिक व्युत्क्रम समस्याओं (linear inverse problems) को संबोधित करता है, जहाँ लक्ष्य प्रेक्षित मापों (observed measurements) $y \in \mathbb{R}^M$ से अंतर्निहित संकेत $x \in \mathbb{R}^d$ का पुनर्निर्माण करना है। अधिग्रहण प्रक्रिया (acquisition process) को इस प्रकार मॉडल किया गया है:
$y = Hx + n$
जहाँ $H$ एक ज्ञात रैखिक फॉरवर्ड ऑपरेटर (जैसे, ब्लरिंग, डाउनसैंपलिंग, मास्किंग) है और $n$ एडिटिव व्हाइट गॉसियन नॉइज़ (additive white Gaussian noise) है।

चुनौती इन समस्याओं की 'इल-पोज़्ड' (ill-posed) प्रकृति में निहित है। जबकि मैक्सिमम लाइकलीहुड एस्टीमेशन (MLE) खराब गुणवत्ता के कारण अपर्याप्त है, मैक्सिमम एपोस्टेरिओरी (MAP) एस्टीमेशन के लिए एक ज्ञात प्रायोर डिस्ट्रीब्यूशन $p_X$ की आवश्यकता होती है, जो आम तौर पर उपलब्ध नहीं होता है। लेखक पूर्व-प्रशिक्षित (pre-trained) जेनेरेटिव फ्लो मॉडल्स का लाभ उठाकर कंडीशनल पोस्टीरियर डिस्ट्रीब्यूशन $p_{X|Y=y}$ से सैंपलिंग करने के माध्यम से इसे हल करने का लक्ष्य रखते हैं, न कि केवल एक सिंगल पॉइंट एस्टीमेट खोजने के। यह डेटा और सीखे गए इमेज प्रायोर दोनों के अनुरूप विविध, उच्च-गुणवत्ता वाले पुनर्निर्माण उत्पन्न करने की अनुमति देता है।

2. कार्यप्रणाली: फ्लावर सॉल्वर (Methodology: The Flower Solver)

लेखक Flower पेश करते हैं, जो एक पूर्व-प्रशिक्षित फ्लो-मैचिंग वेलोसिटी नेटवर्क $v_\theta$ का उपयोग करके एक सरल, पुनरावृत्ति (iterative) तीन-चरणीय प्रक्रिया के माध्यम से व्युत्क्रम समस्या समाधान करता है। यह विधि $N$ टाइम स्टेप्स पर कार्य करती है, जो $t=0$ (शोर/noise) से $t=1$ (पुनर्निर्माण/reconstruction) की ओर बढ़ती है।

चरण 1: फ्लो-कंसिस्टेंट डेस्टिनेशन एस्टीमेशन (Flow-Consistent Destination Estimation)

समय $t$ पर वर्तमान अवस्था $x_t$ को देखते हुए, पूर्व-प्रशिक्षित वेलोसिटी नेटवर्क एक "डेस्टिनेशन" $\hat{x}_1(x_t)$ का अनुमान लगाता है जो $t=1$ पर डिनोइज़्ड टारगेट को दर्शाता है।
$\hat{x}_1(x_t) = x_t + (1-t)v_\theta(x_t, t)$
सैद्धांतिक रूप से, इष्टतम प्रशिक्षण के तहत, यह चरण कंडीशनल एक्सपेक्टेशन $E[X_1 | X_t = x_t]$ की गणना करता है।

चरण 2: मेजरमेंट-अवेयर रिफाइनमेंट (Measurement-Aware Refinement)

अनुमानित डेस्टिनेशन को प्रेक्षित मापों $y$ के साथ निरंतरता सुनिश्चित करने के लिए परिष्कृत (refine) किया जाता है। इसमें अनुमान को फॉरवर्ड मॉडल द्वारा परिभाषित फिक्सेबल सेट पर प्रोजेक्ट करना शामिल है।
$\tilde{x}_1(x_t, y) = \mu_t(x_t, y) + \gamma \kappa_t$

मीन ( $\mu_t$ ): इसे एक प्रॉक्सिमल ऑपरेटर के माध्यम से गणना की जाती है जो डेटा फिडेलिटी टर्म ( $\|Hx - y\|^2$ ) और प्रायोर टर्म ( $\hat{x}_1$ से दूरी) के बीच संतुलन बनाता है। यह एक मिनिमाइजेशन समस्या को हल करने के समान है:
$\mu_t = \text{prox}_{\nu_t^2 F_y}(\hat{x}_1)$
जहाँ $F_y(x) = \frac{1}{2\sigma_n^2}\|Hx - y\|^2$ ।
अनिश्चितता ( $\kappa_t$ ): पोस्टीरियर अनिश्चितता को ध्यान में रखने के लिए एक विशिष्ट गॉसियन डिस्ट्रीब्यूशन $N(0, \Sigma_t)$ $N (0, Σ_{t})$ से लिया गया एक नॉइज़ टर्म। हाइपरपैरामीटर $\gamma \in \{0, 1\}$ $γ \in {0, 1}$ यह नियंत्रित करता है कि क्या इस अनिश्चितता को शामिल किया जाना चाहिए।
- नोट: अनुभवजन्य रूप से, लेखक पाते हैं कि $\gamma=0$ (अनिश्चितता को अनदेखा करना) बेहतर PSNR देता है, हालांकि सख्त बेयसियन पोस्टीरियर सैंपलिंग के लिए $\gamma=1$ आवश्यक है।

चरण 3: टाइम प्रोग्रेशन (Time Progression)

परिष्कृत डेस्टिनेशन $\tilde{x}_1(x_t, y)$ का उपयोग अगले टाइम स्टेप $t+\Delta t$ के लिए प्रक्षेपवक्र (trajectory) को अपडेट करने के लिए किया जाता है। यह चरण ताज़ा सोर्स नॉइज़ $\epsilon \sim p_{X_0}$ के साथ इसे मिलाकर फ्लो पाथ पर रिफाइंड पॉइंट को पुनः प्रोजेक्ट करता है:
$x_{t+\Delta t} = (1 - t - \Delta t)\epsilon + (t + \Delta t)\tilde{x}_1(x_t, y)$
यह सुनिश्चित करता है कि प्रक्षेपवपथ फ्लो-मैचिंग डायनेमिक्स के अनुरूप बना रहे और साथ ही डेटा बाधाओं (constraints) को भी शामिल करे।

3. मुख्य योगदान (Key Contributions)

नवल फ्लो-मैचिंग सॉल्वर: Flower एक तीन-चरणीय पुनरावृत्ति एल्गोरिदम पेश करता है जिसे विशेष रूप से फ्लो-मैचिंग मॉडल्स के लिए डिज़ाइन किया गया है। यह प्लग-एंड-प्ले (PnP) विधियों (एक डिनोइज़र और एक डेटा-कंसिस्टेंसी स्टेप का उपयोग करने वाली) को जेनेरेटिव इनवर्स सॉल्वर्स के साथ एकीकृत करता है।
बेयसियन औचित्य (Bayesian Justification): शोध पत्र एक कठोर सैद्धांतिक विश्लेषण प्रदान करता है जो दिखाता है कि Flower पोस्टीरियर $p_{X|Y=y}$ $p_{X ∣ Y = y}$ से बेयसियन एंसेस्ट्रल सैंपलिंग का अनुमान लगाता है।
- यह सिद्ध करता है कि चरण 1 कंडीशनल एक्सपेक्टेशन का अनुमान लगाता है।
- यह प्रदर्शित करता है कि चरण 2 $\Pi$ GDM सन्निकटन (कंडीशनल प्रायोर को गॉसियन के रूप में अनुमानित करना) के माध्यम से प्राप्त एक अनुमानित पोस्टीरियर डिस्ट्रीब्यूशन से सैंपल लेता है।
- यह स्थापित करता है कि विशिष्ट मान्यताओं (इष्टतम वेलोसिटी नेटवर्क, रैखिक फॉरवर्ड मॉडल, स्वतंत्र स्रोत/टारगेट) के तहत पुनरावृत्ति प्रक्रिया वास्तविक पोस्टीरियर से एक सैंपल की ओर अभिसरित (converge) होती है।
एकीकृत दृष्टिकोण (Unified Perspective): लेखक PnP विधियों और जेनेरेटिव मॉडलिंग के बीच के अंतर को पाटते हैं। वे दिखाते हैं कि Flower के चरण PnP अपडेट को दर्शाते हैं लेकिन एक संभावabilistic फ्रेमवर्क पर आधारित हैं जो उन्हें पोस्टीरियर सैंपलिंग के रूप में न्यायसंगत ठहराता है।
नॉन-लीनियर समस्याओं में विस्तार: शोध पत्र यह रूपरेखा भी देता है कि कैसे चरण 2 में क्लोज्ड-फॉर्म गॉसियन अपडेट को स्कोर फंक्शन का उपयोग करते हुए पुनरावृत्ति सैंपलिंग स्कीम्स (जैसे, लैंग्विन डायनेमिक्स) से बदलकर Flower को नॉन-लीनियर व्युत्क्रम समस्याओं के लिए विस्तारित किया जा सकता है।

4. संख्यात्मक परिणाम और प्रदर्शन (Numerical Results and Performance)

लेखकों ने पांच कार्यों: डिनोइजिंग, डीब्लरिंग, सुपर-रिज़ॉल्यूशन, रैंडम इनपेंटिंग और बॉक्स इनपेंटिंग के तहत CelebA (चेहरे) और AFHQ-Cat डेटासेट का उपयोग करके मानक बेंचमार्क पर Flower का मूल्यांकन किया।

स्टेट-ऑफ-द-आर्ट प्रदर्शन: Flower मौजूदा फ्लो-आधारित सॉल्वर्स (OT-ODE, D-Flow, Flow-Priors) और डिफ्यूजन-आधारित सॉल्वर्स (DiffPIR) की तुलना में प्रतिस्पर्धी या बेहतर परिणाम प्राप्त करता है।
- CelebA पर, Flower-OT (Optimal Transport कपलिंग का उपयोग करते हुए) ने सभी कार्यों में सर्वश्रेष्ठ या सर्वश्रेष्ठ के करीब PSNR/SSIM प्राप्त किया।
- इसने डीब्लरिंग और इनपेंटिंग कार्यों में बेसलाइन से काफी बेहतर प्रदर्शन किया।
हाइपरपैरामीटर दक्षता: एक प्रमुख लाभ यह है कि Flower विभिन्न व्युत्क्रम समस्याओं में लगभग समान हाइपरपैरामीटर्स का उपयोग करता है। अन्य विधियों के विपरीत जिन्हें कार्य-विशिष्ट ट्यूनिंग की आवश्यकता होती है, Flower को केवल नॉइज़ लेवल $\sigma_n$ और स्टेप्स की संख्या $N$ की आवश्यकता होती है।
एब्लेशन स्टडीज (Ablation Studies):
- अनिश्चितता ( $\gamma$ ): हालांकि $\gamma=1$ सैद्धांतिक रूप से पोस्टीरियर सैंपलिंग के लिए आवश्यक है, व्यवहार में $\gamma=0$ ने उच्च पुनर्निर्माण गुणवत्ता (PSNR) दी, जो संभवतः उच्च-संभावना वाले क्षेत्रों पर ध्यान केंद्रित करने के कारण है।
- कपलिंग (Coupling): ट्रेनिंग में इंडिपेंडेंट (IND) कपलिंग ने मिनी-बैच ऑप्टिमल ट्रांसपोर्ट (OT) की तुलना में थोड़े बेहतर परिणाम दिए, हालांकि OT अत्यधिक प्रतिस्पर्धी बना हुआ है।
दक्षता: Flower का रनटाइम PnP-Flow और OT-ODE के तुलनीय है, लेकिन यह D-Flow और Flow-Priors की तुलना में काफी तेज़ और अधिक मेमोरी-कुशल है, जिन्हें ODE सॉल्वर्स के माध्यम से बैकप्रोपैगेशन की आवश्यकता होती है।

5. महत्व (Significance)

Flower का महत्व फ्लो-मैचिंग फ्रेमवर्क के भीतर प्लग-एंड-प्ले रणनीतियों के लिए एक सिद्धांतिक, बेयसियन व्याख्या प्रदान करने की इसकी क्षमता में निहित है।

सैद्धांतिक एकीकरण: यह ह्यूरिस्टिक PnP अपडेट और कठोर पोस्टीरियर सैंपलिंग के बीच के संबंध को स्पष्ट करता है, यह बताते हुए कि ये विधियाँ क्यों काम करती हैं।
व्यावहारिक मजबूती: यह प्रदर्शित करता है कि पूर्व-प्रशिक्षित फ्लो मॉडल्स को न्यूनतम ट्यूनिंग के साथ विभिन्न व्युत्क्रम समस्याओं के लिए अनुकूलित किया जा सकता है, जिससे वे इमेज रेस्टोरेशन के लिए डिफ्यूजन मॉडल्स का एक व्यावहारिक विकल्प बन जाते हैं।
सामान्यता (Generality): यह ढांचा विभिन्न नॉइज़ मॉडल्स को संभालने के लिए पर्याप्त लचीला है और इसे नॉन-लीनियर व्युत्क्रम समस्याओं के लिए विस्तारित किया जा सकता है, जिससे वैज्ञानिक इमेजिंग में फ्लो-मैचिंग की प्रयोज्यता व्यापक होती है।

संक्षेप में, Flower रैखिक व्युक्रम समस्याओं के लिए एक मजबूत, सैद्धांतिक रूप से आधारित और कम्प्यूटेशनल रूप से कुशल सॉल्वर प्रदान करता है, जो ऑप्टिमाइजेशन-आधारित और जेनेरेटिव-आधारित पुनर्निर्माण के दृष्टिकोणों को एकीकृत करते हुए स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त करता है।