🤖 machine learning

Conservative Flows: A New Paradigm of Generative Models

यह शोध पत्र "कंजर्वेटिव फ्लोज़" (Conservative Flows) को प्रस्तुत करता है, जो एक नया जनरेटिव मॉडलिंग प्रतिमान है जो शोर (noise) के बजाय डेटा-समर्थित अवस्थाओं से आरंभ होकर विविक्त स्टोकेस्टिक डायनेमिक्स (discrete stochastic dynamics) का उपयोग करके मौजूदा फ्लो-आधारित मॉडलों में सुधार करता है, और विभिन्न डेटासेटों में जनरेशन की गुणवत्ता को निरंतर बढ़ाने के लिए प्रायिकता-संरक्षण सैंपलिंग तंत्रों का उपयोग करता है।

मूल लेखक: Eshed Gal, Md Shahriar Rahim Siddiqui, Moshe Eliasof, Eldad Haber

प्रकाशित 2026-05-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Eshed Gal, Md Shahriar Rahim Siddiqui, Moshe Eliasof, Eldad Haber

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक फूल की एक नई, वास्तविक तस्वीर बनाने की कोशिश कर रहे हैं।

पुराना तरीका (शोर-से-डेटा/Noise-to-Data):
वर्तमान लोकप्रिय तरीकों (जैसे मानक AI इमेज जनरेटर) को शुद्ध टेलीविजन 'स्टैटिक स्नो' (रैंडम शोर) की एक बाल्टी से शुरू करने के रूप में सोचें। AI को उस अराजक शोर को एक सुंदर फूल में धीरे-धीरे, चरण-दर-चरण बदलने के लिए एक विशाल, जटिल मानचित्र सीखने की आवश्यकता होती है। यह रेत के ढेर से शुरू करके एक शेर की मूर्ति बनाने की कोशिश करने जैसा है और इस उम्मीद में आगे बढ़ना कि अंत में वह आकार ले लेगा।

नया तरीका (कंजर्वेटिव फ्लोज़/Conservative Flows):
यह पेपर एक अलग दृष्टिकोण प्रस्तावित करता है जिसे "कंजर्वेटिव फ्लोज़" कहा जाता है। शोर से शुरू करने के बजाय, कल्पना कीजिए कि आपको शुरुआत में ही एक असली, पूर्ण फूल दिया गया है। आपका लक्ष्य शून्य से फूल बनाना नहीं है; बल्कि, उस असली फूल को लेना, उसे थोड़ा हिलाना, उसका कोण बदलना, या उसकी पंखुड़ियों को थोड़ा बदलना है, लेकिन हमेशा यह सुनिश्चित करना है कि वह पूरे समय एक वैध फूल बना रहे।

लेखक इसे "ट्रांसपोर्ट" (शोर से डेटा की ओर जाना) के बजाय "इनवेरिएंस" (डेटा के भीतर बने रहना) में बदलाव कहते हैं।

यहाँ उनके दो नए तरीके सरल उपमाओं का उपयोग करके दिए गए हैं:

1. "मेट्रोपोलिस-करेक्टेड" वॉक (dMALA)

कल्पना कीजिए कि आप एक संकीले, घुमावदार पहाड़ी रास्ते (डेटा डिस्ट्रीब्यूशन) पर चल रहे हैं। आप एक नया दृश्य देखने के लिए एक कदम आगे बढ़ाना चाहते हैं, लेकिन आपको रास्ते पर ही रहना है।

समस्या: यदि आप बस एक रैंडम कदम आगे बढ़ाते हैं (जैसा कि मानक AI करता है), तो आप गलती से खाई में गिर सकते हैं। गणित कहता है कि आपको रास्ते पर रहना चाहिए, लेकिन क्योंकि आप टुकड़ों में कदम उठाते हैं (डिस्क्रीटाइजेशन), आप रास्ते से भटक जाते हैं।
समाधान: लेखक इसमें एक "सुरक्षा जांच" जोड़ते हैं। आप एक कदम उठाते हैं, और फिर पूछते हैं: "क्या मैं रास्ते पर रहा?"
- यदि हाँ, तो आप कदम जारी रखते हैं।
- यदि नहीं, तो आप वापस वहीं आ जाते हैं जहाँ से आपने शुरू किया था।
परिणाम: आप नए दृश्य देखने के लिए पहाड़ी पर स्वतंत्र रूप से घूम सकते हैं, लेकिन गणितीय रूप से यह गारंटी है कि आप कभी भी किनारे से नीचे नहीं गिरेंगे। आप हमेशा एक वैध फूल के पास खड़े होते हैं, जो बस एक थोड़ा अलग फूल होता है।

2. "प्रेडिक्टर-करैक्टर" फ्लो (Predictor-Corrector Flow)

कल्पना कीजिए कि आपके पास एक असली फूल है, लेकिन आप देखना चाहते हैं कि यदि यह थोड़ा धुंधला या विकृत होता तो कैसा दिखता, और फिर इसे वापस पूर्ण स्पष्टता में कैसे लाया जाए।

चरण 1 (प्रेडिक्टर): आप जानबूझकर अपने फूल में थोड़ी सी धुंधलापन या शोर जोड़ते हैं। अब यह पूरी तरह से शार्प नहीं रहा, लेकिन फिर भी पहचानने योग्य है।
चरण 2 (करैक्टर): आप एक पहले से प्रशिक्षित "जादुई लेंस" (एक फ्लो मॉडल जो AI ने पहले ही सीख लिया है) का उपयोग करते हैं ताकि धुंधलेपन को तुरंत ठीक किया जा सके और फूल को वापस एक पूर्ण, शार्प स्थिति में लाया जा सके।
परिणाम: क्योंकि वह "जादुई लेंस" को ठीक उसी तरह के धुंधलेपन को ठीक करने के लिए प्रशिक्षित किया गया था, इसलिए फूल वापस एक वैध फूल बन जाता है। आप इसे बार-बार कर सकते हैं, जिससे फूल हर बार अलग दिखता है, लेकिन वह कभी पत्थर या बादल में नहीं बदलता।

यह एक बड़ी बात क्यों है?

पेपर दावा करता है कि इसके तीन मुख्य लाभ हैं:

कोई "बर्न-इन" समय नहीं: पुराने तरीकों में अक्सर कचरा शोर (garbage noise) से शुरू होता है और कुछ भी अच्छा बनाने से पहले उन्हें "वार्म अप" होने में बहुत समय लगता है। यह तरीका एक असली फूल (या रिट्रीव की गई इमेज) से शुरू होता है, इसलिए यह तुरंत अच्छा परिणाम देता है।
बेहतर गुणवत्ता: क्योंकि AI कभी भी "वैध फूल" वाले क्षेत्र से बाहर नहीं जाता, इसलिए इसके द्वारा बनाई गई छवियां अक्सर पुरानी शोर-से-इमेज विधियों की तुलना में अधिक शार्प और वास्तविक (कम FID स्कोर) होती हैं।
पुराने मॉडल्स का पुन: उपयोग: आपको एक नया AI शून्य से प्रशिक्षित करने की आवश्यकता नहीं है। आप एक मौजूदा, शक्तिशाली AI मॉडल (जैसे SoFlow या SiT) ले सकते हैं और बस इन नए "हिलाने-डुलाने वाले" नियमों को उसके ऊपर लगा सकते हैं। यह एक मानक कार लेने और उसमें एक नया, स्मार्ट GPS सिस्टम जोड़ने जैसा है जो आपको सड़क पर बनाए रखता है।

निचोड़

लेखक यह नहीं कह रहे हैं कि AI आर्ट बनाने का यही एकमात्र तरीका है। वे कह रहे हैं: यदि आपके पास पहले से ही एक अच्छी इमेज है, तो शोर के साथ शून्य से शुरू करने की क्या आवश्यकता है? इसके बजाय, उस अच्छी इमेज से शुरू करें, उनके नए नियमों का उपयोग करके उसे थोड़ा बदलें, और आपको एक ताज़ा, उच्च-गुणवत्ता वाला रूपांतर प्राप्त होगा जो गारंटी के साथ वास्तविक दिखेगा।

उन्होंने सिंथेटिक आकृतियों (जैसे स्विस रोल), फूलों और हजारों ImageNet चित्रों पर इनका परीक्षण किया, और पाया कि उनके "हिलाने-डुलाने वाले" (wiggling) तरीके मानक "शोर-से-इमेज" विधियों की तुलना में लगातार बेहतर परिणाम देते हैं।

तकनीकी सारांश: कंजर्वेटिव फ्लो (Conservative Flows)

समस्या विवरण (Problem Statement)

आधुनिक जनरेटिव मॉडलिंग मुख्य रूप से ट्रांसपोर्ट (परिवहन) के प्रतिमान (paradigm) द्वारा परिभाषित है: एक सरल संदर्भ वितरण (आमतौर पर गाऊसी शोर/Gaussian noise) से एक जटिल डेटा वितरण तक मैपिंग सीखना। जबकि स्कोर-आधारित और फ्लो-आधारित डिफ्यूजन मॉडल ने एक फॉरवर्ड नॉइज़िंग प्रक्रिया को उलटकर अत्याधुनिक परिणाम प्राप्त किए हैं, यह दृष्टिकोण स्वाभाविक रूप से मध्यवर्ती वितरणों के एक परिवार में एक वैश्विक ट्रांसपोर्ट मैप सीखने की आवश्यकता रखता है।

लेखक इन मॉडलों में उपयोग किए जाने वाले निरंतर-समय गतिकी (continuous-time dynamics) के विविक्तीकरण (discretization) में एक मौलिक सीमा की पहचान करते हैं। विशेष रूप से, जबकि निरंतर-समय लैंग्विन गतिकी (Langevin dynamics) सैद्धांतिक रूप से लक्षित डेटा वितरण $p$ को एक अपरिवर्तनीय माप (invariant measure) के रूप में संरक्षित करती है, उनके स्पष्ट असतत-समय सन्निकटन (जैसे, अनएडजस्टेड लैंग्विन एल्गोरिदम, ULA) इसे सटीक रूप से करने में विफल रहते हैं। विविक्तीकरण त्रुटि (discretization error) के कारण उत्पन्न नमूने समय के साथ वास्तविक डेटा मैनिफोल्ड से दूर चले जाते हैं, जिससे इस आवश्यकता का उल्लंघन होता है कि जनरेशन प्रक्रिया प्रत्येक चरण में डेटा वितरण के भीतर बनी रहे।

इसके अलावा, लेखक तर्क देते हैं कि कई व्यावहारिक सेटिंग्स में—जैसे कि ऑगमेंटेड रिट्रीवल सिस्टम या लेटेंट जनरेटिव पाइपलाइन्स—जनरेशन आवश्यक रूप से "सूचना-रहित" शोर अवस्था से शुरू नहीं होता है। इसके बजाय, वैध प्रारंभिक अवस्थाएं रिट्रीव किए गए डेटा पॉइंट्स, निकटतम पड़ोसियों (nearest neighbors), या लेटेंट कोड्स के रूपas मौजूद हो सकती हैं जो पहले से ही लक्षित वितरण के पास या उस पर स्थित हैं। यह शोध पत्र तर्क देता है कि ऐसे परिदृश्यों के लिए, ट्रांसपोर्ट (शोर-से-डेटा) के बजाय इनवेरिएंस (डेटा-से-डेटा) की ओर एक प्रतिमान बदलाव अधिक स्वाभाविक और कुशल है।

कार्यप्रणाली (Methodology)

यह शोध पत्र कंजर्वेटिव फ्लो (Conservative Flows) प्रस्तावित करता है, एक ऐसा ढांचा जहाँ जनरेशन एक असतत स्टोकेस्टिक गतिकी द्वारा किया जाता है जो डेटा वितरण को अपरिवर्तनीय (invariant) छोड़ देता है। सिस्टम को डेटा-सपोर्टेड अवस्थाओं ( $x_0 \sim p$ ) से शुरू किया जाता है और यह हर चरण में संभाव्यता नियम को संरक्षित करते हुए विकसित होता है ( $x_j \sim p$ सभी $j \ge 1$ के लिए)।

यह ढांचा दो अलग-अलग संभाव्यता-संरक्षण तंत्र (probability-preserving mechanisms) पेश करता है जो बिना पुन: प्रशिक्षण (retraining) के मौजूदा प्रीट्रेन्ड फ्लो-मैचिंग मॉडलों पर सीधे काम कर सकते हैं:

1. करेक्टेड लैंग्विन डायनेमिक्स (dMALA)

यह विधि मेट्रोपोलिस-एडजस्टेड लैंग्विन एल्गोरिदम (MALA) को जनरेटिव मॉडलिंग के लिए अनुकूलित करती है जहाँ स्पष्ट घनत्व $p(x)$ उपलब्ध नहीं है।

तंत्र (Mechanism): यह एक सीखे गए स्कोर फील्ड $s_\theta$ या, अधिक व्यावहारिक रूप से, एक डिनोइज़र $D_\sigma$ का उपयोग करता है जिसे शोर वाले अवलोकनों से स्वच्छ नमूनों की भविष्यवाणी करने के लिए प्रशिक्षित किया गया है। डिनोइज़र सीधे उस ब्रिज से प्राप्त किया जाता है जिसका उपयोग फ्लो-मैचिंग प्रशिक्षण में किया जाता है।
सुधार (Correction): इनवेरिएंस को बहाल करने के लिए, यह विधि मेट्रोपोलिस-हेस्टिंग्स सुधार का उपयोग करती है। अज्ञात $\log p(y) - \log p(x)$ के बजाय, यह विधि वर्तमान अवस्था $x$ और प्रस्ताव $y$ के बीच के पथ के साथ कंजर्वेटिव स्कोर फील्ड (या डिनोइज़र रेसिड्यूल) के लाइन इंटीग्रेशन का उपयोग करती है।
इनवेरिएंस लक्ष्य (Invariance Target): यह तंत्र एक गाऊसी-स्मूथ्ड वितरण $p_\sigma = p * \mathcal{N}(0, \sigma^2 I)$ को संरक्षित करता है, जहाँ $\sigma$ डिनोइज़र के शोर स्तर द्वारा निर्धारित होता है।
दक्षता (Efficiency): लाइन इंटीग्रल को ट्रेपेज़ॉइडल नियम (trapezoidal rule) के साथ अनुमानित करके, स्वीकृति अनुपात (acceptance ratio) डिनोइज़र के स्क्वेर्ड रेसिड्यूल्स के एक फलन में सरल हो जाता है, जिसमें प्रति चरण केवल दो डिनोइज़र मूल्यांकन की आवश्यकता होती है।

2. प्रेडिक्टर-करैक्टर फ्लो (Predictor–Corrector Flow)

यह विधि सीधे मूल डेटा वितरण $p$ को लक्षित करती है, न कि उसके स्मूथ्ड संस्करण को।

तंत्र (Mechanism): यह एक दो-चरणीय प्रक्रिया के रूप में कार्य करता है:
1. प्रेडिक्टर (Predictor): वर्तमान नमूने $x \sim p$ में नियंत्रित मात्रा में शोर जोड़ा जाता है, जो उसे एक मध्यवर्ती "ब्रिज" वितरण $p_\tau$ (जहाँ $\tau < 1$ ) की ओर ले जाता है।
2. करैक्टर (Corrector): एक सीखा गया फ्लो मैप (या डायरेक्ट सॉल्यूशन मैप) शोर वाले नमूने को डेटा वितरण $p$ (समय $t=1$ ) तक ले जाने के लिए लागू किया जाता है।
इनवेरिएंस (Invariance): एक सटीक फ्लो मॉडल के तहत, यह कर्नेल कड़ाई से संभाव्यता-संरक्षण करने वाला है। यह विधि ब्रिज से डेटा मैनिफोल्ड पर वापस लाने के लिए फ्लो मॉडल की क्षमता पर निर्भर करती है।
लचीलापन (Flexibility): स्थानीय स्वीकार/अस्वीकार (accept/reject) प्रकृति वाले dMALA के विपरीत, यह दृष्टिकोण अस्थायी रूप से मैनिफोल्ड से हटकर और सीखा गया फ्लो के माध्यम से वापस लौटकर बड़े, गैर-स्थानीय मूव्स (non-local moves) की अनुमति देता है।

मुख्य योगदान (Key Contributions)

प्रतिमान परिवर्तन (Paradşım Shift): यह शोध पत्र जनरेटिव मॉडलिंग को "शोर से ट्रांसपोर्ट" से बदलकर "डेटा वितरण के स्थिर प्रोबिंग (stationary probing)" के रूप में पुनर्गठित करता है। केंद्रीय वस्तु एक स्टोकेस्टिक गतिकी है जो प्रासंगिक नियम को संरक्षित करती है और डेटा-सपोर्टेड अवस्थाओं से शुरू होती है।
दो संभाव्यता-संरक्षण तंत्र: लेखक दो विशिष्ट सैंपलर (dMALA और प्रेडिक्टर-करैक्टर) विकसित और औपचारिक रूप देते हैं जो मानक लैंग्विन डायनेमिक्स और फ्लो-आधारित जनरेशन की विविक्तीकरण त्रुटियों को ठीक करते हैं।
प्रीट्रेन्ड मॉडलों का पुन: उपयोग: एक महत्वपूर्ण व्यावहारिक योगदान यह है कि इनमें से किसी भी तंत्र के लिए नए जनरेटिव मॉडल को शून्य से प्रशिक्षित करने की आवश्यकता नहीं है। दोनों मौजूदा प्रीट्रेन्ड फ्लो-मैचिंग चेकपॉइंट्स (जैसे, SoFlow, SiT) से आवश्यक स्कोर, डिनोइज़र या फ्लो मैप को सीधे निकाल सकते हैं।
सैद्धांतिक सुधार: यह शोध पत्र स्पष्ट रूप से मानक लैंग्विन डायनेमिक्स के डेटा कानून को संरक्षित करने में विफल होने के मुद्दे को संबोधित करता है और लाइन इंटीग्रेशन और ब्रिज फ्लो के माध्यम से इसे सुधारने के लिए गणितीय व्युत्पन्न प्रदान करता है।

प्रयोगात्मक परिणाम (Experimental Results)

इस ढांचे को एक सिंथेटिक स्विस-रोल (Swiss-roll) टारगेट, ImageNet-256, और Oxford Flowers-102 पर सत्यापित किया गया।

सिंथेटिक टारगेट (Swiss-roll): प्रयोगों ने प्रदर्शित किया कि जबकि मानक ULA लक्षित वितरण से दूर चला जाता है, सुधारा गया डायनेमिक्स (dMALA) और प्रेडिक्टर-करैक्टर फ्लो सही मैनिफोल्ड पर बने रहते हैं, जिससे लंबे चैन के दौरान वितरण संरक्षित रहता है।
ImageNet-256:
- दोनों विधियों ने प्रीट्रेन्ड बैकबोन (SoFlow-XL/2-cond और SiT-REPA-XL) के बेसलाइन सैंपलर में लगातार सुधार किया।
- dMALA ने सबसे कम फ्रैचेट इनसेप्शन डिस्टेंस (FID) स्कोर प्राप्त किया, विशेष रूप से छोटे स्मूथिंग स्तरों ( $\sigma=0.3$ ) के साथ, जो डेटा वितरण के प्रति उच्च निष्ठा (fidelity) को दर्शाता है।
- प्रेडिक्टर-करैक्टर ने उच्च इनसेप्शन स्कोर (IS) और प्रिसिजन (Precision) प्राप्त किया, जो सुझाव देता है कि यह अधिक विविध और विशिष्ट नमूने उत्पन्न करता है, हालांकि कुछ कॉन्फ़िगरेशन में dMALA की तुलना में थोड़ा अधिक FID है।
- लॉन्ग-चेन व्यवहार (Long-Chain Behavior): दोनों विधियों ने बढ़ती चैन लंबाई ( $K$ ) के साथ क्रमिक गिरावट दिखाई, जो प्रीट्रेन्ड बैकबोन में अनुमान त्रुटियों के संचय के अनुरूप है, लेकिन बेसलाइन की तुलना में काफी बेहतर प्रदर्शन बनाए रखा।
कंप्यूटेशनल दक्षता (Computational Efficiency): प्रेडिक्टर-करैक्टर विधि को प्रत्यक्ष ODE इंटीग्रेशन के प्रतिस्पर्धी के रूप में दिखाया गया। उदाहरण के लिए, प्रेडिक्टर-करैक्टर विधि के 200 नेटवर्क फंक्शन इवैल्यूएशन (NFEs) ने उसी बैकबोन के 800-स्टेप फॉरवर्ड-यूलर इंटीग्रेशन (6.51) की तुलना में कम FID (4.91) प्राप्त किया।

महत्व और दावे (Significance and Claims)

लेखक इस कार्य को जनरेटिव मॉडलिंग के लिए एक नए प्रतिमान के रूप में प्रस्तुत करते हैं। उनका दावा है कि शोर को डेटा में बदलने के बजाय डेटा वितरण को सीखे गए डायनेमिक्स के तहत बनाए रखने के लक्ष्य को बदलकर, यह ढांचा सक्षम बनाता है:

निष्ठावान नमूना भिन्नता (Faithful Sample Variation): प्रक्रिया को उच्च-संभाव्यता वाले क्षेत्रों पर रखकर।
बेहतर डेटा फिडेलिटी: उन विविक्तीकरण त्रुटियों को ठीक करके जो मानक लैंग्विन डायनेमिक्स को प्रभावित करती हैं।
कुशल पुन: उपयोग: बिना पुन: प्रशिक्षण के मौजूदा प्रीट्रेन्ड मॉडलों को बढ़ाने की क्षमता।

शोध पत्र विनम्रतापूर्वक सीमाओं को स्वीकार करता है, यह नोट करते हुए कि सैंपलर की प्रभावशीलता अंतर्निहित प्रीट्रेन्ड फ्लो या स्कोर-आधारित मॉडल की गुणवत्ता से बंधी हुई है। स्कोर मॉडल में अनुमान त्रुटियां बार-बार कर्नेल अनुप्रयोगों के साथ संचित हो सकती हैं। इसके अतिरिक्त, वर्तमान सत्यापन निरंतर डोमेन (छवियों) तक सीमित है, और टेक्स्ट जनरेशन जैसे डिस्क्रीट डोमेन में इस प्रतिमान को विस्तारित करना भविष्य के कार्य के रूप में पहचाना गया है। लेखक इस बात पर जोर देते हैं कि उनका योगदान रिवर्स नॉइज़िंग के बजाय स्टेशनरी प्रोबिंग के आसपास व्यवस्थित एक जनरेटिव फ्रेमवर्क में संरक्षण सिद्धांतों का एकीकरण है।