🤖 machine learning

Improving Rectified Flow with Boundary Conditions

यह शोध पत्र एक बाउंड्री-एनफोर्स्ड रेक्टिफाइड फ्लो मॉडल प्रस्तावित करता है जो अनकन्स्ट्रेंड न्यूरल नेटवर्क की सीमा को संबोधित करता है जो बाउंड्री कंडीशंस को संतुष्ट करने में विफल रहते हैं, जिससे ODE और SDE सैंपलिंग के दौरान वेलोसिटी फील्ड एस्टीमेशन त्रुटियों को कम करके ImageNet पर जेनेरेटिव मॉडलिंग प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Xixi Hu, Runlong Liao, Keyang Xu, Bo Liu, Yeqing Li, Eugene Ie, Hongliang Fei, Qiang Liu

प्रकाशित 2026-06-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xixi Hu, Runlong Liao, Keyang Xu, Bo Liu, Yeqing Li, Eugene Ie, Hongliang Fei, Qiang Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को चित्र बनाना सिखाने की कोशिश कर रहे हैं, लेकिन इसके बजाय कि आप उसे एक खाली कैनवास और ब्रश दें, आप उसे टीवी के शोर (जैसे टीवी स्नो) का एक ढेर देते हैं और उससे कहते हैं कि वह धीरे-धीरे उस शोर को बिल्ली की एक सटीक फोटो में बदल दे।

यही रेक्टिफाइड फ्लो (Rectified Flow) करता है। यह एक प्रकार का AI है जो एक "मैप" या निर्देशों का एक सेट (जिसे वेलोसिटी फील्ड कहा जाता है) सीखता है, जो शोर को ठीक से बताता है कि एक स्पष्ट छवि बनने के लिए कदम-दर-कदम कैसे आगे बढ़ना है।

समस्या: रोबोट फिनिश लाइन पर रास्ता भटक जाता है

पेपर एक विशिष्ट गड़बड़ी की पहचान करता है जो वर्तमान में इन रोबोट्स को प्रशिक्षित करने के तरीके में होती है।

प्रशिक्षण प्रक्रिया को एक दौड़ की तरह समझें जो शुरुआती रेखा (शोर) से शुरू होकर फिनिश लाइन (डेटा/छवि) तक जाती है।

शुरुआत में (समय 0): रोबोट को पता होता है कि उसे शोर से दूर जाना है।
अंत में (समय 1): रोबोट को पता होना चाहिए कि यदि वह पहले से ही एक आदर्श छवि पर है, तो उसे अब और नहीं हिलना चाहिए। उसे बस वहीं स्थिर रहना चाहिए। गणितीय रूप से, "गति" (speed) बिल्कुल छवि के अनुरूप होनी चाहिए ताकि छवि स्थिर रहे।

हालाँकि, पेपर ने पाया कि मानक AI मॉडल उन धावकों की तरह हैं जो फिनिश लाइन पार करने के बाद भी उत्साहित होकर दौड़ते रहते हैं। वे ठीक वहीं नहीं रुकते जहाँ उन्हें रुकना चाहिए। क्योंकि मॉडल इस नियम का सख्ती से पालन नहीं करता कि "छवि तक पहुँचने पर रुक जाओ," इसलिए अंत के पास उसके निर्देश अव्यवst (messy) हो जाते हैं।

इस अव्यवस्था के कारण दो बड़ी समस्याएँ होती हैं:

धुंधले परिणाम: जब AI एक तस्वीर बनाने की कोशिश करता है, तो अंतिम चरण डगमगाते हुए होते हैं, जिससे छवियां बहुत अधिक स्मूथ या कार्टून जैसी दिखने लगती हैं।
अस्थिर अराजकता: यदि आप थोड़ा "रैंडमनेस" (यादृच्छिकता) जोड़ने की कोशिश करते हैं (प्रक्रिया को अधिक लचीला बनाने के लिए), तो फिनिश लाइन के पास की त्रुटियाँ बढ़ जाती हैं, जिससे तस्वीर बहुत खराब दिखने लगती है।

समाधान: "बाउंड्री-एनफोर्स्ड" (सीमा-लक्षित) मॉडल

लेखक एक सरल समाधान प्रस्तावित करते हैं: रोबोट को फिनिश लाइन पर नियमों का पालन करने के लिए मजबूर करें।

उन्होंने मॉडल का एक नया संस्करण बनाया जिसे बाउंड्री RF मॉडल (Boundary RF Model) कहा जाता है। AI को शुरुआत और अंत में क्या करना है, इसका अनुमान लगाने देने के बजाय, उन्होंने नियमों को AI के मस्तिष्क में ही हार्ड-कोड कर दिया।

"मास्क" विधि: उन्होंने AI के निर्देशों पर एक वास्तविक "स्टॉप साइन" (रुकने का संकेत) और "गो साइन" (जाने का संकेत) लगा दिया, जिससे यह सुनिश्चित हुआ कि वह शुरुआत और अंत में बिल्कुल कैसा व्यवहार करे, यह उसे पता हो।
"सबट्रैक्शन" (घटाने की) विधि: उन्होंने गणित में बदलाव किया ताकि AI जो कुछ भी गणना करे, वह फिनिश लाइन पर अपनी त्रुटि को अपने आप घटा दे, जिससे यह गारंटी मिले कि वह ठीक वहीं रुके जहाँ उसे रुकना चाहिए।

परिणाम: अधिक स्पष्ट, साफ और विश्वसनीय

इन सीमाओं का सम्मान करने के लिए AI को मजबूर करके, पेपर दिखाता है कि परिणाम बहुत बेहतर हो जाते हैं:

बेहतर गुणवत्ता: छवियां अधिक स्पष्ट होती हैं और उनमें अधिक विवरण होता है। ImageNet नामक एक मानक परीक्षण पर, नए मॉडल ने पुराने मॉडल की तुलना में गुणवत्ता स्कोर में लगभग 8-9% का सुधार किया।
स्थिरता: AI अब "रैंडमनेस" (स्टोकेस्टिक सैंपलिंग) को बहुत बेहतर तरीके से संभाल सकता है। पहले, अंत में रैंडमनेस जोड़ने से तस्वीर खराब हो जाती थी; अब, अतिरिक्त चरणों के साथ भी तस्वीर शार्प और विस्तृत बनी रहती है।
उपयोग में आसान: लेखक इस बात पर जोर देते हैं कि यह सुधार एक सरल सॉफ्टवेयर पैच की तरह है; इसके लिए पूरे AI को फिर से बनाने की आवश्यकता नहीं है, आपको बस सीमा नियमों को लागू करने के लिए कोड की कुछ पंक्तियाँ जोड़नी होती हैं।

उपमा सारांश

कल्पना कीजिए कि आप एक दोस्त को खजाना खोजने के लिए एक भूलभुलैया (maze) के माध्यम से गाइड कर रहे हैं।

पुराना तरीका: आप अपने दोस्त से कहते हैं, "तब तक चलते रहो जब तक तुम्हें लगे कि तुम वहाँ पहुँच गए हो।" आपका दोस्त खजाने से आगे निकल सकता है, उसे गिरा सकता है, या खजाना मिलने के बाद कमरे में इधर-उधर घूम सकता है, जिससे सब गड़बड़ हो जाता है।
नया तरीका (Boundary RF): आप अपने दोस्त को एक विशिष्ट नियम देते हैं: "जब तुम खजाना देख लो, तो तुरंत रुक जाओ और स्थिर खड़े हो जाओ।"
परिणाम: आपका दोस्त बिल्कुल सही जगह पर पहुँचता है, वह उसे गिराता नहीं है, और पूरी प्रक्रिया बहुत अधिक सुचारू और विश्वसनीय होती है।

पेपर यह सिद्ध करता है कि इस सरल "वहाँ पहुँचने पर रुक जाओ" वाले नियम को जोड़ने से AI बहुत उच्च-गुणवत्ता वाली छवियां बनाता है, विशेष रूप से तब जब वे इसे जल्दी से या थोड़े रचनात्मक रैंडमनेस के साथ बनाने की कोशिश कर रहे हों।

तकनीकी सारांश: बाउंडरी कंडीशंस के साथ रेक्टिफाइड फ्लो में सुधार

समस्या विवरण

रेक्टिफाइड फ्लो (RF), जिसे फ्लो मैचिंग के रूप में भी जाना जाता है, एक शक्तिशाली जनरेटिव मॉडलिंग फ्रेमवर्क के रूप में उभरा है जो एक ऑर्डिनरी डिफरेंशियल इक्वेशन (ODE) के माध्यम से शोर वितरण (noise distribution) को लक्ष्य डेटा वितरण में बदलने के लिए एक वेलोसिटी फील्ड सीखता है। टेक्स्ट-टू-इमेज और वीडियो जनरेशन जैसे कार्यों में इसकी सफलता के बावजूद, लेखक एक महत्वपूर्ण सीमा की पहचान करते हैं: सीखा गया वेलोसिटी फील्ड अक्सर सैद्धांतिक रूप से व्युत्पन्न बाउंड्री कंडीशंस (सीमा शर्तों) को पूरा करने में विफल रहता है।

विशेष रूप से, शोर ( $t=0$ ) और डेटा ( $t=1$ ) के बीच लीनियर इंटरपोलेशन के तहत, इष्टतम वेलोसिटी फील्ड को निम्नलिखित को संतुष्ट करना चाहिए:

लेफ्ट बाउंड्री ( $t=0$ ): $\mathbf{v}(\mathbf{x}, 0) = \mathbb{E}[\mathbf{X}_1] - \mathbf{x}$
राइट बाउंड्री ( $t=1$ ): $\mathbf{v}(\mathbf{x}, 1) = \mathbf{x}$

वेलोसिटी फील्ड के मानक न्यूरल नेटवर्क पैरामीट्रिज़ेशन इन बाधाओं को स्वाभाविक रूप से लागू नहीं करते हैं। जैसा कि पेपर में विज़ुअलाइज़ किया गया है, $t=1$ पर अनुमानित वेलोसिटी, अपेक्षित आइडेंटिटी मैप से विचलित होती है। यह उल्लंघन स्टोकेस्टिक सैंपलिंग (जैसे, लैंग्विन डायनेमिक्स) के दौरान विशेष रूप से हानिकारक होता है। चूंकि ट्वीडी के फॉर्मूला (Tweedie's formula) के माध्यम से स्कोर फंक्शन का अनुमान लगाने में $(1-t)$ द्वारा विभाजन शामिल है, इसलिए $t=1$ के पास एक गलत वेलोसिटी स्कोर अनुमान को अपसारी (diverge) कर देती है। इससे सैंपलिंग अस्थिर हो जाती है, जिससे बड़े स्टेप साइज़ या नॉइज़ स्केल्स का उपयोग करने पर ओवर-स्मूथ इमेज या "कार्टूनिश" आर्टिफैक्ट्स उत्पन्न होते हैं।

कार्यप्रणाली (Methodology)

इसे संबोधित करने के लिए, लेखक बाउंड्री-एनफोर्स्ड रेक्टिफाइड फ्लो मॉडल (Boundary RF Model) का प्रस्ताव करते हैं। यह दृष्टिकोण दो अलग-अलग वेरिएंट्स के माध्यम से वेलोसिटी फील्ड पैरामीट्रिज़ेशन में बाउंड्री बाधाओं को स्पष्ट रूप से शामिल करता है:

1. मास्क-आधारित बाउंड्री RF मॉडल (Mask-based Boundary RF Model)

यह वेरिएंट वेलोसिटी फील्ड को बाउंड्री टर्म्स और एक सीखने योग्य न्यूरल नेटवर्क आउटपुट के लीनियर कॉम्बिनेशन के रूप में संरचना देकर दोनों बाउंड्री कंडीशंस ( $t=0$ और $t=1$ ) को लागू करता है:
$\mathbf{v}(\mathbf{x}, t) = g(t) \cdot (C - \mathbf{x}) + f(t) \cdot \mathbf{x} + h(t) \cdot m_\theta(\mathbf{x}, t)$
जहाँ:

$m_\theta(\mathbf{x}, t)$ एक मानक न्यूरल नेटवर्क (जैसे, U-Net या DiT) है।
$C = \mathbb{E}[\mathbf{X}_1]$ है।
$f(t), g(t), h(t)$ स्केलर फंक्शन्स हैं जिन्हें विशिष्ट बाउंड्रीज़ पर शून्य या सक्रिय होने के लिए डिज़ाइन किया गया है (जैसे, $g(1)=f(0)=h(0)=h(1)=0$ और $g(0)=f(1)=1$ )।
लेखक एक "स्टैंडर्ड कोसाइन" विकल्प का सुझाव देते हैं: $g(t) = \cos(\frac{\pi}{2}t)$ , $f(t) = \sin(\frac{\pi}{2}t)$ , और $h(t) = \sin(\pi t)$ ।

यह निर्माण गारंटी देता है कि बाउंड्री कंडीशंस डिज़ाइन द्वारा संतुष्ट हैं, चाहे न्यूरल नेटवर्क का आउटपुट कुछ भी हो।

2. सबट्रैक्शन-आधारित बाउंड्री RF मॉडल (Subtraction-based Boundary RF Model)

इस अवलोकन से प्रेरित होकर कि केवल $t=1$ कंडीशन को लागू करने से महत्वपूर्ण अनुभवजन्य लाभ मिलते हैं, लेखक एक सरल, सिंगल-बाउंड्री वेरिएंट का प्रस्ताव करते हैं:
$\mathbf{v}(\mathbf{x}, t) = \mathbf{x} + m_\theta(\mathbf{x}, t) - m_\theta(\mathbf{x}, 1)$
यह फॉर्मूलेशन स्वाभाविक रूप से $\mathbf{v}(\mathbf{x}, 1) = \mathbf{x}$ को संतुष्ट करता है क्योंकि $t=1$ पर $m_\theta(\mathbf{x}, 1)$ टर्म कैंसिल हो जाता है। हालांकि यह दृष्टिकोण डिज़ाइन सरलता और लचीलापन प्रदान करता है, इसमें एक कंप्यूटेशनल लागत आती है, क्योंकि प्रत्येक मूल्यांकन के लिए $m_\theta(\mathbf{x}, 1)$ की गणना करने के लिए एक अतिरिक्त फॉरवर्ड पास की आवश्यकता होती है।

स्टोकेस्टिक सैंपलिंग पर प्रभाव

$\mathbf{v}(\mathbf{x}, 1) = \mathbf{x}$ को लागू करके, बाउंड्री RF मॉडल यह सुनिश्चित करता है कि ट्वीडी के फॉर्मूला में अंश (numerator) $t\mathbf{v}(\mathbf{x}, t) - \mathbf{x}$ , $t \to 1$ होने पर शून्य की ओर बढ़े। यह स्कोर फंक्शन $\nabla \log \rho_t$ को अपसारी होने से रोकता है, जिससे स्टोकेस्टिक सैंपलर्स (SDE सैंपलर्स) को स्थिर किया जा सकता है और बड़े नॉइज़ स्केल्स या स्टेप साइज़ के साथ भी मजबूत जनरेशन की अनुमति मिलती है।

मुख्य योगदान (Key Contributions)

एक सीमा की पहचान: पेपर इस बात पर प्रकाश डालता है कि अनकन्स्ट्रेंड वेलोसिटी फील्ड्स रेक्टिफाइड फ्लो के सैद्धांतिक बाउंड्री कंडीशंस का उल्लंघन करते हैं, जिससे गलत ODE ट्रेजेक्टरीज और अस्थिर स्टोकेस्टिक सैंपलिंग होती है।
नया पैरामीट्रिज़ेशन: बाउंड्री RF मॉडल का परिचय, जो इन स्थितियों को लागू करने के लिए दो व्यावहारिक वेरिएंट्स (मास्क-आधारित और सबट्रैक्शन-आधारित) प्रदान करता है।
स्कोर फंक्शन्स का स्थिरीकरण: यह प्रदर्शित करना कि बाउंड्री एनफोर्समेंट सीधे $t=1$ के पास स्कोर फंक्शन को स्थिर करता है, जिससे वैनिला RF में होने वाली अपसरण (divergence) की समस्याओं को कम किया जा सकता है।
अनुभवजन्य सत्यापन: विभिन्न डेटासेट्स और मॉडल स्केल्स पर निरंतर सुधार दिखाने वाले व्यापक प्रयोग।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने डिफ्यूजन ट्रांसफॉर्मर (DiT) आर्किटेक्चर का उपयोग करके CIFAR-10 और ImageNet (256 $\times$ 256 और 512 $\times$ 512) पर अपने मॉडल्स का मूल्यांकन किया।

मात्रात्मक सुधार:
- ImageNet 256 $\times$ 256 पर, सबट्रैक्शन-आधारित बाउंड्री RF मॉडल ने 6.32 का FID (ODE सैंपलिंग) और 6.38 (SDE सैंपलिंग) प्राप्त किया, जबकि वैनिला RF बेसलाइन क्रमशः 6.87 और 6.79 थी।
- मास्क-आधारित मॉडल ने 6.63 (ODE) और 6.18 (SDE) का FID प्राप्त किया।
- दोनों डेटासेट्स में इनसेप्शन स्कोर (IS), प्रिसिजन (Precision) और रिकॉल (Recall) में भी सुधार देखा गया।
- सबट्रैक्शन-आधारित वेरिएंट ने लगातार उच्चतम IS स्कोर प्राप्त किए।
सैंपलिंग मजबूती (Sampling Robustness):
- विभिन्न नॉइज़ स्केल्स ( $c$ ) के साथ ओवरशूटिंग सैंपलर का उपयोग करने वाले प्रयोगों में, बाउंड्री RF मॉडल्स ने वैनिला RF की तुलना में काफी अधिक स्थिर प्रदर्शन और गुणवत्ता में कम गिरावट प्रदर्शित की।
- गुणात्मक परिणामों ने दिखाया कि बाउंड्री RF मॉडल्स शार्प इमेज और कम आर्टिफैक्ट्स के साथ बेहतर ऑब्जेक्ट फिडेलिटी प्रदान करते हैं, विशेष रूप से उन स्टोकेस्टिक सैंपलिंग सेटिंग्स में जहाँ वैनिला RF ओवर-स्मूथ होने लगता है।
स्केलेबिलिटी:
- बड़े मॉडल्स (DiT-L, DiT-XL) और उच्च रिज़ॉल्यूशन (512 $\times$ 512) तक स्केल करने पर बाउंड्री RF मॉडल के लाभ सुसंगत रहे।

महत्व और दावे

पेपर का दावा है कि बाउंड्री RF मॉडल रेक्टिफाइड फ्लो की एक मौलिक सीमा के लिए एक सरल, आसानी से लागू होने वाला समाधान प्रदान करता है। बाउंड्री कंडीशंस को स्पष्ट रूप से लागू करके, यह विधि:

जेनरेशन क्वालिटी में सुधार करती है: FID और अन्य मेट्रिक्स में वैनिला RF से लगातार बेहतर प्रदर्शन करती है।
स्थिर स्टोकेस्टिक सैंपलिंग सक्षम करती है: टर्मिनल टाइम के पास स्कोर फंक्शन के अपसरण को हल करती है, जिससे अधिक मजबूत सैंपलिंग रणनीतियों की अनुमति मिलती है।
अनुकूलन में आसान है: इसे न्यूनतम आर्किटेक्चरल बदलावों के साथ मौजूदा RF मॉडल्स (जैसे U-Net या DiT का उपयोग करने वाले) में एकीकृत किया जा सकता है।

लेखक इस कार्य को रेक्टिफाइड फ्लो के व्यावहारिक परिनियोजन (deployment) के लिए एक आवश्यक शोधन के रूप में प्रस्तुत करते हैं, विशेष रूप से उन परिदृश्यों में जिनमें उच्च-गुणवत्ता वाली स्टोकेस्टिक सैंपलिंग की आवश्यकता होती है। वे सुझाव देते हैं कि हालांकि उनका ध्यान RF पर है, लेकिन बाउंड्री कंडीशंस को लागू करने की मूल अवधारणा को मामूली अनुकूलन के साथ डिफ्यूजन मॉडल्स में विस्तारित किया जा सकता है। भविष्य के कार्य के रूप में एडेप्टिव बाउंड्री एनफोर्समेंट और टेक्स्ट-टू-वीडियो जनरेशन में इसके अनुप्रयोग की खोज करने का प्रस्ताव दिया गया है।