💻 computer science

Perceptual Flow Matching for Few-Step Generative Modeling

यह शोध पत्र परसेप्चुअल फ्लो मैचिंग (PFM) का प्रस्ताव करता है, जो एक ऐसा ढांचा है जो फ्लो-मैचिंग मॉडल्स को लेटेंट स्पेस के बजाय एक परसेप्चुअल फीचर स्पेस में सुपरवाइज करता है, जिससे बिना किसी टीचर मॉडल या डिस्टिलेशन के उच्च-गुणवत्ता वाली कुछ-चरणों वाली जनरेशन (4–8 स्टेप्स) सक्षम होती है, जो रिग्रेशन ऑब्जेक्टिव को मोड-सीकिंग प्रेडिक्शन्स की ओर स्थानांतरित करके प्राप्त किया जाता है।

मूल लेखक: Chuyang Zhao, Yifei Song, Hongfa Wang, Jianlong Yuan, Yuan Zhang, Siming Fu, Zhineng Chen, Huilin Deng, Haoyang Huang, Nan Duan

प्रकाशित 2026-07-07

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Chuyang Zhao, Yifei Song, Hongfa Wang, Jianlong Yuan, Yuan Zhang, Siming Fu, Zhineng Chen, Huilin Deng, Haoyang Huang, Nan Duan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट कलाकार को बिल्ली का चित्र बनाना सिखाने की कोशिश कर रहे हैं।

पुराना तरीका (स्टैंडर्ड फ्लो मैचिंग):
परंपरागत रूप से, आप रोबोट को बिल्ली का एक धुंधला, शोर वाला (noisy) संस्करण दिखाते हैं और उससे पूछते हैं कि वह अंतिम, स्पष्ट बिल्ली कैसी दिखेगी। रोबोट यह अनुमान लगाने की कोशिश करता है कि उसने देखी गई सभी बिल्लियों का "औसत" क्या होगा।

समस्या: यदि आप रोबोट से केवल एक या दो त्वरित अनुमानों में यह करने के लिए कहते हैं (जो कि हम चाहते हैं), तो वह आलसी हो जाता है। एक विशिष्ट, स्पष्ट बिल्ली चुनने के बजाय, वह एक "धुंधला औसत" बनाता है जो हजारों अलग-अलग बिल्लियों का मिश्रण है। यह बिल्कुल वैसा ही है जैसे इंद्रधनुष के सभी रंगों को आपस में मिला देने से एक गंदा भूरा रंग प्राप्त होता है। इस गंदे भूरे रंग को ठीक करने के लिए, रोबोगी को आमतौर पर छवि को तेज करने के लिए 35 से 50 छोटे, सावधानीपूर्ण चरणों की आवश्यकता होती है। इसमें बहुत समय लगता है और कंप्यूटर की बहुत अधिक शक्ति खर्च होती है।

नया तरीका (परसेप्चुअल फ्लो मैचिंग - PFM):
इस शोध पत्र के लेखक, चुयांग झाओ और उनकी टीम ने एक चतुर शॉर्टकट निकाला है। रोबोट से पिक्सेल (छवि बनाने वाले छोटे बिंदु) का अनुमान लगाने के बजाय, वे उससे छवि की अनुभूति या संरचना का अनुमान लगाने के लिए कहते हैं।

इसे इस तरह समझें:

मानक विधि: आप रोबोट से पूछते हैं, "इस आसमान में नीले रंग का सटीक शेड क्या है?" यदि उसका अनुमान गलत होता है, तो वह नीले रंगों का औसत निकाल देता है, और आपको एक धुंधला आसमान मिलता है।
PFM विधि: आप रोबोट से पूछते हैं, "क्या यह एक आसमान जैसा दिखता है?" आप एक विशेष "विशेषज्ञ आँख" (एक प्री-ट्रेन्ड परसेप्चुअल मॉडल) का उपयोग करते हैं जो जानता है कि एक वास्तविक आसमान कैसा महसूस होता है। यदि रोबोट एक धुंधला मिश्रण बनाता है, तो विशेषज्ञ आँख कहती है, "नहीं, यह आसमान जैसा नहीं दिखता; यह एक कचरे जैसा लग रहा है!" और यह रोबोट को एक विशिष्ट, स्पष्ट नीले आसमान को चुनने के लिए प्रेरित करती है।

यह क्यों काम करता है (द "ऑफ-मैनीफोल्ड" पेनल्टी):
पेपर बताता है कि पुराने तरीके में, रोबोट एक धुंधली, औसत छवि को एक "सस्ता" और सुरक्षित उत्तर मानता है।
नए तरीके में, "विशेषज्ञ आँख" धुंधली छवियों को बहुत "महंगा" और गलत महसूस कराती है। यह रोबोट को एक विशिष्ट, यथार्थवादी बिल्ली (एक मोड) की ओर लक्ष्य करने के लिए मजबूर करती है, न कि एक धुंधले औसत की ओर। क्योंकि रोबोट अब अपने पहले ही अनुमान से एक स्पष्ट लक्ष्य की ओर बढ़ रहा है, इसलिए उसे अपनी गलतियों को सुधारने के लिए 35 चरणों की आवश्यकता नहीं है। वह केवल 4 से 8 चरणों में एक शानदार परिणाम प्राप्त कर सकता है।

पेपर में पाए गए मुख्य लाभ:

गति: यह छवियों या वीडियो को उत्पन्न करने में लगने वाले समय को लगभग 80% कम कर देता है (लगभग 40 चरणों से घटाकर ~4-8 चरण)।
कोई अतिरिक्त शिक्षक नहीं: अन्य तेज़ तरीकों के विपरीत जिनमें एक "छात्र" रोबोट को मार्गदर्शन देने के लिए एक "शिक्षक" रोबोट (डिस्टिलेशन) की आवश्यकता होती है, PFM स्व-शिक्षित है। यह केवल इस बात को बदलता है कि रोबोट का मूल्यांकन कैसे किया जाता है।
बेहतर गुणवत्ता: पेपर दिखाता है कि PFM अन्य तेज़ तरीकों की तुलना में कम अजीब आर्टिफैक्ट्स (ग्लिच) के साथ अधिक स्पष्ट छवियां बनाता है।
बहुमुखी प्रतिभा: उन्होंने चित्र बनाने, फोटो एडिट करने और यहाँ तक कि वीडियो बनाने पर भी इसका परीक्षण किया, और यह उन सभी के लिए अच्छा काम करता है।

निष्कर्ष (The Bottom Line):
पेपर का दावा है कि पिक्सेल-परफेक्ट सटीकता की जाँच करने के बजाय "यह वास्तविक दिखता है या नहीं?" की जाँच करने के लिए एक प्री-ट्रेन्ड विशेषज्ञ आँख का उपयोग करके, हम जनरेटिव मॉडल्स को गुणवत्ता से समझौता किए बिना अविश्वसनीय रूप से तेज़ बनाना सीख सकते हैं। यह एक छात्र को चेहरे के हर एक तिल को गिनने के बजाय उसके समग्र आकार और अभिव्यक्ति के आधार पर चेहरे को पहचानने के लिए सिखाने जैसा है, जिससे वे तुरंत व्यक्ति को पहचान सकते हैं।

तकनीकी सारांश: कम-चरणों वाले जनरेटिव मॉडलिंग के लिए परसेप्चुअल फ्लो मैचिंग (Perceptual Flow Matching)

1. समस्या विवरण (Problem Statement)

फ्लो मैचिंग (FM) जनरेटिव मॉडलिंग के लिए एक शक्तिशाली ढांचा बनकर उभरा है, जो इमेज, वीडियो और एडिटिंग कार्यों में अत्याधुनिक (state-of-the-art) परिणाम प्राप्त कर रहा है। हालांकि, व्यावहारिक उपयोग उच्च अनुमान लागत (inference costs) के कारण बाधित है। डिफ्यूजन मॉडल के समान, मानक FM उच्च गुणवत्ता वाले आउटपुट प्राप्त करने के लिए आमतौर पर 35-50 सैंपलिंग स्टेप्स की आवश्यकता होती है, जिसके परिणामस्वरूप महत्वपूर्ण विलंबता (latency) और कम्प्यूटेशनल ओवरहेड होता है।

मौजूदा त्वरण रणनीतियाँ (acceleration strategies), जैसे कि प्रोग्रेसिव डिस्टिलेशन, कंसिस्टेंसी ट्रेनिंग और कंटीन्यूअस-टाइम फ्लो फील्ड मॉडलिंग, अक्सर सहायक टीचर मॉडल्स, स्कोर नेटवर्क्स या जटिल प्रशिक्षण संशोधनों पर निर्भर करती हैं। ये दृष्टिकोण अक्सर ओवरफिटिंग, मोड कोलैप्स और अवांछनीय सिंथेटिक आर्टिफ़ेक्ट्स (artifacts) उत्पन्न करने से ग्रस्त होते हैं। इसके अलावा, उन्हें अक्सर मूल प्रशिक्षण ढांचे में बड़े बदलावों की आवश्यकता होती है, जिससे कार्यान्वयन की जटिलता बढ़ जाती है।

2. कार्यप्रणाली: परसेप्चुअल फ्लो मैचिंग (PFM)

लेखक परसेप्चुअल फ्लो मैचिंग (PFM) का प्रस्ताव करते हैं, जो एक ऐसा ढांचा है जो फ्लो मैचिंग आर्किटेक्चर को संशोधित करने के बजाय, प्रशिक्षण उद्देश्य के पर्यवेक्षण स्थान (supervision space) को मौलिक रूप से बदलकर उच्च-गुणवत्ता वाले कम-चरणों वाले जनरेशन (4-8 चरण) को सक्षम बनाता है।

मुख्य तंत्र (Core Mechanism)

पारंपरिक फ्लो मैचिंग VAE लेटेंट स्पेस में प्रेडिक्टेड वेलोसिटी फील्ड और टारगेट वेलोसिटी के बीच मीन स्क्वेर्ड एरर (MSE) को कम करता है। यह यूक्लिडियन ऑब्जेक्टिव "मीन-सीकिंग" (mean-seeking) व्यवहार की ओर ले जाता है। जब पोस्टीरियर डिस्ट्रीब्यूशन $q(x_0 | x_t)$ मल्टीमॉडल होता है (जो उच्च शोर स्तरों पर सामान्य है), तो MSE के तहत इष्टतम भविष्यवाणी पोस्टीरियर मीन होती है, जो अक्सर डेटा मोड्स के बीच में स्थित होती है। इसके परिणामस्वरूप ऑफ-मैनिफोल्ड (off-manifold), धुंधले अनुमान प्राप्त होते हैं जिन्हें कुछ सैंपलिंग स्टेप्स के साथ ठीक करना कठिन होता है।

PFM इस लेटेंट-स्पेस वेलोसिटी रिग्रेशन को परसेप्चुअल रिग्रेशन से बदल देता है:

डिकोडिंग: मॉडल एक वेलोसिटी फील्ड $v_\theta(x_t, t, c)$ की भविष्यवाणी करता है और मानक इनवर्जन फॉर्मूला का उपयोग करके एक क्लीन सैंपल अनुमान $\hat{x}_0$ को रिकवर करता है।
फीचर एक्सट्रैक्शन: प्रेडिक्टेड $\hat{x}_0$ और ग्राउंड ट्रुथ $x_0$ दोनों को एक प्रीट्रेनड VAE डिकोडर $D(\cdot)$ का उपयोग करके पिक्सेल स्पेस में डिकोड किया जाता है।
परसेप्चुअल लॉस: लेटेंट वेक्टर्स की तुलना करने के बजाय, PFM प्रीट्रेनड मॉडल्स जैसे VGG, DINOv2, या ConvNeXt से निकाले गए परसेप्चुअल फीचर स्पेस $\phi(\cdot)$ में डिकोडेड इमेजेस के बीच विसंगति की गणना करता है।
$\mathcal{L}_{PFM} = \mathbb{E}_{x_0, \epsilon, t} [ d(\phi(D(\hat{x}_0)), \phi(D(x_0))) ]$
जहाँ $d(\cdot, \cdot)$ एक परसेप्चुअल डिस्टेंस मेट्रिक है।

सैद्धांतिक अंतर्दृष्टि: मीन-सीकिंग से मोड-सीकिंग की ओर बदलाव

पेपर का तर्क है कि पर्यवेक्षण स्थान (supervision space) वन-स्टेप प्रेडिक्शन की ज्यामिति को निर्धारित करता है।

यूक्लिडियन स्पेस: इसका मिनिमाइज़र पोस्टीरियर मीन है। मल्टीमॉडल परिदृश्यों में, यह औसत अक्सर एक ऑफ-मैनिफोल्ड ब्लर (धुंधलापन) होता है।
परसेप्चुअल स्पेस: प्रीट्रेनड परसेप्चुअल मॉडल्स प्राकृतिक छवियों की संरचना को एनकोड करते हैं। वे ऑफ-मैनिफोल्ड डिग्रेडेशन (जैसे ब्लर) को अत्यधिक दूरी देते हैं, जबकि वैध छवियों को एक सुसंगत मैनिफोल्ड पर रखते हैं।
परिणाम: परसेप्चुअल पर्यवेक्षण रिग्रेशन मिनिमाइज़र को "मीन-सीकिंग" से "मोड-सीकिंग" में बदल देता है। यह भविष्यवाणियों को उन परसेप्चुअली वैध सैंपल्स की ओर झुकाता है जो डेटा मैनिफोल्ड पर स्थित हैं, जिससे उन्हें मोटे (coarse), कम-चरणों वाले इंटीग्रेशन के साथ भी रिकवर करना आसान हो जाता है।

क्लासिफायर-फ्री गाइडेंस (CFG) एकीकरण

PFM स्वाभाविक रूप से क्लासिफायर-फ्री गाइडेंस को शामिल करता है। लेखक प्रशिक्षण प्रक्रिया में CFG को "बेक" (bake) करने के लिए दो रणनीतियाँ प्रस्तावित करते हैं, जिससे इन्फरेंस के दौरान अतिरिक्त अनकंडीशनल फॉरवर्ड पास की आवश्यकता समाप्त हो जाती है:

प्रेडिक्शन-साइड: लॉस कंप्यूट करने से पहले मॉडल का वेलोसिटी प्रेडिक्शन, कंडीशनल और अनकंडीशनल प्रेडिक्शंस का एक वेटेड कॉम्बिनेशन है (अनकंडीशनल ब्रांच पर स्टॉप-ग्रेडिएंट के साथ)।
टारगेट-साइड: सुपरविजन टारगेट को एक CFG-एन्हांस्ड सैंपल के रूप में बनाया जाता है, और मॉडल को सीधे इसके प्रति ऑप्टिमाइज़ किया जाता है।
अनुभवजन्य रूप से (Empirically), केवल परसेप्चुअल ऑब्जेक्टिव के साथ प्रशिक्षित PFM इन्फरेंस के समय CFG पर निर्भरता को पहले से ही कम कर देता है, हालांकि बेकिंग (baking) गाइडेंस प्रभावों को और अधिक बढ़ा सकता है।

3. प्रमुख योगदान (Key Contributions)

एक सरल पर्यवेक्षण बदलाव: PFM प्रदर्शित करता है कि लेटेंट-स्पेस पर्यवेक्षण को परसेप्चुअल-स्पेस पर्यवेक्षण से बदलना, बिना किसी डिस्टिलेशन या टीचर मॉडल के, सैंपलिंग स्टेप्स को ~40 से घटाकर 4–8 करने के लिए पर्याप्त है।
सैद्धांतिक स्पष्टीकरण: पेपर एक ज्यामितीय स्पष्टीकरण प्रदान करता है कि मानक FM में कम-चरणों वाला जनरेशन क्यों विफल होता है (ऑफ-मैनिफोल्ड एवरेजिंग) और कैसे परसेप्चुअल पर्यवेक्षण इसे ब्लरी एverages को दंडित करके ठीक करता है।
आर्टिफेक्ट में कमी: डिस्टिलेशन-आधारित तरीकों के विपरीत, जो अक्सर आर्टिफेक्ट्स या मोड कोलैप्स पेश करते हैं, PFM उच्च फिडेलिटी बनाए रखते हुए कम सिंथेटिक आर्टिफेक्ट्स उत्पन्न करता है।
स्केलेबिलिटी: यह विधि आसानी से मानक फ्लो मैचिंग पाइपलाइनों में एकीकृत हो जाती है, जिसमें केवल लॉस फंक्शन में बदलाव और एक प्रीट्रेनड परसेप्चुअल मॉडल का उपयोग आवश्यक है, जो इसे बड़े पैमाने पर प्रशिक्षण के लिए स्केलेबल बनाता है।

4. प्रायोगिक परिणाम (Experimental Results)

इमेज जनरेशन, इमेज एडिटिंग और वीडियो जनरेशन कार्यों पर व्यापक प्रयोग किए गए।

टेक्स्ट-टू-इमेज (COCO 2014 val): SD3-Medium का उपयोग करते हुए, PFM ने 8-स्टेप विधियों में स्टेट-ऑफ-द-आर्ट प्रदर्शन हासिल किया। इसने 33.93 का FID, 31.70 का CLIP स्कोर और 11.42 का HPSv3 स्कोर प्राप्त किया, जो LCM और DMD2 जैसे डिस्टिलेशन बेसलाइन्स से बेहतर है।
इमेज एडिटिंग (MagicBrush): Qwen-Image-Edit पर लागू होने पर, PFM (8 स्टेप्स, इन्फरेंस पर कोई CFG नहीं) ने 8-स्टेप बेसलाइन को काफी पीछे छोड़ दिया और CLIP-I, DINO, और L1/L2 मेट्रिक्स पर मूल 40-स्टेप मॉडल से भी बेहतर प्रदर्शन किया, जबकि CLIP-T पर समान सिमेंटिक एलाइनमेंट बनाए रखा।
टेक्स्ट-टू-वीडियो (VBench): Wan2.1-1.3B पर लागू होने पर, PFM (8 स्टेप्स) ने 8-स्टेप बेसलाइन को काफी पीछे छोड़ दिया और 35-स्टेप बेसलाइन के बराबर, और कुछ मेट्रिक्स में उससे थोड़ा बेहतर परिणाम प्राप्त किया।
एब्लेशन स्टडीज (Ablation Studies):
- सुपरविजन स्पेस: केवल परसेप्चुअल पर्यवेक्षण ने शार्प परिणाम दिए; लेटेंट-स्पेस या पिक्सेल-स्पेस रिग्रेशन के परिणामस्वरूप धुंधले आउटपुट मिले।
- परसेप्चुअल मॉडल्स: प्रीट्रेनड नेटवर्क (VGG, DINOv2, ConvNeXt) आवश्यक थे; रैंडमली इनिशियलाइज्ड नेटवर्क (RandViT) ब्लरनेस को रोकने में विफल रहे।
- ऑफ-मैनिफोल्ड पेनल्टी: पेपर एक "ऑफ-मैनिफोल्ड पेनल्टी" ( $R_\phi$ ) को मापता है, जो दिखाता है कि पर्यवेक्षण स्पेस में उच्च $R_\phi$ मानों और बेहतर कम-चरणों वाले जनरेशन प्रदर्शन के बीच एक मजबूत सहसंबंध है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि मानक फ्लो-मैचिंग प्रशिक्षण स्वाभाविक रूप से उपयुक्त रिप्रेजेंटेशन स्पेस में पर्यवेक्षित होने पर उच्च-गुणवत्ता वाले कम-चरणों वाले जनरेटर दे सकता है।

प्राथमिक महत्व इस अंतर्दृष्टि में निहित है कि सुपरविजन स्पेस प्रेडिक्शन की ज्यामिति निर्धारित करने वाला महत्वपूर्ण कारक है। यूक्लिडियन लेटेंट स्पेस से परसेप्चुअल फीचर स्पेस की ओर बढ़ने से, मॉडल ऑफ-मैनिफोल्ड एवेरेज से बचने में सक्षम होता है, जिससे प्रभावी रूप से "ब्लरी मीन" की समस्या हल हो जाती है जो कम-चरणों वाले जनरेशन को प्रभावित करती है। यह दृष्टिकोण जटिल डिस्टिलेशन पाइपलाइनों के लिए एक लाइटवेट, टीचर-फ्री विकल्प प्रदान करता है, जो यह सुझाव देता है कि कुशल जनरेटिव मॉडलिंग में भविष्य के शोध को रिप्रेजेंटेशन-अवेयर ऑब्जेक्टिव्स पर ध्यान केंद्रित करना चाहिए।

लेखक विनम्रतापूर्वक सीमाओं को नोट करते हैं: अत्यंत कम-चरणों वाले शासन (2 स्टेप्स से कम) में प्रदर्शन घट जाता है, और इष्टतम परसेप्चुअल स्पेस अभी भी एक खुला प्रश्न है। वे इन स्पेसों के लक्षण वर्णन और मजबूत वन-स्टेप जनरेशन की खोज को भविष्य के कार्य के लिए छोड़ देते हैं।