🤖 machine learning

FREPix: Frequency-Heterogeneous Flow Matching for Pixel-Space Image Generation

FREPix पिक्सेल-स्पेस इमेज जनरेशन के लिए एक फ्रीक्वेंसी-हेटरोजीनियस फ्लो मैचिंग फ्रेमवर्क पेश करता है जो स्पष्ट रूप से लो- और हाई-फ्रीक्वेंसी घटकों को अलग-अलग डीकंपोज़ और ट्रेन करता है, जिससे ImageNet पर प्रतिस्पर्धी FID स्कोर प्राप्त होता है और कुशल कोर्स-टू-फाइन जनरेशन सक्षम होता है।

मूल लेखक: Mingfeng Lin, Jiakun Chen, Liang Han, Liqiang Nie

प्रकाशित 2026-05-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mingfeng Lin, Jiakun Chen, Liang Han, Liqiang Nie

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बिल्ली का यथार्थवादी (realistic) चित्र बनाने की कोशिश कर रहे हैं।

पुराना तरीका (लेटेंट स्पेस - Latent Space)
अधिकांश आधुनिक AI चित्रकार सीधे कैनवास पर काम नहीं करते हैं। इसके बजाय, वे पहले बिल्ली को एक छोटे, संकुचित "ब्लूप्रिंट" (एक लेटेंट स्पेस) में सिकोड़ देते हैं, उस छोटे ब्लूप्रिंट पर सारा सोचना और स्केच बनाना करते हैं, और फिर अंत में उसे वापस पूरे आकार में बड़ा करने की कोशिश करते हैं।

समस्या: यदि ब्लूप्रिंट बहुत छोटा या धुंधला है, तो अंतिम पेंटिंग धुंधली या अजीब दिखेगी, चाहे AI कितना भी अच्छा क्यों न हो। यह एक हाई-डेफिनिशन मूवी को लो-रेज़ोल्यूशन थंबनेल से पुनर्गठित करने की कोशिश करने जैसा है।

नई समस्या (पिक्सेल-स्पेस - Pixel-Space)
कुछ शोधकर्ताओं ने ब्लूप्रिंट को छोड़ दिया और सीधे पूर्ण-आकार के कैनवास पर पेंट करना शुरू कर दिया (पिक्सेल-स्पेस)। यह "धुंधले ब्लूप्रिंट" वाली समस्या से बचने के लिए किया गया। हालांकि, एक पूरे कैनवास को एक साथ पेंट करना अविश्वसनीय रूप से कठिन है। यह बिल्ली के फर, उसके कानों के आकार, बैकग्राउंड और लाइटिंग को एक ही विशाल, अराजक रंगों के छींटों में पेंट करने की कोशिश करने जैसा है। AI भ्रमित हो जाता है कि पहले क्या करना है: बड़ा आकार या बारीक विवरण?

FREPix समाधान: "फ्रीक्वेंसी" शेफ (Frequency Chef)
इस पेपर के लेखक, FREPix, ने महसूस किया कि प्राकृतिक चित्र (जैसे बिल्लियों की तस्वीरें) केवल रंगों का एक बड़ा ढेर नहीं हैं। वे दो बहुत अलग चीजों से बने होते हैं जो अलग तरह से व्यवहार करती हैं:

लो फ्रीक्वेंसी (बड़ी तस्वीर - Low Frequencies): ये चिकने, धीरे-धीरे बदलने वाले हिस्से हैं। बिल्ली का समग्र आकार, उसका रंग, और वह कहाँ बैठी है। यह "कंकाल" या "मोटा स्केच" है।
हाई फ्रीक्वेंसी (बारीक विवरण - High Frequencies): ये तेजी से बदलने वाले हिस्से हैं। मूंछों के बाल, फर की बनावट, और तीखे किनारे। यह "बारीक विवरण" है।

पेपर का तर्क है कि वर्तमान AI कंकाल और मूंछों को एक ही समय में, एक ही नियमों का उपयोग करके सीखने की कोशिश करता है। FREPix कहता है, "नहीं, चलिए उन्हें अलग तरह से देखते हैं।"

FREPix रेसिपी (यह कैसे काम करता है)

FREPix को एक बहुत ही विशिष्ट कार्यप्रवाह (workflow) वाली दो-सदस्यीय किचन टीम के रूप में सोचें:

1. "स्ट्रक्चर" शेफ (लो-फ्रीक्वेंसी)
पहले, AI केवल बड़ी तस्वीर पर ध्यान केंद्रित करता है। यह मूंछों और फर की बनावट को पूरी तरह से अनदेखा कर देता है। यह बिल्ली की एक चिकनी, धुंधली रूपरेखा (outline) बनाता है।

उपमा: कल्पना कीजिए कि एक मूर्तिकार पहले मिट्टी के एक ब्लॉक से मूर्ति का मोटा आकार उकेरता है। वे अभी आंखों या बालों की चिंता नहीं करते; वे बस मुद्रा (pose) को सही करते हैं।

2. "डिटेल" शेफ (हाई-फ्रीक्वेंसी)
एक बार जब "स्ट्रक्चर शेफ" ने मोटा रूपरेखा बना ली है, तो "डिटेल शेफ" कार्यभार संभाल लेता है। वे उस मोटी रूपरेखा को देखते हैं और केवल उसके ऊपर बारीक विवरण जोड़ते हैं।

उपमा: अब जब मूर्ति का सही आकार बन गया है, तो दूसरा कलाकार आता है और आंखें, झुर्रियां और बालों की बनावट उकेरता है। वे मुद्रा को बदलने की कोशिश नहीं करते; वे बस जो पहले से मौजूद है उसे परिष्कृत (refine) करते हैं।

3. "अलग गति" का नियम
पेपर ने यह भी देखा कि ये दोनों शेफ अलग-अलग गति से काम करते हैं।

स्ट्रक्चर (बड़ा आकार) को जल्दी समझना आसान है। AI को इसे तेजी से सीखना चाहिए।
विवरण (मूंछें) को तब तक समझना कठिन है जब तक कि आकार वहां मौजूद न हो। AI को इसे प्रक्रिया के दौरान धीरे और बाद में सीखना चाहिए।
उपमा: यह एक घर बनाने जैसा है। आप नींव डालते हैं और दीवारों का ढांचा खड़ा करते हैं (तेजी से, शुरुआत में)। आप वॉलपेपर पेंट करने या दरवाजों के हैंडल लगाने का काम तब तक शुरू नहीं करते जब तक कि घर वास्तव में खड़ा न हो जाए। FREPix इस क्रम को स्पष्ट रूप से लागू करने के लिए मजबूर करता है, बजाय इसके कि यह उम्मीद की जाए कि AI इसे संयोग से समझ लेगा।

यह एक बड़ी बात क्यों है?

पेपर का दावा है कि "बड़ी तस्वीर" को "बारीक विवरण" से अलग करके और उन्हें अपने विशेष रास्ते और नियम देने से, AI बिना किसी संकुचित ब्लूप्रिंट के सीधे पूर्ण कैनवास पर पेंट करने में बहुत बेहतर हो जाता है।

परिणाम:

बेहतर गुणवत्ता: एक मानक परीक्षण (ImageNet) पर, उनकी विधि ने ऐसे चित्र बनाए जो बहुत शार्प और यथार्थवादी थे, जो "ब्लूप्रिंट" दृष्टिकोण का उपयोग करने वाली सर्वोत्तम विधियों के साथ प्रतिस्पर्धा करते हैं।
तेजी से सीखना: AI ने अन्य पिक्सेल-आधारित विधियों की तुलना में बहुत तेजी से अच्छी पेंटिंग करना सीख लिया। अच्छे परिणाम प्राप्त करने के लिए इसे लंबे समय तक प्रशिक्षण की आवश्यकता नहीं थी।
दक्षता (Efficiency): इसने अन्य डायरेक्ट-पेंटिंग विधियों की तुलना में कम कंप्यूटर पावर का उपयोग करके उच्च गुणवत्ता वाले चित्र बनाए।

संक्षेप में:
FREPix छवियों को उत्पन्न करने का एक नया तरीका है। पूरी तस्वीर को एक साथ सीखने या चित्र को एक छोटे ब्लूप्रिंट में सिकोड़ने के बजाय, यह छवि को "बड़ी आकृतियों" और "बारीक विवरणों" में तोड़ देता है। यह AI को पहले आकृतियाँ बनाना सिखाता है, और फिर दूसरे चरण में विवरण जोड़ना सिखाता है, जिसमें प्रत्येक के लिए अलग-अलग नियम होते हैं। यह AI को स्मार्ट, तेज और सीधे शून्य से उच्च-गुणवत्ता वाली छवियां बनाने में सक्षम बनाता है।

तकनीकी सारांश: FREPix

समस्या विवरण

यद्यपि इमेज जनरेशन के लिए लेटेंट-स्पेस डिफ्यूजन मॉडल अपनी दक्षता के कारण प्रमुख प्रतिमान बन गए हैं, वे एक संरचनात्मक बाधा (bottleneck) पेश करते हैं: जनरेशन की गुणवत्ता डेटा को कंप्रेस करने के लिए उपयोग किए जाने वाले वेरिएशनल ऑटोएनकोडर्स (VAEs) की पुनर्निर्माण निष्ठा (reconstruction fidelity) द्वारा सख्ती से सीमित होती है। इसने पिक्सेल-स्पेस जनरेशन में फिर से रुचि जगाई है, जहाँ मॉडल प्रतिनिधित्व संबंधी आर्टिफैक्ट्स (representation artifacts) से बचने के लिए सीधे रॉ इमेजेस पर कार्य करते हैं। हालाँकि, मौजूदा पिक्सेल-स्पेस विधियाँ मुख्य रूप से इमेज जनरेशन को एक फ्रीक्वेंसी-होमोजेनियस प्रक्रिया के रूप में मानती हैं। वे पूरी इमेज को एक सिंगल स्टेट और एक साझा इंटरपोलेशन पाथ के साथ मॉडल करती हैं, जो अप्रत्यक्ष रूप से नेटवर्क पर वैश्विक संरचनाओं (लो-फ्रीक्वेंसी) और सूक्ष्म विवरणों (हाई-फ्रीक्वेंसी) के बीच अलगाव खोजने के लिए निर्भर करती हैं। यह दृष्टिकोण इमेज फॉर्मेशन के विशिष्ट सांख्यिकीय गुणों, ऊर्जा वितरण और लर्निंग डायनेमिक्स की अनदेखी करता है, जिससे जनरेशन प्रक्रिया पर एक अनावश्यक रूप से प्रतिबंधात्मक इंडक्टिव बायस (inductive bias) लागू होता है।

कार्यप्रणाली: FREPix

लेखक FREPix (FREquency-heterogeneous flow matching) का प्रस्ताव करते हैं, जो एक ऐसा फ्रेमवर्क है जो पूरे पाइपलाइन के दौरान पिक्सेल-स्पेस इमेज जनरेशन को लो- और हाई-फ्रीक्वेंसी घटकों में स्पष्ट रूप से विभाजित करता है। यह कार्यप्रणाली चार प्रमुख नवाचारों से बनी है:

1. फ्रीक्वेंसी-डिकम्पोज्ड स्टेट स्पेस और हेटेरोजीनियस इंटरपोलेशन

इमेज $x_t$ को एक सिंगल होमोजेनियस स्टेट मानने के बजाय, FREPix एक ऑर्थोनॉर्मल डिस्क्रीट वेवलेट ट्रांसफॉर्म (DWT), $W$ का उपयोग करके स्टेट को रीपैरामीटराइज़ करता है। इमेज को एक लो-फ्रीक्वेंसी सब-स्टेट $l_t$ (स्ट्रक्चर) और एक हाई-फ्रीक्वेंसी सब-स्टेट $h_t$ (डिटेल) में विभाजित किया जाता है।
महत्वपूर्ण रूप से, यह फ्रेमवर्क इन सब-स्टेट्स के लिए हेटेरोजीनियस इंटरपोलेशन पाथ्स असाइन करता है। सभी फ्रीक्वेंसी के लिए एक सिंगल साझा शेड्यूल लागू करने के बजाय, FREPix लो- और हाई-फ्रीक्वेंसी घटकों के लिए अलग-अलग स्ट्रिक्टली इंक्रीजिंग शेड्यूल्स, $g_l(t)$ और $g_h(t)$ को परिभाषित करता है:
$l_t = g_l(t) l + (1 - g_l(t)) \epsilon_l$
$h_t = g_h(t) h + (1 - g_h(t)) \epsilon_h$
यह ट्रांसपोर्ट डायनेमिक्स को इमेज फॉर्मेशन की प्राकृतिक विषमता (asymmetry) को प्रतिबिंबित करने की अनुमति देता है, जहाँ सूक्ष्म विवरणों को परिष्कृत करने से पहले वैश्विक संरचना स्थापित की जाती है। लेखक सिद्ध करते हैं कि यह हेटेरोजीनियस इंटरपोलेशन स्टैंडर्ड फ्लो मैचिंग का एक सिद्धांत आधारित विस्तार है, जो निरंतरता समीकरण (continuity equation) की वैधता और सीखने की क्षमता को बनाए रखता है।

2. स्पष्ट आर्किटेक्चरल डिकपलिंग के माध्यम से फैक्टराइज्ड जेनेरेटिव मॉडलिंग

डिकम्पोज्ड ट्रांसपोर्ट को वापस एक यूनिफाइड प्रेडिक्शन समस्या में ढहने (collapse) से रोकने के लिए, FREPix एक स्पष्ट रूप से डिकपल्ड आर्किटेक्चर का उपयोग करता है। जनरेशन टारगेट को दो विशिष्ट मॉड्यूल में फैक्टराइज किया गया है:

स्ट्रक्चर प्रेडिक्टर ( $f_\phi$ ): एक डिफ्यूजन ट्रांसफॉर्मर (DiT) जो नॉइजी लो-फ्रीक्वेंसी सब-स्टेट $l_t$ लेता है और क्लीन लो-फ्रीक्वेंसी कंपोनेंट $\hat{l}$ की भविष्यवाणी करता है। यह मॉड्यूल लॉन्ग-रेंज डिपेंडेंसी और ग्लोबल सिमेंटिक्स को कैप्चर करता है।
डिटेल रिफाइनर ( $g_\phi$ ): एक लाइटवेट, अटेंशन-फ्री डिकोडर (DeCo से अनुकूलित) जो नॉइजी हाई-फ्रीक्वेंसी सब-स्टेट $h_t$ और प्रेडिक्टेड लो-फ्रीक्वेंसी स्ट्रक्चर $\hat{l}$ को एक कंडीशन के रूप में लेता है ताकि क्लीन हाई-फ्रीक्वेंसी कंपोनेंट $\hat{h}$ की भविष्यवाणी की जा सके।

यह डिज़ाइन "कोर्स-टू-फाइन" जनरेशन को एक अप्रत्यक्ष आर्किटेक्चरल प्रवृत्ति से बदलकर एक स्पष्ट डिज़ाइन सिद्धांत में बदल देता है, जो एक कंडीशनल डिपेंडेंसी को लागू करता है जहाँ हाई-फ्रीक्वेंसी डिटेल्स को स्थापित लो-फ्रीक्वेंसी स्ट्रक्चर के आधार पर जनरेट किया जाता है।

3. फ्रीक्वेंसी-अलाइन्ड फ्लो मैचिंग ऑब्जेक्टिव

ट्रेनिंग ऑब्जेक्टिव डिकम्पोज्ड स्ट्रक्चर के साथ संरेखित है। फ्रेमवर्क नेटवर्क के क्लीन-इमेज प्रेडिक्शन ( $\hat{x}$ ) को हेटेरोजीनियस इंटरपोलेशन पाथ के आधार पर एक इंड्यूस्ड वेलोसिटी फील्ड में परिवर्तित करता है। इसके बाद एक फ्रीक्वेंसी-अवेयर लॉस को परिभाषित किया जाता है, जो लो- और हाई-फ्रीक्वेंसी वेलोसिटी एरर्स पर क्रमशः टाइम-डिपेंडेंट वेट्स $\lambda_l(t)$ और $\lambda_h(t)$ लागू करता है:
$\mathcal{L}_{FA} = \mathbb{E}_{t,x,\epsilon} \left[ \lambda_l(t) \| W_l(v_\theta - v_t) \|^2 + \lambda_h(t) \| W_h(v_\theta - v_t) \|^2 \right]$
यह मॉडल को टारगेट मार्जिनल वेलोसिटी फील्ड को बदले बिना समय के साथ ऑप्टिमाइज़ेशन की कठिनाई को पुनर्संतुलित करने की अनुमति देता है (उदाहरण के लिए, ट्राजेक्टरी के शुरुआती चरण में लो-फ्रीक्वेंसी स्ट्रक्चर को प्राथमिकता देना और बाद में हाई-फ्रीक्वेंसी रिफाइनमेंट को प्राथमिकता देना)।

4. ऑक्ज़िलरी लॉसेस (Auxiliary Losses)

फाइनल ट्रेनिंग ऑब्जेक्टिव फ्रीक्वेंसी-अलाइन्ड फ्लो मैचिंग लॉस को फीचर कंसिस्टेंसी और लोकल पैटर्न रिकवरी सुनिश्चित करने के लिए REPA और LPIPS परसेप्चुअल लॉसेस के साथ जोड़ता है।

मुख्य परिणाम

FREXPix का मूल्यांकन 256×256 और 512×512 रेजोल्यूशन पर ImageNet क्लास-टू-इमेज जनरेशन पर किया गया।

परफॉर्मेंस: 256×256 पर, FREPix-XL (674M पैरामीटर्स) 320 एपोक्स के बाद 1.91 FID और 295.6 IS प्राप्त करता है। 512×512 पर, यह 2.38 FID और 334.7 IS तक पहुँचता है। ये परिणाम स्टेट-ऑफ-द-आर्ट पिक्सेल-स्पेस मॉडल्स (जैसे DeCo, PixelDiT) के प्रतिस्पर्धी हैं और सीधे पिक्सेल पर काम करने के बावजूद लेटेंट-स्पेस मॉडल्स के प्रदर्शन के करीब हैं।
ट्रेनिंग एफिशिएंसी: मॉडल ट्रेनिंग के शुरुआती चरणों में मजबूत प्रदर्शन प्रदर्शित करता है। केवल 80 एपोक्स के बाद, यह 2.29 FID प्राप्त करता है, जो समान चरणों में अन्य पिक्सेल-स्पेस बेसलाइन्स को पीछे छोड़ देता है।
सैंपलिंग एफिशिएंसी: FREPix लो-NFE (Number of Function Evaluations) रिजीम में उत्कृष्ट है। 25-स्टेप यूलर सैंपलिंग के तहत, यह 2.59 FID प्राप्त करता है, जो DeCo (3.30) और PixNerd (3.28) से काफी बेहतर है।
कंप्यूटेशनल कॉस्ट: FREPix-XL प्रत्येक फॉरवर्ड पास में 230 GFLOPs पर संचालित होता है, जो अधिकांश हालिया पिक्सेल-स्पेस मेथड्स (जैसे PixelFlow 5818 GFLOPs) की तुलना में कम है और लेटेंट-स्पेस मॉडल्स (जैसे DiT 238 GFLOPs) के प्रतिस्पर्धी है, जो एक बेहतर क्वालिटी-कंप्यूटेशन ट्रेड-ऑफ प्रदर्शित करता है।

महत्व और दावे

पेपर का दावा है कि फ्रीक्वेंसी हेटेरोजीनिटी को स्पष्ट रूप से मॉडल करना एंड-टू-एंड पिक्सेल-स्पेस जनरेशन के लिए एक मजबूत इंडक्टिव बायस प्रदान करता है। स्टेट स्पेस, ट्रांसपोर्ट पाथ, आर्किटेक्चर और ऑब्जेक्टिव में लो- और हाई-फ्रीक्वेंसी घटकों की अलग-अलग भूमिकाओं को स्पष्ट करके, FREPix "कोर्स-टू-फाइन" जनरेशन प्रक्रिया को एक उभरते हुए व्यवहार से बदलकर एक हार्ड डिज़ाइन सिद्धांत में बदल देता है।

लेखक का कहना है कि यह दृष्टिकोण:

फ्रीक्वेंसी एंटैंगलमेंट को कम करता है: प्रेडिक्शन टारगेट्स को डिकपल करके, मॉडल प्रभावी डाइमेंशनलिटी और सांख्यिकीय जटिलता को कम करता है जिसे प्रत्येक ब्रांच को सीखना होता है, जैसा कि उनके जनरलाइजेशन बाउंड्स द्वारा समर्थित है।
सैंपलिंग एफिशिएंसी में सुधार करता है: हेटेरोजीनियस ट्रांसपोर्ट डिज़ाइन कम स्टेप्स के साथ सैंपलिंग करने के लिए विशेष रूप से फायदेमंद है, जो यह सुझाव देता है कि इमेज फ्रीक्वेंसी के प्राकृतिक रिकवरी ऑर्डर के साथ इंटरपोलेशन पाथ को संरेखित करना कन्वर्जेंस को तेज करता है।
लेटेंट स्पेस का एक व्यवहार्य विकल्प प्रदान करता है: FREPix यह प्रदर्शित करता है कि पिक्सेल-स्पेस जनरेशन VAEs के रिप्रेजेंटेशनल बॉटलनेक के बिना प्रतिस्पर्धी गुणवत्ता प्राप्त कर सकता है, जबकि लेटेंट-स्पेस मेथड्स के समान कंप्यूटेशनल दक्षता बनाए रखता है।

पेपर निष्कर्ष निकालता है कि फ्रीक्वेंसी हेटेरोजीनिटी भविष्य के पिक्सेल-स्पेस जेनेरेटिव मॉडल्स को डिजाइन करने के लिए एक उपयोगी परिप्रेक्ष्य है, हालांकि यह एक्सप्लोर किए गए इंटरपोलेशन शेड्यूल्स के विशिष्ट परिवार और उपयोग किए गए वेवलेट डिकंपोजिशन की स्थिर प्रकृति के संबंध में सीमाओं को स्वीकार करता है।