🤖 machine learning

Generative Modeling via Drifting

यह शोध पत्र "ड्रिफ्टिंग मॉडल्स" (Drifting Models) को प्रस्तुत करता है, जो एक नया जनरेटिव मॉडलिंग प्रतिमान (paradigm) है जो संतुलन प्राप्त करने के लिए एक ड्रिफ्टिंग फील्ड के माध्यम से प्रशिक्षण के दौरान पुशफॉरवर्ड वितरण (pushforward distribution) को विकसित करता है, जिससे ImageNet पर 256x256 रिज़ॉल्यूशन पर अत्याधुनिक वन-स्टेप इमेज जनरेशन सक्षम होता है।

मूल लेखक: Mingyang Deng, He Li, Tianhong Li, Yilun Du, Kaiming He

प्रकाशित 2026-02-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mingyang Deng, He Li, Tianhong Li, Yilun Du, Kaiming He

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को बिल्ली की एक सटीक तस्वीर बनाना सिखाने की कोशिश कर रहे हैं।

इसे करने के पुराने तरीकों में (जैसे डिफ्यूजन मॉडल्स), रोबोट एक खाली कैनवास से शुरू करेगा जो स्टैटिक नॉइज़ (static noise) से भरा होता है। फिर वह एक छोटा सा कदम उठाएगा, थोड़ी सी नॉइज़ साफ करेगा, एक और कदम उठाएगा, थोड़ी और सफाई करेगा, और बिल्ली प्रकट होने तक इस प्रक्रिया को सैकड़ों बार दोहराएगा। यह एक पत्थर के बड़े ब्लॉक से एक बार में एक छोटा टुकड़ा काटकर मूर्ति तराशने जैसा है।

यह पेपर एक नया तरीका प्रस्तावित करता है जिसे "ड्रिफ्टिंग मॉडल्स" (Drifting Models) कहा जाता है।

पत्थर को स्टेप-दर-स्टेप तराशने के बजाय, कल्पना कीजिए कि रोबोट के पास एक जादुई "हवा" है जो नॉइज़ को सीधे एक ही सुचारू गति में बिल्ली के आकार में बदल देती है।

यहाँ बताया गया है कि यह पेपर इसे सरल अवधारणाओं में कैसे समझाता है:

1. लक्ष्य: एक बादल को आकार में धकेलना

रोबोट जिस नॉइज़ से शुरू करता है, उसे हवा में तैरते धूल के बादल के रूप में सोचें। लक्ष्य उस बादल को इस तरह धकेलना है कि वह बिल्ली के सटीक आकार में जम जाए।

पुराना तरीका: आप बादल को थोड़ा सा धकेलते हैं, रुकते हैं, आकार देखते हैं, थोड़ा और धकेलते हैं, रुकते हैं, फिर देखते हैं। आप इसे बार-बार करते हैं।
नया तरीका (ड्रिफ्टिंग): आप वह परफेक्ट हवा की दिशा और गति पता करते हैं जो उस बादल को "धूल" से "बिल्ली" में एक ही सांस में धकेल देगी।

2. गुप्त नुस्खा: "ड्रिफ्टिंग फील्ड" (The Drifting Field)

रोबोट को कैसे पता चलता है कि किस दिशा में धकेलना है? यह पेपर एक अवधारणा पेश करता है जिसे ड्रिफ्टिंग फील्ड कहा जाता है।

कल्पना कीजिए कि आप एक कमरे में दो समूहों के लोगों के साथ हैं:

समूह A (असली बिल्लियाँ): ये बिल्लियों की असली तस्वीरें हैं।
समूह B (रोबोट के चित्र): ये रोबोट द्वारा बनाए गए बिखरे हुए, धुंधले चित्र हैं।

"ड्रिफ्टिंग फील्ड" एक अदृश्य बल की तरह है जो रोबोट के चित्र को बताता है कि उसे कैसे हिलना है:

आकर्षण (Attraction): चित्र असली बिल्लियों (समूह A) की ओर एक हल्का खिंचाव महसूस करता है।
विकर्षण (Repulsion): चित्र अपने ही बुरे, धुंधले संस्करणों (समूह B) से दूर धकेला जाता है।

रोबोट हर एक चित्र के लिए इस खिंचाव और धक्के की गणना करता है। यदि चित्र एक असली बिल्ली से दूर है, तो खिंचाव मजबूत है। यदि चित्र पहले से ही अच्छा है, तो खिंचाव कमजोर है।

3. "इक्विलिब्रियम" (संतुलन का बिंदु)

जादू तब होता है जब रोबोट के चित्र इतने अच्छे हो जाते हैं कि वे असली बिल्लियों जैसे दिखने लगते हैं।

इस बिंदु पर, असली बिल्लियों का "खिंचाव" और बुरे चित्रों का "धक्का" एक-दूसरे को पूरी तरह से संतुलित कर देता है।
"हवा" चलना बंद हो जाती है क्योंकि चित्र पहले से ही सही जगह पर है।
पेपर इसे इक्विलिब्रियम (Equilibrium) कहता है। जब हवा रुक जाती है, तो रोबोट ने शोर (noise) को बिल्ली में बदलने का परफेक्ट मैप सीख लिया होता है।

4. ट्रेनिंग बनाम इन्फरेंस (सीखना बनाम करना)

यही इस पेपर का चतुर हिस्सा है:

ट्रेनिंग (सीखना): रोबोट इस "हवा" का बार-बार अनुकरण करके सीखता है। वह देखता है कि उसके चित्र असली बिल्लियों की ओर कैसे ड्रिफ्ट (बहते) होते हैं, गणित को सही करता है, और अपने दिमाग को अपडेट करता है। यह एक पुनरावृत्ति (iterative) प्रक्रिया है (इसे सीखने में समय लगता है)।
इन्फरेंस (करना): एक बार जब रोबोट ने परफेक्ट विंड मैप सीख लिया है, तो उसे अब छोटे कदम उठाने की ज़रूरत नहीं है। वह बस उस मैप को एक बार लागू करता है। वह नॉइज़ का एक झोंका लेता है, "ड्रिफ्टिंग फील्ड" को एक बार लागू करता है, और पूफ—एक परफेक्ट बिल्ली प्रकट होती है।

5. यह क्यों महत्वपूर्ण है

पेपर का दावा है कि यह तरीका एक गेम-चेंजर है क्योंकि:

गति (Speed): यह एक स्टेप में इमेज जेनरेट करता है (जिसे 1-NFE कहा जाता है)। आपको परिणाम पाने के लिए 50 या 100 स्टेप्स का इंतज़ार नहीं करना पड़ता।
गुणवत्ता (Quality): एक स्टेप होने के बावजूद, इसकी इमेज अविश्वसनीय रूप से उच्च गुणवत्ता वाली होती हैं। एक मानक टेस्ट (ImageNet) पर, इसने एक स्कोर (FID) हासिल किया जो 1.54 है, जो लगभग किसी भी सिंगल-स्टेप मेथड से बेहतर है और धीमे, मल्टी-स्टेप मेथड्स को टक्कर देता है।
बहुमुखी प्रतिभा (Versatility): यह न केवल इमेज के लिए, बल्कि रोबोट को नियंत्रित करने (जैसे कि एक रोबोटिक आर्म द्वारा वस्तुओं को उठाना) के लिए भी काम करता है, जो यह साबित करता है कि यह डेटा जेनरेट करने का एक सामान्य तरीका है।

सारांश उपमा (Summary Analogy)

पुराना तरीका (डिफ्यूजन): अंधेरे जंगल में खजाना खोजने के लिए पैदल चलने जैसा। आप एक कदम लेते हैं, अपने मैप को देखते हैं, फिर दूसरा कदम लेते हैं, फिर देखते हैं। इसमें बहुत समय लगता है।
ड्रिफ्टिंग मॉडल: एक ऐसे GPS की तरह जिसके पास पूरे रास्ते की तुरंत गणना करने की क्षमता है। आप कार में बैठते हैं, "Go" दबाते हैं, और आप एक ही स्मूथ ड्राइव में खजाने तक पहुँच जाते हैं।

यह पेपर मूल रूप से कहता है: "हमने ट्रेनिंग के दौरान उस परफेक्ट GPS रूट (ड्रिफ्टिंग फील्ड) को कैलकुलेट करने का तरीका खोज लिया है, ताकि टेस्टिंग के समय, हम बस एक बार में सीधे वहां तक जा सकें।"

तकनीकी सारांश: ड्रिफ्टिंग के माध्यम से जनरेटिव मॉडलिंग (Generative Modeling via Drifting)

समस्या विवरण (Problem Statement)

जनरेटिव मॉडलिंग मौलिक रूप से एक मैपिंग $f$ सीखने का कार्य है ताकि प्रायर डिस्ट्रीब्यूशन $p_{prior}$ (जैसे कि Gaussian शोर) का पुशफॉरवर्ड $p_{data}$ से मेल खा सके, जिसे $f\#p_{prior} \approx p_{data}$ के रूप में दर्शाया गया है। जबकि डिफ्यूजन मॉडल्स और फ्लो मैचिंग जैसे प्रचलित प्रतिमान (paradigms) इन्फरेंस के समय (inference time) पर सैंपल्स को बार-बार रिफाइन करके (जो जटिल पुशफॉरवर्ड मैप को व्यवहार्य रूपांतरणों की एक श्रृंखला में विभाजित करता है) इसे प्राप्त करते हैं, यह दृष्टिकोण प्रत्येक सैंपल के लिए कई न्यूरल नेटवर्क इवैल्यूएशन (NFE) की आवश्यकता रखता है, जिससे उच्च कम्प्यूटेशनल लागत आती है।

वन-स्टेप जनरेटर बनाने के मौजूदा प्रयास अक्सर प्री-ट्रेन्ड मल्टी-स्टेप मॉडल्स को डिस्टिल करने या प्रशिक्षण के दौरान स्टोकेस्टिक डिफरेंशियल इक्वेशंस (SDEs) या ऑर्डिनरी डिफरेंशियल इक्वेशंस (ODEs) के ट्राजेक्टरीज का अनुमान लगाने पर निर्भर करते हैं। लेखक एक नया प्रतिमान प्रस्तावित करते हैं जो इस पुनरावृत्ति (iterative) प्रक्रिया को इन्फरेंस के बजाय प्रशिक्षण समय (training time) में मौलिक रूप से स्थानांतरित कर देता है, जिससे बिना किसी SDE/ODE फॉर्मूलेशन के एक सिंगल न्यूरल फंक्शन इवैल्यूशन (1-NFE) के साथ उच्च-गुणवत्ता वाली जनरेशन संभव हो पाती है।

कार्यप्रणाली: ड्रिफ्टिंग मॉडल्स (Methodology: Drifting Models)

मुख्य योगदान ड्रिफ्टिंग मॉडल (Drifting Model) है, जो जनरेटिव मॉडलिंग को प्रशिक्षण प्रक्रिया के दौरान पुशफॉरवर्ड डिस्ट्रीब्यूशन के विकास (evolution) के रूप में तैयार करता है।

1. प्रशिक्षण-समय विकास (Training-Time Evolution)

प्रशिक्षण को केवल स्थिर लॉस (static loss) को कम करने के लिए वेट्स अपडेट करने के रूप में देखने के बजाय, लेखक इटरेटिव ऑप्टिमाइजेशन (जैसे SGD) द्वारा उत्पादित मॉडल्स के अनुक्रम $\{f_i\}$ को पुशफॉरवर्ड डिस्ट्रीब्यूशंस के एक अनुक्रम $\{q_i\}$ के रूप में देखते हैं। प्रत्येक इटरेशन में, एक सैंपल $x_i = f_i(\epsilon)$ पैरामीटर अपडेट के कारण $x_{i+1} = f_{i+1}(\epsilon)$ में अप्रत्यक्ष रूप से "ड्रिफ्ट" होता है। लक्ष्य एक ऐसा तंत्र परिभाषित करना है जहाँ यह ड्रिफ्ट स्वाभाविक रूप से वितरण $q$ को $p_{data}$ की ओर निर्देशित करे।

2. ड्रिफ्टिंग फील्ड (The Drifting Field)

इस विकास को नियंत्रित करने के लिए, लेखक एक ड्रिफ्टिंग फील्ड $V_{p,q}(x)$ पेश करते हैं, जो एक फंक्शन है जो वर्तमान जनरेटेड डिस्ट्रीब्यूशन $q$ और लक्षित डेटा डिस्ट्रीब्यूशन $p$ के आधार पर एक सैंपल $x$ के लिए विस्थापन वेक्टर (displacement vector) $\Delta x$ की गणना करता है।

साम्यावस्था स्थिति (Equilibrium Condition): फील्ड को इस तरह डिज़ाइन किया गया है कि $V_{p,q}(x) = 0$ तभी होगा जब $p = q$ हो। जब डिस्ट्रीब्यूशंस मेल खाते हैं, तो सैंपल्स ड्रिफ्ट करना बंद कर देते हैं, और साम्यावस्था प्राप्त कर लेते हैं।
एंटी-सिमेट्री (Anti-Symmetry): फील्ड इस गुण को संतुष्ट करता है कि $V_{p,q}(x) = -V_{q,p}(x)$ । यह गुण सुनिश्चित करता है कि यदि डिस्ट्रीब्यूशंस को बदल दिया जाए, तो ड्रिफ्ट की दिशा उलट जाती है, जिससे गारंटी मिलती है कि $p=q$ होने पर $V=0$ होगा।

3. आकर्षण और प्रतिकर्षण के माध्यम से इंस्टेंशिएशन (Instantiation via Attraction and Repulsion)

उपयोग किया गया विशिष्ट ड्रिफ्टिंग फील्ड मीन-शिफ्ट एल्गोरिदम से प्रेरित है और इसे $p$ के पॉजिटिव सैंपल्स और $q$ के नेगेटिव सैंपल्स का उपयोग करके बनाया गया है:
$V_{p,q}(x) = V^+_p(x) - V^-_q(x)$
जहाँ:

$V^+_p(x)$ एक आकर्षक (attractive) बल है जो $x$ को डेटा डिस्ट्रीब्यूशन $p$ की ओर खींचता है।
$V^-_q(x)$ एक प्रतिकर्षक (repulsive) बल है जो $x$ को जनरेटेड डिस्ट्रीब्यूशन $q$ से दूर धकेलता है।
ये बल एक कर्नेल फंक्शन $k(x, y)$ (विशेष रूप से $\ell_2$ दूरी पर आधारित एक्सपोनेंशियल कर्नेल) का उपयोग करते हैं और स्थिरता सुनिश्चित करने के लिए सॉफ्टमैक्स ऑपरेशन्स के माध्यम से सामान्यीकृत (normalize) किए जाते हैं।

4. प्रशिक्षण उद्देश्य (Training Objective)

प्रशिक्षण उद्देश्य साम्यावस्था पर फिक्स्ड-पॉइंट संबंध से प्राप्त किया गया है: $f(\epsilon) = f(\epsilon) + V_{p,q}(f(\epsilon))$ । लॉस फंक्शन वर्तमान प्रेडिक्शन और एक "फ्रोजन टारगेट" (प्रेडिक्शन प्लस ड्रिफ्ट) के बीच की दूरी को कम करता है:
$L = \mathbb{E}_{\epsilon} \left[ \| f_\theta(\epsilon) - \text{stopgrad}(f_\theta(\epsilon) + V_{p,q}(f_\theta(\epsilon))) \|^2 \right]$
यह फॉर्मूलेशन ऑप्टिमाइज़र को सैंपल्स को उनके ड्रिफ्टेड वर्जन्स की ओर ले जाकर डिस्ट्रीब्यूशन को विकसित करने की अनुमति देता। महत्वपूर्ण रूप से, ग्रेडिएंट स्वयं डिस्ट्रीब्यूशन $q$ के माध्यम से बैकप्रोपैगेट नहीं होता है, जिससे डिस्ट्रीब्यूशंस को डिफरेंशिएट करने की जटिलताओं से बचा जा सकता है।

5. फीचर स्पेस और गाइडेंस (Feature Space and Guidance)

फीचर स्पेस: हाई-डायमेंशनल डेटा को संभालने के लिए, ड्रिफ्टिंग लॉस को एक प्री-ट्रेन्ड सेल्फ-सुपरवाइज्ड एनकोडर (जैसे ResNet-स्टाइल MAE) का उपयोग करके एक फीचर स्पेस में कंप्यूट किया जाता है। यह सुनिश्चित करता है कि सिमेंटिक रूप से समान सैंपल्स पास रहें, जिससे समृद्ध ग्रेडिएंट सिग्नल मिलते हैं।
क्लासिफायर-फ्री गाइडेंस (CFG): यह विधि प्रशिक्षण के दौरान अनकंडीशनल डेटा सैंपल्स को नेगेटिव सैंपल डिस्ट्रीब्यूशन में मिलाकर स्वाभाविक रूप से CFG का समर्थन करती है, जिससे बिना री-ट्रेनिंग के कंट्रोलेबल जनरेशन संभव होता है।

मुख्य योगदान (Key Contributions)

नया प्रतिमान: "ड्रिफ्टिंग मॉडल्स" पेश करता है, एक ऐसा फ्रेमवर्क जहाँ पुशफॉरवर्ड डिस्ट्रीब्यूशन प्रशिक्षण समय के दौरान विकसित होता है, जिससे इन्फरेंस के दौरान पुनरावृत्ति की आवश्यकता समाप्त हो जाती है।
ड्रिफ्टिंग फील्ड: एक नवीन लॉस मैकेनिज्म प्रस्तावित करता है जो आकर्षण (attraction to data) और प्रतिकर्षण (repulsion from current generation) द्वारा संचालित होता है, और साम्यावस्था प्राप्त करता है जब जनरेटेड और डेटा डिस्ट्रीब्यूशंस मेल खाते हैं।
स्टेट-ऑफ-द-आर्ट वन-स्टेप जनरेशन: यह प्रदर्शित करता है कि एक सिंगल-पास नेटवर्क मल्टी-स्टेप डिफ्यूजन और फ्लो-बेस्ड मॉडल्स के बराबर या उनसे बेहतर प्रदर्शन प्राप्त कर सकता है।
मोड कोलैप्स के प्रति मजबूती: खिलौना प्रयोग (toy experiments) सुझाव देते हैं कि विधि मोड कोलैप्स के प्रति मजबूत है; यदि जनरेटेड डिस्ट्रीब्यूशन एक मोड में कोलैप्स हो जाता है, तो डेटा डिस्ट्रीब्यूशन से आकर्षण अन्य मोड्स से ड्रिफ्ट को जारी रखता है, जिससे डिस्ट्रीब्यूशन को विकसित होने के लिए प्रेरित किया जाता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक ImageNet 256×256 पर लेटेंट और पिक्सेल दोनों स्पेस में ड्रिफ्टिंग मॉडल्स का मूल्यांकन करते हैं।

लेटेंट स्पेस (Latent Space): एक मानक SD-VAE टोकेनाइज़र का उपयोग करते हुए, मॉडल 1-NFE FID 1.54 प्राप्त करता है (एक बड़े L/2 मॉडल के साथ)। यह सभी पिछले वन-स्टेप मेथड्स (जैसे iMeanFlow, AdvFlow) से बेहतर प्रदर्शन करता है और मल्टी-स्टेप डिफ्यूजन मॉडल्स (जैसे SiT-XL/2 जो 250 स्टेप्स के साथ 2.06 FID प्राप्त करता है) के प्रतिस्पर्धी है।
पिक्सेल स्पेस (Pixel Space): बिना लेटेंट टोकेनाइज़र के, मॉडल 1-NFE FID 1.61 प्राप्त करता है, जो पिछले पिक्सेल-स्पेस वन-स्टेप मेथड्स (जैसे StyleGAN-XL जो 2.30 FID प्राप्त करता है) से काफी बेहतर है और मल्टी-स्टेप पिक्सेल-स्पेस मॉडल्स के प्रतिस्पर्धी है।
रोबोटिक्स कंट्रोल (Robotics Control): डिफ्यूजन पॉलिसी सेटिंग में, वन-स्टेप ड्रिफ्टिंग मॉडल विभिन्न रोबोटिक मैनिपुलेशन कार्यों पर मल्टी-स्टेप डिफ्यूजन पॉलिसी (100 NFE) के प्रदर्शन के बराबर या उससे बेहतर प्रदर्शन करता है।

महत्व और दावे (Significance and Claims)

यह पेपर उच्च-गुणवत्ता, कुशल जनरेटिव मॉडलिंग के लिए नए अवसर खोलने का दावा करता है। इटरेटिव न्यूरल नेटवर्क ट्रेनिंग को डिस्ट्रीब्यूशन इवोल्यूशन के एक तंत्र के रूप में फिर से परिभाषित करके, यह कार्य जनरेटिव कार्यों के लिए SDE/ODE फॉर्मूलेशन की अनिवार्यता को चुनौती देता है।

लेखक इस बात पर जोर देते हैं कि उनकी विधि:

स्वाभाविक रूप से वन-स्टेप इन्फरेंस (1-NFE) की अनुमति देती है, जो परिनियोजन (deployment) के समय कम्प्यूटेशनल लागत को काफी कम कर देती है।
प्री-ट्रेन्ड मल्टी-स्टेप मॉडल्स से डिस्टिलेशन पर निर्भर नहीं करती है, बल्कि स्क्रैच से ट्रेनिंग करती है।
डिफ्यूजन और फ्लो मैचिंग के लिए एक स्पष्ट रूप से अलग विकल्प प्रदान करती है, जो इन्फरेंस के बजाय प्रशिक्षण के दौरान अपडेट नियम ( $x_{i+1} = x_i + \Delta x_i$ ) पर ध्यान केंद्रित करती है।

लेखक अपने सैद्धांतिक गारंटियों के संबंध में विनम्र हैं, यह नोट करते हुए कि हालांकि $p=q \implies V=0$ सिद्ध है, इसका विलोम ( $V \to 0 \implies p \to q$ ) अनुभवजन्य रूप से और विशिष्ट नॉन-डेजेनरेसी धारणाओं के तहत सत्य है लेकिन किसी भी मनमाने वेक्टर फील्ड के लिए गारंटीकृत नहीं है। वे अपने कार्य को वितरण विकास तंत्रों के अन्वेषण के लिए एक शुरुआती बिंदु के रूप में देखते हैं।