🤖 machine learning

Midpoint Generative Models

यह शोध पत्र मिडपॉइंट जेनरेटिव मॉडल्स (MGM) को प्रस्तुत करता है, जो एक सिद्धांतवादी ढांचा है जो मिडपॉइंट पर फ्लो मैचिंग की समरूपता का लाभ उठाकर एक नया विसंगति मीट्रिक (discrepancy metric) परिभाषित करता है, जिससे एक सुलभ वेरिएशनल ऑब्जेक्टिव के माध्यम से प्रतिस्पर्धी वन-स्टेप जेनरेटिव मॉडल्स को प्रशिक्षित करना सक्षम होता है।

मूल लेखक: Daniil Shlenskii, Nikita Gushchin, Lev Novitskiy, Dmitry V. Dylov, Alexander Korotin

प्रकाशित 2026-05-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Daniil Shlenskii, Nikita Gushchin, Lev Novitskiy, Dmitry V. Dylov, Alexander Korotin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: एक-चरण पीढ़ी की दौड़ (The Race to One-Step Generation)

कल्पना कीजिए कि आप एक रोबोट को बिल्ली का चित्र बनाना सिखाने की कोशिश कर रहे हैं। वर्तमान में, सबसे अच्छे रोबोट (जिन्हें डिफ्यूजन मॉडल कहा जाता है) एक मूर्तिकार की तरह काम करते हैं जो संगमरमर के एक ब्लॉक को तराश कर आकृति बनाता है। वे धूल के एक विशाल, शोर वाले बादल से शुरू करते हैं और धीरे-धीरे, कदम-दर-कदम, उस शोर को हटाकर बिल्ली को प्रकट करते हैं।

समस्या क्या है? इसमें बहुत समय लगता है। रोबोट को चित्र को सही करने के लिए 20, 50, या यहाँ तक कि 100 छोटे-छोटे कदम उठाने पड़ते हैं। इस पेपर के लेखक रोबोट को एक ही कदम में बिल्ली बनाना सिखाना चाहते हैं। वे अपने इस नए तरीके को मिडपॉइंट जेनेरेटिव मॉडल्स (MGM) कहते हैं।

मूल विचार: "मिडपॉइंट" का रहस्य

उनके इस नुस्खे को समझने के लिए, कल्पना कीजिए कि एलिस और बॉब एक लंबे गलियारे के विपरीत सिरों पर खड़े हैं।

एलिस "वास्तविक डेटा" (बिल्लियों की असली तस्वीरें) का प्रतिनिधित्व करती है।
बॉब "जेनेरेटेड डेटा" (रोबोट द्वारा बिल्ली बनाने का वर्तमान प्रयास) का प्रतिनिधित्व करता है।

पारंपरिक तरीकों में, हम यह समझने की कोशिश करते हैं कि बॉब को एलिस की जगह तक कैसे पहुँचाया जाए, जबकि हम उन्हें पूरे गलियारे में चलते हुए देखते हैं। लेकिन लेखकों ने गलियारे के बीच में एक विशेष समरूपता (symmetry) खोजी है।

"मिडपॉइंट" नियम:
यदि एलिस और बॉब वास्तव में गलियारे के ठीक बीच में एक ही स्थान पर खड़े हैं (जिसका अर्थ है कि रोबोट पहले से ही परफेक्ट है), और आप उन्हें गलियारे के बीच में मिलने के लिए कहते हैं, तो वे बस वहीं खड़े रहेंगे। उन्हें हिलने की आवश्यकता नहीं होगी। उन्हें हिलने के लिए आवश्यक "बल" या "वेग" (velocity) शून्य होगा।

हालाँकि, यदि एलिस और बॉब अलग-अलग स्थानों पर हैं, और आप उन्हें बीच में मिलने के लिए कहते हैं, तो उन्हें हिलना पड़ेगा। उन्हें बीच में मिलने के लिए जिस दिशा और गति की आवश्यकता होगी, वह आपको ठीक से बताएगी कि वे एक-दूसरे से कितने अलग हैं।

लेखकों ने महसूस किया: यदि प्रक्रिया के ठीक मध्य में रोबोट का "मूव" (गति) शून्य है, तो रोबोट परफेक्ट है। यदि यह शून्य नहीं है, तो रोबोट गलत है।

समस्या: "वन-वे स्ट्रीट" का पूर्वाग्रह (The "One-Way Street" Bias)

लेखकों ने गौर किया कि यदि वे केवल बीच के हिस्से को देखते हैं, तो एक खामी पैदा हो जाती है। यदि आप गलियारे के 10% रास्ते पर देखते हैं, तो यह अनुमान लगाना आसान है कि एलिस कहाँ से शुरू हुई थी (क्योंकि वह वहीं है), लेकिन यह अनुमान लगाना कठिन है कि बॉब कहाँ से शुरू हुआ था। यह एक पूर्वाग्रह पैदा करता है, जैसे कि एक वन-वे स्ट्रीट। रोबोट भ्रमित हो जाता है क्योंकि गलियारे के किस तरफ से देखा जा रहा है, इसके आधार पर सुराग अलग-अलग दिखते हैं।

समाधान: "मैजिक फ्लिप" (The "Magic Flip")
इसे ठीक करने के लिए, लेखकों ने एक "मैजिक फ्लिप" पेश किया। एक सिक्के के उछाल की कल्पना करें:

हेड्स (Heads): हम गलियारे को सामान्य रूप से देखते हैं।
टेल्स (Tails): हम गलियारे को उल्टा कर देते हैं (टाइम रिवर्सल)।

व्यू को रैंडमली फ्लिप करके, रोबोट यह नहीं बता सकता कि कौन सा सिरा "शुरुआत" है और कौन सा "अंत"। यह गलियारे को पूरी तरह से सममित (symmetrical) बना देता है। अब, यदि रोबोट परफेक्ट है, तो जब भी आप देखेंगे, "मूव" शून्य ही होगा। यदि रोबोट अपूर्ण है, तो "मूव" गैर-शून्य होगा।

नया टूल: "मिडपॉइंट डाइवर्जेंस" (The "Midpoint Divergence")

लेखकों ने इस अवलोकन को एक गणितीय उपकरण में बदल दिया जिसे वे मिडपॉइंट डाइवर्जेंस कहते हैं।

इसे एक "कन्फ्यूजन मीटर" (Confusion Meter) के रूप में सोचें।
यदि रोबट परफेक्ट है, तो मीटर 0 दिखाएगा।
यदि रोबोट खराब है, तो मीटर उच्च संख्या दिखाएगा।

उन्होंने गणितीय रूप से सिद्ध किया कि यह मीटर विश्वसनीय है: यह केवल तभी शून्य दिखाएगा जब रोबोट वास्तव में परफेक्ट होगा। यह एक सख्त जज है जो रोबोट को धोखाधड़ी नहीं करने देता।

रोबोट को कैसे प्रशिक्षित किया जाता है

रोबोट को पूरे गलियारे में कदम-दर-कदम चलने के बजाय, वे इस "कन्फ्यूजन मीटर" का उपयोग करके उसे सीधे फिनिश लाइन तक कूदना सिखाते हैं।

सेटअप: वे प्रक्रिया के बीच में एक असली बिल्ली की फोटो (एलिस) और रोबोट की नकली बिल्ली की फोटो (बॉब) को मिलाते हैं।
फ्लिप: वे व्यू को रैंडमली फ्लिप करते हैं ताकि रोबोट दिशा का अनुमान लगाकर धोखाधड़ी न कर सके।
क्रिटिक (Critic): वे एक दूसरे AI (एक "क्रिटिक") का उपयोग करते है जो यह अनुमान लगाता है कि मिश्रण को ठीक करने के लिए रोबोट को किस दिशा में हिलने की आवश्यकता है।
खेल:
- क्रिटिक अंतर (मूव) को पहचानने में बहुत अच्छा बनने की कोशिश करता है।
- रोबोट (जेनेरेटर) क्रिटिक को चकमा देने की कोशिश करता है ताकि "मूव" शून्य हो जाए।
- वे इस खेल को बार-बार खेलते हैं। रोबोट सीधे उत्तर तक कूदना सीख जाता है क्योंकि वह "कन्फ्यूजन मीटर" को शून्य दिखाने के लिए काम कर रहा होता है।

यह क्यों महत्वपूर्ण है

गति (Speed): क्योंकि रोबोट सीधे उत्तर तक कूदना सीख जाता है, इसलिए उसे 50 कदम उठाने की आवश्यकता नहीं होती। यह एक ही कदम में काम कर सकता है।
शिक्षक की आवश्यकता नहीं: कई तेज़ तरीकों के लिए एक धीमे, परफेक्ट शिक्षक की आवश्यकता होती है जो रोबोट को दिखाए कि कैसे चलना है। यह तरीका बिना किसी प्री-ट्रेन्ड टीचर के, सीधे डेटा से रोबोट को सिखाता है।
बेहतर गुणवत्ता: "मैजिक फ्लिप" का उपयोग करके और पूरे पथ (सिर्फ बीच के हिस्से ही नहीं) को देखकर, रोबोट पिछले एक-चरण वाले तरीकों की तुलना में बारीक विवरणों को बेहतर तरीके से सीखता है।

सारांश

लेखकों ने एक नया प्रशिक्षण तरीका बनाया जिसे मिडपॉइंट जेनेरेटिव मॉडल्स कहा जाता है। उन्होंने खोजा कि यदि आप एक जेनेरेटिव प्रक्रिया के ठीक मध्य को देखते हैं, तो "मूवमेंट" शून्य ही होता है यदि शुरुआत और अंत समान हों। पूर्वाग्रह को हटाने के लिए एक रैंडम "फ्लिप" जोड़कर, उन्होंने एक सख्त गणितीय परीक्षण (मिडपॉइंट डाइवेंस) बनाया जो उन्हें एक रोबोट को एक ही कदम में उच्च-गुणवत्ता वाली छवियां उत्पन्न करने के लिए प्रशिक्षित करने की अनुमति देता है, और इसके लिए उसे गाइड करने के लिए किसी धीमे शिक्षक की आवश्यकता नहीं होती।

तकनीकी सारांश: मिडपॉइंट जेनेरेटिव मॉडल्स (MGM)

समस्या विवरण (Problem Statement)

डिफ्यूजन और फ्लो मॉडल्स जनरेटिव एआई के केंद्र में आ गए हैं, जिससे इमेज, वीडियो और ऑडियो सिंथेसिस में अनुप्रयोग संभव हुए हैं। हालांकि, व्यावहारिक तैनाती के लिए एक प्राथमिक बाधा अनुमान गति (inference speed) है; मानक डिफ्यूजन मॉडल्स को उच्च गुणवत्ता वाले सैंपल उत्पन्न करने के लिए सैकड़ों या हजारों फंक्शन इवेलुएशन (NFE) की आवश्यकता होती है। जबकि बेहतर न्यूमेरिकल सॉल्वर विकसित करने, प्री-ट्रेंड मॉडल्स को वन-स्टेप जनरेटरों में डिस्टिल करने, या संरचनात्मक गुणों का उपयोग करके शून्य से वन-स्टेप मॉडल प्रशिक्षित करने जैसे कई दृष्टिकोण मौजूद हैं—फिर भी, बिना किसी प्री-ट्रेंड "टीचर" मॉडल पर निर्भर रहे, सीधे डेटा से वन-स्टेप जनरेटरों को प्रशिक्षित करने के लिए एक सिद्धांतवादी और प्रभावी पद्धति की आवश्यकता बनी हुई है।

कार्यप्रणाली (Methodology)

यह शोध पत्र मिडपॉइंट जेनेरेटिव मॉडल्स (MGM) पेश करता है, जो लीनियर इंटरपोलेशन के साथ फ्लो मैचिंग के एक विशिष्ट सिमेट्री गुण पर आधारित वन-स्टेप जेनेरेटिव मॉडल्स को प्रशिक्षित करने का एक ढांचा है।

मुख्य अंतर्दृष्टि: मिडपॉइंट सिमेट्री (Core Insight: Midpoint Symmetry)

लेखक देखते हैं कि फ्लो मैचिंग में, जब दो समान एंडपॉइंट डिस्ट्रीब्यूशन ( $p_0 = p_1$ ) के बीच लीनियर पाथ $X_t = (1-t)X_0 + tX_1$ का उपयोग करके इंटरपोलेशन किया जाता है, तो मिडपॉइंट समय $t=1/2$ पर वेलोसिटी फील्ड $v_t(x)$ सटीक रूप से शून्य हो जाता है। विशेष रूप से, $v_{1/2}(x) = \mathbb{E}[X_1 - X_0 | X_{1/2} = x] = 0$ । इसके विपरीत, यदि $p_0 \neq p_1$ , तो यह फील्ड सामान्यतः गैर-शून्य होता है। यह गुण मिडपॉइंट पर वेलोसिटी फील्ड के नॉर्म (norm) को डिस्ट्रीब्यूशन के बीच अंतर के माप के रूप में कार्य करने की अनुमति देता है।

मिडपॉइंट डायवर्जेंस (The Midpoint Divergence)

इसे औपचारिक रूप देने के लिए, लेखक मिडपॉइंट डायवर्जेंस को परिभाषित करते हैं:
$D_{\text{mid}}(p_0, p_1) := \mathbb{E}_{X_{1/2}} \left[ \| \mathbb{E}_{X_0, X_1}[X_1 - X_0 | X_{1/2}] \|_2^2 \right]$
वे सिद्ध करते हैं कि यह डायवर्जेंस डेफिनेट (definite) है: यह गैर-ऋणात्मक है और यह तभी शून्य होता है जब $p_0 = p_1$ हो।

मिडपॉइंट से आगे विस्तार (Extending Beyond the Midpoint)

सभी टाइम स्टेप्स $t \in [0, 1]$ के लिए इस अवधारणा का एक साधारण विस्तार विफल हो जाता है क्योंकि नॉन-मिडपॉइंट समय पर वेलोसिटी फील्ड गैर-शून्य होता है, भले ही $p_0 = p_1$ हो, क्योंकि इसमें एक अंतर्निहित ओरिएंटेशन बायस (orientation bias) होता है (यह "भविष्य" के एंडपॉइंट की तुलना में "अतीत" को पुनर्गठित करना आसान होता है)। इसे हल करने के लिए, MGM रैंडमली फ्लिप्ड इंटरपोलेशन (randomly flipped interpolations) पेश करता है:

एक बर्नौली वेरिएबल $B \sim \text{Bernoulli}(1/2)$ यह निर्धारित करता है कि इंटरपोलेशन फॉरवर्ड ( $X_t$ ) दिशा में आगे बढ़ेगा या बैकवर्ड ( $X_{1-t}$ ) दिशा में।
ऑब्जर्वेशन फ्लिप्ड वेरिएबल $\tilde{X}_t$ है, लेकिन फ्लिप $B$ अनऑब्जर्व्ड (unobserved) रहता है।
यह सिमेट्राइजेशन सुनिश्चित करता है कि किसी भी $t$ के लिए, यदि $p_0 = p_1$ , तो कंडीशनल डिस्प्लेसमेंट फील्ड $\tilde{v}_t(x) = \mathbb{E}[X_1 - X_0 | \tilde{X}_t = x]$ शून्य हो जाता है।

इससे टाइम-इंटीग्रेटेड मिडपॉइंट डायवर्जेंस (Time-integrated Midpoint Divergence) प्राप्त होता है, जिसे $t \in [0, 1/2]$ पर सिमेट्राइज्ड डिस्प्लेसमेंट फील्ड के स्क्वेर्ड नॉर्म के इंटीग्रेशन द्वारा परिभाषित किया गया है।

स्टोकेस्टिक इंटरपुलेंट्स का सामान्यीकरण (Generalization to Stochastic Interpolants)

इस ढांचे को सिमेट्रिक स्टोकेस्टिक इंटरपुलेंट्स के रूप में और अधिक सामान्यीकृत किया गया है जिनका रूप $X_t = I_t(X_0, X_1) + \sigma_t \epsilon$ है, जहाँ इंटरपोलेशन फंक्शन $I_t$ और नॉइज़ शेड्यूल $\sigma_t$ सिमेट्री शर्तों ( $I_t(x_0, x_1) = I_{1-t}(x_1, x_0)$ और $\sigma_t = \sigma_{1-t}$ ) को पूरा करते हैं। यह एक जनरलाइज्ड मिडपॉइंट डायवर्जेंस प्रदान करता है जो एक वैध विसंगति माप (discrepancy measure) बना रहता है।

वेरिएशनल ट्रेनिंग ऑब्जेक्टिव (Variational Training Objective)

डायवर्जेंस को सीधे मिनिमाइज करना कठिन है क्योंकि वास्तविक कंडीशनल डिस्प्लेसमेंट फील्ड अज्ञात है। लेखक एक वेरिएशनल फॉर्मुलेशन निकालते हैं:
$D(p_\theta, p_{\text{data}}) = \max_{f} \int_0^{1/2} \mathbb{E} \left[ 2\langle f(\tilde{X}_t), X_1 - X_0 \rangle - \|f(\tilde{X}_t)\|_2^2 \right] dt$
जहाँ $f$ एक सीखने योग्य वेक्टर-वैल्यूड फंक्शन (एक "डिस्प्लेसमेंट फील्ड" या क्रिटिक) है। इसके परिणामस्वरूप एक मिनिमैक्स ऑब्जेक्टिव प्राप्त होता है:

$f_\psi$ (क्रिटिक) को अपडेट करना: $f_\psi$ को सिमेट्राइज्ड डिस्प्लेसमेंट फील्ड $X_1 - X_0$ को अनुमानित करने के लिए रिग्रेट करना।
$G_\theta$ (जेनेरेटर) को अपडेट करना: फिक्स्ड $f_\psi$ का उपयोग करके वेरिएशनल ऑब्जेक्टिव को मिनिमाइज करना।

जेनेरेटर $G_\theta$ लेटेंट प्रायर $z$ को $X_0$ में मैप करता है, जिसे फिर रियल डेटा $X_1$ के साथ लॉस कंप्यूट करने के लिए जोड़ा जाता है।

मुख्य योगदान (Key Contributions)

मिडपॉइंट डायवर्जेंस: लीनियर इंटरपुलेंट फ्लो मैचिंग की मिडपॉइंट सिमेट्री से व्युत्पन्न एक नए डिस्ट्रीब्यूशनल विसंगति (discrepancy) का परिचय। लेखक इसके डेफिनेटनेस (कि यह तभी शून्य होता है जब डिस्ट्रीब्यूशन समान हों) को सिद्ध करते हैं।
टाइम फ्लिप के माध्यम से सिमेट्राइजेशन: रैंडम टाइम-फ्लिपिंग के माध्यम से सभी टाइम स्टेप्स के लिए डायवर्जेंस का विस्तार, जो ओरिएंटेशन बायस को हटाता है और टाइम-इंटीग्रेटेड ऑब्जेक्टिव को सक्षम बनाता है।
जनरलाइज्ड मिडपॉइंट डायवर्जेंस: सिमेट्रिक स्टोकेस्टिक इंटरपुलेंट्स के लिए अवधारणा का सामान्यीकरण, जो विभिन्न नॉइज़ शेड्यूल्स के लिए एक लचीला ढांचा प्रदान करता है।
MGM एल्गोरिदम: एक वन-स्टेप जनरेटर के लिए एक व्यावहारिक प्रशिक्षण ढांचा जो:
- बिना किसी प्री-ट्रेंड डिफ्यूजन/फ्लो टीचर के सीधे डेटा से प्रशिक्षित होता है।
- डायवर्जेंस को अनुमानित करने के लिए एक सीखे गए डिस्प्लेसमेंट फील्ड का उपयोग करता है।
- मौजूदा वन-स्टेप मेथड्स के मुकाबले प्रतिस्पर्धी प्रदर्शन प्राप्त करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक अनकंडीशनल CIFAR-10 (32x32) जेनरेशन पर MGM का मूल्यांकन करते हैं, और 1-NFE सैंपलिंग के लिए फ्रीचेट इनसेप्शन डिस्टेंस (FID) रिपोर्ट करते हैं।

प्रदर्शन: MGM 2.27 का FID प्राप्त करता है, जो उन तरीकों में सर्वश्रेष्ठ परिणाम है जिनमें टीचर-मॉडल ट्रेनिंग सिग्नल का उपयोग नहीं किया गया है (अर्थात वे तरीके जिन्हें प्री-ट्रेंड मॉडल को डिस्टिल किए बिना शून्य से प्रशिक्षित किया गया है)। यह अन्य टीचर-फ्री अप्रोच जैसे DiffRatio-DiJS (2.39) और iCT-deep (2.51) को पछाड़ देता है।
एब्लेशन स्टडीज (Ablation Studies):
- टाइम इंटीग्रेशन: केवल मिडपॉइंट ( $t=1/2$ ) का उपयोग करने से वैध लेकिन शोर वाले (noisy) सैंपल्स मिलते हैं (क्रिटिक नॉइज़ के साथ FID ~13.55), जबकि समय के साथ इंटीग्रेशन करने से गुणवत्ता में काफी सुधार होता है (FID 2.27)।
- रैंडम फ्लिपिंग: अनफ्लप्ड (unflipped) टाइम-इंटीग्रेटेड ऑब्जेक्टिव ओरिएंटेशन बायस के कारण विफल हो जाता है (FID > 100), जो रैंडम फ्लिप की आवश्यकता की पुष्टि करता है।
- स्टोकेस्टिसिटी: इंटरपुलेंट में थोड़ी मात्रा में नॉइज़ ( $\sigma > 0$ ) स्थिर प्रशिक्षण के लिए महत्वपूर्ण है; डिटरमिनिस्टिक ब्रिजेस खराब प्रदर्शन करते हैं।
- क्रिटिक स्टोकेस्टिसिटी: जेनेरेटर और क्रिटिक के लिए नॉइज़ लेवल को अलग करने (केवल क्रिटिक के लिए नॉइज़ का उपयोग करना) से सर्वोत्तम परिणाम मिलते हैं।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि MGM जेनेरेटिव मॉडलिंग के लिए एक प्रभावी और सैद्धांतिक रूप से सुदृढ़ दृष्टिकोण प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

सैद्धांतिक आधार: यह सिमेट्रिक स्टोकेस्टिक इंटरपुलेंट्स को न केवल जेनेरेटिव पाथ के रूप में, बल्कि एंडपॉइंट डिस्ट्रीब्यूशन की तुलना करने के लिए एक डेफिनेट डायवर्जेंस के आधार के रूप में पुनर्गठित करता है।
ट्रेनिंग प्रतिमान (Training Paradigm): यह एक-चरणीय जनरेटरों को सीधे डेटा से प्रशिक्षित करने का एक सिद्धांतवादी तरीका प्रदान करता है, जिससे प्री-ट्रेंड मॉडल्स को डिस्टिल करने की जटिलता और संभावित सीमाओं से बचा जा सकता है।
प्रतिस्पर्धात्मकता: यह प्रदर्शित करता है कि इस विशिष्ट सिमेट्री पर आधारित एक विधि टीचर-फ्री वन-स्टेप जनरेटरों के बीच अत्याधुनिक (state-of-the-art) परिणाम प्राप्त कर सकती है, जो इस धारणा को चुनौती देती है कि उच्च गुणवत्ता वाले, तेज़ जेनरेशन के लिए डिस्टिलेशन अनिवार्य है।

लेखक अपनी सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि मिनिमैक्स ट्रेनिंग GANs के समान ऑप्टिमाइजेशन अस्थिरता पैदा कर सकती है, और प्रदर्शन नॉइज़ शेड्यूल और इंटरपुलेंट प्रकार जैसे डिज़ाइन विकल्पों पर निर्भर करता है। वे यह दावा नहीं करते कि वे सभी टीचर-आधारित डिस्टिलेशन मेथड्स (जैसे CTM जो 1.87 FID प्राप्त करता है) से बेहतर हैं, बल्कि खुद को शून्य से प्रशिक्षण के लिए अग्रणी विकल्प के रूप में स्थापित करते हैं।