तकनीकी सारांश: स्टोकेस्टिक जनरेटिव डायनेमिक्स का नियतत्ववादी अपघटन (Deterministic Decomposition of Stochastic Generative Dynamics)

समस्या विवरण (Problem Statement)

आधुनिक जनरेटिव मॉडलिंग को तेजी से 'प्रोबेबिलिटी ट्रांसपोर्ट' के नजरिए से देखा जा रहा है, जहाँ नमूने (samples) एक सरल बेस डिस्ट्रीबशन $\pi_0$ से एक लक्षित डेटा डिस्ट्रीबशन $\pi_1$ की ओर विकसित होते हैं। नियतत्ववादी (Deterministic) मॉडल्स (जैसे, Normalizing Flows, Flow Matching), जो वेग क्षेत्र (velocity field) द्वारा नियंत्रित ODEs के माध्यम से नमूनों को विकसित करते हैं, और स्टोकेस्टिक (Stochastic) मॉडल्स (जैसे, Diffusion Models), जो ड्रिफ्ट (drift) और डिफ्यूजन (diffusion) दोनों के माध्यम से SDEs के माध्यम से नमूनों को विकसित करते हैं, के बीच एक मौलिक अंतर है।

जबकि नियतत्ववादी मॉडल सुलभ वेग क्षेत्र प्रदान करते हैं, स्टोकेस्टिक मॉडल समृद्ध घनत्व विकास (density evolution) को कैप्चर करते हैं। हालाँकि, जब स्टोकेस्टिक डायनेमिक्स को नियतत्ववादी निरूपण (जैसे, प्रोबेबिलिटी फ्लो ODEs) में पुनर्गठित किया जाता है, तो ड्रिफ्ट (दिशात्मक परिवहन) और डिफ्यूजन (घनत्व पुनर्गठन) के विशिष्ट तंत्र अक्सर एक एकल प्रभावी वेग क्षेत्र में संकुचित हो जाते हैं। यह संपीड़न नियतत्ववादी विकास बनाम स्टोकेस्टिक उतार-चढ़ाव की विशिष्ट भूमिकाओं को अस्पष्ट कर देता है, जिससे परिवहन को डिफ्यूजन-प्रेरित प्रभावों से अलग करना, विश्लेषण करना, या स्वतंत्र रूप से पुनर्संयोजित करना कठिन हो जाता है। मौजूदा दृष्टिकोण आमतौर पर स्टोकेस्टिसिटी को एक बाहरी शोर स्रोत के रूप में मानते हैं या इसे पूरी तरह से एक एकीकृत ड्रिफ्ट में समाहित कर देते हैं, जिससे परिवहन को डिफ्यूजन-प्रेरित प्रभावों से अलग करने वाला एक संरचित नियतत्ववादी निरूपण प्रदान करने में विफलता होती है।

कार्यप्रणाली: ट्रांसपोर्ट-ऑस्मोटिक अपघटन (Methodology: Transport–Osmotic Decomposition)

लेखक एक सैद्धांतिक ढांचा प्रस्तावित करते हैं जो एक स्टोकेस्टिक जनरेटिव प्रक्रिया के नियतत्ववादी वेग क्षेत्र को दो विशिष्ट, पूरक घटकों में विभाजित करता है: एक ट्रांसपोर्ट फील्ड ($u_t$) और एक ऑस्मोटिक फील्ड ($d_t$)।

1. सैद्धांतिक व्युत्पत्ति (Theoretical Derivation)

यह अपघटन स्टोकेस्टिक प्रक्रियाओं की अंतर्निहित द्विदिश संरचना से उत्पन्न होता है। एक दिए गए मार्जिनल डेंसिटी पाथ $\{\pi_t\}_{t \in [0,1]}$ के लिए, फॉरवर्ड ड्रिफ्ट $b^\to_t$ और बैकवर्ड ड्रिफ्ट $b^\leftarrow_t$ मार्जिनल स्कोर $\nabla \log \pi_t$ के माध्यम से जुड़े होते हैं। मानक नियमितता शर्तों के तहत, संबंध है:
$$b^\to_t(x) - b^\leftarrow_t(x) = \beta \nabla \log \pi_t(x)$$
जहाँ $\beta$ डिफ्यूजन गुणांक है।

लेखक इस अपघटन को निम्नानुसार परिभाषित करते हैं:

• ट्रांसपोर्ट फील्ड ($u_t$): यह सममित (symmetric) घटक है, जिसे फॉरवर्ड और बैकवर्ड ड्रिफ्ट के औसत के रूप में परिभाषित किया गया है:
  $$u_t(x) = \frac{1}{2} (b^\to_t(x) + b^\leftarrow_t(x))$$
  यह क्षेत्र निरंतरता समीकरण (continuity equation: $\partial_t \pi_t + \nabla \cdot (\pi_t u_t) = 0$) के माध्यम से मार्जिनल प्रोबेबिलिटी ट्रांसपोर्ट को नियंत्रित करता है। यह डायनेमिक्स के नियतत्ववादी बैकबोन का प्रतिनिधित्व करता है, जो डिफ्यूजन के माध्यम से स्थानीय घनत्व ज्यामिति को बदले बिना प्रोबेबिलिटी मास को स्थानांतरित करता है।
• ऑस्मोटिक फील्ड ($d_t$): यह विषम (antisymmetric) घटक है, जिसे फॉरवर्ड और बैकवर्ड ड्रिफ्ट के आधे अंतर के रूप में परिभाषित किया गया है:
  $$d_t(x) = \frac{1}{2} (b^\to_t(x) - b^\leftarrow_t(x)) = \frac{\beta}{2} \nabla \log \pi_t(x)$$
  यह क्षेत्र पूरी तरह से मार्जिनल स्कोर द्वारा निर्धारित होता है। यह डिफ्यूजन-प्रेरित, घनत्व-निर्भर प्रभावों को कैप्चर करता है (जो शास्त्रीय डिफ्यूजन सिद्धांत में ऑस्मोटिक वेलोसिटी के समान है)। यह नमूना-वार यादृच्छिकता (sample-wise randomness) का प्रतिनिधित्व नहीं करता है, बल्कि यह दर्शाता है कि डिफ्यूजन मार्जिनल डेंसिटी को कैसे नया आकार देता है।

मूल फॉरवर्ड ड्रिफ्ट को $b^\to_t = u_t + d_t$ के रूप में पुनर्गठित किया जाता है।

2. ब्रिज मैचिंग (BM) फ्रेमवर्क

इन विभाजित क्षेत्रों को सीखने के लिए, लेखक ब्रिज मैचिंग (Bridge Matching) नामक एक फ्लो-आधारित प्रशिक्षण ढांचा प्रस्तावित करते हैं। एक एकल प्रभावी वेग सीखने के बजाय, BM दो अलग-अलग न्यूरल नेटवर्क सीखता है: $u_\theta$ (ट्रांसपोर्ट) और $d_\phi$ (ऑस्मोटिक)।

प्रशिक्षण उद्देश्य एक रिग्रेशन लॉस है जो सीखे गए क्षेत्रों को लक्षित क्षेत्रों से मेल खाता है:
$$\mathcal{L}_{BM} = \mathbb{E}_{t, x_t} \left[ \| u_\theta(x_t, t) - u^*(x_t, t) \|^2 + \lambda_d \| d_\phi(x_t, t) - d^*(x_t, t) \|^2 \right]$$

लेखक $u^*$ और $d^*$ लक्ष्यों के निर्माण के लिए दो सूत्रीकरण पेश करते हैं:

• मार्जिनल ब्रिज मैचिंग (MBM): यह सीधे मार्जिनल अपघटन को लक्षित करता है। ट्रांसपोर्ट लक्ष्य $u^*$ निर्धारित पथ के लिए निरंतरता समीकरण को संतुष्ट करता है, और ऑस्मोटिक लक्ष्य $d^*$ मार्जिनल स्कोर $\nabla \log \pi_t$ से प्राप्त होता है। इसके लिए मार्जिनल स्कोर का अनुमान लगाने की आवश्यकता होती है, जो अक्सर कर्नेल डेंसिटी एस्टीमेशन (KDE) के माध्यम से किया जाता है।
• कंडीशनल ब्रिज मैचिंग (CBM): यह एक सुलभ कंडीशनल डिस्ट्रीब्यूशन $p_t(x|z)$ (जैसे, एंडपॉइंट्स के बीच एक गॉसियन इंटरपोलेशन) का उपयोग करता है ताकि स्पष्ट मार्जिनल स्कोर अनुमान से बचा जा सके। लक्ष्य कंडीशनल रूप से परिभाषित हैं: $d^*_t(x, z) = \frac{\beta_t}{2} \nabla_x \log p_t(x|z)$ और $u^*_t = v^*_t - d^*_t$। कंडीशनिंग वेरिएबल $z$ पर अपेक्षा (expectation) मार्जिनल अपघटन को पुनः प्राप्त करती है।

3. सैंपलिंग और पुनर्संयोजन (Sampling and Recombination)

इस फ्रेमवर्क की एक प्रमुख विशेषता सैंपलिंग के समय सीखे गए क्षेत्रों को पुनर्संयोजित करने की क्षमता है। फॉरवर्ड सैंपलिंग डायनेमिक्स को निम्नानुसार परिभाषित किया गया है:
$$b^{BM}_t(x) = u_\theta(x, t) + \lambda_d d_\phi(x, t)$$
जहाँ $\lambda_d$ एक ट्यून करने योग्य भार (weight) है। यह नियंत्रणीय सैंपलिंग की अनुमति देता है जहाँ डिफ्यूजन-प्रेरित ऑस्मोटिक प्रभाव के योगदान को ट्रांसपोर्ट बैकबोन से स्वतंत्र रूप से समायोजित किया जा सकता है।

मुख्य योगदान (Key Contributions)

1. ट्रांसपोर्ट–ऑस्मोटिक अपघटन: पेपर स्टोकेस्टिक जनरेटिव डायनेमिक्स के एक औपचारिक अपघटन को व्युत्पन्न करता है, यह प्रदर्शित करते हुए कि नियतत्ववादी और स्टोकेस्टिक मॉडल्स एक सामान्य मार्जिनल ट्रांसपोर्ट बैकबोन ($u_t$) साझा करते हैं लेकिन डिफ्यूजन-प्रेरित प्रभावों ($d_t$) को सैंपल डायनेमिक्स में कैसे एकीकृत किया जाता है, इसमें भिन्न होते हैं।
2. ब्रिज मैचिंग फ्रेमवर्क: लेखक एक प्रशिक्षण ढांचा प्रस्तावित करते हैं जो इन विभाजित क्षेत्रों को दोनों मार्जिनल और कंडीशनल रूपों का उपयोग करके सीखता है, जो प्रभावी रूप से स्कोर-आधारित जानकारी को फ्लो-शैली के रिग्रेशन उद्देश्यों के साथ जोड़ता है।
3. नियंत्रणीय और व्याख्या योग्य सैंपलिंग: प्रायोगिक परिणाम दिखाते हैं कि सीखे गए घटकों को विभिन्न भारों ($\lambda_d$) के साथ पुनर्संयोजित करना व्याख्या योग्य नियंत्रण प्रदान करता है। $\lambda_d$ को समायोजित करने से जनरेटेड इमेज की शार्पनेस (sharpness) और स्मूथनेस (smoothness) के बीच ट्रेड-ऑफ संभव होता है और विशिष्ट 2D ट्रांसपोर्ट कार्यों में एंडपॉइंट मैचिंग में सुधार होता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने 2D ट्रांसपोर्ट कार्यों (चेकरबोर्ड, मून्स, गॉसियन मिक्सचर) और इमेज जनरेशन बेंचमार्क (CIFAR-10, ImageNet-32, ImageNet-64) पर ब्रिज मैचिंग का मूल्यांकन किया।

• 2D ट्रांसपोर्ट: 2D कार्यों पर, BM वेरिएंट्स ने स्टैंडर्ड फ्लो मैचिंग (FM) बेसलाइन्स की तुलना में प्रतिस्पर्धी एंडपॉइंट मैचिंग हासिल की। अनुकूल ऑस्मोटिक भार $\lambda_d$ कार्य-निर्भर पाया गया; जटिल, मल्टीमॉडल लक्ष्यों के लिए, ऑस्मोटिक योगदान बढ़ाने से मैचिंग में सुधार हुआ, जबकि सरल संरचनाओं के लिए, यह प्रदर्शन को कम कर सकता था।
• इमेज जनरेशन: CIFAR-10 और ImageNet सबसेट्स पर, CBM मॉडल ने CFM-Diffusion बेसलाइन के बराबर या उससे बेहतर जनरेशन गुणवत्ता प्राप्त की। महत्वपूर्ण रूप से, सर्वोत्तम प्रदर्शन हमेशा $\lambda_d = 1$ (सैद्धांतिक पुनर्निर्माण) पर नहीं मिला, जो यह सुझाव देता है कि सैंपलिंग-टाइम पुनर्संयोजन सीमित-क्षमता वाले मॉडल्स के लिए एक उपयोगी स्वतंत्रता (degree of freedom) प्रदान करता है।
• विज़ुअलाइज़ेशन: वेक्टर फील्ड्स के विज़ुअलाइज़ेशन ने पुष्टि की कि $u_t$ सुसंगत, बड़े पैमाने के परिवहन को संचालित करता है, जबकि $d_t$ स्थानीय घनत्व पुनर्गठन के लिए जिम्मेदार संरचित, छोटे पैमाने के पैटर्न प्रदर्शित करता है। पार्टिकल-लेवल सिमुलेशन ने दिखाया कि कैसे $d_t$ ग्लोबल ट्रांसपोर्ट ट्रेंड पर हावी हुए बिना प्रोबेबिलिटी पाथ के साथ ट्रैजेक्टरीज को शिफ्ट करता है।

महत्व और दावे (Significance and Claims)

यह पेपर स्टोकेस्टिक और नियतत्ववादी जनरेटिव डायनेमिक्स पर एक एकीकृत दृष्टिकोण प्रदान करने का दावा करता है। ट्रांसपोर्ट बैकबोन को डिफ्यूजन-प्रेरित घनत्व शेपिंग से स्पष्ट रूप से अलग करके, यह कार्य एक व्याख्या योग्य दृश्य प्रदान करता है कि स्टोकेस्टिसिटी प्रोबेबिलिटी ट्रांसपोर्ट को कैसे आकार देती है।

लेखक इस बात पर जोर देते हैं कि यह अपघटन केवल एक सैद्धांतिक जिज्ञासा नहीं है बल्कि एक व्यावहारिक उपकरण है जो नियंत्रणीयता (controllability) के लिए है। यह अभ्यासकर्ताओं को रिट्रेनिंग के बिना सैंपलिंग के समय "ऑस्मोटिक योगदान" को समायोजित करने की अनुमति देता है, जिससे जनरेटेड सैंपल की विशेषताओं (जैसे, शार्पनेस बनाम स्मूथनेस) पर सूक्ष्म नियंत्रण मिलता है और संभावित रूप से इंटरैक्टिव सैंपलिंग प्रक्रियाओं (जैसे, मध्यवर्ती अवस्थाओं से रुकना, उलटना या पुनर्जीवित करना) को सुगम बनाता है।

पेपर अपने दायरे के संबंध में विनम्र रहता है, यह नोट करते हुए कि यह अपघटन सबसे अधिक सीधे तौर पर फील्ड-आधारित जनरेटिव डायनेमिक्स पर लागू होता है, और अलग-अलग क्षेत्रों को सीखने से अतिरिक्त मॉडलिंग और कम्प्यूटेशनल ओवरहेड होता है। भविष्य के काम का सुझाव डाउनस्ट्रीम अनुप्रयोगों में व्याख्यात्मकता और नियंत्रणीयता लाभों को बनाए रखते हुए इस ओवरहेड को कम करने पर केंद्रित होना है।