तकनीकी सारांश: कैनोनिकल डिफ्यूजन के माध्यम से मोड सेपरेशन का मापन और अपघटन

1. समस्या विवरण (Problem Statement)

यह शोध पत्र मोड सेपरेशन (mode separation)—जो कि एक ज्यामितीय गुण है कि कैसे एक प्रायिकता घनत्व (probability density) बाधा-पृथक क्लस्टरों (barrier-separated clusters) में विभाजित होता है—को उच्च-आयामी स्थानों (high-dimensional spaces) में मापने की कठिनाई को संबोधित करता है। मौजूदा उपकरण विक्षेपण (dispersion) (द्रव्यमान कितना फैला हुआ है) और विखंडन (fragmentation) (द्रव्यमान बाधाओं द्वारा कैसे विभाजित है) के बीच अंतर करने में विफल रहते हैं:

• डिफरेंशियल एंट्रॉपी (Differential entropy) प्रसार के साथ बढ़ती है, चाहे वितरण एकैकी (unimodal) हो या विखंडित (fragmented)।
• PCA दिशाओं को विचरण (variance) के आधार पर क्रमबद्ध करता है, जो एक विस्तृत एकल मोड और दो संकीर्ण, पृथक मोड के बीच अंतर करने में विफल रहता है।
• म्युचुअल इंफॉर्मेशन (Mutual information) के लिए मिश्रण अपघटन (mixture decomposition/latent labels) तक पहुंच की आवश्यकता होती है, जो आमतौर पर व्यवहार में उपलब्ध नहीं होता है।

लेखक एक अंतर्निहित, निरंतर मात्रा (intrinsic, continuous quantity) की तलाश में हैं जो बाधाओं के प्रति संवेदनशील हो, और एक ऐसी विधि चाहते हैं जो केवल नमूनों (samples) और एक स्कोर फंक्शन का उपयोग करके उन रैखिक दिशाओं की पहचान कर सके जहाँ ये बाधाएं सबसे अधिक स्पष्ट होती हैं।

2. कार्यप्रणाली (Methodology)

कैनोनिकल डिफ्यूजन (The Canonical Diffusion)

इस ढांचे का मूल एक अद्वितीय रिवर्सिबल इटो डिफ्यूजन (reversible Itô diffusion) है जो एक लक्ष्य घनत्व $f$ से जुड़ा है। यह प्रक्रिया दो बाधाओं द्वारा परिभाषित है:

1. स्थिरता (Stationarity): $f$ स्थिर वितरण (stationary distribution) है।
2. स्थिर स्केलर डिफ्यूजन (Constant Scalar Diffusion): डिफ्यूजन मैट्रिक्स $A_0 = \sigma_f^2 I_d$ है, जहाँ $\sigma_f^2 = \text{tr}(\text{Cov}_f(X))/d$ $f$ का स्केलर विचरण है।

इन शर्तों के तहत, ड्रिफ्ट (drift) को $b(x) = \frac{1}{2}\sigma_f^2 \nabla \log f(x)$ के रूप में विशिष्ट रूप से निर्धारित किया जाता है। इस डिफ्यूजन के जनरेटर (generator) का एक विविक्त स्पेक्ट्रम (discrete spectrum) $0 = \mu_1 < \mu_2 \le \mu_3 \dots$ होता है, जहाँ छोटे आइगेनवैल्यू (eigenvalues) उच्च ऊर्जा बाधाओं को पार करने वाले धीमे रिलैक्सेशन मोड (slow relaxation modes) के अनुरूप होते हैं।

ऑटोकोवेरिएंस से दो रीडआउट (Two Readouts from Autocovariance)

1. SSA (Sum of Squared Autocorrelations):
   एक मल्टीमोडैलिटी का स्केलर माप जो सेंटर्ड प्रोसेस $Y_t = X_t - \bar{x}_f$ के समय इंटीग्रल (time integral) के रूप में परिभाषित है:
   $$S(f) = \int_0^\infty \rho(\tau)^2 d\tau, \quad \text{जहाँ } \rho(\tau) = \frac{\text{tr}C(\tau)}{\text{tr}C(0)}$$
   स्पेक्ट्रली, $S(f) = \sum_{k,\ell \ge 2} \frac{w_k w_\ell}{\mu_k + \mu_\ell}$। यह जनरेटर आइगेनवैल्यू के प्रति मोनोटोनिक है और मोड की संख्या के साथ संतृप्त (saturate) होता है, जो प्रभावी रूप से केवल मोड की संख्या के बजाय "बाधा की ऊंचाई" (barrier height) को मापता है।

2. DA (Dominant Autocorrelation directions):
   एक विशिष्ट लैग $\tau$ पर $C(\tau)$ के आइगेनडीकंपोजिशन के माध्यम से प्राप्त दिशात्मक अपघटन। इसके आइगेनवेक्टर्स $v_j(\tau)$ को आइगेनवैल्यू के परिमाण के आधार पर क्रमबद्ध किया जाता है। जैसे-जैसे $\tau \to \infty$ होता है, अग्रणी आइगेनवेक्टर्स मोड केंद्रों को जोड़ने वाली दिशाओं (विशेष रूप से धीमी इफ़न-फंक्शन्स के प्रोजेक्शन गुणांकों) की ओर अभिसरित होते हैं, जिन्हें विचरण के बजाय मेटास्टेबिलिटी (metastability) द्वारा क्रमबद्ध किया जाता है।

सैद्धांतिक गारंटी और नॉइज़ फ्लोर (Theoretical Guarantees and Noise Floor)

• नल स्पेक्ट्रम (Null Spectrum - Theorem 2): एक आइसोट्रोपिक गौसियन नल के तहत, अनुभवजन्य ऑटोकोवेरिएंस स्पेक्ट्रम दो स्केल किए गए मार्कोन्चो-पास्टो (Marchenko–Pastur) कानूनों के फ्री एडिटिव कॉन्वोल्यूशन के रूप में अभिसरित होता है। यह एक क्लोज्ड-फॉर्म एनालिटिक अपर एज $\lambda_+(\tau)$ प्रदान करता है, जो सिग्नल आइगेनवैल्यू को परिमित-नमूना शोर (finite-sample noise) से अलग करने के लिए एक शार्प नॉइज़ फ्लोर के रूप में कार्य करता है।
• लैग चयन (Lag Selection): नॉइज़ फ्लोर $\lambda_+(\tau)$ एक परिपक्व लैग $\tau^*$ के चयन की अनुमति देता है जहाँ धीमे मोड अभी भी शोर से ऊपर पता लगाने योग्य होते हैं, जो स्पेक्ट्रल अभिसरण (जिसके लिए बड़े $\tau$ की आवश्यकता होती है) और सिग्नल-टू-नॉइज़ अनुपात (जो बड़े $\tau$ पर घटता है) के बीच संतुलन बनाता है।

स्कोर-आधारित मॉडल्स के साथ कार्यान्वयन (Implementation with Score-Based Models)

इसके लिए घनत्व $f$ की स्पष्ट आवश्यकता नहीं है, केवल स्कोर $\nabla \log f$ की आवश्यकता है। उच्च-आयामी डेटा (जैसे इमेज) के लिए, लेखक ट्वीडी की पहचान (Tweedie's identity) के माध्यम से प्री-ट्रेन्ड स्कोर-आधारित जनरेटिव मॉडल्स (जैसे SDXL) का उपयोग करते हैं, जो स्कोर $\nabla \log f_t(x) \approx -\epsilon_\theta(x, t)/\sigma_t$ प्रदान करता है। यह बिना स्पष्ट घनत्व अनुमान के लेटेंट स्पेस या उच्च-आयामी फीचर स्पेस में कैनोनिकल डिफ्यूजन को सिम्युलेट करने की अनुमति देता है।

3. मुख्य योगदान (Key Contributions)

1. कैनोनिकल डिफ्यूजन निर्माण: एक अद्वितीय, समानता-अपरिवर्तनीय (similarity-invariant) स्टोकेस्टिक प्रक्रिया जो केवल स्कोर और एक घनत्व के पहले दो मोमेंट्स द्वारा परिभाषित है, जिसे विशेष रूप से बाधा संरचनाओं (barrier structures) को प्रकट करने के लिए डिज़ाइन किया गया है।
2. SSA और DA मेट्रिक्स:
   • SSA: मल्टीमोडैलिटी का एक स्केलर माप जो सिंथेटिक मिश्रणों में म्यूचुअल इंफॉर्मेशन को ट्रैक करता है और एंट्रॉपी द्वारा छोड़े गए विखंडन को पकड़ता है।
   • DA: एक रैखिक अपघटन जो धीमे, मेटास्टेबल दिशाओं (जैसे मोड को अलग करना) को पुनः प्राप्त करता है, भले ही वे अधिकतम विचरण की दिशाएं न हों (PCA के विपरीत)।
3. एनालिटिक नॉइज़ थ्योरी: एक गौसियन नल के तहत सिमेट्राइज्ड लैग-1 ऑटोकोवेरिएंस के लिए लिमिट स्पेक्ट्रम का व्युत्पन्न, जो PCA के लिए मार्कोन्चो-पास्टो कानून के समान एक क्लोज्ड-फॉर्म थ्रेशोल्ड $\lambda_+(\tau)$ प्रदान करता है।
4. स्कोर-आधारित एकीकरण: उच्च-आयामी डेटा के लिए इन अवधारणाओं को लागू करने के लिए एक व्यावहारिक पाइपलाइन, जो कर्नेल-आधारित विधियों की आयात्मकता के अभिशाप (curse of dimensionality) को दरकिनार करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

सिंथेटिक गौसियन मिश्रण (Synthetic Gaussian Mixtures)

• SSA बनाम म्यूचुअल इंफॉर्मेशन (MI): 10D गौसियन मिश्रणों में, SSA विभिन्न पैरामीटर स्वैप्स (सेपरेशन, वेरिएंस, वेट, मोड काउंट) में MI के रैंक ऑर्डरिंग को ट्रैक करता है। MI के विपरीत, जो बाधाएं गहरी होने पर संतृप्त हो जाता है, SSA बाधा की ऊंचाई के साथ तेजी से (exponentially) बढ़ता है।
• SSA बनाम एंट्रॉपी: 2D तुलना में, SSA ने एक द्वि-मोडल (bimodal) वितरण (समानांतर दीर्घवृत्त/ellipses) को उच्च एंट्रॉपी वाले एकैकी आइसोट्रोपिक गौसियन की तुलना में अधिक विखंडित के रूप में सही ढंग से पहचाना, जबकि एंट्रॉपी और PCA विखंडन को पहचानने में विफल रहे।
• DA बनाम PCA: समानांतर दीर्घवृत्तों पर, DA ने दोनों मोडों को जोड़ने वाली दिशा (इंटर-मोड बैरियर) को पुनः प्राप्त किया, जबकि PCA ने अधिकतम मोड-विचरण की दिशा को चुना।

SDXL टेक्स्ट-टू-इमेज जनरेशन (SDXL Text-to-Image Generations)

• गाइडेंस स्केल विश्लेषण: 11 प्रॉम्प्ट्स और 4 गाइडेंस स्केल्स ($w$) के लिए SDXL आउटपुट पर लागू किया गया।
  • एंट्रॉपी गाइडेंस बढ़ने के साथ निरंतर कम हुई (वितरण अधिक केंद्रित हो गया)।
  • SSA मध्यवर्ती गाइडेंस ($w \approx 7.5$) पर चरम पर पहुँचा, जो उस "स्वीट स्पॉट" को कैप्चर करता है जहाँ वितरण अलग-अलग, सुसंगत प्रकारों (जैसे किसी व्यक्ति के विभिन्न स्टाइल) में विभाजित होता है, इससे पहले कि वह उच्च गाइडेंस पर लगभग एक जैसे दोहराव में ढह जाए।
• दिशात्मक अपघटन (Directional Decomposition): "एक बुजुर्ग व्यक्ति का चित्र" प्रॉम्प्ट के लिए, DA1 ने जेंडर एक्सिस के साथ वितरण को अलग किया (Spearman $|\rho|=0.90$), जबकि PC1 ने जेंडर को रियलिज्म और स्टाइल के साथ मिला दिया। "एक क्रेन की फोटो" के लिए, DA1 और PC1 दोनों ने पक्षी और निर्माण उपकरण के बीच के विभाजन को कैप्चर किया, जो दर्शाता है कि DA तभी PCA के साथ संरेखित होता है जब विखंडन अक्ष विचरण अक्ष के साथ मेल खाता है।

मॉलिक्यूलर डायनेमिक्स (Alanine Dipeptide)

• स्लो कोऑर्डिनेट्स की रिकवरी: 22-एटम एलेनिन डायपेप्टाइड सिस्टम के स्टेटिक सैंपल्स का उपयोग करके, DA ने ज्ञात स्लो बैकबोन डायहेड्रल कोऑर्डिनेट्स ($\phi, \psi$) को बिना किसी टाइम-सीरीज ट्रैजेक्टरी डेटा के पुनः प्राप्त किया।
• TICA के साथ तुलना: DA ने स्टैटिक सैंपल्स और एक स्कोर ऑरेकल (जो कर्नेल डेंसिटी एस्टीमेट से प्राप्त है) का उपयोग करके, टाइम-लैग्ड इंडिपेंडेंट कंपोनेंट एनालिसिस (TICA) के समान स्लो कोऑर्डिनेट्स का क्रम प्राप्त किया।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र विखंडन (dispersion) से संरचनात्मक रूप से भिन्न, मोड सेपरेशन को मापने के लिए एक मौलिक ज्यामितीय उपकरण प्रदान करने का दावा करता है। इसका महत्व निम्नलिखित में निहित है:

• स्थिर और गतिशील विश्लेषण के बीच सेतु: यह एक कैनोनिकल डिफ्यूजन के स्पेक्ट्रल गुणों का लाभ उठाकर स्टेटिक सैंपल्स से मेटास्टेबल संरचना (जिसके लिए लंबे ट्रैजेक्टरी की आवश्यकता होती है) निकालने की अनुमति देता है।
• उच्च-आयामी प्रयोज्यता: स्कोर-आधारित मॉडल्स पर निर्भर रहने के कारण, यह उन आयामों तक स्केल करता है जहाँ कर्नेल विधियाँ (जैसे डिफ्यूजन मैप्स) विफल हो जाती हैं, जिससे जटिल जनरेटिव मॉडल आउटपुट और आणविक परिदृश्य (molecular landscapes) का विश्लेषण संभव होता है।
• सैद्धांतिक कठोरता: एक एनालिटिक नॉइज़ फ्लोर ($\lambda_+(\tau)$) का प्रावधान लैग चुनने और मेटास्टेबल दिशाओं की संख्या निर्धारित करने के लिए एक सिद्धांत-आधारित, डेटा-संचालित विधि प्रदान करता है, जो स्पेक्ट्रल क्लस्टरिंग और स्लो-मोड विश्लेषण की एक प्रमुख सीमा को संबोधित करता है।

लेखक विनम्र रहते हुए यह भी नोट करते हैं कि यह ढांचा रैखिक (linear) है (गैर-रैखिक मोड ज्यामिति को कैप्चर नहीं कर सकता) और यह इनपुट स्कोर की गुणवत्ता पर निर्भर करता है। वे इस कार्य को मौजूदा जनरेटिव मॉडल्स के लिए एक डायग्नोस्टिक टूल और स्टेटिक डेटा से स्लो कलेक्टिव वेरिएबल्स निकालने के एक तरीके के रूप में प्रस्तुत करते हैं, न कि स्वयं एक नई जनरेटिव क्षमता के रूप में।