📊 statistics

Nonparametric undirected graphical model selection using diffusion models

यह शोध पत्र डिफ्यूजन मॉडल्स पर आधारित अनडिरेक्टेड ग्राफिकल मॉडल चयन के लिए एक नवीन नॉनपैरामीट्रिक दृष्टिकोण प्रस्तुत करता है, जो इसकी सैद्धांतिक निरंतरता स्थापित करता है और सिमुलेशन एवं वास्तविक डेटा विश्लेषणों के माध्यम से इसकी प्रभावशीलता को प्रदर्शित करता है।

मूल लेखक: Hyeok Kyu Kwon, Myeonggu Kang, Minwoo Chae, Wanjie Wang

प्रकाशित 2026-06-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hyeok Kyu Kwon, Myeonggu Kang, Minwoo Chae, Wanjie Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो यह पता लगाने की कोशिश कर रहे हैं कि लोगों का एक समूह आपस में कैसे जुड़ा हुआ है। आपके पास अजनबियों (डेटा) से भरा एक कमरा है, और आप जानना चाहते हैं कि कौन किससे सीधे बात करता है। कुछ लोग ऐसे लग सकते हैं जैसे वे आपस में बातचीत कर रहे हैं, लेकिन ऐसा केवल इसलिए हो सकता है क्योंकि वे दोनों एक तीसरे व्यक्ति को सुन रहे हैं। आपका लक्ष्य सच्चे, सीधे संबंधों का नक्शा बनाना है और अप्रत्यक्ष संबंधों को अनदेखा करना है।

डेटा साइंस की दुनिया में, इसे अनडायरेक्टेड ग्राफिकल मॉडल सिलेक्शन (undirected graphical model selection) कहा जाता है। आप जो "नक्शा" बनाने की कोशिश कर रहे हैं वह एक ग्राफ है जहाँ बिंदु वेरिएबल्स हैं और रेखाएं सीधे संबंधों को दर्शाती हैं।

यह पेपर इस समस्या को कैसे हल करता है, इसे सरल शब्दों में यहाँ समझाया गया है:

समस्या: "एक ही आकार सबके लिए" वाला जाल (The "One-Size-Fits-All" Trap)

अधिकांश जासूस (सांख्यिकीविद) एक विशिष्ट उपकरण का उपयोग करते हैं जो केवल तभी काम करता है जब संदिग्ध बहुत ही अनुमानित, "गौसियन" (Gaussian) तरीके से व्यवहार करते हैं (जैसे कि एक आदर्श बेल कर्व)।

खामी: यदि डेटा अव्यवस्थित, अजीब या उस आदर्श बेल कर्व का पालन नहीं करता है, तो ये पारंपरिक उपकरण विफल हो जाते हैं। वे उन लोगों के बीच भी रेखाएं खींच सकते हैं जो वास्तव में बात नहीं कर रहे हैं, या उन लोगों के बीच की रेखाओं को छोड़ सकते हैं जो वास्तव में बात कर रहे हैं।
कठिन तरीका: बिना किसी विशिष्ट आकार की धारणा रखे इन अव्यवस्थित, गैर-मानक संबंधों को मैप करने की कोशिश करना अविश्वसनीय रूप से कठिन है। यह एक बादल के आकार को हर एक पानी की बूंद को मापकर समझाने जैसा है; बादल जितना जटिल होगा, यह उतना ही कठिन होता जाएगा।

नया उपकरण: "डिफ्यूजन" जासूस (The "Diffusion" Detective)

लेखक डिफ्यूजन मॉडल्स (Diffusion Models) का उपयोग करके एक नया तरीका प्रस्तावित करते हैं। आप इनके बारे में AI आर्ट जनरेटर्स (जैसे DALL-E या Midjourney) से जानते होंगे जो रैंडम स्टैटिक नॉइज़ (static noise) को एक स्पष्ट तस्वीर या लैंडस्केप में बदल देते हैं।

"रिवर्स वीडियो" की उपमा (The Analogy of the "Reverse Video"):

फॉरवर्ड प्रोसेस (धुंधलापन/The Blur): कल्पना कीजिए कि आप अपने डेटा की एक स्पष्ट फोटो लेते हैं और उसमें धीरे-धीरे स्टैटिक नॉइज़ जोड़ते हैं जब तक कि वह पूरी तरह से अपरिचित बर्फ (रैंडम नॉइज़) में न बदल जाए। यह "फॉरवर्ड" प्रक्रिया है।
रिवर्स प्रोसेस (डी-ब्लर/The De-blur): डिफ्यूजन मॉडल यह सीखता है कि उस वीडियो को उल्टा कैसे चलाया जाए। यह सीखता है कि शुद्ध शोर (noise) से कैसे धीरे-धीरे स्टैटिक को हटाया जाए, स्टेप-बाय-स्टेप, जब तक कि मूल स्पष्ट तस्वीर फिर से प्रकट न हो जाए।

पेपर का बड़ा अंतर्दृष्टि (insight) यह है: यदि आप शोर को वापस मूल डेटा में "डी-ब्लर" करने का तरीका समझ लेते हैं, तो आप पता लगा सकते हैं कि कौन किससे जुड़ा हुआ है।

यह कैसे काम करता है (जादुई ट्रिक)

आमतौर पर, कनेक्शन खोजने के लिए, आपको एक बहुत ही जटिल चीज़ की गणना करने की आवश्यकता होती है जिसे "हेसियन" (Hessian) कहा जाता है (यह मापने का एक शानदार तरीका है कि डेटा कैसे मुड़ता और झुकता है)। अव्यवस्थित डेटा पर सीधे इसकी गणना करना एक तूफान में तैरती हुई जेलीफ़िश के घुमाव को मापने जैसा है।

लेखक एक चतुर शॉर्टकट का उपयोग करते हैं जिसे ट्वीडी का फॉर्मूला (Tweedie's Formula) कहा जाता है।

डेटा के कर्व को सीधे मापने के बजाय, वे डिफ्यूजन मॉडल का उपयोग करके नए सैंपल जेनरेट करते हैं।
वे देखते हैं कि ये जेनरेट किए गए सैंपल कैसे चलते हैं और एक साथ क्लस्टर (समूह) बनाते हैं।
इन जेनरेट किए गए सैंपल्स के कोवेरिएंस (covariance) (दो चीजें कितनी एक साथ चलती हैं) का विश्लेषण करके, वे उस कठिन "हेसियन" की सीधे गणना किए बिना गणितीय रूप से कनेक्शनों का पता लगा सकते हैं।

इसे इस तरह सोचें: शहर की भूमिगत सुरंगों का नक्शा बनाने के लिए हर जगह खुदाई करने के बजाय, वे ड्रोन्स का एक झुंड (जेनरेट किए गए सैंपल्स) छोड़ते हैं जो सुरंगों के माध्यम से उड़ते हैं। यह देखने के बाद कि ड्रोन स्वाभाविक रूप से कहाँ क्लस्टर होते हैं और वे कहाँ से बचते हैं, वे सुरंगों का नक्शा बिल्कुल सही बना सकते हैं।

उन्होंने क्या पाया

पेपर ने इस नए "डिफ्यूजन डिटेक्टिव" का परीक्षण दो प्रकार के डेटा पर किया:

सिंथेटिक डेटा (Synthetic Data): उन्होंने ज्ञात कनेक्शनों के साथ नकली डेटा बनाया, जिसमें कुछ बहुत ही अव्यवस्थित और गैर-गौसियन भी शामिल थे।
- परिणाम: नया तरीका पूरी तरह से काम कर गया, यहाँ तक कि जब पुराने तरीके विफल हो गए। यह साफ डेटा के लिए उपयोग किए जाने वाले "आदर्श" तरीकों के समान ही प्रभावी था, लेकिन यह अव्यवस्थित डेटा पर भी काम कर सका।
वास्तविक दुनिया का डेटा (Real World Data):
- MNIST (हस्तलिखित अंक): उन्होंने संख्याओं की छवियों में पिक्सेल के बीच के कनेक्शन को मैप किया। परिणाम समझ में आने योग्य था: पास के पिक्सेल जुड़े हुए थे, और दिलचस्प बात यह है कि मॉडल ने कनेक्शन में एक "झुकाव" (slant) पाया जो यह दर्शाता है कि दाहिने हाथ के लोग कैसे लिखते हैं (ऊपर-दाएं से नीचे-बाएं की ओर झुकाव)।
- स्टॉक कीमतें (Stock Prices): उन्होंने 28 औद्योगिक कंपनियों के बीच के संबंधों को मैप किया जो उनके स्टॉक की कीमतों पर आधारित थे। मॉडल ने ऐसे कनेक्शन खोजे जो आर्थिक रूप से तर्कसंगत थे (जैसे प्रतिस्पर्धी या आपूर्तिकर्ता) और इसने कुछ सूक्ष्म संबंधों को भी पकड़ा जिन्हें मानक व्यावसायिक डेटाबेस मिस कर गए थे।

मुख्य निष्कर्ष (The Bottom Line)

यह पेपर जटिल, अव्यवस्थित डेटा में संबंधों को मैप करने का एक नया तरीका पेश करता है। AI इमेज जनरेशन (डिफ्यूजन मॉडल्स) की तकनीक को अपनाकर, उन्होंने एक ऐसा तरीका बनाया है जिसे यह मानने की आवश्यकता नहीं है कि डेटा एक सरल, आदर्श आकार का पालन करता है। यह हमारे आसपास की छिपी हुई संरचना को उजागर करने के लिए एक अधिक लचीला, मजबूत उपकरण है, चाहे वह एक छवि में पिक्सेल हो या बाजार में कंपनियां।

तकनीकी सारांश: डिफ्यूजन मॉडल का उपयोग करके नॉनपैरामेट्रिक अनडायरेक्टेड ग्राफिकल मॉडल चयन

समस्या विवरण
अनडायरेक्टेड ग्राफिकल मॉडल उच्च-आयामी यादृच्छिक चरों (random variables) के बीच कंडीशनल इंडिपेंडेंस संरचनाओं को दर्शाने के लिए एक ढांचा प्रदान करते हैं। जबकि मॉडल चयन उच्च-आयामी सांख्यिकी में एक केंद्रीय समस्या है जिसके अनुप्रयोग जीनोमिक्स, तंत्रिका विज्ञान (neuroscience) और वित्त में हैं, अधिकांश मौजूदा विधियाँ पैरामेट्रिक धारणाओं (जैसे, गॉसियन ग्राफिकल मॉडल या आइसिंग मॉडल) पर निर्भर करती हैं। ये विधियाँ तब विफल हो जाती हैं जब वास्तविक वितरण (distribution) मानी गई पैरामेट्रिक रूप से विचलित होता है। नॉनपैरामेट्रिक दृष्टिकोण मौजूद हैं लेकिन वे डेंसिटी एस्टीमेशन में "डायमेंशनलिटी के अभिशाप" (curse of dimensionality) और दूसरे क्रम के डेरिवेटिव (लॉग-डेंसिटी का हेसियन) के अनुमान की अतिरिक्त जटिलता के कारण सांख्यिकीय रूप से चुनौतीपूर्ण हैं, जो ग्राफ संरचना को पहचानने के लिए आवश्यक है: $(i, j) \notin E_0 \iff \frac{\partial^2 \log p_0}{\partial x_i \partial x_j} = 0$ ।

कार्यप्रणाली
लेखक डिफ्यूजन मॉडल पर आधारित अनडायरेक्टेड ग्राफिकल मॉडल चयन के लिए एक नवीन नॉनपैरामेट्रिक दृष्टिकोण प्रस्तावित करते हैं। प्रस्तावित विधि इस तथ्य का लाभ उठाती है कि डिफ्यूजन मॉडल स्कोर फंक्शन (लॉग-डेंसिटी के ग्रेडिएंट) का अनुमान लगा सकते हैं और पूर्ण डायमेंशनलिटी के अभिशाप से ग्रस्त हुए बिना निम्न-आयामी संरचनाओं के अनुकूल हो सकते हैं।

प्रस्तावित प्रक्रिया, जिसे एल्गोरिदम 1 में संक्षेपित किया गया है, इन चरणों से मिलकर बनी है:

स्कोर फंक्शन एस्टीमेशन: एक मानक डिफ्यूजन मॉडलिंग फ्रेमवर्क (विशेष रूप से, डिनोइजिंग डिफ्यूजन प्रोबेबिलिस्टिक मॉडल, DDPM) का उपयोग करके, लेखक स्कोर फंक्शन के एक परिवार $f_0(x, t) = \nabla \log p_t(x)$ का अनुमान लगाते हैं, जहाँ $p_t$ फॉरवर्ड डिफ्यूजन प्रक्रिया के समय $t$ पर मार्जिनल डेंसिटी है। यह प्रेक्षित डेटा (observed data) पर स्कोर मैचिंग के माध्यम से प्राप्त किया जाता है।
ट्वीडी के फॉर्मूला (Tweedie's Formula) के माध्यम से हेसियन एस्टीमेशन: स्कोर फंक्शन के अनुमानित भाग का सीधे अवकलन करने के बजाय (जो संख्यात्मक रूप से अस्थिर है), विधि दूसरे क्रम के ट्वीडी फॉर्मूला का उपयोग करती है। यह फॉर्मूला लॉग-डेंसिटी के हेसियन $\nabla^2 \log p_t(x)$ को शोर वाले अवलोकन $X_t = x$ के दिए गए मूल डेटा $X_0$ के कंडीशनल कोवेरिएंस से जोड़ता है:
$\nabla^2 \log p_t(x) = \sigma_t^{-4} \mu_t^2 \text{Cov}[X_0 | X_t = x] - \sigma_t^{-2} I_D$
जहाँ $\mu_t$ और $\sigma_t$ फॉरवर्ड ऑर्नस्टीन-उहलेनबैक (Ornstein-Uhlenbeck) प्रक्रिया के पैरामीटर हैं।
ग्राफ रिकवरी: विधि रिवर्स डिफ्यूजन प्रक्रिया से मोंटे कार्लो सैंपलिंग का उपयोग करके कंडीशनल कोवेरिएंस $\text{Cov}[X_0 | X_t = x]$ का अनुमान लगाती है। विशेष रूप से, एक निश्चित समय $t$ और एक रैंडम वेक्टर $U_t$ के लिए, लेखक अनुमानित हेसियन एंट्रीज़ के निरपेक्ष मानों का एम्पिरिकल एक्सपेक्टेशन $E_n[|\hat{H}_{ij}(U_t, t)|]$ की गणना करते हैं।
थ्रेशोल्डिंग और क्लस्टरिंग: एक एज $(i, j)$ को अनुमानित ग्राफ में तब शामिल किया जाता है जब हेसियन एंट्री का औसत परिमाण थ्रेशोल्ड $\tau$ से अधिक होता है। व्यावहारिक ट्यूनिंग को संभालने के लिए, लेखक कई छोटे समय चरणों $t_1, \dots, t_M$ में जानकारी को एकत्रित करने और किनारों (edges) को गैर-किनारों (non-edges) से अलग करने के लिए मानकीकृत हेसियन मानों पर K-मीन्स क्लस्टरिंग लागू करने का प्रस्ताव करते हैं।

प्रमुख सैद्धांतिक योगदान
यह शोध पत्र हल्के रेगुलरिटी कंडीशंस (विशेष रूप से, कि $\log p_0$ एक होल्डर क्लास $\mathcal{H}_{\beta, K}$ में है) के तहत प्रस्तावित विधि के लिए कठोर सैद्धांतिक गारंटी स्थापित करता है:

डिके रेट्स (Decay Rates): लेखक सिद्ध करते हैं कि कंडीशनल कोवेरिएंस $\text{Cov}[X_{0,i}, X_{0,j} | X_t = x]$ , नोड्स के बीच ग्राफ दूरी $d(i, j)$ के आधार पर अलग-अलग दरों पर घटता है। किनारों ( $d(i, j)=1$ ) के लिए, कोवेरिएंस $O(t^2)$ के रूप में घटता है, जबकि गैर-किनारों ( $d(i, j) \ge 2$ ) के लिए, यह तेजी से $O(t^{(\beta+2)\wedge 5/2})$ के रूप में घटता है।
सिलेक्शन कंसिस्टेंसी (Selection Consistency): इस धारणा के तहत कि स्कोर फंक्शन एस्टीमेटर वास्तविक स्कोर फंक्शन में $\epsilon_n$ की दर से अभिसरित (converge) होता है, लेखक गलत ग्राफ चयन की संभावना पर एक नॉन-एसिम्प्टोटिक अपर बाउंड निकालते हैं। वे दिखाते हैं कि समय पैरामीटर $t$ और थ्रेशोल्ड $\tau$ के उचित चयन के साथ, फिक्स्ड-डायमेंशन रिजीम में एस्टीमेटर कंसिस्टेंट (अर्थात, $P(\hat{G}_{t, \tau} \neq G_0) = o(1)$ ) है।
प्रत्यक्ष हेसियन एस्टीमेशन से बचाव: डिफ्यूजन प्रक्रिया और ट्वीडी के फॉर्मूला का उपयोग करके, विधि मूल वितरण $p_0$ के लॉग-डेंसिटी के हेसियन का सीधे अनुमान लगाने की आवश्यकता को दरकिनार करती है, जो सांख्यिकीय रूप से अधिक कठिन है।

अनुभवजन्य परिणाम (Empirical Results)
लेखक अपने व्यापक सिमुलेशन और दो वास्तविक-डेटा विश्लेषणों के माध्यम से विधि का मूल्यांकन करते हैं:

सिमुलेशन: विधि का परीक्षण चार वितरणों पर किया गया: दो गॉसियन और दो नॉन-गॉसियन (बटरफ्लाई वितरण और गॉसियन कोपुल)। प्रस्तावित डिफ्यूजन-आधारित विधि (DDPM) सही ढंग से निर्दिष्ट पैरामेट्रिक मॉडल (जैसे, गॉसियन डेटा के लिए ग्राफिकल लासो) के साथ प्रतिस्पर्धी प्रदर्शन करती है और सभी वितरणों में मौजूदा नॉनपैरामेट्रिक बेसलाइन (SING और L-SING) से काफी बेहतर प्रदर्शन करती है। विशेष रूप से, इसने उन नॉन-गॉसियन सेटिंग्स में पूर्ण ग्राफ रिकवरी हासिल की जहाँ पैरामेट्रिक विधियाँ विफल रहीं।
इमेज एनालिसिस (MNIST): MNIST डेटासेट ( $D=784$ ) पर लागू किया गया, विधि ने छवियों के लोकैलिटी सिद्धांत (पिक्सेल मुख्य रूप से अपने निकटतम पड़ोसियों से जुड़े होते हैं) के अनुरूप एक स्पार्स कंडीशनल इंडिपेंडेंस ग्राफ को रिकवर किया। इसने डायगोनल एडजेस में एक विशिष्ट विषमता (asymmetry) की भी पहचान की, जो हस्तलिखित अंकों के दाहिने हाथ के झुकाव को दर्शाती है।
वित्तीय डेटा (स्टॉक की कीमतें): 28 औद्योगिक कंपनियों के दैनिक रिटर्न पर लागू किए जाने पर, विधि ने कंडीशनल डिपेंडेंसी के एक स्पार्स ग्राफ को रिकवर किया। अनुमानित किनारों ने सार्थक आर्थिक संबंधों को दिखाया, जिसमें कुछ ऐसे संबंध भी शामिल थे जिन्हें बाहरी डेटाबेस में स्पष्ट रूप से प्रतिस्पर्धी के रूप में लेबल नहीं किया गया था, लेकिन जो आपूर्ति श्रृंखला या तकनीकी साझेदारी द्वारा समर्थित थे।

महत्व और दावे
यह शोध पत्र अज्ञात ग्राफ संरचनाओं के प्रति डिफ्यूजन मॉडल की सैद्धांतिक अनुकूलन क्षमता और स्पष्ट ग्राफ अनुमान के लिए उनके व्यावहारिक अनुप्रयोग के बीच के अंतर को पाटने का दावा करता है। लेखक जोर देते हैं कि उनकी विधि एक एकीकृत, नॉनपैरामेट्रिक विकल्प प्रदान करती है, जो जटिल, नॉन-गॉसियन वितरणों को संभालने में सक्षम है और इसके लिए सही मॉडल स्पेसिफिकेशन की आवश्यकता नहीं है। वे नोट करते हैं कि जबकि सैद्धांतिक कंसिस्टेंसी फिक्स्ड डायमेंशन के लिए स्थापित की गई है, उनके अनुभवजन्य परिणाम बताते हैं कि विधि प्रभावी रूप से उच्च-आयामी सेटिंग्स ( $D \gg n$ ) तक स्केल करती है, जो डेटा की अंतर्निहित निम्न-आयामी संरचना का लाभ उठाती है। कार्य का समापन उच्च-आयामी एसिम्प्टोटिक्स और डिस्क्रीट डिस्ट्रीब्यूशन के विस्तार को भविष्य के अनुसंधान के लिए स्वाभाविक दिशा के रूप में पहचानते हुए होता है।

समस्या: "एक ही आकार सबके लिए" वाला जाल (The "One-Size-Fits-All" Trap)

नया उपकरण: "डिफ्यूजन" जासूस (The "Diffusion" Detective)

यह कैसे काम करता है (जादुई ट्रिक)

उन्होंने क्या पाया

मुख्य निष्कर्ष (The Bottom Line)

इसी तरह के और पेपर