Adaptive Bayesian Structure Learning of DAGs With Non-conjugate Prior

तकनीकी सारांश: गैर-संयुग्मी प्रायर (Non-conjugate Prior) के साथ DAGs का अनुकूली बेयसियन संरचना शिक्षण

समस्या विवरण
यह शोध पत्र एक बेयसियन ढांचे के भीतर, विशेष रूप से गॉसियन DAG मॉडलों के लिए, निर्देशित अचक्रीय ग्राफ़ (Directed Acyclic Graphs - DAGs) की संरचना सीखने की चुनौती को संबोधित करता है। जबकि DAGs सशर्त स्वतंत्रता और कारण संबंधों (causal relationships) को प्रदर्शित करने के लिए शक्तिशाली उपकरण हैं, इष्टतम ग्राफ संरचना निर्धारित करना गणनात्मक रूप से गहन और सांख्यिकीय रूप से अनिश्चित है। पारंपरिक बेयसियन दृष्टिकोण अक्सर विश्लेषणात्मक सुगमता को सुविधाजनक करने के लिए नॉर्मल-इनवर्स-गामा (NIG) जैसे संयुग्मी प्रायर (conjugate priors) पर निर्भर करते हैं। हालाँकि, लेखक तर्क देते हैं कि ये संयुग्मी प्रायर हमेशा उच्चतम पश्च संभाव्यता (posterior probability) या सबसे सटीक संरचनात्मक शिक्षण प्रदान नहीं कर सकते हैं, विशेष रूप से जनरेटिंग मॉडल में नोड्स और किनारों (edges) के समावेश के संबंध में। मुख्य लक्ष्य एक ऐसी विधि विकसित करना है जो संरचना शिक्षण में अनुकूलनशीलता बनाए रखते हुए पश्च संभाव्यता और गणनात्मक दक्षता को बढ़ा सके।

कार्यप्रणाली
लेखक गॉसियन DAGs के मापदंडों के लिए एक गैर-संयुग्मी नॉर्मल-गामा (NG) प्रायर का उपयोग करते हुए एक नवीन बेयसियन संरचना शिक्षण दृष्टिकोण प्रस्तावित करते हैं।

1. मॉडल सूत्रीकरण (Model Formulation):

   • चरों के संयुक्त वितरण को एक संशोधित चोलेस्की अपघटन ($\Omega = L D^{-1} L^T$) के माध्यम से पुन: पैरामीटराइज़ किए गए शून्य-माध्य गॉसियन DAG के रूप में मॉडल किया गया है।
   • मापदंडों में विकर्ण तत्व $D_{jj}$ (सशर्त विचरण) और निचला त्रिकोणीय गुणांक $L_{\\prec j]}$ (प्रतिगमन गुणांक) शामिल हैं।
   • मानक NIG दृष्टिकोण के विपरीत, जहाँ $D_{jj}$ एक इनवर्स-गामा वितरण का अनुसरण करता है, प्रस्तावित विधि $D_{jj}$ को $D_{jj}$ पर सशर्त एक गामा वितरण ($\Gamma$) प्रदान करती है, जबकि $L_{\\prec j]}$ के लिए नॉर्मल वितरण बनाए रखती है।

2. सैद्धांतिक व्युत्पत्ति (Theoretical Derivation):

   • लेखक इस गैर-संयुग्मी प्रायर के तहत नोड मापदंडों के लिए मार्जिनल लाइकलीहुड (marginal likelihood) और संयुक्त पश्च घनत्व फलनों (joint posterior density functions) को व्युत्पन्न करते हैं।
   • एक प्रमुख सैद्धांतिक परिणाम पश्च और मार्जिनल घनत्व अभिव्यक्तियों में बेसेल फंक्शन ऑफ द थर्ड काइंड ($K_\nu$) की उपस्थिति है। यह गणितीय गुण उन विश्लेषणात्मक सरलीकरणों को सक्षम बनाता है जो आमतौर पर संयुग्मन (conjugacy) द्वारा प्रदान किए जाते हैं।

3. MCMC एल्गोरिदम:

   • पश्च अनुमान (posterior inference) करने के लिए, एक मार्कोव चेन मोंटे कार्लो (MCMC) योजना विकसित की गई है।
   • एल्गोरिदम स्थानीय ऑपरेटरों का उपयोग करके DAGs ($S_q$) के स्थान का अन्वेषण करता है: निर्देशित किनारों को सम्मिलित करना, हटाना और उलटना, यह सुनिश्चित करते हुए कि परिणामी ग्राफ अचक्रीय बना रहे।
   • DAGs के बीच संक्रमण के लिए स्वीकृति संभाव्यता (acceptance probability) को व्युत्पन्न मार्जिनल लाइकलीहुड (थ्योरम 1) और किनारे समावेश की प्रायर संभावना का उपयोग करके गणना की जाती है।
   • संरचना और मापदंडों को एक साथ अपडेट करने के लिए प्रत्येक पुनरावृत्ति (iteration) में पूर्ण सशर्त वितरणों (full conditional distributions) को सैंपल किया जाता है।

प्रमुख योगदान

• गैर-संयुग्मी प्रायर कार्यान्वयन: शोध पत्र गॉसियन DAGs के लिए नॉर्मल-गामा प्रायर के उपयोग को पेश करता है, जो मानक नॉर्मल-इनवर्स-गामा संयुग्मी ढांचे से दूर जाता है।
• बेसेल फंक्शन के माध्यम से गणनात्मक दक्षता: इस धारणा के विपरीत कि गैर-संयुग्मी प्रायर गणना के बोझ को बढ़ाते हैं, लेखक प्रदर्शित करते हैं कि पश्च गणना में बेसेल फंक्शन का उपयोग करने से संयुग्मी NIG मॉडल की तुलना में तेज MCMC गणना प्राप्त होती है।
• अनुकूली विरलता (Adaptive Sparsity): प्रस्तावित विधि किनारे समावेश के संबंध में "सतर्क" या रूढ़िवादी व्यवहार प्रदर्शित करती है। यह किनारों को केवल तभी शामिल करती है जब समावेश की संभावना उच्च हो, जिससे कम प्रायर संभावना होने पर विरल (sparser) DAG प्राप्त होते हैं।
• उन्नत पश्च संभाव्यता: अध्ययन का दावा है कि प्रस्तावित NG प्रायर, NIG प्रायर की तुलना में मैक्सिमम ए पोस्टीरिओरी (MAP) DAG के लिए उच्च पश्च संभाव्यता प्रदान करता है।

परिणाम
कार्यप्रणाली का मूल्यांकन सिमुलेशन अध्ययनों और एक वास्तविक दुनिया के अनुप्रयोग के माध्यम से किया गया:

1. सिमुलेशन अध्ययन:

   • प्रदर्शन मेट्रिक्स: NG मॉडल की तुलना विभिन्न नमूना आकारों ($n=200, 300$) और नोड गणनाओं ($q=40, 50$) में NIG मॉडल के विरुद्ध की गई।
   • सटीकता: NG मॉडल ने विशिष्टता (Specificity - SP), फॉल्स नेगेटिव रेट (FNR), मिसस्पेसिफिकेशन रेट (MISR) और सटीकता (AC) में बेहतर प्रदर्शन किया।
   • संवेदनशीलता ट्रेड-ऑफ: NG मॉडल ने NIG की तुलना में कम संवेदनशीलता (SE) और F1-स्कोर दिखाया। लेखक इसे मॉडल की रूढ़िवादी प्रकृति के रूप में देखते हैं; किनारे समावेश की कम प्रायर संभावना के साथ, NG मॉडल कम वास्तविक सकारात्मक (true positives) उत्पन्न करता है, जिसके परिणामस्वरूप कम संवेदनशीलता लेकिन उच्च विशिष्टता प्राप्त होती है।
   • गणना समय: NG मॉडल के लिए प्रति पुनरावृत्ति गणना का समय आम तौर पर NIG मॉडल की तुलना में कम था, भले ही चरों और नमूना आकार की संख्या बढ़ रही थी। बेसेल फंक्शन का समावेश महत्वपूर्ण गणना विलंब उत्पन्न नहीं करता है।

2. AML डेटा विश्लेषण:

   • पद्धति को एक्यूट मायलोइड ल्यूकेमिया (AML) रोगियों के डेटासेट ($n=68, q=18$ प्रोटीन) पर लागू किया गया।
   • अभिसरण (Convergence): ट्रेस प्लॉट्स ने अच्छे MCMC मिक्सिंग और अभिसरण का संकेत दिया।
   • पश्च संभाव्यता: NG मॉडल द्वारा अनुमानित MAP DAG की पश्च संभाव्यता 0.769 थी, जो NIG मॉडल द्वारा प्राप्त 0.0016 से काफी अधिक है।
   • संरचनात्मक अनुमान: दोनों मेडियन प्रोबेबिलिटी मॉडल (MPM) और MAP अनुमान उत्पन्न किए गए, जो सुसंगत संरचनात्मक शिक्षण क्षमताओं को दर्शाते हैं।

महत्ता और दावे
शोध पत्र का दावा है कि प्रस्तावित अनुकूली बेयसियन संरचना शिक्षण दृष्टिकोण पारंपरिक संयुग्मी प्रायरों के लिए एक मजबूत विकल्प प्रदान करता है। एक गैर-संयुग्मी नॉर्मल-गामा प्रायर का उपयोग करके, विधि निम्नलिखित प्राप्त करती है:

• उच्च पश्च संभाव्यता: परिणामी MAP DAG की काफी उच्च पश्च संभाव्यता है, जो डेटा-जनरेटिंग प्रक्रिया के बेहतर फिट का सुझाव देती है।
• गणनात्मक लाभ: सैद्धांतिक जटिलता के बावजूद, विधि संयुग्मी NIG दृष्टिकोण की तुलना में गणनात्मक रूप से तेज़ है।
• अनुकूलनशीलता: मॉडल किनारे समावेश में रूढ़िवादी होकर वास्तविक संरचना के अनुकूल होता है, जिससे स्प्यूरियस (spurious) संबंधों को प्रभावी ढंग से फ़िल्टर किया जाता है जब प्रायर कम किनारे घनत्व का सुझाव देता है।

लेखक निष्कर्ष निकालते हैं कि इस तकनीक में कारण खोज (causal discovery) और अनुमान लगाने की क्षमता है, जो बहुभिन्नरूपी परिदृश्यों में चर निर्भरताओं को उजागर करने के लिए एक अधिक सटीक और कुशल उपकरण प्रदान करती है।