KG-SoftMAP: Soft Knowledge-Graph Priors for Bayesian Network Structure Learning from Sparse Discrete Data

तकनीकी सारांश: KG-SoftMAP

समस्या विवरण

डेटा से बेयसियन नेटवर्क (BNs) की संरचना सीखना एक मुख्य लेकिन NP-hard समस्या है। यह कार्य तब विशेष रूप से कठिन हो जाता है जब डेटा विरल (sparse) और असतत (discrete) होता है, जो कि शैक्षिक मूल्यांकन, नैदानिक रजिस्ट्रियों और सेंसर नेटवर्क जैसे डोमेन में एक सामान्य परिदृश्य है जहाँ प्रत्येक उदाहरण केवल चरों के एक छोटे से उपसमुच्चय को रिकॉर्ड करता है (अवलोकन दर अक्सर 5% से नीचे होती है)। ऐसी विरलता के तहत, अधिकांश चर युग्मों (variable pairs) के पास विश्वसनीय स्कोरिंग या सशर्त स्वतंत्रता परीक्षण के लिए पर्याप्त संयुक्त अवलोकन नहीं होते हैं। फलस्वरूप, शास्त्रीय और आधुनिक डेटा-आधारलित विधियाँ (दोनों बाधा-आधारित और स्कोर-आधारित) सार्थक निर्देशित संरचना (directed structure) को पुनः प्राप्त करने में विफल रहती हैं, और अक्सर लगभग खाली ग्राफ या गलत कंकाल (skeletons) लौटाती हैं।

जबकि शुद्ध रूप से डेटा-संचालित दृष्टिकोण संघर्ष करते हैं, चरों के संबंधों के बारे में अपूर्ण डोमेन ज्ञान अक्सर डेटा के बाहर मौजूद होता है। इस ज्ञान को एक भारित (weighted), निर्देशित नॉलेज ग्राफ (KG) के रूप में व्यक्त किया जा सकता है। हालाँकि, ऐसे ज्ञान को इंजेक्ट करने वाली मौजूदा विधियाँ दो चरम सीमाओं पर स्थित हैं: या तो कठोर बाधाओं (hard constraints) का उपयोग करना (किनारों को निश्चित करना या वर्जित करना), जो अनिश्चित होने पर भंगुर (brittle) होती हैं, या ग्राफ उत्पन्न करने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) को प्रॉम्प्ट करना, जो प्रभावी रूप से डेटा को त्याग देता है। एक ऐसे सामान्य ढांचे की कमी है जो भारित KG को एक सॉफ्ट, डेटा-ओवरराइड करने योग्य संरचना प्रायर (structure prior) के रूप में मान सके जो गलत किनारों को थोपे बिना सीखने में मार्गदर्शन कर सके।

कार्यप्रणाली: KG-SoftMAP

लेखक KG-SoftMAP प्रस्तावित करते हैं, जो एक दो-चरणीय दृष्टिकोण है जो मैक्सिमम ए पोस्टीरियर (MAP) उद्देश्य को अधिकतम करके BN संरचनाओं को सीखता है। यह विधि KG के स्रोत (विशेषज्ञ-क्यूरेटेड या LLM-निष्तत) के प्रति उदासीन (agnostic) होने के लिए डिज़ाइन की गई है।

1. नॉलेज ग्राफ निर्माण (चरण 1)

यदि क्यूरेटेड KG उपलब्ध नहीं है, तो लेखक डोमेन संदर्भ पाठ से भारित KG निकालने के लिए एक वैकल्पिक पाइपलाइन प्रदान करते हैं।

• स्कीमा (Schema): LLM Concept नोड्स और PRECEDES संबंधों (जो KG किनारों का निर्माण करते हैं) को उनके विश्वास भार $w_{uv} \in [0, 1]$ के साथ निकालता है।
• इंस्टेंस-लेवल विचलन: यदि इंस्टेंस-स्तरीय पाठ (जैसे छात्र प्रतिक्रियाएं) उपलब्ध है, तो LLM अवधारणा-विशिष्ट गलतियों को गंभीरता भार के साथ भी पहचानता है। इनका उपयोग केवल डेटा प्रीप्रोसेसिंग के दौरान अवलोकन मैट्रिक्स को परिष्कृत करने के लिए किया जाता है, न कि संरचनात्मक प्रायर के हिस्से के रूप में।
• आउटपुट: एक भारित निर्देशित ग्राफ $K = \{(u, v, w_{uv})\}$।

2. संरचना सीखना (चरण 2)

मुख्य एल्गोरिदम लॉग-पोस्टीरियर को अधिकतम करके एक निर्देशित अचक्रीय ग्राफ (DAG) $G$ सीखता है:
$$G^* = \arg \max_G \left[ \log P(D | G) + \log P(G | K) \right]$$

• डेटा लाइकलीहुड ($\log P(D | G)$): लेखक BDeu स्कोर (बेयसियन डिरिचलेट इक्विवेलेंट यूनिफॉर्म) का उपयोग करते हैं। विरलता को संभालने के लिए, वे कम्प्लीट-केस स्कोरिंग का उपयोग करते हैं, जहाँ केवल वे पंक्तियाँ योगदान देती हैं जहाँ एक नोड और उसके सभी माता-पिता (parents) देखे गए हों। यह इम्प्यूटेशन बायस (imputation bias) से बचता है। 'Missing At Random' (MAR) सेटिंग्स के लिए एक वैकल्पिक EM विस्तार उपलब्ध है, लेकिन यह गणनात्मक रूप से महंगा है और डिफ़ॉल्ट नहीं है।
• KG संरचना प्रायर ($\log P(G | K)$): लेखक एक एज-फैक्टर्ड सॉफ्ट प्रायर पेश करते हैं। एक किनारे $(u \to v)$ को शामिल करने का लॉग-ऑड्स, KG कॉन्फिडेंस वेट $w_{uv}$ का एक रैखिक फलन है:
  $$\text{logit}(\theta_{uv}) = \beta_0 + \beta_1 \cdot w_{uv}$$
  यहाँ, $\theta_{uv}$ किनारे के समावेश की पूर्व प्रायिकता है।
  • KG में अनुपस्थित किनारे ($w_{uv}=0$) एक निम्न आधार समावेश प्रायिकता $\theta_0$ रखते हैं (जो स्पर्सिटी पेनल्टी के रूप में कार्य करता है)।
  • KG में उच्च विश्वास वाले किनारे ($w_{uv}=1$) एक उच्च समावेश प्रायिकता $\theta_{max}$ रखते हैं।
  • डेटा-ओवरराइड करने योग्य: प्रायर "सॉफ्ट" है। यदि डेटा साक्ष्य एक ऐसे किनारे का समर्थन करता है जो KG में नहीं है, तो इसे जोड़ा जा सकता है; इसके विपरीत, यदि डेटा एक KG किनारे को दृढ़ता से दंडित करता है, तो इसे हटाया जा सकता है।
• खोज प्रक्रिया (Search Procedure): अनुकूलन को तीन ऑपरेशनों: एज एडिशन, एज स्वैप (एक पैरेंट को बदलना), और एज डिलीशन के साथ ग्रीडी कोऑर्डिनेट एसेंट (हिल-क्लाइंबिंग) के माध्यम से हल किया जाता है। खोज अचक्रीयता (acyclicity) और अधिकतम इन-डिग्री बाधा को लागू करती है।

प्रमुख योगदान

1. सॉफ्ट, डेटा-ओवरराइड करने योग्य KG प्रायर: पेपर एक भारित KG को एक एज-फैक्टर्ड स्ट्रक्चर प्रायर के रूप में प्रस्तुत करता है जहाँ समावेश लॉग-ऑड्स KG कॉन्फिडेंस के रैखिक हैं। यह विधि त्रुटियों के प्रति मजबूत रहते हुए, डेटा द्वारा ओवरराइड किए जाने योग्य डोमेन ज्ञान का लाभ उठाने की अनुमति देती है।
2. रिकवरी का नियंत्रित प्रमाण: ग्राउंड-ट्रुथ DAGs के साथ सिंथेटिक बेंचमार्क पर, KG-SoftMAP अत्यधिक विरलता ($\rho=0.05$) पर भी आंशिक निर्देशित संरचना को पुनः प्राप्त करने की क्षमता प्रदर्शित करता है, जहाँ डेटा-ओनली बेसलाइन (GOLEM, DAGMA, और SDCD जैसे आधुनिक डिफरेंशिएबल मेथड्स और GRaSP जैसे डिस्क्रीट परम्यूटेशन सर्च सहित) लगभग शून्य निर्देशित संरचना प्राप्त करते हैं। जैसे-जैसे अवलोकन दर बढ़ती है ($\rho \ge 0.2$), प्रदर्शन में काफी सुधार होता है।
3. KG गुणवत्ता के प्रति मजबूती: एब्लेशन अध्ययन दिखाते हैं कि KG की गुणवत्ता गिरने (भ्रष्टाचार या शोर के माध्यम से) पर प्रदर्शन धीरे-धीरे कम होता है। महत्वपूर्ण रूप से, जब इसे एक "जीरो-सिग्नल" रैंडम KG (जिसमें कोई वास्तविक किनारे नहीं हैं) प्रदान किया जाता है, तो यह कोई संरचना पुनः प्राप्त नहीं करता (Directed-F1 $\approx 0.00$), जो पुष्टि करता है कि लाभ केवल खोज एल्गोरिदम द्वारा नहीं बल्कि KG के संरचनात्मक सिग्नल द्वारा संचालित है।
4. वास्तविक डेटा पर तैनाती मूल्यांकन: लेखक तीन वास्तविक दुनिया के विरल शैक्षिक डेटासेट (SAF, ASSISTments, Eedi) पर इस विधि का मूल्यांकन करते हैं। चूंकि इनमें ग्राउंड-ट्रुथ DAGs की कमी है, मूल्यांकन डिप्लॉयमेंट मेट्रिक्स: प्रेडिक्शन, कैलिब्रेशन और KG-कंसिस्टेंसी पर केंद्रित है।
   • SAF (LLM-निष्तत KG): सीखा गया BN एक कैलिब्रेटेड, व्याख्या योग्य डायग्नोस्टिक मॉडल प्रदान करता है जिसमें KG-कंसिस्टेंट किनारे हैं। यह प्रेडिक्शन में लॉजिस्टिक रिग्रेशन (LR) से थोड़ा पीछे है (0.03 F1), लेकिन किसी भी देखे गए उपसमुच्चय से अनुमान लगाने की क्षमता और एक पुन: प्रयोज्य कॉन्सेप्ट ग्राफ प्रदान करता है।
   • ASSISTments (कोई सार्थक KG नहीं): जब इसे ह्यूरिस्टिक प्रायर (नाम-समानता, रैंडम) के साथ स्थापित किया जाता है, तो BN, LR की तुलना में खराब प्रदर्शन करता है, जो पुष्टि करता है कि इस विधि को एक सार्थक संरचनात्मक सिग्नल की आवश्यकता है।
   • Eedi (विशेषज्ञ ऑन्टोलॉजी): एक स्वतंत्र विशेषज्ञ ऑन्टोलॉजी को प्रायर के रूप में उपयोग करने से भीतर-विषय (within-topic) किनारों का हिस्सा बढ़ता है, लेकिन प्रेडिक्शन में सुधार नहीं होता, जो संरचनात्मक सामंजस्य और विभेदक शक्ति (discriminative power) के बीच ट्रेड-ऑफ को उजागर करता है।

परिणाम

• सिंथेटिक बेंचमार्क: $\rho=0.2$ पर, KG-SoftMAP विभिन्न नेटवर्क आकारों में 0.46 और 0.96 के बीच Directed-F1 स्कोर प्राप्त करता है, जो सभी डेटा-ओनली बेसलाइन्स (जो 0.44 से नीचे रहते हैं) को काफी पीछे छोड़ देता है। $\rho=0.05$ पर, यह आंशिक संरचना (DF1 0.14–0.29) को पुनः प्राप्त करता है जबकि बेसलाइन विफल हो जाते हैं।
• एब्लेशन:
  • प्रायर बनाम सर्च: लाभ मुख्य रूप से सॉफ्ट प्रायर के कारण है। मानक लर्नर्स (जैसे MMHC या BNLEARN) जो समान KG प्रायर से लैस हैं, पर्याप्त संरचना पुनः प्राप्त करते हैं, हालांकि KG-SoftMAP का स्पर्स-अवेयर स्कोरिंग अतिरिक्त मार्जिन प्रदान करता है।
  • करप्शन (Corruption): रिकवरी KG भ्रष्टाचार दरों के साथ सुचारू रूप से घटती है।
  • हार्ड बनाम सॉफ्ट: उच्च-गुणवत्ता वाले KGs और पर्याप्त डेटा के तहत, एक 'नियर-हार्ड' प्रायर सॉफ्ट प्रायर के समान प्रदर्शन करता है। सॉफ्ट प्रायर का लाभ अनिश्चितता के समय सुरक्षा प्रदान करने में है।
• वास्तविक डेटा: विधि एक "डायग्नोस्टिक मॉडल" बनाती है जो अच्छी तरह से कैलिब्रेटेड और KG-कंसिस्टेंट है। हालाँकि, शुद्ध सेल-लेवल प्रेडिक्शन के लिए, डिस्क्रिमिनेटिव मॉडल (जैसे लॉजिस्टिक रिग्रेशन) मजबूत बेसलाइन बने रहते हैं, विशेष रूप से जब कोई सार्थक KG मौजूद नहीं होता है।

महत्व और दावे

पेपर KG-SoftMAP को अत्यधिक विरलता के समाधान के रूप में स्थापित करता है जहाँ केवल डेटा संरचना सीखने के लिए पर्याप्त नहीं है। इसका महत्व निम्नलिखित में निहित है:

• अंतराल को भरना: यह कठोर बाधाओं और डेटा-अज्ञेयवादी LLM जनरेशन के बीच एक मध्य मार्ग बनाता है, जो डोमेन ज्ञान को एक संभावabilistic प्रायर के रूप में मानता जिसे डेटा द्वारा ओवरराइड किया जा सकता है।
• दायरा परिभाषित करना: लेखक अपने दावों के प्रति विनम्र हैं। वे स्पष्ट रूप से कहते हैं कि संरचनात्मक रिकवरी के दावे ग्राउंड-ट्रुथ के साथ सिंथेटिक डेटा तक सीमित हैं। वास्तविक डेटा के लिए, विधि को एक डायग्नोस्टिक टूल के रूप में प्रस्तुत किया गया है जो व्याख्या योग्य, कैलिब्रेटेड जॉइंट प्रोबेबिलिटी और KG-कंसिस्टेंट संरचना प्रदान करता है, न कि सेल-लेवल परिणामों के लिए एक बेहतर प्रेडिक्टर के रूप में।
• व्यावहारिक उपयोगिता: यह विधि तब सबसे अधिक मूल्यवान है जब एक सार्थक (भले ही अपूर्ण) KG मौजूद हो। यदि ऐसा ज्ञान उपलब्ध नहीं है, तो पेपर निष्कर्ष निकालता है कि डिस्क्रिमिनेटिव बेसलाइन्स अधिक उपयुक्त हैं।

यह कार्य सामान्य कॉज़ल डिस्कवरी को हल करने या डिस्क्रिमिनेटिव प्रेडिक्शन को बदलने का दावा नहीं करता है; बल्कि, यह प्रभावी रूप से बाहरी, अपूर्ण डोमेन ज्ञान का लाभ उठाकर डेटा-दुर्लभ शासन में व्याख्या योग्य संभाव्य मॉडल सीखने के लिए एक मजबूत ढांचा प्रदान करता है।