Integrating Background Knowledge for Scalable Causal Discovery

कल्पना कीजिए कि आप एक जासूस हैं जो एक बड़े रहस्य को सुलझाने की कोशिश कर रहे हैं: यह पता लगाना कि कैसे कई अलग-अलग चर (जैसे मौसम, ट्रैफिक और कॉफी की बिक्री) एक-दूसरे को प्रभावित करते हैं। आपके पास सुरागों का एक विशाल जाल है, लेकिन यह जाल इतना उलझा हुआ है कि हर एक संबंध को एक साथ मैप करने की कोशिश करने में आपका पूरा जीवन बीत जाएगा। यह कॉज़ल डिस्कवरी (causal discovery) की समस्या है—डेटा से वास्तविक कारण-और-प्रभाव (cause-and-effect) के मानचित्र को खोजने की कोशिश करना।

आमतौर पर, जब जासूसों के सामने दीवार आ जाती है, तो वे मदद के लिए किसी विशेषज्ञ से पूछते हैं। शायद एक स्थानीय बरिस्ता आपको बताए, "कॉफी की बिक्री निश्चित रूप से बारिश का कारण नहीं बनती," या "बारिश निश्चित रूप से ट्रैफिक जाम से पहले आती है।" कंप्यूटर विज्ञान की दुनिया में, इसे बैकग्राउंड नॉलेज (BK - पृष्ठभूमि ज्ञान) कहा जाता है।

लंबे समय तक, अधिकांश कंप्यूटर प्रोग्राम इस विशेषज्ञ सलाह को एक पोस्ट-इट नोट की तरह मानते थे जिसे वे अपना सारा काम खत्म करने के बाद दीवार पर चिपका देते थे। वे पहले एक विशाल, भ्रमित करने वाला नक्शा बनाते थे और फिर कहते थे, "ओह, विशेषज्ञ ने कहा कि यह किनारा गलत है? ठीक है, चलिए इसे मिटा देते हैं।" यह एक घर बनाने, उसे पूरे रंग देने और फिर यह महसूस करने जैसा है कि आप एक दीवार बनाना भूल गए जिसके बारे में आर्किटेक्ट ने आपको बताया था। यह समय और ऊर्जा की बर्बादी है।

बड़ा विचार: निर्माण के दौरान विशेषज्ञ से पूछें

इस पेपर के लेखक, जो नीदरलैंड और जर्मनी के विश्वविद्यालयों की एक टीम है, ने एक स्मार्ट तरीका निकाला है। उन्होंने एक नया फ्रेमवर्क बनाया जो कंप्यूटर को जांच के दौरान विशेषज्ञ से मदद मांगने की अनुमति देता है, न कि अंत में।

इसे "20 सवाल" (20 Questions) खेलने वाले खेल की तरह समझें जिससे किसी गुप्त वस्तु का अनुमान लगाया जाता है।

• पुराना तरीका: आप हर चीज़ के बारे में 20 सवाल पूछते हैं, हर संभावित उत्तर लिख लेते हैं, और फिर एहसास होता है, "ओह, विशेषज्ञ ने कहा था कि यह जीवित चीज़ नहीं है," इसलिए आप अपने आधे नोट्स फेंक देते हैं।
• नया तरीका (यह पेपर): आप शुरुआत में ही विशेषज्ञ से पूछते हैं, "क्या यह जीवित है?" वे कहते हैं "नहीं।" आप तुरंत फर, पंख या पूंछ के बारे में पूछना बंद कर देते हैं। आप केवल चट्टानों, कारों और कुर्सियों के बारे में पूछते हैं। आप पहेली को तेज़ी से और कम सवालों के साथ हल करते हैं।

तीन जादुई तरकीबें

पेपर दिखाता है कि एल्गोरिदम के चलते समय इस विशेषज्ञ ज्ञान को एकीकृत करने से तीन विशिष्ट चीजें होती हैं:

1. स्पष्ट चीजों को छोड़ना (Skipping the Obvious): यदि विशेषज्ञ कहता है, "चर A और चर B निश्चित रूप से जुड़े हुए हैं," तो कंप्यूटर यह साबित करने में समय बर्बाद करना बंद कर देता है कि वे नहीं जुड़े हैं। वह बस उस संबंध को स्वीकार करता है और आगे बढ़ जाता है।
2. खोज को सीमित करना (Narrowing the Search): यदि कंप्यूटर यह समझने की कोशिश कर रहा है कि A और B अलग क्यों हैं, तो उसे आमतौर पर सैकड़ों अन्य चरों की जांच करनी पड़ती है ताकि यह देखा जा सके कि क्या वे "दोषी" हैं। विशेषज्ञ कह सकता है, "यह निश्चित रूप से C या D नहीं है।" कंप्यूटर तुरंत C और D को अनदेखा कर देता है, जिससे खोज का स्थान एक स्टेडियम से घटकर एक कमरे तक सिमट जाता है।
3. "अंतरालों" को संभालना (Handling the "Gaps"): कभी-कभी विशेषज्ञ कहता है, "A और B निश्चित रूप से जुड़े हुए नहीं हैं।" पेपर में पाया गया कि यदि आप उस कनेक्शन को तुरंत हटा देते हैं, तो आप अनजाने में उन दिशाओं के तर्क को तोड़ सकते हैं जिन्हें बाद में अन्य तीरों (arrows) की दिशा निर्धारित करने के लिए आवश्यक माना जाता है। इसलिए, उनका नया तरीका चतुर है: यह थोड़ा इंतजार करता है ताकि उस "प्रमाण" (separating set) को मिल सके जो यह समझा सके कि वे क्यों नहीं जुड़े हैं, लेकिन यह बहुत कम संदिग्धों की सूची का उपयोग करके करता है। यह एल्गोरिदम को क्रैश होने या भ्रमित होने से रोकता है।

परिणाम: तेज़ और स्मार्ट

लेखकों ने इस विचार का परीक्षण कई अलग-अलग डिटेक्टिव एल्गोरिदम (जिन्हें PC, SNAP, MB-by-MB, LDECC, और LOAD नाम दिया गया है) पर किया। उन्होंने 100 चरों (नोड्स) के साथ सिमुलेशन चलाया और रैखिक गॉसियन (linear Gaussian - चिकने वक्र) और बाइनरी (हाँ/ना) डेटा सहित विभिन्न प्रकार के डेटा के साथ परीक्षण किया।

उन्होंने अपने सिमुलेशन में यह पाया:

• गति (Speed): नए तरीके काफी तेज़ थे। कुछ एल्गोरिदम के लिए, जैसे PC-BK और LDECC+-BK, जब उन्होंने बैकग्राउंड नॉलेज का उपयोग किया, तो पहेली को हल करने में लगने वाला समय एक ऑर्डर ऑफ मैग्नीट्यूड (यानी 10 गुना!) कम हो गया।
• कम सवाल: "कंडीशनल इंडिपेंडेंस (CI) टेस्ट" (वे सवाल जो कंप्यूटर डेटा से पूछता है) की संख्या नाटकीय रूप से गिर गई। कुछ मामलों में, परीक्षणों की संख्या लाखों से घटकर केवल कुछ हज़ार रह गई।
• बेहतर सटीकता (Better Accuracy): जब बैकग्राउंड नॉलेज सही था, तो अंतिम मानचित्र अधिक सटीक थे। "इंटरवेंशन डिस्टेंस" (एक माप जो अनुमानित कारण-और-प्रभाव को सत्य के कितने करीब है) में सुधार हुआ, जिसका अर्थ है कि कंप्यूटर के अनुमान कि किसी चर को बदलने पर क्या होगा, वास्तविकता के बहुत करीब थे।

वे स्पष्ट रूप से क्या खारिज करते हैं

पेपर इस बारे में बहुत स्पष्ट है कि क्या काम नहीं करता है या वे क्या नहीं कर रहे हैं:

• केवल "पोस्ट-प्रोसेसिंग" नहीं: वे तर्क देते हैं कि अंत तक विशेषज्ञ ज्ञान का इंतजार करना अक्षम है। हालांकि आदर्श दुनिया में यह वही अंतिम मानचित्र दे सकता है, लेकिन वहां तक पहुँचने में यह बहुत अधिक कंप्यूटिंग शक्ति बर्बाद करता है।
• खराब डेटा के साथ कोई जादू नहीं: उन्होंने परीक्षण किया कि क्या होता है जब विशेषज्ञ गलत होता है (अपूर्ण ज्ञान)। उन्होंने पाया कि हालांकि एल्गोरिदम आम तौर पर मजबूत हैं, यदि विशेषज्ञ बहुत अधिक गलत उत्तर (जैसे 30% त्रुटियां) देता है, तो कंप्यूटर भ्रमित हो जाता है, और कुछ तरीकों (जैसे SNAP) के लिए इसे हल करने में लगने वाला समय वास्तव में बढ़ सकता है।
• छिपे हुए चरों के लिए "हल" की गई समस्या नहीं: पेपर उन स्थितियों पर केंद्रित है जहाँ कोई छिपे हुए "कन्फाउंडर्स" (गुप्त चर जो सब कुछ प्रभावित करते हैं) नहीं हैं। वे स्वीकार करते हैं कि छिपे हुए चरों के साथ काम करना बहुत कठिन है और उनका वर्तमान तरीका अभी तक इसे पूरी तरह से हल नहीं करता है। वे अभी भी इस पर काम कर रहे हैं।

वे कितने आश्वस्त हैं?

लेखक अपने गणित में बहुत आश्वस्त हैं। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने सिद्ध किया है कि उनके नए तरीके "साउंड" (sound - यदि डेटा और विशेषज्ञ पूर्ण हैं तो वे गलत उत्तर नहीं देंगे) और "कम्प्लीट" (complete - यदि उत्तर मौजूद है तो वे उसे ढूंढ लेंगे) हैं।

• सिद्ध (Proven): उनके नए एल्गोरिदम (PC-BK, SNAP-BK, MB-by-MB-BK) के पीछे का तर्क आदर्श परिस्थितियों में सही ढंग से काम करने के लिए गणितीय रूप से सिद्ध है।
• मापा गया (Measured): उन्होंने प्रत्येक परिदृश्य के लिए 100 प्रयोग चलाए, सबसे अच्छे और सबसे खराब 5 परिणामों को हटाकर एक ठोस औसत प्राप्त किया। उन्होंने सिंथेटिक डेटा (बनाए गए ग्राफ) और bnlearn रिपॉजिटरी (MAGIC-NIAB जैसे नेटवर्क जिसमें 44 नोड्स हैं और ARTH150 जिसमें 107 नोड्स हैं) से वास्तविक दुनिया जैसा डेटा पर परीक्षण किया।
• सिम्युलेटेड (Simulated): गति और सटीकता के संबंध में परिणाम इन कंप्यूटर सिमुलेशन से आए हैं। उन्होंने अभी तक वास्तविक दुनिया के चिकित्सा परीक्षण या शेयर बाजार के क्रैश पर इसका परीक्षण नहीं किया है, लेकिन गणित बताता है कि यह वहां भी काम करेगा।

निचोड़ (The Bottom Line)

यह पेपर सुझाव देता है कि यदि आप किसी जटिल प्रणाली में कारण-और-प्रभाव का पता लगाना चाहते हैं, तो आपको अंत तक विशेषज्ञ को अनदेखा नहीं करना चाहिए। कंप्यूटर को उसके सोचने के दौरान विशेषज्ञ को सुनने की अनुमति देकर, आप पहेली को 10 गुना तेज़ी से और बहुत कम प्रयास के साथ हल कर सकते हैं। यह एक GPS की तरह है जो न केवल आपको बताता है कि आप कहाँ हैं, बल्कि ट्रैफिक जाम में फंसने से पहले ही आपको रास्ता बदलने के लिए सक्रिय रूप से निर्देशित करता है।