📊 statistics

Estimating Interventional Distributions with Uncertain Causal Graphs through Meta-Learning

यह शोध पत्र MACE-TNP का प्रस्ताव करता है, जो एक मेटा-लर्निंग-आधारित ट्रांसफार्मर मॉडल है जो कॉज़ल डिस्कवरी (कारण संबंधी खोज) में संरचनात्मक अनिश्चितता की कम्प्यूटेशनल जटिलता को दूर करने के लिए बेयसियन मॉडल-एवरेज्ड इंटरवेंशनल डिस्ट्रीब्यूशन्स (बेयसियन मॉडल-औसत हस्तक्षेप वितरण) का कुशलतापूर्वक अनुमान लगाता है।

मूल लेखक: Anish Dhir, Cristiana Diaconu, Valentinian Mihai Lungu, James Requeima, Richard E. Turner, Mark van der Wilk

प्रकाशित 2026-02-11

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Anish Dhir, Cristiana Diaconu, Valentinian Mihai Lungu, James Requeima, Richard E. Turner, Mark van der Wilk

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे एक जासूस हैं: "यदि मैं इस प्रणाली में एक चीज़ बदल दूँ, तो बाकी सब पर क्या प्रभाव पड़ेगा?"

विज्ञान में, इसे कॉज़ल इन्फरेंस (Causal Inference) कहा जाता है। उदाहरण के लिए: "यदि मैं इस रोगी को एक विशिष्ट दवा दूँ, तो क्या उनका रक्तचाप कम हो जाएगा?" या "यदि हम ब्याज दरें बढ़ाते हैं, तो क्या मुद्रास्फीति कम हो जाएगी?"

समस्या यह है कि वास्तविक दुनिया में, हमारे पास यह समझने के लिए कोई आदर्श "निर्देश पुस्तिका" (कॉज़ल ग्राफ) नहीं होती कि चीजें कैसे काम करती हैं। हमारे पास केवल अवलोकन (observations) होते हैं—उन घटनाओं द्वारा छोड़े गए जटिल और उलझे हुए निशान जो पहले ही घटित हो चुके हैं।

समस्या: "अनुमान लगाने का खेल" (The "Guessing Game" Trap)

कल्पना कीजिए कि आप देखते हैं कि लोग छतरियां लेकर जा रहे हैं और आपने गौर किया कि ज़मीन गीली है। आपके पास दो अनुमान (कॉज़ल ग्राफ) हैं:

अनुमान A: बारिश के कारण लोग छतरियां ले जा रहे हैं।
अनुमान B: लोगों के छतरियां ले जाने से किसी तरह बारिश हो रही है।

यदि आप केवल एक अनुमान चुनते हैं और उस पर अमल करते हैं, तो आप एक बड़ी गलती कर सकते हैं। यदि आप मान लेते हैं कि अनुमान B सही है और बारिश को रोकने के लिए छतरियां बांटना शुरू कर देते हैं, तो आप बहुत निराश होंगे।

अधिकांश वर्तमान AI मॉडल केवल एक सबसे अच्छा अनुमान चुनने की कोशिश करते हैं। लेकिन क्योंकि वास्तविक दुनिया जटिल है, इसलिए अक्सर कई "तर्कसंगत" अनुमान मौजूद होते हैं। यदि कोई AI गलत अनुमान में बहुत अधिक आश्वस्त हो जाता है, तो उसके भविष्यवाणियाँ खतरनाक रूप से गलत होंगी।

पुराना तरीका: "धीमा और महंगा" तरीका (The "Slow and Expensive" Method)

सुरक्षित रहने के लिए, वैज्ञानिक बेयसियन इन्फरेंस (Bayesian Inference) का उपयोग करने का प्रयास करते हैं। यह कहने जैसा है, "मुझे नहीं पता कि कौन सा अनुमान सही है, इसलिए मैं उन सभी पर विचार करूँगा, उन्हें उनकी संभावना के अनुसार भार दूँगा, और उनके भविष्यवाणियों का औसत निकालूँगा।"

हालांकि यह स्मार्ट है, लेकिन यह थका देने वाला है। यह एक ऐसे जासूस की तरह है जिसे केवल अपराध सुलझाने के बजाय, हर एक संभव संस्करण को हजारों बार फिर से जीना पड़ता है ताकि यह देखा जा सके कि कौन सा सबूतों से मेल खाता है। इसमें भारी मात्रा में कंप्यूटर पावर और समय लगता है, जिससे मानव जीनोम या वैश्विक अर्थव्यवस्था जैसे बड़े, जटिल सिस्टम के लिए इसका उपयोग करना लगभग असंभव हो जाता है।

समाधान: MACE-TNP (द "सुपर-लर्नर")

इस शोध पत्र के लेखकों ने MACE-TNP नामक एक नया टूल बनाया है। हर बार नया सवाल पूछे जाने पर वह सारी भारी गणितीय गणना करने के बजाय, उन्होंने मेटा-लर्निंग (Meta-Learning) नामक तकनीक का उपयोग किया।

उपमा: मास्टर शेफ बनाम लाइन कुक

पुराना तरीका (लाइन कुक): हर बार जब कोई ग्राहक एक जटिल व्यंजन ऑर्डर करता है, तो रसोइये को पूरी कुकबुक पढ़नी पड़ती है, सामग्री के इतिहास पर शोध करना पड़ता है, और गर्मी की सेटिंग्स के साथ प्रयोग करना पड़ता है। यह सटीक है, लेकिन ग्राहक अपने भोजन के लिए घंटों इंतजार करता है।
MACE-TNP का तरीका (मास्टर शेफ): इस शेफ ने पहले लाखों अलग-अलग भोजन बनाए हैं। उन्होंने "सीखना सीख लिया है।" जब कोई नया ऑर्डर आता है, तो वे पूरी किताब दोबारा नहीं पढ़ते; वे अपनी अंतर्दृष्टि (अनुभव के माध्यम से प्रशिक्षित) का उपयोग करते हैं ताकि तुरंत सही सामग्रियों के संयोजन को "महसूस" कर सकें। उन्होंने अनिवार्य रूप से कुकबुक को अपने मस्तिष्क में "अवशोषित" कर लिया है।

यह सरल अंग्रेजी (हिंदी) में कैसे काम करता है:

प्रशिक्षण (अभ्यास): शोधकर्ताओं ने AI को लाखों "नकली" कॉज़ल दुनिया (सिंथेटिक डेटा) दी। AI ने अवलोकनों को देखना और यह भविष्यवाणी करना सीखा कि हस्तक्षेप करने पर क्या होगा।
एमोर्टाइजेशन (एक शॉर्टकट): क्योंकि AI ने बहुत अभ्यास किया था, इसलिए इसने "हर अपराध को फिर से जीने" वाले चरण को छोड़ने का तरीका सीख लिया। इसने "यहाँ मैंने क्या देखा" $\rightarrow$ "यदि आप X को बदलते हैं तो क्या होगा" के बीच एक सीधा शॉर्टकट सीख लिया।
अनिश्चितता को संभालना: क्योंकि इसे कई अलग-अलग प्रकार की दुनिया पर प्रशिक्षित किया गया था, यह केवल एक उत्तर नहीं देता; यह संभावनाओं का एक "बादल" देता है। यह जानता है कि वह कब अनिश्चित है, जो इसे बहुत विश्वसनीय बनाता है।

यह क्यों मायने रखता है?

शोधकर्ताओं ने इसका परीक्षण सरल गणितीय समस्याओं से लेकर जटिल जैविक डेटा (Sachs डेटासेट, जो कोशिकाओं में प्रोटीन को ट्रैक करता है) तक सब पर किया।

परिणाम? उनका "मास्टर शेफ" AI पुराने तरीकों की तुलना में बहुत तेज़ था, इसने बहुत बड़े और अधिक जटिल सिस्टम को संभाला, और "क्या होगा अगर" वाले परिदृश्यों की भविष्यवाणी करने में बहुत अधिक सटीक था।

संक्षेप में, उन्होंने AI के लिए विज्ञान के "क्या होगा अगर" वाले सवालों के बीच बिना गणितीय उलझनों में फंसे रास्ता खोजने का एक तरीका बनाया है।

तकनीकी सारांश: अनिश्चित कॉज़ल ग्राफ के माध्यम से इंटरवेंशनल डिस्ट्रीब्यूशन का अनुमान लगाना

1. समस्या विवरण

कॉज़ल इन्फरेंस (कारण संबंधी निष्कर्ष) में, एक केंद्रीय लक्ष्य इंटरवेंशनल डिस्ट्रीब्यूशन (interventional distributions) का अनुमान लगाना है—यह भविष्यवाणी करना कि यदि हम चर $X$ पर सक्रिय रूप से हस्तक्षेप (intervention) करते हैं (जिसे $p(Y | do(X)) $के रूप में दर्शाया जाता है), तो चर$ Y$ कैसे व्यवहार करेगा। जबकि ऑब्जर्वेशनल डेटा (अवलोकन संबंधी डेटा) अक्सर उपलब्ध होता है, हस्तक्षेप करना अक्सर महंगा, अनैतिक या असंभव होता है।

पारंपरिक तरीके इसे हल करने का प्रयास करते हैं या तो:

एक ज्ञात कॉज़ल ग्राफ की धारणा बनाना: यह जटिल डोमेन में अक्सर अवास्तविक होता है।
डेटा से ग्राफ सीखना (Causal Discovery): यह अत्यंत कठिन है क्योंकि ऑब्जर्वेशनल डेटा कई अलग-अलग कॉज़ल ग्राफों के अनुकूल हो सकता है (मार्कोव इक्विवेलेंस क्लासेस)।

लेखक एक महत्वपूर्ण विफलता मोड की पहचान करते हैं: यदि कोई शोधकर्ता एक एकल "सर्वश्रेष्ठ अनुमान" वाले ग्राफ के प्रति प्रतिबद्ध होता है, तो वह स्ट्रक्चरल अनसर्टेन्टी (संरचनात्मक अनिश्चितता) की अनदेखी करता है। एक ही इक्विवेलेंस क्लास के भीतर दो अलग-अलग ग्राफ नाटकीय रूप से भिन्न कॉज़ल प्रभाव दर्शा सकते हैं। एक सिद्धांतपूर्ण दृष्टिकोण के लिए बेयसियन मॉडल एवरेजिंग (BMA) की आवश्यकता होती है, जो सभी संभावित ग्राफों और कार्यात्मक तंत्रों (functional mechanisms) के पोस्टीरियर डिस्ट्रीब्यूशन पर मार्जिनलाइज़ करता है। हालाँकि, BMA गणनात्मक रूप से अव्यवहार्य (intractable) है क्योंकि चरों की संख्या के साथ संभावित ग्राफों की संख्या सुपर-एक्सपोनेंशियल दर से बढ़ती है, और प्रत्येक ग्राफ के लिए जटिल कार्यात्मक तंत्रों पर इन्फरेंस करना अत्यधिक महंगा है।

2. कार्यप्रणाली: MACE-TNP

दो-चरणीय बेयसियन पाइपलाइन (ग्राफ नमूना लेना $\rightarrow$ कार्यात्मक इन्फरेंस करना $\rightarrow$ औसत निकालना) की अव्यवहार्यता से बचने के लिए, लेखक मॉडल-एवरेज्ड कॉज़ल एस्टीमेशन ट्रांसफॉर्मर न्यूरल प्रोसेस (MACE-TNP) का प्रस्ताव करते हैं।

मुख्य अवधारणा: मेटा-लर्निंग के माध्यम से एमोर्टाइज्ड इन्फरेंस (Amortized Inference)
स्पष्ट रूप से पोस्टीरियर्स की गणना करने के बजाय, MACE-TNP न्यूरल प्रोसेसेज (NPs) का उपयोग पूरे बेयसियन पाइपलाइन को "एमोर्टाइज़" करने के लिए करता है। मॉडल को सीधे एक ऑब्जर्वेशनल डेटासेट $D_{obs}$ को लक्षित बेयसियन पोस्टीरियर इंटरवेंशनल डिस्ट्रीब्यूशन $p(X_i | do(X_j), D_{obs})$ में मैप करने के लिए प्रशिक्षित किया जाता है। विभिन्न प्रकार के सिंथेटिक कॉज़ल टास्क पर प्रशिक्षण देकर, मॉडल एक सिंगल फॉरवर्ड पास के भीतर ग्राफ डिस्कवरी, फंक्शनल मैकेनिज्म इन्फरेंस और मॉडल एवरेजिंग को स्पष्ट रूप से (implicitly) करने के लिए सीख जाता है।

आर्किटेक्चर विवरण:

ट्रांसफॉर्मर एनकोडर: कॉज़ल डेटा की समरूपताओं (symmetries) का सम्मान करने के लिए, आर्किटेक्चर एक विशेष ट्रांसफॉर्मर का उपयोग करता है। यह सैंपल्स के बीच अटेंशन (डेटा पॉइंट्स में पैटर्न कैप्चर करने के लिए) और नोड्स के बीच अटेंशन (चरों के बीच संबंधों को कैप्चर करने के लिए) के बीच बारी-बारी से काम करता है। यह सुनिश्चित करता है कि मॉडल ऑब्जर्वेशनल सैंपल्स के प्रति परम्यूटेशन-इनवेरिएंट (permutation-invariant) और इंटरवेंशनल क्वेरीज़ के प्रति परम्यूटेशन-इक्विवेरिएंट (permutation-equivariant) है।
वेरिएबल-विशिष्ट एम्बेडिंग्स: चूंकि नोड्स अलग-अलग भूमिकाएँ निभाते हैं (आउटकम, इंटरवेंशन, या मार्जिनल/न्यूजेंस वेरिएबल्स), मॉडल इन भूमिकाओं को अलग तरह से एनकोड करने के लिए छह विशिष्ट MLPs का उपयोग करता है।
मिश्रण ऑफ गॉसियन्स (MoG) डिकोडर: क्योंकि इंटरवेंशनल डिस्ट्रीब्यूशन मल्टी-मोडल या नॉन-गॉसियन हो सकते हैं, मॉडल मिश्रण ऑफ गॉसियन्स (Mixture of Gaussians) के पैरामीटर्स (मीन, वेरिएंस और वेट) को आउटपुट करता है।
प्रशिक्षण उद्देश्य: मॉडल को अपने भविष्यवाणियों और सिंथेटिक स्ट्रक्चरल कॉज़ल मॉडल्स (SCMs) से प्राप्त वास्तविक बेयसियन पोस्टीरियर इंटरवेंशनल डिस्ट्रीब्यूशन के बीच अपेक्षित कुलबैक-लीब्लर (KL) डाइवर्जेंस को कम करके प्रशिक्षित किया जाता है।

3. मुख्य योगदान

एंड-टू-एंड फ्रेमवर्क: एक नया मेटा-लर्निंग प्रतिमान प्रस्तावित करता है जो क्लासिकल बेयसियन कॉज़ल इन्फरेंस की महंगी दो-चरणीय प्रक्रिया को दरकिनार करता है।
स्केलेबल बेयसियन एप्रोक्सिमेशन: यह प्रदर्शित करता है कि मेटा-लर्निंग, ग्राफ स्पेस के स्पष्ट सैंपलिंग के बिना, जटिल, उच्च-आयामी बेयसियन मार्जिनलाइजेशन को अनुमानित कर सकता है।
सैद्धांतिक संरेखण: दिखाता है कि सरल, विश्लेषणात्मक रूप से सुलभ मामलों (जैसे लीनियर गॉसियन मॉडल) में, मॉडल वास्तविक बेयसियन पोस्टीरियर की ओर अभिसरित (converge) होता है।
अनिश्चितता का प्रबंधन: एक ऐसा तरीका प्रदान करता है जो स्वाभाविक रूप से स्ट्रक्चरल (ग्राफ) और फंक्शनल (मैकेनिज्म) दोनों प्रकार की अनिश्चितता को संभालता है।

4. प्रयोगात्मक परिणाम

लेखकों ने कई बढ़ते हुए जटिल सेटिंग्स में MACE-TNP का मूल्यांकन किया:

टू-नोड लीनियर गॉसियन मॉडल्स: पुष्टि की कि मॉडल नॉन-आइडेंटिफिएबल (non-identifiable) सेटिंग्स में भी वास्तविक पोस्टीरियर को रिकवर करता है (जहाँ कई ग्राफ समान रूप से संभावित हैं)। इसने यह भी दिखाया कि कुछ वास्तविक इंटरवेंशनल सैंपल्स प्रदान करने से आइडेंटिफिएबिलिटी में काफी सुधार होता है।
थ्री-नोड प्रयोग: प्रदर्शित किया कि मॉडल आवश्यक कॉज़ल एडजस्टमेंट (जैसे, कन्फाउंडर और मीडिएटर के बीच अंतर करना) को स्पष्ट रूप से करता है। MACE-TNP ने DiBS-GP, ARCO-GP और DECI जैसे मजबूत बेसलाइन्स को लगातार पछाड़ दिया।
हाई-डायमेंशनल स्केलिंग: मॉडल को 40 नोड्स तक स्केल किया गया। MACE-TNP ने सभी बेसलाइन्स को पछाड़ दिया, जो गॉसियन प्रोसेस-आधारित तरीकों की तुलना में इसकी स्केलेबिलिटी को सिद्ध करता है जो आयाम बढ़ने पर गणनात्मक रूप से अत्यधिक महंगे हो जाते हैं।
रियल-वर्ल्ड डेटा (सैक्स प्रोटिओमिक्स): जब बिना रिट्रेनिंग के वास्तविक जैविक डेटा पर परीक्षण किया गया, तो MACE-TNP ने स्टेट-ऑफ-द-आर्ट न्यूरल कॉज़ल मॉडल्स (DECI) के साथ प्रतिस्पर्धी प्रदर्शन किया, जो वास्तविक दुनिया के अनुप्रयोग के लिए इसकी क्षमता को दर्शाता है।

5. महत्व

यह कार्य कॉज़ल इन्फरेंस के प्रतिमान को "खोज और अनुमान" (search and estimate) से बदलकर "मेटा-लर्न और प्रेडिक्ट" (meta-learn and predict) में स्थानांतरित करता है। कॉज़ल इन्फरेंस को एक मेटा-लर्निंग कार्य के रूप में मानकर, लेखक वास्तविक दुनिया की अंतर्निहित अनिश्चितता को संभालने के लिए एक स्केलेबल, लचीला और सिद्धांतपूर्ण तरीका प्रदान करते हैं। इसके हेल्थकेयर, इकोनॉमिक्स और जीनोमिक्स जैसे उच्च-दांव वाले क्षेत्रों में गहरे निहितार्थ हैं, जहाँ एक एकल, संभावित रूप से गलत कॉज़ल मॉडल के आधार पर निर्णय लेना महत्वपूर्ण त्रुटियों का कारण बन सकता है।