🤖 machine learning

Use What You Know: Causal Foundation Models with Partial Graphs

यह शोध पत्र एक विधि प्रस्तुत करता है जो सीख योग्य अटेंशन बायस (attention biases) और ग्राफ-कन्वोल्यूशनल एनकोडर्स के माध्यम से आंशिक या पूर्ण कॉज़ल ग्राफ जानकारी पर उन्हें कंडिशन करके कॉज़ल फाउंडेशन मॉडल्स को बेहतर बनाने में सक्षम बनाता है, जिससे वे डोमेन विशेषज्ञता का प्रभावी ढंग से लाभ उठाते हुए विशिष्ट मॉडल्स के प्रदर्शन के बराबर प्रदर्शन करने में सक्षम होते हैं।

मूल लेखक: Arik Reuter, Anish Dhir, Cristiana Diaconu, Jake Robertson, Ole Ossen, Frank Hutter, Adrian Weller, Mark van der Wilk, Bernhard Schölkopf

प्रकाशित 2026-06-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Arik Reuter, Anish Dhir, Cristiana Diaconu, Jake Robertson, Ole Ossen, Frank Hutter, Adrian Weller, Mark van der Wilk, Bernhard Schölkopf

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: "सब कुछ जानने वाला" जासूस बनाम "शंकालु" जासूस

कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि कोई विशिष्ट घटना क्यों हुई। शायद आप जानना चाहते हैं: "यदि हम इस मरीज को एक नई दवा दें, तो क्या वह ठीक हो जाएगा?"

लंबे समय तक, वैज्ञानिकों को हर एक मामले के लिए एक कस्टम डिटेक्टिव (विशेष जासूस) बनाना पड़ता था। यदि मामला धूम्रपान और कैंसर से जुड़ा था, तो उन्होंने एक जासूस बनाया। यदि मामला शिक्षा और आय से जुड़ा था, तो उन्होंने दूसरा बनाया। ये जासूस अपने विशिष्ट काम में बहुत अच्छे थे लेकिन किसी और चीज़ के लिए बेकार थे।

हाल ही में, एक नए प्रकार के "फाउंडेशन मॉडल" (एक सुपर-स्मार्ट AI) का आविष्कार किया गया है। इसे एक "सब कुछ जानने वाले जासूस" के रूप में सोचें जिसने पुस्तकालय की हर किताब पढ़ी है। वे किसी भी डेटा को देख सकते हैं और लगभग किसी भी सवाल का जवाब दे सकते हैं। इसे कॉज़ल फाउंडेशन मॉडल (CFM) कहा जाता है।

समस्या:
भले ही यह "सब कुछ जानने वाला जासूस" स्मार्ट है, लेकिन वर्तमान में यह थोड़ा "नादान" है। यह केवल कच्चे डेटा (अपराध स्थल की तस्वीरों) को देखता है और अनुमान लगाता है कि क्या हुआ होगा। यह विशेषज्ञों की बात नहीं सुनता।

उदाहरण: यदि आप जासूस से पूछते हैं, "क्या धूम्रपान से कैंसर होता है?" तो वह डेटा को देख सकता है और कह सकता है, "खैर, मैं देखता हूँ कि ये दोनों अक्सर साथ-साथ होते हैं, लेकिन शायद कैंसर की वजह से लोग धूम्रपान करते हैं?" क्योंकि उसे जैविक समय-सीमा (biological timeline) का ज्ञान नहीं है।
मुद्दा: वास्तविक दुनिया में, विशेषज्ञों को अक्सर कुछ बातें पता होती हैं। हम जानते हैं कि धूम्रपान कैंसर से पहले आता है। हम जानते हैं कि उम्र रिटायरमेंट से पहले आती है। लेकिन वर्तमान AI मॉडल इस "विशेषज्ञ ज्ञान" का उपयोग करने से इनकार करते हैं जब तक कि आप उन्हें पूरी तरह से फिर से न बनाएं।

समाधान: जासूस को एक "चीट शीट" देना

इस पेपर के लेखकों ने पूछा: क्या हम इस "सब कुछ जानने वाले जासूस" को बिना दोबारा बनाए, हमारे विशेषज्ञ संकेतों को सुनना सिखा सकते हैं?

उन्होंने मॉडल को काम करते समय एक "चीट शीट" (एक आंशिक ग्राफ/partial graph) देने का तरीका विकसित किया। इस चीट शीट को एकदम सटीक होने की आवश्यकता नहीं है। इसे बस इतना बताना है कि हम क्या जानते हैं।

"चीट शीट" की उपमा: वंशावली (Family Tree)

कल्पना कीजिए कि आप एक विशाल, उलझी हुई पारिवारिक सभा में यह पता लगाने की कोशिश कर रहे हैं कि कौन किससे संबंधित है।

पुराना तरीका: आप 100 लोगों की एक फोटो देखते हैं और अनुमान लगाने की कोशिश करते हैं कि दादाजी कौन हैं, चचेरा भाई कौन है, और छोटा बच्चा कौन है। आप गलत भी हो सकते हैं।
नया तरीका: आपको एक कागज (पार्शियल एंसेस्ट्रल मैट्रिक्स) मिलता है जो कहता है:
- "हम पक्के तौर पर जानते हैं कि दादी माँ बच्चे की पूर्वज हैं।" (यह एक 1 है)।
- "हम पक्के तौर पर जानते हैं कि बच्चा दादी माँ का पूर्वज नहीं है।" (यह एक -1 है)।
- "हमें नहीं पता कि चाचा बॉब और चचेरी बहन सू के बीच क्या संबंध है।" (यह एक 0 है)।

यह पेपर दिखाता है कि इस "अपूर्ण" चीट शीट (जहाँ कुछ रिश्तों को "अज्ञात" के रूप में चिह्नित किया गया है) के साथ भी, AI बिना किसी चीट शीट के मुकाबले बहुत बेहतर प्रदर्शन करता है।

उन्होंने यह कैसे किया: "ट्रैफिक कंट्रोलर" और "मैप रीडर"

पेपर में दो विशिष्ट तरीकों का वर्णन किया गया है जिनका उपयोग उन्होंने AI को इस चीट शीट को सुनने के लिए प्रेरित करने हेतु किया। AI को विचारों का आदान-प्रदान करने वाले श्रमिकों की एक विशाल टीम के रूप में सोचें।

ट्रैफिक कंट्रोलर (सॉफ्ट अटेंशन बायस):
सामान्य तौर पर, कार्यकर्ता जिसे चाहें उसे नोट भेजते हैं। लेखकों ने एक "ट्रैफिक कंट्रोलर" जोड़ा जो चीट शीट को देखता है।
- यदि शीट कहती है "दादी माँ बच्चे की पूर्वज हैं," तो कंट्रोलर उस नोट को ग्रीन लाइट (AI को ध्यान देने के लिए प्रोत्साहित करना) देता है।
- यदि शीट कहती है "बच्चा दादी माँ का पूर्वज नहीं है," तो कंट्रोलर उस नोट को रेड लाइट (AI को ध्यान देने से रोकना) देता है।
- यदि शीट कहती है "अज्ञात (Unknown)," तो लाइट पीली होती है (AI खुद तय कर सकता है)।
- मुख्य बिंदु: यह कोई सख्त नियम नहीं है; यह एक हल्का सा इशारा है। यह सिस्टम को मजबूत बनाता है भले ही चीट शीट में कुछ त्रुटियां हों।
मैप रीडर (ग्राफ कॉन्वोल्यूशनल नेटवर्क):
यह काम शुरू करने से पहले हर कार्यकर्ता को पूरे परिवार के पेड़ का एक नक्शा देने जैसा है। यह उन्हें बड़े चित्र में अपनी "भूमिका" समझने में मदद करता है। भले ही वे केवल एक व्यक्ति को देख रहे हों, वे जानते हैं कि, "ओह, मैं एक पोते को देख रहा हूँ, इसलिए मुझे माता-पिता के बारे में सोचना चाहिए।"

परिणाम: "परफेक्ट" से बेहतर "पार्शियल" है

शोधकर्ताओं ने सरल गणितीय समस्याओं से लेकर जटिल, वास्तविक सिमुलेशन तक कई अलग-अलग परिदृश्यों में इसका परीक्षण किया।

यह काम करता है: जब उन्होंने मॉडल को चीट शीट दी, तो इसने कारण-और-प्रभाव (cause-and-effect) के बारे में बहुत सटीक भविष्यवाणियां कीं।
यह लचीला है: मॉडल एक ऐसी चीट शीट को संभाल सकता है जो 100% सूचनाओं से भरी हो, या जो 90% खाली हो (केवल कुछ संकेत)। यह दोनों स्थितियों में काम करता है।
"अनुमान न लगाने" का नियम: यह सबसे महत्वपूर्ण खोज है। पेपर दिखाता है कि यदि आप किसी संबंध के बारे में अनिश्चित हैं, तो गलत अनुमान लगाने के बजाय उसे "अज्ञात" (0) के रूप में चिह्नित करना बहुत बेहतर है।
- उपमा: यदि आप गाड़ी चला रहे हैं और आपको यकीन नहीं है कि सड़क वन-वे (one-way) है या नहीं, तो गलत दिशा में जाने के बजाय "मुझे नहीं पता" मानकर सावधानी से गाड़ी चलाना सुरक्षित है। पेपर साबित करता है कि गलत अनुमान लगाना AI के प्रदर्शन को काफी नुकसान पहुँचाता है, जबकि "मुझे नहीं पता" कहना इसे केवल थोड़ा सा प्रभावित करता है।

सारांश

यह पेपर "सब कुछ जानने वाले" AI मॉडल्स को अपग्रेड करने का एक तरीका पेश करता है ताकि वे आंशिक विशेषज्ञ ज्ञान का उपयोग कर सकें। पूरी दुनिया का सटीक नक्शा होने के बजाय, AI अब एक ऐसे नक्शे के साथ काम कर सकता है जिसमें कुछ खाली स्थान हैं। अपने ध्यान को निर्देशित करने के लिए एक "ट्रैफिक कंट्रोलर" और बड़े चित्र को समझने के लिए एक "मैप रीडर" का उपयोग करके, AI एक बहुत बेहतर जासूस बन जाता है, जो आंशिक जानकारी होने पर भी "क्या होगा अगर?" जैसे सवालों के जवाब अधिक सटीकता से दे सकता है।

तकनीकी सारांश: जो आप जानते हैं उसका उपयोग करें: आंशिक ग्राफ के साथ कॉज़ल फाउंडेशन मॉडल्स (Causal Foundation Models)

समस्या विवरण

कॉज़ल इन्फरेंस (Causal inference) पारंपरिक रूप से दो-चरणीय प्रक्रिया पर निर्भर करता है: पहले, पहचान संबंधी धारणाएं (identification assumptions) बनाना (अक्सर एक कॉज़ल ग्राफ के माध्यम से), और दूसरा, उन धारणाओं के अनुरूप एक विशिष्ट एस्टिमेटर (estimator) चुनना। जबकि हालिया कॉज़ल फाउंडेशन मॉडल्स (CFMs), जो प्रायर-डेटा-फिटेड नेटवर्क्स (PFNs) पर आधारित हैं, एक एकीकृत दृष्टिकोण प्रदान करते हैं, वे वर्तमान में एक गंभीर सीमा से जूझ रहे हैं: वे टेस्ट टाइम पर डोमेन ज्ञान (domain knowledge) को शामिल नहीं कर सकते।

मौजूदा CFMs या तो:

ट्रेनिंग प्रायर (training prior) को विशिष्ट कॉज़ल संरचनाओं तक सीमित रखते हैं (जैसे, केवल बैक-डोर एडजस्टमेंट केस), जिसके लिए नई धारणाओं के लिए महंगी रिट्रेनिंग की आवश्यकता होती है।
सभी संभावित संरचनाओं पर मार्जिनलाइजेशन (marginalize) करते हैं, जिससे अनावश्यक रूप से रूढ़िवादी अनुमान और अपरिपक्व भविष्यवाणियां होती हैं जब आंशिक डोमेन ज्ञान उपलब्ध होता है लेकिन उसे अनदेखा कर दिया जाता है।

मुख्य चुनौती यह है कि कैसे एक सामान्य-उद्देश्य वाले CFM को इंफरेंस के दौरान आंशिक कॉज़ल जानकारी (जैसे, एक आंशिक रूप से ज्ञात कॉज़ल ग्राफ या पूर्वज संबंध/ancestral relationships) पर कंडीशन किया जा सके, बिना फाउंडेशन मॉडल प्रतिमान (paradigm) की लचीलेपन को खोए।

कार्यप्रणाली (Methodology)

1. कॉज़ल ज्ञान का प्रतिनिधित्व: पार्शियल एंसेस्ट्रल मैट्रिसेस (PAMs)

लेखक कंडीशनिंग सिग्नल के रूप में पार्शियल एंसेस्ट्रल मैट्रिसेस (PAMs) का उपयोग करने का प्रस्ताव देते हैं। डायरेक्ट एडजेसेंसी मैट्रिसेस (adjacency matrices) के विपरीत, जिन्हें डायरेक्ट कॉज़ल एडजेस (direct causal edges, $A_{ij}=1$ ) के ज्ञान की आवश्यकता होती है, PAMs पूर्वज संबंधों (ancestral relationships) को एनकोड करते हैं ( $T_{ij}=1$ यदि $z_i$ , $z_j$ का पूर्वज है)।

लाभ: पूर्वज ज्ञान (ancestral knowledge) डायरेक्ट कॉज़ल मैकेनिज्म की तुलना में अधिक मजबूत और प्राप्त करने में आसान होता है (उदाहरण के लिए, यह जानना कि धूम्रपान से कैंसर होता है, सटीक जैविक पथ (biological pathway) को निर्दिष्ट करने की तुलना में आसान है)।
आंशिकता (Partiality): मैट्रिक्स $\tilde{T} \in \{-1, 0, 1\}^{K \times K}$ $\tilde{T} \in {- 1, 0, 1}^{K \times K}$ निम्नलिखित की अनुमति देता है:
- $1$: ज्ञात पूर्वज।
- $-1$: ज्ञात गैर-पूर्वज (जैसे, टेम्पोरल ऑर्डर द्वारा खारिज किया गया)।
- $0$: अज्ञात संबंध।
  यह प्रतिनिधित्व शून्य ज्ञान, आंशिक ज्ञान और पूर्ण ज्ञान के मामलों को समाहित करता है।

2. आर्किटेक्चरल कंडीशनिंग मैकेनिज्म

पेपर में एक ट्रांसफॉर्मर-आधारित CFM आर्किटेक्चर पेश किया गया है जिसे PAMs को दो पूरक तंत्रों के माध्यम से इनपुट लेने के लिए संशोधित किया गया है:

स्ट्रक्चरल अटेंशन बायसिंग (Structural Attention Biasing):
- सॉफ्ट बायस (Soft Bias): अटेंशन लॉजिट्स (attention logits) में सीखने योग्य स्केलर बायस ( $\beta_{anc}, \beta_{non-anc}$ ) जोड़े जाते हैं। पॉजिटिव बायस ज्ञात पूर्वजों पर ध्यान केंद्रित करने के लिए प्रोत्साहित करता है; नेगेटिव बायस ज्ञात गैर-पूर्वजों पर ध्यान कम करने के लिए प्रोत्साहित करता है। यह मॉडल को अपने कॉज़ल पेरेंट्स को प्राथमिकता देने की अनुमति देता है जबकि अधूरी जानकारी के प्रति भी मजबूत बना रहता है।
- हार्ड मास्किंग (Hard Masking): एक वैकल्पिक तरीका जहाँ ज्ञात गैर-पूर्वजों के प्रति अटेंशन को सख्ती से $-\infty$ पर सेट कर दिया जाता है।
स्ट्रक्चरल फीचर मॉड्यूलेशन (GCN):
- एक ग्राफ कन्वोल्यूशनल नेटवर्क (GCN) एनकोडर PAM को प्रोसेस करके स्ट्रक्चर-अवेयर नोड एम्बेडिंग्स उत्पन्न करता है।
- ये एम्बेडिंग्स हर ट्रांसफॉर्मर ब्लॉक में एडेप्टिव लेयर नॉर्मलाइजेशन (AdaLN) के माध्यम से इंजेक्ट की जाती हैं, जो वेरिएबल्स के हिडन रिप्रेजेंटेशन को उनके कॉज़ल ग्राफ में वैश्विक स्ट्रक्चरल पोजीशन के आधार पर मॉड्युलेट करती हैं।

3. ट्रेनिंग और डेटा जनरेशन

प्रायर (Prior): लेखकों ने एक टेबुलर फाउंडेशन मॉडल (TFM) प्रायर बनाया है जो मूल रूप से कॉज़ल है। यह विविध मैकेनिज्म (MLPs, XGBoost, विभिन्न नॉन-लिनियैरिटीज़) और नॉइज़ डिस्ट्रीब्यूशन के साथ स्ट्रक्चरल कॉज़ल मॉडल्स (SCMs) को सैंपल करके सिंथेटिक डेटासेट जेनरेट करता है।
एमोर्टाइज्ड ट्रेनिंग (Amortized Training): मॉडल को मिसिंग इंफॉर्मेशन के विभिन्न स्तरों को संभालने के लिए प्रशिक्षित किया गया है। ट्रेनिंग के दौरान, PAM के एंट्रीज को रैंडमली हाइड (0 सेट) किया जाता है, जिससे मॉडल को एक ही सेट ऑफ वेट्स सीखने के लिए मजबूर किया जाता है जो फुल, पार्शियल, या नो एंसेस्ट्रल इंफॉर्मेशन के अनुकूल हो सके।

मुख्य परिणाम

1. कंडीशनिंग की प्रभावशीलता

लीनियर-गौसियन और जटिल नॉन-लीनियर प्रायर पर प्रयोगों से पता चलता है कि:

सॉफ्ट अटेंशन + GCN सबसे प्रभावी कंडीशनिंग रणनीति है, जो ग्राफ कंडीशनिंग के बिना, हार्ड मास्किंग, या केवल GCN-आधारित दृष्टिकोणों वाले बेसलाइन्स की तुलना में लगातार बेहतर प्रदर्शन करती है।
एंसेस्ट्रल मैट्रिसेस पर कंडीशन करना, फुल एडजेसेंसी मैट्रिसेस पर कंडीशन करने के समान प्रदर्शन करता है, जो पूर्वज ज्ञान के एक व्यावहारिक प्रॉक्सी के रूप में उपयोग को प्रमाणित करता है।

2. आंशिक जानकारी के प्रति मजबूती (Robustness)

एमोर्टाइजेशन एफिशिएंसी: रैंडमली हाइड (randomly hidden) PAMs के साथ प्रशिक्षित एक सिंगल मॉडल, विशेष रूप से फुल या नो इंफॉर्मेशन के लिए प्रशिक्षित मॉडल्स के लगभग बराबर प्रदर्शन करता है।
इग्नोरेंस बनाम मिसस्पेसिफिकेशन (Ignorance vs. Misspecification): एक महत्वपूर्ण निष्कर्ष यह है कि अनिश्चित एडजेस को छिपाना (उन्हें "अननोन" के रूप में मार्क करना) उन्हें गलत निर्दिष्ट (misspecify) करने (दिशा को पलटने) की तुलना में बहुत कम हानिकारक है। प्रदर्शन धीरे-धीरे घटता है जैसे-जैसे एडजेस छिपे जाते हैं, लेकिन जब एडजेस गलत तरीके से निर्दिष्ट होते हैं, तो यह तेजी से गिर जाता है। यह पार्शियल मैट्रिसेस के व्यावहारिक मूल्य को उजागर करता है।

3. सेमी-सिंथेटिक बेंचमार्क्स

RealCause बेंचमार्क (IHDP, ACIC, CPS, PSID) पर:

अनकन्फाउंडेडनेस (unconfoundedness) को एनकोड करने वाली पार्शियल एंसेस्ट्रल इंफॉर्मेशन प्रदान करने से ग्राफ कंडीशनिंग के बिना वाले मॉडल्स की तुलना में प्रदर्शन ( $\sqrt{PEHE}$ और रिलेटिव ATE एरर द्वारा मापा गया) में काफी सुधार होता है।
ग्राफ-कंडीशन्ड CFM अधिकांश डेटासेट्स पर Do-PFN और CausalFM जैसे स्पेशलाइज्ड बेसलाइन्स से बेहतर प्रदर्शन करता है।
जबकि CausalPFN RealCause पर सर्वश्रेष्ठ समग्र प्रदर्शन प्राप्त करता है, लेखक इसका श्रेय प्रायर अलाइनमेंट (CausalPFN का ट्रेनिंग डेटा RealCause के डेटा-जेनरेटिंग प्रोसेस की नकल करता है) को देते हैं, न कि ग्राफ कंडीशनिंग को। एक बार ग्राफ कंडीशनिंग पेश होने के बाद, उनका मॉडल CausalFM और Do-PFN से आगे निकल जाता है।

4. स्पेशलाइज्ड मॉडल्स के साथ तुलना

जब बैक-डोर क्राइटेरियन का उल्लंघन होता है (एक ऐसी सेटिंग जहाँ CausalPFN और CausalFM जैसे स्पेशलाइज्ड मॉडल्स मिसस्पेसिफाइड धारणाओं पर निर्भर करते हैं), तो ग्राफ-कंडीशन्ड CFM एक बड़ा लाभ दिखाता है, जो उपलब्ध पार्शियल स्ट्रक्चर का लाभ उठाकर नॉन-आइडेंटिफिएबल केसेस को संभालने की अपनी क्षमता प्रदर्शित करता है।

महत्व और दावे

यह पेपर एक केंद्रीय बाधा को संबोधित करने का दावा करता है जो "ऑल-इन-वन" कॉज़ल फाउंडेशन मॉडल्स के विकास में है: डेटा-ड्रिवन तरीके से कॉज़ल क्वेरीज़ का उत्तर देने की क्षमता, साथ ही डोमेन विशेषज्ञता के किसी भी स्तर का प्रभावी ढंग से उपयोग करना।

एकीकृत ढांचा (Unified Framework): यह प्रदर्शित करता है कि एक सिंगल CFM बिना रिट्रेनिंग के ऑब्जर्वेशनल डेटा और विभिन्न स्तरों के कॉज़ल ज्ञान (कोई नहीं, आंशिक, या पूर्ण) पर फ्लेक्सिबल तरीके से कंडीशन कर सकता है।
व्यावहारिक उपयोगिता: पार्शियल एंसेस्ट्रल मैट्रिसेस का उपयोग करके, यह दृष्टिकोण पारंपरिक कॉज़ल एस्टिमेटर्स की कठोरता (जिन्हें सटीक ग्राफ की आवश्यकता होती है) और वर्तमान फाउंडेशन मॉडल्स की "ब्लैक बॉक्स" प्रकृति (जो डोमेन ज्ञान को अनदेखा करते हैं) के बीच के अंतर को पाटता है।
सीमित दायरा: लेखक स्वीकार करते हैं कि कुछ मेट्रिक्स पर पूर्ण प्रदर्शन लाभ छोटे हैं (जो उनके प्रायर में छोटे कॉज़ल इफेक्ट्स के कारण हैं), लेकिन यह विधि भविष्य के मजबूत कॉज़ल इफेक्ट एस्टीमेशन मॉडल्स के लिए एक व्यवहार्य और प्रभावी आधार स्थापित करती है। वे उल्लेख करते हैं कि वर्तमान कार्य पूरी तरह से ऑब्जर्व्ड वेरिएबल्स पर केंद्रित है और अभी तक हिडन कन्फाउंडर्स को संबोधित नहीं करता है, जो भविष्य के "ऑल-इन-वन" विकास के लिए छोड़ दिया गया है।