Evaluating Bivariate Causal Statements Based on Mutual Compatibility

तकनीकी सारांश: पारस्परिक अनुकूलता के आधार पर द्विचरीय कारण संबंधी कथनों का मूल्यांकन

समस्या विवरण
चिकित्सा और अर्थशास्त्र जैसे कई वास्तविक क्षेत्रों में, प्रयोगों के माध्यम से कारण संबंधी सत्यता (causal ground truth) स्थापित करना अक्सर अव्यवहार्य या अत्यधिक महंगा होता है। फलस्वरूप, कारण अनुमान (causal inference) काफी हद तक विशेषज्ञ ज्ञान या तेजी से बढ़ते बड़े भाषा मॉडल (LLMs) के आउटपुट पर निर्भर करता है। ये स्रोत आमतौर पर पूर्ण बहुचरीय कारण ग्राफ (multivariate causal graphs) के बजाय द्विचरीय कारण संबंधी कथन (pairwise cause-effect relationships) प्रदान करते हैं। जबकि मनुष्य और LLMs के लिए युग्म संबंधों (pairwise relations) का आकलन करना आसान होता है, इन कथनों को एक सुसंगत वैश्विक मॉडल में एकत्रित करना चुनौतीपूर्ण है। बिना ग्राउंड ट्रुथ के कारण संबंधी दावों का मूल्यांकन करने वाली मौजूदा विधियाँ डेटा की निरंतरता या विशिष्ट खोज एल्गोरिदम पर निर्भर करती हैं। यह शोध पत्र इस मौलिक प्रश्न को संबोधित करता है कि जब कोई ग्राउंड ट्रुथ उपलब्ध न हो, तो द्विचरीय कारण संबंधी कथनों के संग्रह की विश्वसनीयता का आकलन कैसे किया जाए, विशेष रूप से उनकी पारस्परिक अनुकूलता (mutual compatibility) का मूल्यांकन करके।

कार्यप्रणाली
लेखक प्रदान की गई जानकारी की प्रकृति के आधार पर, द्विचरीय कारण संबंधी कथनों का मूल्यांकन करने के लिए दो अलग-अलग ढांचे प्रस्तावित करते हैं, जो मात्रात्मक (रैखिक गुणांक) या गुणात्मक (ग्राफिकल अस्तित्व/दिशा) होते हैं।

1. रैखिक द्विचरीय कारण संबंधी कथनों के लिए अनुकूलता
यह दृष्टिकोण रैखिक गुणांकों ($\alpha_{ij}$) के माध्यम से कुल युग्म कारण प्रभावों को मात्रात्मक रूप से दर्शाने वाले कथनों को लक्षित करता है।

• सैद्धांतिक आधार: लेखक प्रदर्शित करते हैं कि किसी भी अचक्रीय (acyclic) रैखिक द्विचरीय कथनों की सूची के लिए, एक अद्वितीय बहुचरीय रैखिक संरचनात्मक समीकरण मॉडल (SEM) मौजूद होता है जिसके युग्म मार्जिनल (pairwise marginals) दिए गए कथनों से सटीक रूप से मेल खाते हैं। चूंकि एक अद्वितीय मॉडल हमेशा मौजूद होता है, इसलिए पारंपरिक "कठोर" अनुकूलता बाधाएं (अचक्रीयता के अलावा) लागू नहीं होती हैं।
• कन्फाउंडिंग पोस्टुलेट (Confounding Postulate): संभाव्यता का मूल्यांकन करने के लिए, लेखक एक पोस्टुलेट पेश करते हैं: एक सामान्य बहुचरीय कारण मॉडल में उसके युग्म मार्जिनल मॉडलों की तुलना में अधिक कन्फाउंडिंग (confounding) नहीं होनी चाहिए। अंतर्निहित तर्क यह है कि एक बहुचरीय मॉडल का मार्जिनलाइजेशन देखे गए कारण पथों (causal pathways) को कम कर देता है, जिससे मार्जिनल्स में अनपेक्षित कन्फाउंडिंग बढ़ जाती है। यदि प्रेरित बहुचरीय मॉडल को डेटा को समझाने के लिए मार्जिनल्स की तुलना में कम कन्फाउंडिंग की आवश्यकता होती है, तो यह एक विशिष्ट, अस्वाभाविक कारण पथों के रद्द होने (cancellation) को दर्शाता है (जो पोस्टुलेट का उल्लंघन करता है)।
• स्कोरिंग तंत्र:
  • कन्फाउंडिंग माप: वे देखे गए कारण पथों द्वारा स्पष्ट नहीं किए गए सह-प्रसरणों (covariances) के वर्गित अवशेष (squared residual) के आधार पर एक कन्फाउंडिंग स्कोर को परिभाषित करते हैं। एक द्विचरीय मॉडल के लिए, यह $(\Sigma_{ij} - \alpha_{ij}\Sigma_{ii})^2$ है। बहुचरीय मॉडल के लिए, यह सभी निर्देशित पथों और पूरी तरह से देखे गए बैक-डोर पथों को ध्यान में रखने के बाद का वर्गित अवशेष है।
  • अनुकूलता स्कोर: स्कोर को सभी युग्मों के बीच द्विचरीय कन्फाउंडिंग और बहुचरीय कन्फाउंडिंग के अंतर के योग के रूप में परिभाषित किया गया है:
    $$\text{comp}(\Sigma, A) = \sum_{i<j} (C^{\text{biv}}_{ij} - C^{\text{mult}}_{ij})$$
  • व्याख्या: एक नकारात्मक स्कोर पोस्टुलेट के उल्लंघन को इंगित करता है, जो कथनों को गलत सिद्ध करने के साक्ष्य के रूप में कार्य करता है। एक सकारात्मक स्कोर शुद्धता की गारंटी नहीं देता है, लेकिन यह संकेत देता है कि कथन एक संभावित मॉडल प्रेरित करते हैं।
• सैद्धांतिक गारंटी: यह शोध पत्र सिद्ध करता है कि निष्पक्षता (unbiasedness) और तंत्रों की स्वतंत्रता (independence of mechanisms) को संतुष्ट करने वाले यादृच्छिक कारण मॉडलों के लिए, अपेक्षित अनुकूलता स्कोर सकारात्मक होता है। यह परिमित-नमूना अभिसरण सीमाएँ (finite-sample concentration bounds) भी प्रदान करता है जो दिखाते हैं कि स्कोर के अनुभवजन्य अनुमान बहुपद नमूना जटिलता (polynomial sample complexity) के साथ वास्तविक स्कोर की ओर अभिसरित होते हैं।

2. ग्राफिकल द्विचरीय कारण संबंधी कथनों के लिए असंगति (Incompatibility)
यह दृष्टिकोण गुणात्मक कथनों को लक्षित करता है जो कारण प्रभावों की उपस्थिति/अनुपस्थिति और कन्फाउंडिंग को दर्शाते हैं, जिन्हें अचक्रीय निर्देशित मिश्रित ग्राफ (ADMGs) के रूप में मॉडल किया जाता है।

• ग्राफिकल अनुकूलता: फेथफुलनेस (faithfulness) धारणा के तहत, द्विचरीय ADMGs का एक संग्रह तभी अनुकूल होता है जब वे एक एकल वैश्विक ADMG के मार्जिनलाइजेशन हों। इसके लिए तीन शर्तें आवश्यक हैं:
  1. संघ ग्राफ (union graph) का निर्देशित भाग अचक्रीय है।
  2. निर्देशित भाग ट्रांजिटिवली क्लोज्ड (transitively closed) है।
  3. यदि दो नोड्स के बीच कन्फाउंडिंग पथ मौजूद है, तो उनके बीच एक द्विदिश किनारा (bidirected edge) होना चाहिए।
• असंगति स्कोर: चूंकि निकटतम अनुकूल ग्राफ खोजना NP-hard है (Acyclic Transitivity Editing समस्या से संबंधित), लेखक एक ह्यूरिस्टिक एल्गोरिदम प्रस्तावित करते हैं जो तीन शर्तों को संतुष्ट करने के लिए आवश्यक न्यूनतम किनारों के संपादन (जोड़/हटाना) को अनुमानित करता है। स्कोर उन संपादनों का योग है जो आवश्यक हैं:
  1. चक्रों को तोड़ना (Feedback Arc Set)।
  2. ट्रांजिटिव क्लोजर को लागू करना।
  3. कन्फाउंडिंग पथ क्लोजर गुण को लागू करना।
• गुण: ह्यूरिस्टिक स्कोर वास्तविक असंगति का एक ऊपरी बाउंड (upper bound) है। यदि स्कोर शून्य है, तो कथन पूरी तरह से अनुकूल हैं; यदि यह अधिक है, तो यह महत्वपूर्ण विसंगति का संकेत देता है।

मुख्य परिणाम

• सिंथेटिक प्रयोग:
  • रैखिक मामला: अनुकूलता स्कोर सही और गलत कथनों के बीच सफलतापूर्वक अंतर करता है। जैसे-जैसे ग्राउंड ट्रुथ गुणांकों में शोर (त्रुटि) जोड़ा जाता है, सकारात्मक स्कोर वाले कथनों का अंश घटता जाता है। स्कोर छिपे हुए चरों के प्रति मजबूत है और देखे गए चरों की संख्या और मॉडल घनत्व के साथ बेहतर होता है।
  • ग्राफिकल मामला: सिंथेटिक ग्राफों में इंजेक्ट की गई त्रुटियों की संख्या के साथ असंगति स्कोर निरंतर बढ़ता है। विरल (sparse) ग्राफों के लिए, यह वास्तविक त्रुटि गणना के करीब होता है; घने (dense) ग्राफों के लिए, यह एक विश्वसनीय ऊपरी बाउंड के रूप में कार्य करता है।
• LLM मूल्यांकन:
  • लेखकों ने सामाजिक-आर्थिक संकेतकों (जनसंख्या घनत्व, साक्षरता, आय, आदि) के संबंध में विभिन्न LLMs (जैसे Claude, GPT, Gemma, Qwen) द्वारा उत्पन्न कारण दावों पर इन विधियों को लागू किया।
  • रैखिक परिणाम: अनुकूलता स्कोर विभिन्न मॉडलों के बीच काफी भिन्न था, जिसमें उच्च क्षमता वाले मॉडल आम तौर पर उच्च (अधिक संभावित) स्कोर प्राप्त करते हैं। कई LLMs को नकारात्मक स्कोर प्राप्त हुआ, जो दर्शाता है कि उनके द्वारा उत्पन्न कथन आंतरिक रूप से असंगत थे।
  • ग्राफिकल परिणाम: अधिकांश LLM आउटपुट गैर-शून्य असंगति स्कोर प्रदर्शित करते हैं। दिलचस्प बात यह है कि कुछ कम स्कोर वाले मॉडलों ने अत्यंत घने ग्राफ बनाए (हर जगह कन्फाउंडिंग का दावा किया), जो अनुकूलता शर्तों को आसानी से संतुष्ट करते हैं लेकिन सूचनात्मकता (informativeness) की कमी रखते हैं। जब सूचनात्मक ग्राफों (कम एज डेंसिटी) के लिए फ़िल्टर किया गया, तो कम असंगति स्कोर और उच्च मॉडल क्षमता के बीच एक सहसंबंध उभर कर आया।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह ग्राउंड ट्रुथ की अनुपस्थिति में मानव विशेषज्ञों या AI से प्राप्त कारण संबंधी जानकारी की विश्वसनीयता का आकलन करने के लिए एक आधारभूत विधि प्रदान करता है।

• असत्यता बनाम सत्यापन (Falsification vs. Verification): लेखक इस बात पर जोर देते हैं कि उनकी विधियाँ मुख्य रूप से असत्यता (falsification) के उपकरण हैं। एक नकारात्मक अनुकूलता स्कोर या उच्च असंगति स्कोर इस बात का प्रमाण है कि कथनों का सेट गलत या असंगत है। एक सकारात्मक स्कोर शुद्धता को सिद्ध नहीं करता है, बल्कि यह संकेत देता है कि कथन पारस्परिक संभाव्यता के संबंध में एक "सैनिटी चेक" पास करते हैं।
• फेथफुलनेस से स्वतंत्रता (रैखिक मामला): एक प्रमुख योगदान रैखिक ढांचे की फेथफुलनेस धारणा पर निर्भर किए बिना कथनों का मूल्यांकन करने की क्षमता है, जो अक्सर व्यवहार में बाधित होती है।
• व्यावहारिक अनुप्रयोग: यह कार्य यह प्रदर्शित करता है कि ये मेट्रिक्स विभिन्न LLMs में कारण तर्क की गुणवत्ता के बीच अंतर कर सकते हैं, जो पोस्ट-ट्रेनिंग फ़िल्टरिंग, सत्यापन पाइपलाइन, या AI-जनित कारण दावों के स्वचालित मूल्यांकन के लिए उपयोगिता का सुझाव देते हैं।

लेखक विनम्र रहते हुए यह नोट करते हैं कि उच्च स्कोर सत्यता की गारंटी नहीं देते हैं और भविष्य के कार्य इन ढांचों को कथनों की अपूर्ण सूचियों तक विस्तारित कर सकते हैं या चरों के छोटे उपसमुच्चयों पर शामिल कर सकते हैं।