तकनीकी सारांश: CausalDS – डेटा-साइंस एजेंटों में कॉज़ल रीजनिंग (कारण संबंधी तर्क) का बेंचमार्किंग

1. समस्या विवरण

डेटा साइंस और कॉज़ल रीजनिंग (Causal Reasoning) में लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए वर्तमान बेंचमार्क विखंडन से ग्रस्त हैं, जो वास्तविक दुनिया के कॉज़ल विश्लेषण की जटिलता को पकड़ने में विफल रहते हैं। मौजूदा मूल्यांकन आमतौर पर विशिष्ट क्षमताओं को अलग करते हैं:

• डेटा-साइंस बेंचमार्क (जैसे, DS-1000, MLE-bench) कोडिंग, टूल उपयोग और ओपन-एंडेड विश्लेषण पर जोर देते हैं, लेकिन उनमें एक छिपी हुई, सिद्धांत-आधारित कॉज़ल डेटा-जनरेटिंग संरचना का अभाव होता है।
• कॉज़ल रीजनिंग बेंचमार्क (जैसे, CLadder, CausalGraph2LLM) सिम्बोलिक ग्राफ रीजनिंग, इंटरवेंशन और काउंटरफैक्चुअल लॉजिक का परीक्षण करते हैं, लेकिन अक्सर विशुद्ध रूप से सिम्बोलिक स्तर पर कार्य करते हैं या मौजूदा साहित्य से क्यूरेट किए गए उदाहरणों का उपयोग करते हैं।

यह अलगाव एक अंतराल पैदा करता है जहाँ मॉडल वास्तविक संरचना-संवेदनशील तर्क के बजाय "अमोर्टाइज्ड कॉज़ल इन्फरेंस" (मौजूदा डेटासेट्स से पैटर्न को याद करना) पर निर्भर हो सकते हैं, जो कि एक विफलता मोड है जिसे "कॉज़ल पैरेट" (Causal Parrot) कहा जाता है। इसके अलावा, वास्तविक कॉज़ल डेटा साइंस के लिए एक एजेंट को न केवल कॉज़ल प्रश्नों के उत्तर देने की आवश्यकता होती है, बल्कि डोमेन विवरणों की व्याख्या करने, ऑब्जर्वेशनल डेटा का निरीक्षण करने, आइडेंटिफिएबिलिटी (पहचान योग्यता) निर्धारित करने, मात्राओं का अनुमान लगाने, अनिश्चितता को मापने और यह पहचानने की भी आवश्यकता होती है कि प्रश्न कब अनुत्तरित है (एब्स्टेंशन/परहेज)। कोई भी मौजूदा बेंचमार्क एक ही सिंथेटिक लेकिन यथार्थवादी ढांचे के भीतर सिम्बोलिक रीजनिंग, डेटा-साइंस निष्पादन, अनिश्चितता मात्रा निर्धारण, एपिस्टेमिक एब्स्टेंशन और टूल उपयोग का संयुक्त मूल्यांकन नहीं करता है।

2. कार्यप्रणाली: CausalDS फ्रेमवर्क

CausalDS इस अंतराल को भरने के लिए सिंथेटिक कॉज़ल डेटा-साइंस दृश्यों (scenes) को उत्पन्न करता है जो बेंचमार्क यूनिट के रूप में कार्य करते हैं। प्रत्येक दृश्य में एक छिपा हुआ स्ट्रक्चरल कॉज़ल मॉडल (SCM), एक प्राकृतिक-भाषा कहानी, टैबुलर ऑब्जर्वेशनल डेटा और पर्ल्स (Pearl) के तीन-रंगों वाले पदानुक्रम (three-rung hierarchy) के विस्तार में कार्य शामिल होते हैं।

2.1 दृश्य निर्माण पाइपलाइन (Scene Generation Pipeline)

दृश्य निर्माण प्रक्रिया एक सख्त पाइपलाइन का पालन करती है ताकि ग्राउंड ट्रुथ ज्ञात रहे जबकि नैरेटिव सामंजस्य बना रहे:

1. ग्राफ सैंपलिंग: डायरेक्टेड एसाइक्लिक ग्राफ्स (DAGs) को कैनोनिकल मोटिफ्स (chains, forks, confounders, colliders, आदि) से सैंपल किया जाता है और इन्हें "एंकर-आधारित ग्राफ्टिंग" के माध्यम से विस्तारित किया जा सकता है, जहाँ नैरेटिव प्रवाह को बनाए रखते हुए जटिलता बढ़ाने के लिए सहायक मोटिफ्स को साझा नोड्स के माध्यम से जोड़ा जाता है।
2. SCM इंस्टेंशिएशन: प्रत्येक ग्राफ को एक स्ट्रक्चरल कॉज़ल मॉडल (SCM) के साथ टाइप किए गए मैकेनिज्म प्रोफाइल्स (कंटीन्यूअस और बाइनरी) का उपयोग करके इंस्टेंशिएट किया जाता है, जो बायोकेमिकल/बूलियन नियमों और सिंथेटिक रेजिम्स के मिश्रण से बने होते हैं।
3. ऑब्जर्वेशन लेयर: एक महत्वपूर्ण डिज़ाइन विकल्प कॉन्सेप्चुअल SCM और एजेंट को दिए गए डेटा के बीच अंतर करता है। कॉन्सेप्चुअल वेरिएबल्स को शोर युक्त मापों (proxies) के बंडलों द्वारा प्रतिस्थापित किया जा सकता है। यह लेयर कॉज़ल आइडेंटिफिएबिलिटी स्टेटस को बदले बिना डेटा-एनालिसिस की कठिनाई को बढ़ा देती है।
4. वर्बलाइजेशन: एब्स्ट्रैक्ट नोड्स को डोमेन-प्रासंगिक वेरिएबल नामों (वैकल्पिक रूप से CauseNet से सीड किए गए) में मैप किया जाता है और एक ऑडिटर द्वारा सत्यापित किया जाता है ताकि यह सुनिश्चित हो सके कि उत्पन्न प्राकृतिक-भाषा कहानी छिपे हुए ग्राफ को बिना किसी "आकस्मिक किनारों" (accidental edges) के निष्ठापूर्वक दर्शाती है।
5. टास्क डेरिवेशन: प्रत्येक दृश्य से, पर्ल्स के तीन रेंग्स (Rung 1 - एसोसिएशनल/प्रेडिक्शन, Rung 2 - इंटरवेंशनल/आइडेंटिफिकेशन/एस्टिमेशन, और Rung 3 - काउंटरफैक्चुअल/मिडिएशन) के तहत कार्य निकाले जाते हैं।

2.2 इवैल्यूएशन हार्नेस (Evaluation Harness)

एजेंट एक सैंडबॉक्स्ड एनवायरनमेंट (mini-swe-agent का उपयोग करके) के साथ इंटरैक्ट करते हैं जहाँ उन्हें:

• प्रदान की गई फाइलों (कहानियाँ, डेटा स्कीमा, ऑब्जर्वेशनल डेटा) को पढ़ना होगा।
• विश्लेषण करने के लिए कोड (Python/bash) निष्पादित करना होगा।
• एक विशिष्ट प्रारूप में उत्तर फाइलें लिखनी होंगी।
• अपूर्ण ऑब्जर्वेशन को संभालना होगा और यह तय करना होगा कि क्या गैर-आइडेंटिफिएबल होने पर उत्तर देने से बचना (abstain) चाहिए।

2.3 स्कोरिंग और मेट्रिक्स

मूल्यांकन पूरी तरह से डिटर्मिनिस्टिक है और पाँच अलग-अलग अक्षों (axes) पर स्कोर करता है:

• सिम्बोलिक कॉज़ल रीजनिंग: ग्राफ रिकवरी और आइडेंटिफिकेशन लॉजिक।
• डेटा-साइंस निष्पादन: अनुमानों और भविष्यवाणियों की सटीकता।
• अनिश्चितता मात्रा निर्धारण (Uncertainty Quantification): कॉन्फिडेंस इंटरवल का कैलिब्रेशन।
• एपिस्टेमिक एब्स्टेंशन: गैर-आइडेंटिफिएबल प्रश्नों को सही ढंग से पहचानना और उत्तर देने से मना करना।
• टूल उपयोग/दक्षता: टोकन उपयोग और टूल-कॉल काउंट।

एक कंपोजिट स्कोर (CausalDSScore) प्रदर्शन को एकत्रित करता है, जो कंटेंट एरर्स और गैर-आइडेंटिफिएबल कार्यों पर एब्स्टेंशन करने में विफलता, दोनों के लिए दंडित करता है।

3. मुख्य योगदान

• SCM-ग्राउंडेड सिंथेटिक सीन्स: पहला बेंचमार्क जो छिपे हुए SCMs उत्पन्न करता है, ऑब्जर्वेशनल डेटा सिंथेसाइज करता है, और मूल्यांकन के लिए प्राइवेट ग्राउंड ट्रुथ की गणना करता है, जबकि कंपोजिशन एक्सिस (वेरिएबल प्रकार, ग्राफ स्ट्रक्चर) को वास्तविक दुनिया के डेटासेट्स के एम्पिरिकल डिस्ट्रीबशंस से एंकर करता है ताकि यथार्थवाद सुनिश्चित हो सके।
• ग्राफ-फेथफुल फ्री-फॉर्म वर्बलाइजेशन: एक पाइपलाइन जो एब्स्ट्रैक्ट ग्राफ नोड्स को सुसंगत डोमेन वेरिएबल्स में मैप करती है और प्राकृतिक-भाषा कहानियाँ उत्पन्न करती है, जिसे यह सुनिश्चित करने के लिए ऑडिट किया गया है कि नैरेटिव अंतर्निहित संरचना से विचलित न हो।
• सेपरेट ऑब्जर्वेशन लेयर: कॉज़ल आइडेंटिफिएबिलिटी को बदले बिना डेटा-साइंस की कठिनाई (नॉइजी प्रॉक्सी के माध्यम से) को बदलने का एक तंत्र, जो एस्टिमेशन स्किल्स का परीक्षण करने की अनुमति देता है।
• व्यापक टास्क सूट: पर्ल्स के पदानुक्रम के तीनों रेंग्स को कवर करने वाले कार्यों का एक व्यापक सेट, जिसमें प्रेडिक्शन, एसोसिएशन, ग्राफ रिकवरी, आइडेंटिफिकेशन, इफेक्ट एस्टिमेशन, बायस डायग्नोस्टिक्स और काउंटरफैक्चुअल रीजनिंग शामिल हैं।
• एब्स्टेंशन-अवेयर डिटर्मिनिस्टिक इवैल्यूएशन: एक स्कोरिंग सिस्टम जो गैर-आइडेंटिफिएबल एस्टिमेंड्स पर एब्स्टेंशन को एक प्रथम श्रेणी के परिणाम के रूप में मानता है, जिससे मॉडल्स को अनुत्तरित प्रश्नों के लिए उत्तर हैल्यूसिनेट (hallucinate) करने पर पुरस्कृत होने से रोका जा सके।

4. प्रयोगात्मक परिणाम

लेखकों ने एक 100-सीन रियलिस्टिक-कंपोजिशन एग्जाम पर छह मॉडल्स (तीन फ्रंटियर क्लोज्ड मॉडल्स: Claude Opus 4.8, Gemini 3.1 Pro, GPT-5.5; और तीन ओपन-वेट मॉडल्स: Qwen 3.6 35B, Kimi K2.6, Gemma 4 26B) का मूल्यांकन किया।

• परफॉरमेंस डिसोसिएशन: पाँच मूल्यांकन अक्ष एक एकल क्षमता में समाहित नहीं होते हैं। मॉडल्स कंटेंट करेक्टनेस, अनिश्चितता मात्रा निर्धारण, एब्स्टेंशन रिकग्निशन और टूल-यूज़ एफिशिएंसी में काफी भिन्न होते हैं।
• लीडरबोर्ड: Claude Opus 4.8 ने सर्वश्रेष्ठ समग्र CausalDSScore (0.278) प्राप्त किया, जो पास रेट, नॉर्मलाइज्ड एरर और सिग्नल-टू-नॉइज़ रेशियो (SNR) में अग्रणी रहा। यह एकमात्र मॉडल था जिसने मजबूत एब्स्टेंशन परफॉरमेंस बनाए रखते हुए बाइनरी कार्यों पर पूर्ण कंटेंट करेक्टनेस (100%) हासिल की।
• एब्स्टेंशन एक विभेदक के रूप में: गैर-आइडेंटिफिएबल प्रश्नों को पहचानने की क्षमता एक बड़ा विभेदक थी। फ्रंटियर मॉडल्स (विशेष रूप से GPT-5.5 और Claude) ने ओपन-वेट मॉडल्स (Gemma 4 26B के लिए 18.8% तक कम) की तुलना में काफी उच्च एब्स्टेंशन पास रेट (75% तक) दिखाया।
• अनिश्चितता मात्रा निर्धारण: सभी मॉडल्स ओवरकॉन्फिडेंस (अति-आत्मविश्वास) प्रदर्शित करते हैं। номинаल 95% ATE इंटरवल्स का एम्पिरिकल कवरेज गिरकर 20.0% और 71.4% के बीच आ गया, जिसमें Claude Opus 4.8 ने सर्वश्रेष्ठ प्रदर्शन (71.4%) किया।
• टूल उपयोग और दक्षता: फ्रंटियर मॉडल्स (Claude, GPT-5.5) ने "नियर वन-शॉट" रणनीति का उपयोग किया, जिसमें प्रति कार्य कम टूल कॉल (2.1–3.4) और कम टोकन उपयोग हुआ, जबकि ओपन-वेट मॉडल्स ने भारी रूप से पुनरावृत्ति की (11–18 कॉल/टास्क) और काफी अधिक टोकन का उपभोग किया।
• ऑब्जर्वेशन हार्डनेस: सबसे कठिन ऑब्जर्वेशन वेरिएंट्स (नॉइजी प्रॉक्सी) के तहत, प्रदर्शन गिर गया, विशेष रूप से ओपन-वेट मॉडल्स के लिए। GPT-5.5 ने कंटीन्यूअस एस्टिमेट कैलिब्रेशन में सबसे बड़ी गिरावट दिखाई (औसत नॉर्मलाइज्ड एरर बढ़कर 3.10 हो गया), जबकि Claude Opus 4.8 ने नियंत्रित एरर बनाए रखा।

5. महत्व और दावे

पेपर का दावा है कि CausalDS एक एकल, यथार्थवादी सेटिंग में सिम्बोलिक रीजनिंग, क्वांटिटेटिव एस्टिमेशन और एजेंटिक टूल उपयोग को एकीकृत करके बेंचमार्किंग में एक आवश्यक विकास प्रदान करता है। प्राथमिक अनुभवजन्य निष्कर्ष यह है कि कॉज़ल डेटा-साइंस क्षमता विघटित (decompose) होती है: मॉडल्स हिस्सों में महारत हासिल कर सकते हैं (स्ट्रक्चर पढ़ना, अनुमान उत्पन्न करना) लेकिन पूरे में विफल हो सकते हैं (अनुमान की गुणवत्ता जानना या यह जानना कि क्या उत्तर देना लाइसेंस प्राप्त है)।

लेखक तर्क देते हैं कि एक सक्षम कॉज़ल डेटा-साइंस एजेंट को पाँचों अक्षों को एक साथ पार करना चाहिए। बेंचमार्क यह उजागर करता है कि वर्तमान फ्रंटियर मॉडल्स इस क्षमता के करीब पहुंच रहे हैं, जिसमें Claude Opus 4.8 एक "वेल-राउंडेड कॉज़ल डेटा-साइंस एजेंट" के सबसे करीब उभर रहा है, जबकि ओपन-वेट मॉडल्स और छोटे मॉडल्स एपिस्टेमिक अक्षों (एब्स्टेंशन और अनिश्चितता) और टूल-यूज़ एफिशिएंसी में काफी संघर्ष करते हैं। यह कार्य रेखांकित करता है कि "कब एब्स्टेन (परहेज) करना है, यह जानना" एक अलग, उन्नत कौशल है जो हैल्यूसिनेशन के प्रति प्रवृत्त एजेंटों से मजबूत एजेंटों को अलग करता है।