💬 NLP

EconCausal: A Context-Aware Economic Reasoning Benchmark for Large Language Models

यह शोध पत्र EconCausal को प्रस्तुत करता है, जो शीर्ष स्तर के आर्थिक अध्ययनों से प्राप्त 10,000 से अधिक संदर्भ-एनोटेटेड (context-annotated) कारण त्रिकों (causal triplets) का एक बड़े पैमाने का बेंचमार्क है, जो यह प्रकट करता है कि जबकि लार्ज लैंग्वेज मॉडल्स स्थिर संदर्भों को संभाल सकते हैं, वे तब अपने कारण संबंधी निर्णयों को संशोधित करने में काफी संघर्ष करते हैं जब पर्यावरणीय स्थितियाँ बदल जाती हैं या जब उनका सामना भ्रामक साक्ष्यों से होता है।

मूल लेखक: Donggyu Lee, Hyeok Yun, Meeyoung Cha, Sungwon Park, Sangyoon Park, Jihee Kim

प्रकाशित 2026-05-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Donggyu Lee, Hyeok Yun, Meeyoung Cha, Sungwon Park, Sangyoon Park, Jihee Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ EconCausal पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए विवरण दिया गया है।

मुख्य विचार: क्यों "यह निर्भर करता है" AI के लिए कठिन है

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, विद्वान रोबोट से एक बहुत ही विशिष्ट प्रश्न पर सलाह मांग रहे हैं: "यदि हम न्यूनतम मजदूरी (minimum wage) बढ़ाते हैं, तो क्या लोगों को काम पर रखा जाएगा या उन्हें नौकरी से निकाल दिया जाएगा?"

वास्तविक दुनिया में, उत्तर केवल "हाँ" या "नहीं" जैसा सरल नहीं होता। यह पूरी तरह से संदर्भ (context) पर निर्भर करता है:

क्या अर्थव्यवस्था फल-फूल रही है या मंदी का दौर है?
क्या यह एक छोटा शहर है या एक बड़ा महानगर?
क्या वहां व्यवसायों के संचालन के बारे में सख्त कानून हैं?

कुछ स्थानों पर, मजदूरी बढ़ाना मददगार हो सकता है। अन्य स्थानों पर, यह नुकसानदेह हो सकता है। कुछ जगहों पर, इससे कुछ भी नहीं होता।

पेपर का तर्क है कि जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) किताबें पढ़ने और तथ्यों का सारांश बनाने में माहिर हैं, वे वर्तमान में इन "यह निर्भर करता है" वाली स्थितियों को समझने में कमजोर हैं। वे एक ही निश्चित उत्तर देने की कोशिश करते हैं, भले ही स्थिति बदल जाए, या वे तब भ्रमित हो जाते हैं जब आप उन्हें कोई ऐसा तथ्य देते हैं जो एक जगह सच है लेकिन दूसरी जगह गलत है।

समाधान: एक "संदर्भ-जागरूक" टेस्ट ड्राइव

इसे सिद्ध करने के लिए, शोधकर्ताओं ने एक नया परीक्षण बनाया जिसे EconCausal कहा जाता है। इसे AI के लिए एक ड्राइविंग टेस्ट की तरह समझें, लेकिन यहाँ AI कार नहीं चला रहा, बल्कि अर्थशास्त्र के जटिल परिदृश्य (landscape) में गाड़ी चला रहा है।

उन्होंने इस टेस्ट को कैसे बनाया:

स्रोत सामग्री (The Source Material): उन्होंने मनगढ़ंत प्रश्न नहीं बनाए। उन्होंने शीर्ष जर्नल्स से हजारों उच्च-गुणवत्ता वाले, सहकर्मी-समीक्षित (peer-reviewed) अर्थशास्त्र अध्ययनों (जो शोध का "स्वर्ण मानक" हैं) को खोज निकाला।
निष्कर्षण (The Extraction): उन्होंने एक कठोर, बहु-चरणीय प्रक्रिया का उपयोग किया (जैसे कि एक-दूसरे के काम की जांच करने वाली संपादकों की एक टीम) ताकि विशिष्ट "कारण-और-प्रभाव" (cause-and-effect) की कहानियों को निकाला जा सके।
- उदाहरण: "न्यूनतम मजदूरी बढ़ाना (कारण) $\rightarrow$ फास्ट फूड में रोजगार (प्रभाव) $\rightarrow$ संकेत: सकारात्मक (न्यू जर्सी में, 1992 में)।"
संदर्भ (The Context): महत्वपूर्ण बात यह है कि उन्होंने हर कहानी के साथ उसके संदर्भ को भी जोड़ा। उन्होंने केवल यह नहीं कहा कि "मजदूरी बढ़ी, नौकरियां बढ़ी।" उन्होंने कहा, "मजदूरी बढ़ी, नौकरियां बढ़ीं, लेकिन केवल इसलिए क्योंकि यह एक विशिष्ट समय, स्थान और बाजार की स्थिति थी।"

अंत में उनके पास ऐसे 10,490 विस्तृत "कारण-और-प्रभाव" के त्रिक (triplets) थे।

तीन चुनौतियाँ (टेस्ट के प्रश्न)

शोधकर्ताओं ने विभिन्न AI मॉडल्स (जैसे GPT-5, Gemini, Llama, आदि) को तीन स्तरों की कठिनाई के माध्यम से परखा:

स्तर 1: स्मृति परीक्षण (The Memory Test)

प्रश्न: "यहाँ एक विशिष्ट स्थिति दी गई है (जैसे, न्यू जर्सी में मंदी)। यदि हम न्यूनतम मजदूरी बढ़ाते हैं, तो नौकरियों का क्या होगा?"
लक्ष्य: क्या AI याद रख सकता है कि विशेषज्ञों ने उस विशिष्ट परिदृश्य में क्या पाया था?
परिणाम: AI ने यहाँ काफी अच्छा प्रदर्शन किया (लग लगभग 88% सटीकता)। जब संदर्भ स्पष्ट और स्थिर था, तो वे तथ्यों को याद रखने में सक्षम थे।

स्तर 2: "वही चीज़, अलग जगह" परीक्षण (The "Same Thing, Different Place" Test)

प्रश्न: "हम जानते हैं कि चीन में, एक सब्सिडी ने बीमा नामांकन बढ़ाया। अब, यदि हम उसी सब्सिडी को मैसाचुसेट्स में लागू करते हैं, तो क्या होगा?"
लक्ष्य: क्या AI यह समझ पाता है कि उत्तर अलग हो सकता है क्योंकि संदर्भ बदल गया है?
परिणाम: यहीं पर AI लड़खड़ा गया। जब संदर्भ बदला, तो उनकी सटीकता लगभग 33 प्रतिशत अंक गिर गई। वे "चीन" वाले उत्तर को "मैसाचुसेट्स" की समस्या पर लागू करने की कोशिश करते रहे, यह देखने में विफल रहे कि खेल के नियम बदल गए हैं।

स्तर 3: "फेक न्यूज" परीक्षण (The "Fake News" Test)

प्रश्न: "यहाँ चीन से एक कहानी है जिसमें कहा गया है कि सब्सिडी ने बीमा नामांकन को कम कर दिया (जो वास्तव में गलत/भ्रामक है)। अब, मैसाचुसेट्स में क्या होगा?"
लक्ष्य: क्या AI भ्रामक जानकारी को अनदेखा कर सकता है और नए संदर्भ के आधार पर सच्चाई का पता लगा सकता है?
परिणाम: AI बुरी तरह विफल रहा। जब उन्हें झूठ बताया गया, तो वे अक्सर उस पर विश्वास करने लगे और उसे नई स्थिति पर लागू कर दिया। उनकी सटीकता 50% से नीचे गिर गई (यानी, वे केवल अनुमान लगा रहे थे)।

पाई गई मुख्य समस्याएँ

पेपर वर्तमान AI मॉडल्स के दो प्रमुख "व्यक्तित्व दोषों" को उजागर करता है:

"अति-आत्मविश्वासी" पूर्वाग्रह (The "Over-Confident" Bias):
AI किसी एक पक्ष को चुनने के लिए उत्सुक रहते हैं। वे लगभग हमेशा "सकारात्मक" (+) या "नकारात्मक" (−) का अनुमान लगाते हैं। वे "कुछ नहीं हुआ" (None) या "जटिल/मिश्रित" (Mixed) कहने में बहुत खराब हैं।
- उपमा: एक मौसम पूर्वानुमानकर्ता की कल्पना करें जो गलत होने के डर से इतना डरा हुआ है कि वह कभी यह नहीं कहता कि "बादल छा सकते हैं।" वह हर बार बस "धूप" या "बारिश" का अनुमान लगाता है, भले ही आसमान वास्तव में धूसर और अनिश्चित हो। AI केवल 14% बार सही ढंग से "None" या "Mixed" का अनुमान लगा पाए।
"एंकरिंग" प्रभाव (The "Anchoring" Effect):
जब AI कोई तथ्य देखता है (भले ही वह किसी दूसरे समय या स्थान का हो), तो वह उस तथ्य पर "अटक" जाता है। वे उस पुराने तथ्य को एक नियम की तरह मानते हैं जो हर जगह लागू होता है, न कि एक विशिष्ट अवलोकन के रूप में जो नई स्थिति में फिट नहीं बैठता।

निष्कर्ष

पेपर निष्कर्ष निकालता है कि हालांकि AI पढ़ने और सारांश निकालने में बेहतर हो रहा है, लेकिन यह जटिल, वास्तविक दुनिया के निर्णयों के लिए अभी तक एक विश्वसनीय आर्थिक सलाहकार बनने के लिए तैयार नहीं है।

यदि आप AI से पूछते हैं, "क्या यह नीति काम करेगी?" तो यह 10 साल पहले किसी दूसरे देश के अध्ययन के आधार पर एक आत्मविश्वासी उत्तर दे सकता है, बिना यह समझे कि संदर्भ बदल गया है। जब तक AI यह कहना नहीं सीख जाता कि, "मुझे नहीं पता, क्योंकि स्थिति अलग है," तब तक इस पर उच्च-स्तरीय निर्णय, नीति या रणनीति के लिए भरोसा नहीं किया जाना चाहिए।

संक्षेप में: AI एक बेहतरीन लाइब्रेरियन है जो किताब ढूंढ सकता है, लेकिन वह अभी भी एक बुरा जासूस है जिसे यह समझने में कठिनाई होती है कि एक किताब के सुराग सामने मौजूद अपराध स्थल पर लागू होते हैं या नहीं।

तकनीकी सारांश: EconCausal

समस्या विवरण

सामाजिक-आर्थिक कारण प्रभाव (socio-economic causal effects) स्वाभाविक रूप से संदर्भ-निर्भर होते हैं; एक ही हस्तक्षेप (intervention) नियामक व्यवस्थाओं, बाजार स्थितियों, समय अवधि या जनसंख्या विशेषताओं के आधार पर भिन्न या यहाँ तक कि विपरीत परिणाम दे सकता है। जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) ने सामान्य तर्क में आशाजनक प्रदर्शन किया है, सामाजिक-आर्थिक निर्णय समर्थन के लिए उनका अनुप्रयोग एक महत्वपूर्ण कमी से बाधित है: विशिष्ट, उच्च-आयामी संदर्भों के तहत विश्वसनीय रूप से कारण दिशाओं (causal directions) का अनुमान लगाने और संदर्भ बदलने पर उन निर्णयों को संशोधित करने की अक्षमता। मौजूदा बेंचमार्क इस कारण से संबोधित करने में विफल रहते हैं क्योंकि वे आमतौर पर सामान्य, संदर्भ-हल्के संबंधों पर ध्यान केंद्रित करते हैं, व्याख्या के लिए आवश्यक संस्थागत और अनुभवजन्य संदर्भ को छोड़ देते हैं, या संदर्भ परिवर्तन के तहत मजबूती (robustness) का परीक्षण शायद ही कभी करते हैं। फलस्वरूप, वर्तमान मॉडल सामाजिक-आर्थिक सेटिंग्स में सतही या भ्रामक कारण संबंधी निर्णय लेने का जोखिम उठाते हैं।

कार्यप्रणाली

डेटासेट निर्माण: EconCausal

लेखक EconCausal पेश करते हैं, जो 2,595 उच्च-गुणवत्ता वाले अनुभवजन्य अध्ययनों (जैसे, अमेरिकन इकोनॉमिक रिव्यू, जर्नल ऑफ फाइनेंस) से प्राप्त 10,490 संदर्भ-एनोटेटेड कॉज़ल ट्रिपलेट्स (causal triplets) वाला एक बड़े पैमाने का बेंचमार्क है। डेटासेट निर्माण एक कठोर चार-चरणीय पाइपलाइन का पालन करता है:

मल्टी-रन कंसेंसस के साथ ट्रिपलेट निष्कर्षण: GPT-5 mini का उपयोग करके, सिस्टम शोध पत्रों से तीन बार स्वतंत्र रूप से ट्रीटमेंट-आउटकम पेयर्स निकालता है। जो पेयर्स कम से कम दो रन में दिखाई देते हैं, उन्हें रखा जाता है। टेक्स्ट एम्बेडिंग्स पर कोसाइन सिमिलरिटी (थ्रेशोल्ड $\ge$ 0.8) के माध्यम से मामूली शब्दों के अंतर को मर्ज किया जाता है। चिन्हों ( $+, -, \text{None}, \text{Mixed}$ ) को बहुमत के आधार पर सौंपा जाता है, और ट्रैसेबिलिटी के लिए सहायक साक्ष्य पैराग्राफ संग्रहीत किए जाते हैं।
मेटाडेटा और वैश्विक संदर्भ: पेपर-स्तरीय मेटाडेटा (अनुभवजन्य बनाम सैद्धांतिक), वैश्विक संदर्भ सारांश (समय, स्थान, विश्लेषण की इकाई), और पहचान विधियों (जैसे, DiD, IV, RCT) को डिफ़ॉल्ट के रूप में निकाला जाता है।
ट्रिपलेट-विशिष्ट परिशोधन: अनुभवजन्य पत्रों के लिए, सिस्टम सत्यापित करता है कि क्या वैश्विक संदर्भ विशिष्ट ट्रिपलेट्स पर लागू होता है। यदि किसी ट्रिपलेट को अधिक विशिष्ट संदर्भ या पहचान विधि की आवश्यकता है, तो एक न्यूनतम संपादन किया जाता है; अन्यथा, वैश्विक डिफ़ॉल्ट रखे जाते हैं।
मल्टी-क्रिटिक मूल्यांकन और फ़िल्टरिंग: तीन स्वतंत्र LLM क्रिटिक्स (Gemini, Grok, Qwen) प्रत्येक ट्रिपलेट को छह आयामों (वेरिएबल निष्कर्षण, दिशा, चिन्ह, कारणता, मुख्य दावा, संदर्भ उपयुक्तता) पर 0–3 के रूब्रिक का उपयोग करके स्कोर करते हैं। जो ट्रिपलेट्स रूढ़िवादी थ्रेशोल्ड (प्रति मानदंड औसत स्कोर $\ge$ 2.0 और कुल योग $\ge$ 15) को विफल करते हैं, उन्हें फ़िल्टर कर दिया जाता है, जिससे 27.3% उम्मीदवार बाहर हो जाते हैं।

डेटासेट को तीन अर्थशास्त्र के प्रोफेसरों द्वारा मान्य किया गया था, जिन्होंने रखे गए 86.6% ट्रिपलेट्स को मंजूरी दी, जो फ़िल्टरिंग नियम की रूढ़िवादिता की पुष्टि करता है।

बेंचमार्क कार्य

EconCausal तीन प्रगतिशील रूप से जटिल कार्यों के माध्यम से LLMs का मूल्यांकन करता है:

कार्य 1 (कारण चिन्ह पहचान): एक विशिष्ट संदर्भ $c$ और एक ट्रीटमेंट-आउटकम पेयर $(T, O)$ दिए जाने पर, कारण चिन्ह की भविष्यवाणी करना। यह परीक्षण करता है कि क्या मॉडल्स ने स्थापित आर्थिक कारणों को आत्मसात किया है।
कार्य 2 (संदर्भ-निर्भर चिन्ह भविष्यवाणी): संदर्भ $c_1$ के तहत $(T, O)$ के लिए ज्ञात चिन्ह दिए जाने पर, एक अलग संदर्भ $c_2$ के तहत चिन्ह की भविष्यवाणी करना। यह यह पहचानने की क्षमता का परीक्षण करता है कि कारण चिन्ह संदर्भ के साथ बदलते हैं।
कार्य 3 (गलत सूचना-रोबस्ट चिन्ह भविष्यवाणी): कार्य 2 के समान, लेकिन प्रदान किया गया $c_1$ का उदाहरण जानबूझकर गलत चिन्ह वाला है। यह भ्रामक साक्ष्य के विरुद्ध मजबूती का परीक्षण करता है।

मुख्य परिणाम

प्रदर्शन अवलोकन

विविध प्रोप्रायटरी (Gemini, GPT, Grok) और ओपन-सोर्स (Llama, Qwen) मॉडल्स के प्रयोगों से फिक्स्ड-कॉन्टेक्स्ट रीजनिंग और कॉन्टेक्स्ट-डिपेंडेंट ट्रांसफर के बीच एक महत्वपूर्ण प्रदर्शन अंतराल का पता चलता है:

फिक्स्ड कॉन्टेक्स (कार्य 1): शीर्ष मॉडल्स उच्च सटीकता ( $\sim$ 88% Gemini 3 Flash के लिए) प्राप्त करते हैं, जो स्पष्ट सेटिंग्स में स्थापित आर्थिक कारणों के आंतरिककरण को दर्शाता है।
कॉन्टेक्स शिफ्ट (कार्य 2): जब मॉडल्स को संदर्भों के बीच निर्णयों को संशोधित करना होता है, तो सटीकता काफी गिर जाती है। क्लोज्ड-सोर्स मॉडल्स के लिए, "साइन-मिसमैच" मामलों (जहाँ स्रोत और लक्ष्य संदर्भ विपरीत चिन्हों का संकेत देते हैं) पर समग्र सटीकता 73.9% से गिरकर 41.3% हो जाती है।
गलत सूचना मजबूती (कार्य 3): भ्रामक साक्ष्य पेश किए जाने पर प्रदर्शन और गिर जाता है, जिसमें क्लोज्ड-सोर्स और ओपन-सोर्स का औसत क्रमशः 49.3% और 44.3% हो जाता है।

व्यवस्थित विफलताएं

स्रोत चिन्हों का ओवर-ट्रांसफर: कार्य 2 में, मॉडल्स स्रोत उदाहरण से चिन्ह को "ओवर-ट्रांसफर" करने की ओर एक मजबूत झुकाव प्रदर्शित करते हैं, भले ही वह लक्ष्य संदर्भ के विपरीत हो। एक हस्ताक्षरित (signed) स्रोत उदाहरण जोड़ने से सही भविष्यवाणियों में 15.08 प्रतिशत अंक की कमी आई जबकि स्रोत चिन्ह से मेल खाने वाली भविष्यवाणियों में 21.95 प्रतिशत अंक की वृद्धि हुई।
दिशात्मक चिन्हों की ओर पूर्वाग्रह: मॉडल्स व्यवस्थित रूप से बाइनरी चिन्हों ( $+$ या $- $) के प्रति अत्यधिक प्रतिबद्ध होते हैं, और 'नल' ($ \text{None} $) या विषम ($ \text{Mixed} $) प्रभावों को पहचानने में संघर्ष करते हैं।$ \text{None} $मामलों पर सटीकता केवल 13.8% है, और$ \text{Mixed}$ मामलों में 22.8% है, जबकि सकारात्मक और नकारात्मक चिन्हों के लिए क्रमशः 74.8% और 61.1% है।
खराब अंशांकन (Poor Calibration): मॉडल्स "ओवर-कमिटमेंट" प्रदर्शित करते हैं, गलत भविष्यवाणियों के लिए उच्च आत्मविश्वास असाइन करते हैं, विशेष रूप से $\text{None}$ और $\text{Mixed}$ श्रेणियों के लिए। वित्त (Finance) में $\text{None}$ के लिए अपेक्षित अंशांकन त्रुटि (ECE) गंभीर है (उदाहरण के लिए, 0.839), और मॉडल्स "अज्ञात" (Unknown) का चयन शायद ही कभी करते हैं, भले ही प्रासंगिक जानकारी पूरी तरह से हटा दी गई हो।

महत्व और दावे

पेपर का दावा है कि EconCausal इस बात के मूल्यांकन के लिए एक कठोर आधार प्रदान करता है कि LLMs आर्थिक निर्णयों में संस्थागत और पर्यावरणीय बाधाओं को कैसे एकीकृत करते हैं। लेखक तर्क देते हैं कि वर्तमान सिस्टम अभी भी उच्च-जोखिम वाले आर्थिक या नीति-संवेदनशील विश्लेषणों के लिए पर्याप्त मजबूत नहीं हैं क्योंकि वे "प्लाउसिबिलिटी" (संभाव्यता) को "पोर्टेबिलिटी" (स्थानांतरणीयता) के साथ भ्रमित करते हैं। जबकि मॉडल्स प्रशंसनीय कारण चिन्ह उत्पन्न कर सकते हैं, वे यह निर्धारित करने में विफल रहते हैं कि क्या वे चिन्ह एक विशिष्ट लक्ष्य संदर्भ में लागू होते हैं, अक्सर उन स्रोतों से प्राप्त वैध चिन्हों पर टिके रहते हैं जहाँ वे अब लागू नहीं होते।

बेंचमार्क रेखांकित करता है कि सामाजिक-आर्थिक तर्क के लिए केवल पैटर्न पहचान से अधिक की आवश्यकता है; इसके लिए उच्च-आयामी, आंशिक रूप से देखे गए और संभावित रूप से एंडोजेनस संदर्भों पर अपने निर्णयों को आधारित करने की क्षमता की आवश्यकता होती है। लेखक EconCausal को ऐसे सिस्टम विकसित करने की दिशा में एक आवश्यक कदम के रूप में देखते हैं जो न केवल यह निर्णय ले सकें कि एक कारण चिन्ह प्रशंसनीय है, बल्कि यह भी कि क्या वह वर्तमान संदर्भ में स्थानांतरित (transfer) होता है।

सीमाएं

लेखक कई सीमाओं को स्वीकार करते हैं:

निष्कर्षण निर्भरता: पाइपलाइन निष्कर्षण और फ़िल्टरिंग के लिए LLMs पर निर्भर करती है, जो मल्टी-रन कंसेंसस और विशेषज्ञ सत्यापन के बावजूद, व्यवस्थित पूर्वाग्रह पेश कर सकती है या सूक्ष्म पहचान विवरणों को छोड़ सकती है।
कॉर्पस पूर्वाग्रह: डेटासेट शीर्ष-स्तरीय, अंग्रेजी भाषा के जर्नल्स से लिया गया है, जो अन्य सामाजिक-आर्थिक दावों को कम प्रतिनिधित्व देते हुए प्रभावशाली शोध का अति-प्रतिनिधित्व कर सकता है।
लेबल ग्रैनुलैरिटी: दिशात्मक लेबल स्पेस ( $+, -, \text{None}, \text{Mixed}$ ) जटिल अनुभवजन्य निष्कर्षों को संकुचित करता है, प्रभाव आकार (effect sizes), परिमाण और विश्वास अंतराल (confidence intervals) को छोड़ देता है।
संदर्भ का दायरा: संदर्भ विशिष्ट अनुभवजन्य सेटिंग्स से जुड़े हैं, जो अन-एनोटेटेड फीचर्स जैसे बाजार संरचना या प्रवर्तन वातावरण में बाहरी वैधता के प्रत्यक्ष मूल्यांकन को सीमित करते हैं।
व्यवहार संबंधी दायरा: मूल्यांकन व्यवहार संबंधी है और यह आंतरिक मॉडल प्रतिनिधित्व या अटेंशन मैकेनिज्म की जांच नहीं करता है।