Ideological Bias in LLMs' Economic Causal Reasoning

यहाँ शोध पत्र "Ideological Bias in LLMs' Economic Causal Reasoning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) के मूल्यांकन में एक महत्वपूर्ण अंतराल को संबोधित करता है: आर्थिक कारण संबंधी तर्क (economic causal reasoning) में व्यवस्थित वैचारिक पूर्वाग्रह (systematic ideological bias)। जबकि मौजूदा शोध LLMs की व्यक्त राजनीतिक राय (जैसे सर्वेक्षणों के माध्यम से) या उनकी औपचारिक तार्किक तर्क करने की क्षमता पर ध्यान केंद्रित करते हैं, बहुत कम अध्ययन इस बात की जांच करते हैं कि क्या LLMs आर्थिक संदर्भों में सत्यापनीय कारण प्रभावों (verifiable causal effects) की भविष्यवाणी करते समय एक दिशात्मक पूर्वाग्रह प्रदर्शित करते हैं।

कई आर्थिक संदर्भों में (जैसे न्यूनतम मजदूरी के प्रभाव, कर नीति), प्रतिस्पर्धी ढांचे—हस्तक्षेप-उन्मुख (intervention-oriented; प्रो-गवर्नमेंट, जो मांग/नौकरी मिलान पर ध्यान केंद्रित करते हैं) और बाजार-उन्मुख (market-oriented; प्रो-मार्केट, जो श्रम लागत/स्वचालन पर ध्यान केंद्रित करते हैं)—विभिन्न कारणों (causal signs) की भविष्यवाणी करते हैं। लेखक तर्क देते हैं कि यदि LLMs आर्थिक नीति विश्लेषण और रिपोर्टिंग में उच्च-स्तरीय निर्णयों को प्रभावित करते समय, एक ढांचे के पक्ष में दूसरे की तुलना में व्यवस्थित रूप से झुकाव दिखाते हैं, तो यह एक "अदृश्य झुकाव" (invisible tilt) पैदा करता है, जिससे संभावित रूप से पक्षपाती निर्णय लेने की स्थिति बन सकती है।

2. कार्यप्रणाली (Methodology)

डेटासेट निर्माण: EconCausal विस्तार

लेखकों ने मौजूदा EconCausal बेंचमार्क का विस्तार किया है, जिसमें शीर्ष स्तर की अर्थशास्त्र और वित्त पत्रिकाओं से प्राप्त 10,490 कारण ट्रिपलेट्स $(T, O, \text{Sign})$ शामिल हैं।

• ट्रिपलेट संरचना: उपचार ($T$), परिणाम ($O$), और अनुभवजन्य रूप से सत्यापित प्रभाव की दिशा ($\text{Sign} \in \{+, -, \text{None}, \text{Mixed}\}$)।
• वैचारिक रूप से विवादित उपसमूह ($D_{div}$): लेखकों ने उन उदाहरणों की पहचान की जहाँ हस्तक्षेप-उन्मुख और बाजार-उन्मुख दृष्टिकोण अलग-अलग संकेतों की भविष्यवाणी करते हैं।
  • उन्होंने चार LLMs (GPT, Claude, Qwen, Grok) से अंधाधुंध (blindly) दोनों दृष्टिकोणों के लिए अपेक्षित संकेतों को असाइन करने के लिए क्वेरी की।
  • एक ट्रिपलेट को "वैचारिक रूप से विवादित" तब माना गया यदि 4 में से कम से कम 3 मॉडलों ने दोनों दृष्टिकोणों के लिए अलग-अलग संकेत दिए।
  • परिणाम: 1,056 विवादित ट्रिपलेट्स (कुल का 10.1%)।
  • ग्राउंड ट्रुथ वितरण: दिशात्मक मदों में, 58.1% हस्तक्षेप अपेक्षाओं ("Intervention-truth") के अनुरूप थे और 41.9% बाजार अपेक्षाओं ("Market-truth") के अनुरूप थे।
• सत्यापन: दो अर्थशास्त्र प्रोफेसरों ने 126 ट्रिपलेट्स के एक उपसमूह को सत्यापित किया, जिससे >93% इंटर-रेटर सहमति प्राप्त हुई, जो लेबलिंग की स्थिरता की पुष्टि करती है।

मूल्यांकन ढांचा (Evaluation Framework)

इस अध्ययन ने 20 अत्याधुनिक LLMs (दोनों क्लोज्ड-सोर्स: GPT, Claude, Gemini, Grok; और ओपन-सोर्स: Llama, Qwen) का एक साइन प्रेडिक्शन टास्क पर मूल्यांकन किया।

• मेट्रिक्स:
  • सटीकता (Accuracy): समग्र, और विवादित बनाम गैर-विवादित के आधार पर विभाजित।
  • $\Delta_{acc}$ (सटीकता अंतर): $Acc_{intervention} - Acc_{market}$।
  • $B_{dir}$ (दिशात्मक पूर्वाग्रह स्कोर): त्रुटियों की विषमता को मापता है: $\frac{Errors_{intervention} - Errors_{market}}{Errors_{total}}$।
• रोबस्टनेस चेक (Robustness Checks):
  • कठिनाई मिलान (Difficulty Matching): यह नियम लगाने के लिए कि क्या मार्केट-ट्रुथ मदें स्वाभाविक रूप से कठिन हैं, कठिनाई स्कोर (1–5 स्केल) के आधार पर हस्तक्षेप-ट्रुथ और मार्केट-ट्रुथ मदों को 1:1 मैच किया गया।
  • इन-कॉन्टेक्स्ट लर्निंग (ICL): यह परीक्षण किया गया कि क्या उदाहरण प्रदान करने (हस्तक्षेप-संरेखित बनाम बाजार-संरेखित) से मॉडल की भविष्यवाणियों को निर्देशित किया जा सकता है।
  • उपक्षेत्र विश्लेषण (Subfield Analysis): JEL कोड का उपयोग करके 7 आर्थिक उपक्षेत्रों (जैसे स्वास्थ्य सेवा, श्रम, कराधान) में पूर्वाग्रह का विश्लेषण किया गया।

3. मुख्य योगदान (Key Contributions)

1. कारण तर्क के लिए नया दृष्टिकोण: सरल संदर्भ निर्भरता से परे LLM तर्क का अध्ययन करने के लिए वैचारिक रूप से विवादित कारण संबंधों की अवधारणा पेश की।
2. लेबल किया गया डेटासेट: विवादित और गैर-विवादित ट्रिपलेट्स को अलग करने वाला एक सत्यापित EconCausal बेंचमार्क उपसमूह बनाया।
3. दिशात्मक पूर्वाग्रह मेट्रिक्स: मॉडल भविष्यवाणियों में व्यवस्थित विषमताओं को मापने के लिए $\Delta_{acc}$ और $B_{dir}$ को परिभाषित और लागू किया।
4. विषमता का अनुभवजन्य प्रमाण: पहला व्यवस्थित प्रमाण प्रदान किया कि LLMs न केवल विवादित प्रश्नों पर कम सटीक हैं, बल्कि वे एक विशिष्ट वैचारिक दिशा (हस्तक्षेप-उन्मुख) में दूसरे की तुलना में व्यवस्थित रूप से अधिक विश्वसनीय हैं।

4. मुख्य परिणाम (Key Results)

A. विवादित मदों पर प्रदर्शन में गिरावट

• वैचारिक रूप से विवादित मद सभी मॉडलों के लिए काफी कठिन हैं।
  • क्लोज्ड-सोर्स मॉडल: 61.3% सटीकता (विवादित) बनाम 74.5% (गैर-विवादित)।
  • ओपन-सोर्स मॉडल: 52.5% सटीकता (विवादित) बनाम 63.8% (गैर-विवादित)।

B. व्यवस्थित विषमता (मुख्य निष्कर्ष)

• हस्तक्षेप लाभ (Intervention Advantage): 20 में से 18 मॉडलों में, सटीकता काफी अधिक है जब ग्राउंड ट्रुथ हस्तक्षेप-उन्मुख अपेक्षाओं के अनुरूप होता है।
  • क्लोज्ड-सोर्स: औसत $\Delta_{acc} = +9.7$ प्रतिशत अंक (pp)।
  • ओपन-सोर्स: औसत $\Delta_{acc} = +15.1$ pp।
• दिशात्मक त्रुटि पूर्वाग्रह: त्रुटियां यादृच्छिक (random) नहीं हैं; वे असमान रूप से हस्तक्षेप-उन्मुख भविष्यवाणियों की ओर झुकती हैं।
  • अधिकांश मॉडल सकारात्मक $B_{dir}$ दिखाते हैं (जैसे Llama 3.3-70B: $+17.9$; Qwen 3-8B: $+17.7$)।
  • अपवाद: Claude परिवार (Sonnet 4.6, Opus 4.6) ने थोड़ा मार्केट-ट्रुथ लाभ दिखाया।

C. उपक्षेत्र विषमता (Subfield Heterogeneity)

• पूर्वाग्रह समान नहीं है। सबसे बड़े हस्तक्षेप-ट्रुथ लाभ स्वास्थ्य सेवा ($\Delta_{acc} = +20.9$ pp) और कल्याण/पुनर्वितरण ($\Delta_{acc} = +18.0$ pp) में दिखाई देते हैं।
• कराधान (Taxation) एकमात्र ऐसा उपक्षेत्र था जिसने उल्टा पैटर्न दिखाया ($\Delta_{acc} = -1.0$ pp), जो इंगित करता है कि पूर्वाग्रह संदर्भ-निर्भर है न कि एक व्यापक "वामपंथी" बदलाव।

D. रोबस्टनेस और स्टीयरिंग (Robustness and Steering)

• कठिनाई मिलान: आइटम की कठिनाई को नियंत्रित करने के बाद भी, सटीकता का अंतर बना रहा ($\Delta_{acc} \approx +10.6$ pp), यह पुष्टि करता कि पूर्वाग्रह मार्केट-ट्रुथ प्रश्नों के कठिन होने के कारण नहीं है।
• इन-कॉन्टेक्स्ट लर्निंग (ICL): एक-शॉट उदाहरण (हस्तक्षेप बनाम बाजार) प्रदान करने से पूर्वाग्रह को समाप्त करने में विफलता मिली।
  • मॉडल मार्केट-संरेखित उदाहरण दिए जाने के बावजूद हस्तक्षेप-ट्रुथ लक्ष्यों पर अधिक सटीक रहे।
  • ICL अक्सर सटीकता में सुधार किए बिना मॉडल के आत्मविश्वास को बढ़ा देता है (मिसकैलिब्रेशन), जो सुझाव देता है कि पूर्वाग्रह मॉडल के 'प्रायर्स' (priors) में गहराई से निहित है न कि केवल सतही प्रॉम्प्ट आर्टिफैक्ट है।

E. पूर्वाग्रह के स्रोत

• प्रीट्रेनिंग बनाम एलाइनमेंट: बेस बनाम इंस्ट्रक्ट मॉडल्स (Qwen) के विश्लेषण से पता चला कि पूर्वाग्रह बेस मॉडल्स में मौजूद है लेकिन इंस्ट्रक्शन ट्यूनिंग (एलाइनमेंट) द्वारा अक्सर बढ़ा दिया जाता है।
• विकास: चित्र 4 सुझाव देता है कि पूर्वाग्रह विकसित हो रहा है; शुरुआती मॉडल हस्तक्षेप पूर्वाग्रह की ओर झुके हुए थे, जबकि नए रिलीज मार्केट-ट्रुथ सटीकता की ओर रुझान दिखाते हैं, हालांकि विषमता बनी हुई है।

5. महत्व और निहितार्थ (Significance and Implications)

• कुल मिलाकर सटीकता से परे: शोध पत्र तर्क देता है कि आर्थिक नीति में LLMs का मूल्यांकन करने के लिए कुल मिलाकर सटीकता (aggregate accuracy) अपर्याप्त है। एक मॉडल औसत पर सक्षम लग सकता है, जबकि वह एक विशिष्ट वैचारिक दिशा में खतरनाक रूप से अविश्वसनीय हो सकता है।
• नीतिगत जोखिम: उच्च-दांव वाले सेटिंग्स (जैसे केंद्रीय बैंक संचार, नीति मूल्यांकन) में, यह "अदृश्य झुकाव" व्यवस्थित रूप से पक्षपाती निष्कर्षों की ओर ले जा सकता है जिन्हें उपयोगकर्ता अनुभवजन्य तथ्यों के बजाय पक्षपाती 'प्रायर्स' के रूप में समझ सकते हैं।
• मूल्यांकन मानक: लेखक प्रस्तावित करते हैं कि आर्थिक और नीति डोमेन में तैनात LLMs के लिए दिशा-जागरूक मूल्यांकन (direction-aware evaluation - $\Delta_{acc}$ और $B_{dir}$ का उपयोग करके) एक मानक रोबस्टनेस चेक बनना चाहिए।
• भावी कार्य: इस पूर्वाग्रह के स्रोतों को और अधिक अलग करने के लिए मेमोरी-आधारित रिट्रीवल (विशिष्ट पेपर परिणामों को याद करना) और मैकेनिज्म-आधारित तर्क के बीच अंतर करने की आवश्यकता पर प्रकाश डाला गया है।