Model Selection as Policy Choice: Open-Weight LLMs Converge on Institutions but Diverge on Economic Policy
यह अध्ययन प्रदर्शित करता है कि ओपन-वेट लार्ज लैंग्वेज मॉडल्स नीति विश्लेषण के लिए एक-दूसरे के स्थान पर उपयोग किए जाने वाले उपकरण नहीं हैं, क्योंकि मॉडल का चयन—न कि सैंपलिंग टेम्परेचर—आर्थिक नीति प्राथमिकताओं में स्थिर और संरचित विचलन को प्रेरित करता है जबकि संस्थागत और पर्यावरणीय मुद्दों पर आम सहमति बनाए रखता है, जिससे मॉडल का चयन एक महत्वपूर्ण शासन संबंधी निर्णय बन जाता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करते हुए शोध पत्र का विवरण दिया गया है।
मुख्य विचार: सभी AI शेफ एक जैसा व्यंजन नहीं पकाते
कल्प_ना कीजिए कि आप एक सरकारी अधिकारी हैं जो एक नई आर्थिक नीति तय करने की कोशिश कर रहे हैं। आप सलाह के लिए एक AI से पूछते हैं। अधिकांश लोग यह मान लेते हैं कि यदि वे पाँच अलग-अलग AI मॉडल से एक ही सवाल पूछते हैं, तो उन्हें एक ही उत्तर के पाँच थोड़े अलग संस्करण मिलेंगे, जैसे पाँच अलग-अलग लोगों से एक ही कविता सुनाने के लिए कहना।
यह शोध पत्र तर्क देता है कि यह धारणा गलत है।
बदले में, लेखक पाते हैं कि अलग-अलग AI मॉडल अलग-अलग व्यक्तित्व और राजनीतिक दर्शन वाले अलग-अलग शेफ की तरह हैं। यदि आप उनसे अर्थव्यवस्था के बारे में एक ही सवाल पूछते हैं, तो वे केवल अलग शब्द ही नहीं देते; वे अक्सर अपने स्वयं के छिपे हुए "स्वादों" के आधार पर पूरी तरह से अलग रेसिपी (व्यंजन) चुनते हैं।
प्रयोग: AI का स्वाद परीक्षण (Taste Test)
शोधकर्ताओं ने एक विशाल स्वाद परीक्षण आयोजित किया।
- पेंट्री (सामग्री): उन्होंने 40 अलग-अलग "ओपन-वेट" AI मॉडल एकत्र किए (ये वे मॉडल हैं जिन्हें कोई भी अपने कंप्यूटर पर डाउनलोड और चला सकता है, उन गुप्त मॉडलों के विपरीत जो बड़ी टेक कंपनियों के स्वामित्व में हैं)।
- मेन्यू: उन्होंने प्रत्येक मॉडल को बिल्कुल एक ही प्रश्नावली दी। प्रश्नों में मुद्रास्फीति (inflation), बेरोजगारी, आवास और अंतर्राष्ट्रीय संबंधों जैसे कठिन विषय शामिल थे।
- नियम: प्रत्येक प्रश्न के लिए, मॉडलों को चार अलग-अलग संभावित उत्तरों (A, B, C, या D) को 0 से 100 के पैमाने पर रेटिंग देनी थी।
- पुनरावृत्ति: यह सुनिश्चित करने के लिए कि परिणाम केवल रैंडम गड़बड़ी (glitches) नहीं हैं, उन्होंने प्रत्येक मॉडल से वही प्रश्न 100 बार पूछे।
उन्होंने क्या खोजा
1. "व्यक्तित्व" वास्तविक है, रैंडम नहीं
जब आप एक सिक्का उछालते हैं, तो परिणाम रैंडम होता है। जब आप AI से कोई सवाल पूछते हैं, तो आप कुछ रैंडमनेस (शोर/noise) की उम्मीद कर सकते हैं। शोधकर्ताओं ने पाया कि रैंडमनेस (शोर) वास्तव में बहुत कम था।
- उपमा: एक गायक मंडली (choir) की कल्पना करें। यदि गायक केवल रैंडम आवाजें निकाल रहे होते, तो ध्वनि एक शोर होती। लेकिन यहाँ, शोधकर्ताओं ने पाया कि प्रत्येक गायक (प्रत्येक AI मॉडल) की "आवाज" बहुत विशिष्ट और स्थिर थी।
- परिणाम: उत्तरों में अंतर का लगभग 57% इस बात से आया कि उत्तर देने वाला कौन सा मॉडल था। "तापमान" (एक सेटिंग जो AI को अधिक या कम रैंडम बनाती है) को बदलने से उत्तर में बहुत कम बदलाव आया (2% से कम)। इसका मतलब है कि मॉडलों के पास स्थिर, अंतर्निहित पूर्वाग्रह (biases) हैं जो केवल एक सेटिंग को ट्यून करने से खत्म नहीं होते।
2. वे "कौन प्रभारी है" पर सहमत होते हैं, लेकिन "पैसा कैसे खर्च किया जाए" पर लड़ते हैं
शोधकर्ताओं ने विचारों के एक सांख्यिकीय मानचित्र (जैसे विचारों के लिए GPS) का उपयोग करके यह देखा कि मॉडल कहाँ खड़े हैं। उन्होंने दो मुख्य "विभाजन रेखाएं" पाईं जहाँ मॉडल भिन्न थे:
- "संस्थाओं में विश्वास" की रेखा (जहाँ वे ज्यादातर सहमत होते हैं): लगभग सभी मॉडल इस बात पर सहमत थे कि अंतर्राष्ट्रीय संगठन, नियम और औपचारिक संस्थाएं महत्वपूर्ण हैं। वे सभी आम तौर पर नियमों का पालन करने और विशेषज्ञों पर भरोसा करने के विचार को पसंद करते थे।
- "आर्थिक दर्शन" की रेखा (जहाँ वे लड़ते हैं): यहीं पर मॉडल विभाजित हो जाते हैं।
- समूह A (बाजार प्रेमी): ये मॉडल मुक्त बाजार को निर्णय लेने देने, नियमों को कम करने और विकास को प्राथमिकता देने को पसंद करते हैं।
- समूह B (हस्तक्षेपवादी): ये मॉडल सरकार द्वारा असमानता को ठीक करने, कीमतों को नियंत्रित करने और पर्यावरण की रक्षा करने (भले ही इससे विकास धीमा हो जाए) को पसंद करते हैं।
"स्टैगफ्लेशन" (Stagflation) परीक्षण:
शोधकर्ताओं ने एक क्लासिक कठिन सवाल पूछा: "देश में उच्च मुद्रास्फीति (inflation) और उच्च बेरोजगारी दोनों हैं। हमें क्या करना चाहिए?"
- कुछ मॉडलों ने कहा: "मुद्रास्फीति को कुचल दें, भले ही लोग अपनी नौकरियां खो दें।"
- अन्य ने कहा: "नौकरियों को बचाएं, भले ही कीमतें बढ़ जाएं।"
- अन्य ने कहा: "दोनों के लिए सख्त नियम बनाएं।"
- अन्य ने कहा: "अजीब, प्रयोगात्मक नियंत्रणों के मिश्रण का उपयोग करें।"
- चौंकाने वाली बात: इनमें से हर एक उत्तर कम से कम कुछ मॉडलों के लिए "शीर्ष विकल्प" था। वहां कोई एक एकल "AI उत्तर" नहीं था।
3. "आत्मविश्वास" का जाल
सबसे दिलचस्प खोजों में से एक आत्मविश्वास के बारे में थी।
- कुछ मॉडल बहुत शर्मीले थे और कहते थे, "मुझे यकीन नहीं है" (कम आत्मविश्वास स्कोर)।
- अन्य बहुत मुखर थे और कहते थे, "मुझे उत्तर पता है!" (उच्च आत्मविश्वास स्कोर)।
- ट्विस्ट: मॉडल का आत्मविश्वास इस बात पर निर्भर नहीं था कि प्रश्न कितना कठिन था। यह पूरी तरह से इस पर निर्भर था कि वह कौन सा मॉडल था।
- उपमा: यह एक ऐसे छात्र की तरह है जो हमेशा 'C' ग्रेड पाता है लेकिन कहता है "मुझे 100% यकीन है कि मैं सही हूँ," जबकि दूसरा छात्र 'A' ग्रेड पाता है लेकिन कहता है "मुझे केवल 50% यकीन है।" यदि आप एक नीति निर्माता हैं, तो आप आत्मविश्वासी दिखने वाले मॉडल पर भरोसा करने के झांसे में आ सकते हैं, भले ही वह शांत मॉडल जितना ही पक्षपाती हो।
4. आकार का मतलब "बेहतर" राजनीति नहीं है
आप सोच सकते हैं कि एक बड़ा, स्मार्ट AI (अधिक "मस्तिष्क शक्ति" वाला) अधिक संतुलित या "सही" राजनीतिक दृष्टिकोण रखेगा।
- निष्कर्ष: बड़े मॉडल थोड़े अधिक सुसंगत (कम शोर वाले) थे, लेकिन उनके पास छोटे मॉडलों की तुलना में कोई अलग राजनीतिक विचार नहीं था।
- उपमा: एक विशाल, सुपर-स्मार्ट रोबोट और एक छोटा, सरल रोबोट दोनों "बाजार प्रेमी" या दोनों "हस्तक्षेपवादी" हो सकते हैं। आप केवल उसके आकार या ब्रांड नाम को देखकर मॉडल के राजनीतिक पूर्वाग्रह का अनुमान नहीं लगा सकते।
निष्कर्ष: मॉडल चुनना एक राजनीतिक निर्णय है
शोध पत्र निष्कर्ष निकालता है कि जिस AI का आप उपयोग कर रहे हैं उसे चुनना एक तकनीकी विवरण नहीं है; यह एक नीतिगत निर्णय है।
- रूपक: यदि आप अर्थव्यवस्था पर रिपोर्ट लिखने के लिए एक सलाहकार को काम पर रखते हैं, तो आप एक विशिष्ट विश्वदृष्टि वाले व्यक्ति को काम पर रख रहे हैं। यदि आप AI मॉडल X को चुनते हैं, तो आप एक "बाजार रूढ़िवादी" (Market Conservative) को काम पर रख रहे हैं। यदि आप AI मॉडल Y को चुनते हैं, तो आप एक "सरकारी हस्तक्षेपवादी" (Government Interventionist) को काम पर रख रहे हैं।
- खतरा: यदि आप यह नहीं जानते हैं, तो आप सोच सकते हैं कि AI आपको एक तटस्थ, वस्तुनिष्ठ तथ्य दे रहा है। लेकिन वास्तव में, AI चुपचाप अपने छिपे हुए मूल्यों को आपके नीतिगत निर्णयों में डाल रहा है।
सीख:
सरकार के निर्णय लेने में AI की मदद लेने से पहले, हमें इसे एक मानव विशेषज्ञ की तरह मानना होगा: उनकी पृष्ठभूमि की जांच करें, उनके पूर्वाग्रहों को जानें, और केवल एक व्यक्ति की राय पर भरोसा न करें। हमें कई अलग-अलग AI का उपयोग करने और उनके उत्तरों की तुलना करने की आवश्यकता है ताकि हम पूर्ण चित्र देख सकें, बजाय इसके कि हम एक "डिफ़ॉल्ट" मॉडल को हमारे भविष्य का निर्णय लेने दें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।