OptimismBench: Forecasting Bias and the Alignment Effect in Language Model Judgment
यह शोधपत्र OptimismBench का परिचय देता है, जो बड़े भाषा मॉडलों (large language models) में व्यवस्थित दिशात्मक पूर्वाग्रह का पता लगाने के लिए उलटे सफलता/विफलता युग्मों (inverted success/failure pairs) का उपयोग करने वाला एक नवीन ढांचा है, जो यह प्रकट करता है कि अधिकांश मॉडल मॉडल आर्किटेक्चर या भाषा के बजाय पोस्ट-ट्रेनिंग अलाइनमेंट द्वारा संचालित एक "आशावाद झुकाव" (optimism tilt) प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने बहुत बुद्धिमान, विद्वान मित्रों के एक समूह से किसी सिक्के के उछाल, किसी स्टार्टअप की सफलता, या कल बारिश होने के बारे में अनुमान लगाने के लिए कह रहे हैं। आप उनसे पूछते हैं, "इसके सफल होने की कितनी संभावना है?" और फिर, अलग से, "इसके विफल होने की कितनी संभावना है?" एक आदर्श दुनिया में, यदि आपका मित्र कहता है कि सफलता की 70% संभावना है, तो उसे यह भी कहना चाहिए कि विफलता की 30% संभावना है। उन दोनों संख्याओं का योग ठीक 100% होना चाहिए। यह प्रायिकता (प्रोबेबिलिटी) का मूल तर्क है: यदि आपके पास एक पूरा पाई (pie) है, तो आपके द्वारा खाया गया हिस्सा और आपके द्वारा छोड़ा गया हिस्सा मिलकर पूरे पाई के बराबर होना चाहिए।
हालाँकि, मनुष्य इस मामले में प्रसिद्ध रूप से खराब होते हैं। हमारे भीतर एक "संज्ञानात्मक त्रुटि" (cognitive glitch) है जिसे 'आशावाद पूर्वाग्रह' (optimism bias) कहा जाता है, जहाँ हम सोचते हैं कि अच्छी चीजें हमारे साथ होने की संभावना वास्तव में जितनी होती है, उससे कहीं अधिक होती हैं, और बुरी चीजें होने की संभावना कम होती है। हमारे पास "प्रॉस्पेक्ट थ्योरी" (prospect theory) भी है, जो बताती है कि हम नुकसान के दर्द को लाभ की खुशी की तुलना में बहुत अधिक तीव्रता से महसूस करते हैं, जिससे हम जोखिम और पुरस्कार को असमान रूप से तौलते हैं। लंबे समय से वैज्ञानिक यह जानना चाहते थे: क्या ये वही मानवीय विचित्रताएं हमारे कृत्रिम बुद्धिमत्ता (AI) को भी प्रभावित करती हैं? यदि हम एक भाषा मॉडल (language model) से भविष्य की भविष्यवाणी करने के लिए कहते हैं, तो क्या उसके पास "सबसे अच्छा होने की उम्मीद" करने का अपना एक संस्करण है जो उसके गणित को बिगाड़ देता है? यह महत्वपूर्ण है क्योंकि हम इन AI मॉडलों का उपयोग बड़े निर्णय लेने में मदद करने के लिए करने लगे हैं, जैसे निवेश करना या चिकित्सा उपचार की योजना बनाना। यदि AI गुप्त रूप से आशावाद की ओर झुका हुआ है, तो यह हमें ऐसे खतरनाक जोखिम लेने के लिए प्रेरित कर सकता है जो हम अनजाने में लेना नहीं चाहते थे।
यही वह शोध पत्र है जिसकी जांच OptimismBench करता है। शोधकर्ताओं ने यह देखने के लिए एक विशेष परीक्षण स्थल बनाया कि क्या लार्ज लैंग्वेज मॉडल्स (LLMs) में उनकी प्रायिकता संबंधी निर्णयों में कोई व्यवस्थित "झुकाव" है। उन्होंने केवल मॉडलों से अनुमान लगाने के लिए नहीं कहा; उन्होंने "इनवर्टेड पेयर्स" (inverted pairs) नामक एक चतुर तकनीक का उपयोग किया। प्रत्येक परिदृश्य के लिए, उन्होंने मॉडल से दो प्रश्न पूछे: "सफलता की कितनी संभावना है?" और "विफलता की कितनी संभावना है?" यदि मॉडल पूरी तरह से तार्किक है, तो उनके उत्तरों का योग हमेशा 100% होना चाहिए। लेकिन यदि मॉडल पक्षपाती है, तो संख्याएँ मेल नहीं खाएंगी।
परिणाम आश्चर्यजनक रूप से स्पष्ट थे। 8 प्रमुख कंपनियों के 16 विभिन्न AI मॉडलों के परीक्षण में से, 14 लगातार आशावादी थे। उन्होंने सफलता की संभावना को बढ़ाकर बताया और विफलता की संभावना को कम करके आंका। यह ऐसा था जैसे दोस्तों के एक समूह से मौसम का अनुमान लगाने के लिए कहा गया हो, और लगभग सभी ने जोर देकर कहा कि मौसम सुहावना रहेगा, भले ही बादल घिर रहे हों। केवल कुछ विशिष्ट मॉडल जो "निराशावादी" (यह सोचना कि बुरी चीजें होने की संभावना अधिक है) थे, वे एक विशिष्ट कंपनी, एंथ्रोपिक (Anthropic) से आए थे, और वे भी केवल उनके सबसे बड़े, सबसे उन्नत मॉडल थे। दिलचस्प बात यह है कि उनके छोटे, हल्के मॉडल वास्तव में अन्य सभी की तरह आशावादी थे।
अध्ययन ने इस बात की भी जांच की कि क्यों ऐसा होता है। उन्होंने पाया कि यह पूर्वाग्रह केवल एक यादृच्छिक त्रुटि या मॉडल के भ्रमित होने का परिणाम नहीं है; यह इन मॉडलों के प्रशिक्षण का एक गहरा हिस्सा है। जब शोधकर्ताओं ने इन मॉडलों के "कच्चे" (raw) संस्करणों (मददगार सहायक के रूप में फाइन-ट्यून होने से पहले के) की तुलना उनके "चैटबॉट" संस्करणों से की, तो उन्होंने देखा कि प्रशिक्षण प्रक्रिया ने स्वयं पूर्वाग्रह की दिशा को बदल दिया। मॉडलों के कुछ परिवारों के लिए, प्रशिक्षण ने उन्हें अधिक आशावादी बनाया; दूसरों के लिए, इसने उन्हें अधिक निराशावादी बना दिया। यह सुझाव देता है कि AI के पूर्वाग्रह की "व्यक्तित्व" उस विशिष्ट रेसिपी से निर्धारित होती है जिसका उपयोग उसे मनुष्यों से बात करना सिखाने के लिए किया जाता है।
शोधकर्ताओं ने यह भी जांचा कि क्या यह पूर्वाग्रह केवल प्रश्न पूछने का एक तरीका था या इसे केवल AI को, "हे, बहुत आशावादी मत बनो!" कहकर ठीक किया जा सकता था। उन्होंने तापमान सेटिंग्स (temperature settings) को बदलने, अलग-अलग दृष्टिकोणों से प्रश्न पूछने (जैसे "आप" बनाम "आपका मित्र"), और यहाँ तक कि AI के निर्देशों में एक चेतावनी लेबल जोड़ने का प्रयास किया। इनमें से कोई भी सतही सुधार काम नहीं आया। पूर्वाग्रह अडिग रहा, जिससे यह सिद्ध हुआ कि यह मॉडल के आंतरिक तर्क का एक मौलिक हिस्सा है, न कि केवल क्षणिक भ्रम।
शायद सबसे उल्लेखनीय निष्कर्ष यह था कि मॉडल भाषा की तुलना में कहीं अधिक मायने रखता था। शोधकर्ताओं ने इन मॉडलों का 10 अलग-अलग भाषाओं में परीक्षण किया। उन्होंने पाया कि दो अलग-अलग मॉडलों के बीच पूर्वाग्रह का अंतर, एक ही मॉडल के अलग-अलग भाषाएं बोलने के बीच के पूर्वाग्रह के अंतर की तुलना में लगभग 5 गुना बड़ा था। दूसरे शब्दों में, एक AI आशावादी है या निराशावादी, यह इस पर निर्भर करता है कि आप कौन सा AI उपयोग कर रहे हैं, न कि इस पर कि वह अंग्रेजी, चीनी या स्पेनिश बोल रहा है।
संक्षेप में, यह शोध पत्र प्रकट करता है कि हमारे AI उपकरण तटस्थ कैलकुलेटर नहीं हैं। वे एक छिपा हुआ "दिशात्मक पूर्वाग्रह" (directional bias) रखते हैं जो जोखिम और पुरस्कार के प्रति हमारी धारणा को झुका सकता है। जबकि अधिकांश मॉडल भविष्य के प्रति एक उज्ज्वल, आशावादी दृष्टिकोण की ओर झुकते हैं, यह कोई सार्वभौमिक नियम नहीं है—यह काफी हद तक इस पर निर्भर करता है कि मॉडल किसने बनाया और उन्होंने इसे कैसे प्रशिक्षित किया। लेखक चेतावनी देते हैं कि यदि हम इन मॉडलों का उपयोग निर्णय लेने में मदद के लिए करते हैं, तो हमें यह जानने की आवश्यकता है कि उनकी "अंतरात्मा की आवाज" (gut feelings) व्यवस्थित रूप से पक्षपाती हो सकती है, और हम यह मानकर नहीं चल सकते कि वे दुनिया को स्पष्ट रूप से देख रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।