Benchmarking Large Language Model Rationality Using Measurement Axioms
यह शोधपत्र बड़े भाषा मॉडलों (Large Language Models) की तर्कसंगतता का मूल्यांकन करने के लिए उपयोगिता अभिगृहीतों (utility axioms) पर आधारित एक मापन-सैद्धांतिक ढांचे (measurement-theoretic framework) को प्रस्तुत करता है, जो यह प्रकट करता है कि कई मॉडल प्राथमिकता संक्रमणशीलता (preference transitivity) के व्यवस्थित उल्लंघन प्रदर्शित करते हैं जो निर्णय सुसंगतता (decision coherence) को कमजोर करते हैं, भले ही कुछ पैटर्न मानवीय व्यवहार को प्रतिबिंबित करते हों।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नया सहायक काम पर रख रहे हैं जो आपको महत्वपूर्ण निर्णय लेने में मदद करेगा, जैसे कि विभिन्न निवेश योजनाओं या चिकित्सा उपचारों के बीच चुनाव करना। आप केवल एक ऐसा सहायक नहीं चाहते जो किसी परीक्षा में "सही" उत्तर दे सके; आप एक ऐसा सहायक चाहते हैं जो सुसंगत (consistent) हो। यदि वे आपसे कहते हैं कि योजना A, योजना B से बेहतर है, और योजना B, योजना C से बेहतर है, तो उन्हें तार्किक रूप से यह निष्कर्ष निकालना चाहिए कि योजना A, योजना C से बेहतर है। यदि वे इस आधार पर अपना मन बदल लेते हैं कि आपने सवाल कैसे पूछा या उन्होंने दोपहर के भोजन में क्या खाया था, तो वे एक विश्वसनीय निर्णय लेने वाले नहीं हैं।
यह शोध पत्र 20 अलग-अलग लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए एक कठोर "तर्क परीक्षण" (logic test) की तरह है—जो चैटबॉट्स जैसे टूल्स के पीछे का AI दिमाग है। "क्या आपका गणित सही है?" पूछने के बजाय, शोधकर्ताओं ने पूछा, "क्या आपके चुनाव तार्किक रूप से सुसंगत हैं?"
यहाँ उनके प्रयोग का विवरण सरल उपमाओं (analogies) का उपयोग करके दिया गया है:
1. परीक्षण: तर्क का "रॉक-पेपर-सिज़र्स"
वास्तविक दुनिया में, हम उम्मीद करते हैं कि विकल्प पारगमनशील (transitive) हों। यदि आप केले की तुलना में सेब पसंद करते हैं, और चेरी की तुलना में केले पसंद करते हैं, तो आपको चेरी की तुलना में सेब पसंद होने चाहिए। यदि आप अचानक सेब की तुलना में चेरी पसंद करने लगते हैं, तो आपकी प्राथमिकताएं "अपारगमनशील" (intransitive) यानी टूटी हुई हैं।
शोधकर्ताओं ने एक खेल बनाया जहाँ AI को विभिन्न "जुआ" (gamble) टिकटों के बीच चयन करना था। प्रत्येक टिकट में पैसा जीतने की एक संभावना थी।
- टिकट A: $5.00 जीतने की 7/24 संभावना।
- टिकट B: $4.75 जीतने की 8/24 संभावना।
- टिकट C: $4.50 जीतने की 9/24 संभावना।
उन्होंने AI को हर संभव संयोजन में इन टिकटों की तुलना करने के लिए कहा। यदि AI तर्कसंगत है, तो उसके चुनाव एक सीधी रेखा बनाने चाहिए। यदि वह एक लूप बनाता है (A > B > C > A), तो वह तर्क परीक्षण में विफल रहा है।
2. AI को तोड़ने के तीन तरीके
शोधकर्ताओं ने केवल सवाल एक बार नहीं पूछे। उन्होंने चीजों को बदलकर AI के तर्क को "तोड़ने" की कोशिश की, जैसे कि एक वैज्ञानिक रेसिपी में बदलाव करके यह देखता है कि केक गिर तो नहीं जाएगा:
"तापमान" का नॉब (यादृच्छिकता/Randomness):
कल्पना कीजिए कि AI एक शेफ है। "कम तापमान" पर, शेफ सख्त है और रेसिपी का ठीक से पालन करता है। "उच्च तापमान" पर, शेफ रचनात्मक हो जाता है और यादृच्छिक मसाले डालता है। शोधकर्ताओं ने इस नॉब को बहुत सख्त से बहुत अराजक (chaotic) की ओर घुमाया। वे देखना चाहते थे कि क्या AI को अधिक "रचनात्मक" बनाने से उसका तर्क बिखर जाता है।- परिणाम: आश्चर्यजनक रूप से, AI को अधिक अराजक (उच्च तापमान) बनाने से सबसे आसान परीक्षण पर उसका तर्क बेहतर दिखने लगा, लेकिन यह संभवतः इसलिए था क्योंकि वह यादृच्छिक अनुमान लगाने लगा था (जैसे सिक्का उछालना), जो गलती से परीक्षण के नियमों में फिट बैठता है। इसका मतलब यह नहीं था कि AI वास्तव में अधिक स्पष्ट रूप से सोच रहा था।
"स्मृति" (Memory) का खेल:
कल्पना कीजिए कि आप एक परीक्षा दे रहे हैं। एक संस्करण में, आप प्रत्येक प्रश्न को अलग-थलग (isolation में) लेते हैं। दूसरे संस्करण में, आपको बताया जाता है, "याद रखें, आपने पिछले 10 प्रश्नों के लिए विकल्प A चुना था; अब फिर से चुनें।"- परिणाम: AI को उसके पिछले विकल्पों की "स्मृति" देने से वह और खराब हो गया। वह अधिक सुसंगत होने के बजाय, भ्रमित हो गया। उसका तर्क डगमगा गया, और वह प्रश्नों के क्रम के आधार पर अधिक बार अपना मन बदलने लगा।
"शब्दों का हेरफेर" (Wording Trick):
उन्होंने बिल्कुल वही सवाल पूछा लेकिन नंबरों के दिखने का तरीका बदल दिया।- संस्करण 1: "7/24 संभावना" (एक भिन्न/fraction)।
- संस्करण 2: "29.17% संभावना" (एक प्रतिशत)।
- परिणाम: AI का तर्क केवल इसलिए बदल गया क्योंकि नंबर अलग दिख रहे थे। यदि वह वास्तव में तर्कसंगत होता, तो 7/24 और 29.17% के साथ बिल्कुल वैसा ही व्यवहार किया जाना चाहिए था। तथ्य यह है कि AI ने उन्हें अलग तरह से माना, यह दर्शाता है कि उसका "दिमाग" डेटा के अंतर्निहित सत्य के बजाय उसके सतही स्वरूप के प्रति संवेदनशील है।
3. "मानव जैसा" दोष
सबसे दिलचस्प हिस्सा यहाँ है। जब AI तर्क परीक्षण में विफल हुआ, तो वह यादृच्छिक रूप से विफल नहीं हुआ। वह एक बहुत ही विशिष्ट तरीके से विफल हुआ जैसे कि इंसान भी विफल होते हैं।
दशकों पहले, मनोवैज्ञानिकों ने पाया कि मनुष्य अक्सर एक "शॉर्टकट" नियम का उपयोग करते हैं: "यदि जीतने की संभावना में अंतर बहुत कम है, तो मैं बस उस विकल्प को चुनूँगा जिसमें सबसे अधिक पैसा है। लेकिन यदि जीतने की संभावना में अंतर बहुत बड़ा है, तो मैं सुरक्षित विकल्प को चुनूँगा।" यह शॉर्टकट मनुष्यों को अतार्किक लूप बनाने का कारण बनता है।
AI मॉडल केवल यादृच्छिक गलतियाँ नहीं कर रहे थे; उन्होंने इस विशिष्ट मानव शॉर्टकट की नकल की। हालाँकि, उन्होंने इसे वास्तविक मनुष्यों की तुलना में बहुत अधिक बार किया। ऐसा लगता है जैसे AI इंसान बनने की कोशिश कर रहा है, लेकिन वह "मानवीय त्रुटि" वाले हिस्से को बहुत अधिक बढ़ा-चढ़ाकर कर रहा है।
4. बड़ा निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि जबकि ये AI मॉडल टेक्स्ट जेनरेट करने और सामान्य ज्ञान के उत्तर देने में बेहतरीन हैं, उनके पास एक तर्कसंगत मानव या एक पूर्ण कंप्यूटर प्रोग्राम की तरह एक स्थिर, आंतरिक "मूल्य प्रणाली" (value system) नहीं है।
- वे सख्त अर्थों में "तर्कसंगत एजेंट" नहीं हैं।
- उनके विकल्प इस बात पर निर्भर करते हैं कि आप सवाल कैसे पूछते हैं, उन्हें कितना "यादृच्छिक" होने के लिए कहा जाता है, और क्या वे जो अभी कह रहे हैं उसे याद रखते हैं।
- यदि आप AI पर क्रमबद्ध निर्णय लेने (जैसे कि मरीज का निदान करने के लिए डॉक्टर के रूप में चरण-दर-चरण प्रक्रिया) के लिए भरोसा करते हैं, तो आप यह भरोसा नहीं कर सकते कि उसका तर्क पहले चरण से दसवें चरण तक बना रहेगा।
संक्षेप में: AI एक शानदार नकलची है जो बहुत बुद्धिमान लग सकता है, लेकिन यदि आप उसे तर्क की छड़ी से छेड़ेंगे, तो वह डगमगा जाएगा। उसके पास विश्वासों का कोई ठोस, अपरिवर्तनीय सेट नहीं है; वह बस प्रश्न के तात्कालिक आकार के प्रति प्रतिक्रिया देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।