The Unsampled Truth: Psychometrics in SLMs Measure Prompt Artifacts, Not Psychological Constructs
यह शोध पत्र प्रदर्शित करता है कि लघु भाषा मॉडलों (small language models) का उपयोग करके किए जाने वाले साइकोमेट्रिक मूल्यांकन अक्सर वास्तविक अर्थपूर्ण तर्क के बजाय प्रॉम्प्ट आर्टिफैक्ट्स (prompt artifacts) और अनुपालन द्वारा संचालित होते हैं, हालांकि लेखक भविष्य के अनुसंधान के लिए इन आर्टिफैक्ट्स को अलग करने हेतु एक नैदानिक ढांचे का प्रस्ताव करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक मानक मानव प्रश्नावली का उपयोग करके एक रोबोट के व्यक्तित्व को मापने की कोशिश कर रहे हैं। आप रोबोट से पूछते हैं, "क्या आप मिलनसार हैं?" और वह उत्तर देता है, "हाँ।" आप सोच सकते हैं, "बहुत बढ़िया! यह रोबोट एक बहिर्मुखी (extrovert) है।"
लेकिन यह शोध पत्र तर्क देता है कि आपको धोखा दिया जा रहा है। रोबोट अपने "व्यक्तित्व" या प्रश्न की अपनी समझ के आधार पर उत्तर नहीं दे रहा है। इसके बजाय, वह इस आधार पर उत्तर दे रहा है कि प्रश्न पृष्ठ पर कैसे लिखा गया है।
यहाँ शोध के निष्कर्षों का एक सरल उपमा (analogy) के माध्यम से विवरण दिया गया है:
"मेन्यू" की उपमा (The "Menu" Analogy)
एक ऐसे रेस्तरां की कल्पना करें जहाँ शेफ (AI) को आपकी विशिष्ट पसंद ( "पर्सोना" या व्यक्तित्व) के आधार पर एक व्यंजन पकाने के लिए कहा जाता है।
- प्रयोग: शोधकर्ताओं ने 13 अलग-अलग शेफों को एक ही ग्राहक के लिए एक ही व्यंजन पकाने के लिए कहा। हालाँकि, उन्होंने हर बार मेन्यू में थोड़ा बदलाव किया।
- कभी-कभी उन्होंने विकल्पों के लिए संख्याओं (1, 2, 3, 4, 5) का उपयोग किया।
- कभी-कभी उन्होंने अक्षरों (A, B, C, D, E) का उपयोग किया।
- कभी-कभी उन्होंने रोमन अंकों (I, II, III, IV, V) का उपयोग किया।
- कभी-कभी उन्होंने फॉन्ट या निर्देशों के क्रम को बदल दिया।
- अपेक्षा: यदि शेफ वास्तव में ग्राहक की पसंद के आधार पर खाना बना रहे थे, तो मेन्यू में नंबरों या अक्षरों के उपयोग से व्यंजन का स्वाद लगभग एक जैसा ही रहना चाहिए था।
- वास्तविकता: व्यंजन नाटकीय रूप से बदल गए। जब मेन्यू में अक्षरों का उपयोग किया गया, तो शेफ ने तीखा व्यंजन बनाया। जब इसमें नंबरों का उपयोग किया गया, तो उन्होंने मीठा व्यंजन बनाया। जब निर्देश थोड़े अलग ढंग से लिखे गए, तो उन्होंने ग्राहक की पसंद को पूरी तरह से अनदेखा कर दिया और केवल फॉर्मेटिंग के नियमों का पालन किया।
शोधकर्ताओं ने क्या पाया
1. "प्रॉम्प्ट" ही असली शेफ है
इस अध्ययन में 13 अलग-अलग AI मॉडल का परीक्षण किया गया (छोटे से लेकर मध्यम आकार तक)। उन्होंने पाया कि इनमें से अधिकांश मॉडलों के लिए, प्रॉम्प्ट की फॉर्मेटिंग ( "मेन्यू") प्रश्न के अर्थ से कहीं अधिक महत्वपूर्ण थी।
- यदि आपने उत्तर के विकल्पों को "A-E" से बदलकर "1-5" कर दिया, तो AI का "व्यक्तित्व" स्कोर बहुत अधिक बदल जाएगा।
- AI यह नहीं सोच रहा था, "मैं एक अंतर्मुखी (introvert) हूँ।" वह यह सोच रहा था, "ओह, प्रश्न में अक्षरों का उपयोग किया गया है, इसलिए मुझे विकल्प C चुनना चाहिए।"
2. बड़े मॉडल अनिवार्य रूप से स्मार्ट नहीं होते
आप सोच सकते हैं, "यदि हम AI को बड़ा और स्मार्ट बनाएंगे, तो वह इस तरह की मूर्खतापूर्ण गलतियाँ करना बंद कर देगा।"
- शोधकर्ताओं ने 14 बिलियन पैरामीटर्स (एक बहुत बड़ा आकार) तक के मॉडलों का परीक्षण किया।
- परिणाम: बड़े मॉडल भी इन साधारण गलतियों से आसानी से धोखा खा गए। वे अभी भी प्रश्न के "अर्थ" के बजाय प्रश्न के "दिखावट" (format) को प्राथमिकता दे रहे थे।
3. "शोर" (Noise) "सिग्नल" (Signal) को दबा देता है
विज्ञान में, "सिग्नल" वह वास्तविक सत्य है जिसे आप मापने की कोशिश कर रहे हैं (व्यक्तित्व)। "शोर" वह त्रुटि है जो प्रश्न पूछने के तरीके के कारण होती है।
- शोध पत्र में पाया गया कि इन AI मॉडलों में, शोर सिग्नल से अधिक तेज़ है।
- AI का उत्तर मुख्य रूप से प्रॉम्प्ट के डिज़ाइन (आर्टिफैक्ट) का प्रतिबिंब है, न कि किसी वास्तविक मानव मनोविज्ञान का।
यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)
लेखक कह रहे हैं कि यदि शोधकर्ता वर्तमान में इन AI मॉडलों का उपयोग मानव सर्वेक्षणों या व्यक्तित्व परीक्षणों के अनुकरण के लिए करते हैं, तो वे व्यक्तित्व का नहीं, बल्कि प्रॉम्प्ट का मापन कर रहे हैं।
- जोखिम: यदि कोई शोधकर्ता अपने निर्देशों में एक अक्षर भी बदल देता है, तो उन्हें उसी AI के लिए पूरी तरह से अलग "व्यक्तित्व प्रोफाइल" प्राप्त हो सकता है। यह परिणामों को अविश्वसनीय बनाता है।
- निष्कर्ष: हम वर्तमान में इन AI मॉडलों पर मानव मनोविज्ञान के बारे में बताने के लिए भरोसा नहीं कर सकते क्योंकि वे इस बात के प्रति बहुत संवेदनशील हैं कि प्रश्न कैसे लिखा गया है।
शोध पत्र क्या नहीं कहता
यह शोध पत्र यह नहीं कहता कि AI कभी भी ऐसा करने में सक्षम नहीं होगा, और न ही यह कहता है कि AI हर चीज़ के लिए बेकार है। यह विशेष रूप से कहता है कि वर्तमान प्रॉम्प्टिंग विधियों के तहत, परिणाम वास्तविक तर्क के बजाय फॉर्मेटिंग के तरीकों से संचालित होते हैं।
उनका सुझाव है कि इससे पहले कि हम मनोवैज्ञानिक परीक्षण के लिए AI पर भरोसा कर सकें, हमें इन "फॉर्मेटिंग बग्स" को ठीक करने की आवश्यकता है ताकि AI प्रश्न के "रूप" (shape) के बजाय उसके "अर्थ" को सुन सके। तब तक, AI का "व्यक्तित्व" केवल शोधकर्ता के अपने प्रॉम्प्ट डिज़ाइन का एक दर्पण है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।