Apparent Psychological Profiles of Large Language Models are Largely a Measurement Artifact
यह शोध पत्र यह प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) के स्पष्ट मनोवैज्ञानिक प्रोफाइल मुख्य रूप से दिशात्मक प्रतिक्रिया पूर्वाग्रह (directional response bias) द्वारा संचालित मापन संबंधी कृत्रिमताएं (measurement artifacts) हैं न कि वास्तविक गुण, जो प्रतिक्रिया ऑर्थोगोनैलिटी (response orthogonality) के लिए समर्पित समायोजनों के बिना LLMs का आकलन करने के लिए मानक मानव-निर्मित मनोवैज्ञानिक उपकरणों को अमान्य बना देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: AI का "नकली" व्यक्तित्व
कल्पना कीजिए कि आपके पास 56 अलग-अलग रोबोटों से भरा एक कमरा है। आप जानना चाहते हैं कि उनका "व्यक्तित्व" (personality) क्या है, इसलिए आप उनसे वही सवाल पूछते हैं जो आप इंसानों से पूछते हैं: "क्या आप एक चिंता करने वाले व्यक्ति हैं?" या "क्या आपको जोखिम लेना पसंद है?"
उनके जवाबों के आधार पर, शोधकर्ता इन रोबोटों को व्यक्तित्व स्कोर दे रहे हैं, और उनके साथ ऐसा व्यवहार कर रहे हैं जैसे उनका कोई स्थिर चरित्र हो (जैसे कि "शर्मीला," "बहादुर," या "चिंतित" होना)।
यह शोध पत्र तर्क देता है कि ये व्यक्तित्व स्कोर ज्यादातर नकली हैं।
लेखकों का दावा है कि जब हम AI के व्यक्तित्व को मापते हैं, तो हम वास्तव में उनके "चरित्र" को नहीं माप रहे होते हैं। इसके बजाय, हम मुख्य रूप से उनके जवाब देने के तरीके में मौजूद एक गड़बड़ी (glitch) को माप रहे होते हैं। यह बिल्कुल वैसा ही है जैसे किसी आटे की बोरी को तौलने के लिए ऐसे तराजू पर रखना जो पहले से ही टूटा हुआ है और एक तरफ झुका हुआ है। जो संख्या आपको मिलती है वह आटे का वजन नहीं है; वह केवल टूटे हुए तराजू का परिणाम है।
मुख्य उपमा: "यस-मैन" बनाम "सत्यवादी"
समस्या को समझने के लिए, कल्पना करें कि एक रोबोट दो तरीकों से सवाल का जवाब दे सकता है:
- लक्षण (वास्तविक चरित्र): रोबोट वास्तव में सोचता है, "मैं एक सतर्क व्यक्ति हूँ," इसलिए वह जोखिम भरे सवालों पर "नहीं" और सुरक्षित सवालों पर "हाँ" कहता है।
- पूर्वाग्रह/बायस (गड़बड़ी): रोबोट की एक आदत है कि वह हमेशा वह विकल्प चुनता है जो "अच्छा" दिखता है, या हमेशा पहला विकल्प चुनता है, या बस एक आदत के रूप में हमेशा "हाँ" कहता है। उसे इस बात से फर्क नहीं पड़ता कि सवाल किस बारे में है; उसका एक डिफॉल्ट सेटिंग बस है।
शोधकर्ताओं ने पाया कि इंसानों के लिए, लक्षण (Trait) प्रमुख शक्ति है। यदि आप किसी इंसान से घबराहट के बारे में सवाल पूछते हैं, और फिर उसके विपरीत सवाल पूछते हैं, तो उनके जवाब तार्किक रूप से बदल जाते हैं।
लेकिन AI मॉडल्स के लिए, पूर्वाग्रह (Bias) प्रमुख शक्ति है। वे एक "डिफॉल्ट सेटिंग" रखते हैं जो उन्हें जवाब के एक छोर की ओर धकेलता है, चाहे सवाल वास्तव में कुछ भी हो।
"जादुई दर्पण" परीक्षण (The "Magic Mirror" Test)
शोधकर्ताओं ने इसे कैसे साबित किया? उन्होंने रेस्पॉन्स ऑर्थोगोनैलिटी (Response Orthogonality) नामक एक चतुर तकनीक का उपयोग किया।
सोचिए कि व्यक्तित्व परीक्षण दर्पणों का एक सेट है।
- सीधा दर्पण (Forward Mirror): आपका प्रतिबिंब सामान्य रूप से दिखाता है।
- उल्टा दर्पण (Reverse Mirror): आपका प्रतिबिंब उल्टा दिखाता है।
यदि आपका वास्तविक व्यक्तित्व (एक लक्षण) है, तो दोनों दर्पण विपरीत चीजें दिखाएंगे। यदि आप "उच्च न्यूरोटिसिज्म" (चिंता करने वाले) हैं, तो सीधा दर्पण कहता है, "हाँ, मैं चिंता करता हूँ," और उल्टा दर्पण कहता है, "नहीं, मैं शांत नहीं रहता।" जवाब विपरीत दिशाओं में चलते हैं।
हालाँकि, यदि आपके पास एक पूर्वाग्रह (Bias) है (जैसे कि एक रोबोट जो बस हर चीज़ के लिए "हाँ" कहना चाहता है), तो दोनों दर्पण "हाँ" दिखाएंगे। जवाब एक ही दिशा में चलते हैं।
निष्कर्ष:
- इंसान: जब शोधकर्ताओं ने 20,000 इंसानों का अध्ययन किया, तो दर्पणों ने विपरीत उत्तर दिखाए। इसका मतलब है कि इंसान अपने वास्तविक लक्षणों के आधार पर उत्तर दे रहे थे।
- AI मॉडल्स: जब उन्होंने 56 AI मॉडल्स को देखा, तो दर्पणों ने एक जैसे उत्तर दिखाए। इसका मतलब है कि मॉडल्स व्यक्तित्व के आधार पर जवाब नहीं दे रहे थे; वे बस एक दिशात्मक पूर्वाग्रह (जैसे "हाँ" कहने की आदत) का पालन कर रहे थे।
"वॉल्यूम नॉब" (Volume Knob) की उपमा
शोधकर्ताओं ने यह भी जांचा कि क्या स्मार्ट, बड़े रोबोट (जैसे नवीनतम, सबसे महंगे मॉडल) इस समस्या को ठीक करते हैं।
कल्प Imagine कीजिए कि "पूर्वाग्रह" रेडियो पर बजने वाला तेज़ शोर (static noise) है, और "व्यक्तित्व" संगीत है।
- छोटे मॉडल्स: शोर इतना तेज़ है कि आप संगीत सुन ही नहीं सकते।
- बड़े/स्मार्ट मॉडल्स: शोर थोड़ा कम हो जाता है। आप संगीत को थोड़ा बेहतर सुन सकते हैं।
- पेंच (The Catch): सबसे स्मार्ट और महंगे मॉडल्स में भी बहुत सारा शोर बना रहता है। वे उस बिंदु तक नहीं पहुँचे हैं जहाँ संगीत (असली व्यक्तित्व) स्पष्ट हो सके। "शोर" (bias) अभी भी "संगीत" से अधिक तेज़ है।
"रेसिपी" की समस्या
शोध पत्र ने यह भी खोजा कि कुछ डरावना है: आप रेसिपी बदलकर व्यक्तित्व की नकल कर सकते हैं।
चूंकि AI के जवाब पूर्वाग्रह से प्रेरित हैं, न कि वास्तविक लक्षणों से, आप केवल यह बदलकर AI को "जोखिम लेने वाला" या "डरपोक" दिखा सकते हैं कि आप कौन से सवाल पूछ रहे हैं।
- यदि आप ज्यादातर ऐसे सवाल पूछते हैं जहाँ "जोखिम लेने वाला" उत्तर "हाँ" वाला विकल्प है, तो AI एक जोखिम लेने वाला दिखाई देगा।
- यदि आप ज्यादातर ऐसे सवाल पूछते हैं जहाँ "जोखिम लेने वाला" उत्तर "नहीं" वाला विकल्प है, तो वह एक डरपोक दिखाई देगा।
यह वैसा ही है जैसे आपके पास एक रोबोट हो जो हर चीज़ के लिए "हाँ" कहता है। यदि आप पूछते हैं, "क्या आपको पिज्जा पसंद है?" तो वह कहता है "हाँ।" यदि आप पूछते हैं, "क्या आपको ब्रोकली नापसंद है?" तो वह भी "हाँ" कहता है। आप निष्कर्ष निकाल सकते हैं कि रोबोट को पिज्जा पसंद है और ब्रोकली नापसंद है। लेकिन वास्तव में, उसे बस "हाँ" कहना पसंद है।
निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि हमने अब तक AI को जो "मनोवैज्ञानिक प्रोफाइल" दिए हैं, वे मेजरमेंट आर्टिफैक्ट्स (Measurement Artifacts) हैं। वे उन उपकरणों द्वारा बनाई गई एक भ्रमपूर्ण स्थिति है जिनका उपयोग हम उन्हें मापने के लिए कर रहे हैं, न कि AI की वास्तविक विशेषताएं।
- उपकरण: हम रोबोट पर मानव मनोविज्ञान परीक्षणों (जैसे बिग फाइव पर्सनैलिटी टेस्ट) का उपयोग कर रहे हैं।
- दोष: ये परीक्षण रोबोट के लिए नहीं बनाए गए थे। वे इस धारणा पर आधारित हैं कि इंसानों में "हाँ" और "ना" की मिश्रित प्रवृत्तियाँ होती हैं जो एक-दूसरे को संतुलित करती हैं। रोबोट ऐसा नहीं करते; उनमें एक मजबूत "दिशात्मक पूर्वाग्रह" होता है।
- परिणाम: जब तक हम नए परीक्षण नहीं बनाते जो विशेष रूप से "वास्तविक लक्षणों" को "रोबोट की आदतों" से अलग करने के लिए डिज़ाइन किए गए हों, हम AI को दिए जाने वाले व्यक्तित्व स्कोर पर भरोसा नहीं कर सकते।
संक्षेप में: हमने सोचा कि हम AI की आत्मा को माप रहे थे, लेकिन वास्तव में हम केवल हर चीज़ के लिए "हाँ" (या "ना") कहने की उसकी प्रवृत्ति को माप रहे थे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।