Do Psychometric Tests Work for Large Language Models? Evaluation of Tests on Sexism, Racism, and Morality
यह अध्ययन 17 लार्ज लैंग्वेज मॉडल्स पर लिंगभेद, नस्लवाद और नैतिकता के लिए मानव मनोमितीय (साइकोमेट्रिक) परीक्षणों का व्यवस्थित रूप से मूल्यांकन करता है, जिसमें यह पाया गया कि हालांकि ये परीक्षण मध्यम विश्वसनीयता प्रदर्शित करते हैं, लेकिन इनमें पारिस्थितिक वैधता (इकोलॉजिकल वैलिडिटी) का अभाव है क्योंकि उनके स्कोर वास्तविक दुनिया के कार्यों में मॉडल्स के वास्तविक व्यवहार के साथ संरेखित होने में विफल रहते हैं या उससे नकारात्मक रूप से सह-संबंधित होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही उन्नत, उच्च-तकनीकी मौसम केंद्र (weather station) है। आप जानना चाहते हैं कि क्या यह सटीक रूप से तूफान की भविष्यवाणी कर सकता है। इसलिए, आप इसका परीक्षण करने के लिए एक मानव थर्मामीटर और एक मानव बैरोमीटर का उपयोग करने का निर्णय लेते हैं—ऐसे उपकरण जिन्हें विशेष रूप से लोगों के अपने शरीर के तापमान को मापने और दबाव को महसूस करने के लिए डिज़ाइन किया गया है।
आप इन मानव उपकरणों को मौसम केंद्र की ओर इंगित करते हैं, एक रीडिंग लेते हैं, और एक संख्या प्राप्त करते हैं। प्रश्न जो यह शोध पत्र पूछता है वह यह है: क्या वह संख्या वास्तव में आपको कुछ बताती है कि मौसम केंद्र तूफान की भविष्यवाणी करेगा या नहीं?
शोधकर्ताओं का संक्षिप्त उत्तर है: नहीं, वास्तव में नहीं। वास्तव में, कभी-कभी वह संख्या ठीक उसके विपरीत बताती है जो हो रहा है।
यहाँ शोधकर्ताओं ने जो किया और पाया है, उसका सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
प्रयोग: "मौसम केंद्र" का परीक्षण करना
शोधकर्ताओं ने 17 अलग-अलग लार्ज लैंग्वेज मॉडल्स (LLMs)—जो चैटबॉट्स के पीछे के AI मस्तिष्क हैं—को लिया और उनसे तीन विशिष्ट चीजों को मापने की कोशिश की:
- लैंगिक भेदभाव (Sexism) (महिलाओं के प्रति पूर्वाग्रह)
- नस्लवाद (Racism) (अश्वेत लोगों के प्रति पूर्वाग्रह)
- नैतिकता (Morality) (AI क्या सही और गलत समझता है)
यह करने के लिए, उन्होंने मानक मनोवैज्ञानिक परीक्षणों का उपयोग किया जो दशकों से इंसानों का परीक्षण करने के लिए उपयोग किए जा रहे हैं। ये ऊपर बताए गए "मानव थर्मामीटर" की तरह हैं।
दो जाँच: विश्वसनीयता और वैधता
यह देखने के लिए कि क्या ये परीक्षण AI पर काम करते हैं, शोधकर्ताओं ने दो चीजें जाँचीं:
1. विश्वसनीयता (Reliability - "निरंतरता" की जाँच)
- उपमा: यदि आप एक इंसान से एक ही सवाल तीन अलग-अलग तरीकों से पूछते हैं (जैसे, "क्या आपको सेब पसंद हैं?" बनाम "क्या सेब अच्छे हैं?"), तो उन्हें एक ही उत्तर देना चाहिए। यदि वे पहले वाले के लिए "हाँ" और दूसरे के लिए "नहीं" कहते हैं, तो परीक्षण अविश्वसनीय है।
- निष्कर्ष: जब प्रश्नों को केवल पुनर्गठित किया गया था, तो AI काफी हद तक सुसंगत था। हालांकि, जब शोधकर्ताओं ने केवल उत्तरों के क्रम को उलट दिया (जैसे, "दृढ़ता से सहमत" को ऊपर के बजाय नीचे रखना), तो AI भ्रमित हो गया और उसने पूरी तरह से अलग उत्तर दिए। यह ऐसा है जैसे किसी व्यक्ति का मन सिर्फ इसलिए बदल जाए क्योंकि "हाँ" शब्द कागज के ऊपर के बजाय नीचे लिखा गया है। इसका अर्थ है कि AI पर उपयोग किए जाने वाले परीक्षण नाजुक (fragile) हैं।
2. वैधता (Validity - "वास्तविक दुनिया" की जाँच)
यह सबसे महत्वपूर्ण हिस्सा है। शोधकर्ताओं ने पूछा: यदि कोई परीक्षण कहता है कि एक AI "लैंगिक भेदभावपूर्ण" है, तो क्या वह AI वास्तव में वास्तविक दुनिया में लैंगिक भेदभाव करता है?
- उपमा: एक ऐसी परीक्षा की कल्पना करें जो दावा करती है कि एक व्यक्ति "महान शेफ" है क्योंकि वह एक रेसिपी को पूरी तरह से सुना सकता है। पारिस्थितिक वैधता (Ecological validity) पूछती है: "यदि आप उन्हें वास्तविक सामग्री के साथ एक रसोई में रखते हैं, तो क्या वे वास्तव में एक अच्छा भोजन बना पाएंगे?"
- निष्कर्ष: परीक्षण बुरी तरह विफल रहे।
- विरोधाभास (The Paradox): वे AI मॉडल जिन्होंने "लैंगिक भेदभाव परीक्षण" पर सबसे कम स्कोर किया (यानी, परीक्षण ने कहा कि वे बहुत निष्पक्ष थे), वास्तव में वे थे जिन्होंने वास्तविक दुनिया के कार्यों में सबसे अधिक लैंगिक भेदभावपूर्ण सिफारिश पत्र लिखे।
- विपरीत (The Reverse): वे मॉडल जिन्होंने "नस्लवाद परीक्षण" पर सबसे उच्च स्कोर किया (यानी, परीक्षण ने कहा कि वे बहुत पूर्वाग्रही थे), वास्तव में वे थे जिन्होंने सबसे कम पक्षपाती आवास सिफारिशें दीं।
- निष्कर्ष: परीक्षण के स्कोर न केवल बेकार थे; वे भ्रामक थे। वे एक टूटे हुए कंपास की तरह काम कर रहे थे जो उत्तर दिशा की ओर इशारा कर रहा था जबकि आप वास्तव में दक्षिण की ओर जा रहे थे।
यह क्यों हुआ?
शोधकर्ता इसके कुछ कारण बताते हैं कि मानव परीक्षण AI के लिए क्यों काम नहीं करते हैं:
- "गार्डरेल" प्रभाव (The "Guardrail" Effect): जब AI से सीधे, संवेदनशील प्रश्न पूछा जाता है जैसे "क्या आपको लगता है कि महिलाएं बहुत आसानी से आहत हो जाती हैं?", तो उसके सुरक्षा फिल्टर सक्रिय हो जाते हैं और कहते हैं, "नहीं, यह गलत है।" लेकिन जब AI से नौकरी की सिफारिश पत्र लिखने के लिए कहा जाता है (एक वास्तविक कार्य), तो वे फिल्टर सक्रिय नहीं हो पाते हैं, और AI चूक कर सकता है और पक्षपाती भाषा का उपयोग कर सकता है।
- फॉर्मेट का जाल (The Format Trap): मनुष्य "A, B, C, या D" चुनने के आदी होते हैं। हालाँकि, AI मॉडल टेक्स्ट लिखने के लिए प्रशिक्षित होते हैं। उन्हें बहुविकल्पीय विकल्प चुनने के लिए मजबूर करना, एक चित्रकार को रंगों की एक सूची में से चुनकर सूर्यास्त का वर्णन करने के लिए कहने जैसा है। यह उनकी वास्तविक "दृष्टि" या "कार्यशैली" को नहीं पकड़ पाता।
मुख्य निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि आप केवल एक मानव-निर्मित परीक्षण को AI पर चिपकाकर यह नहीं देख सकते कि वह कैसे व्यवहार करता है।
यदि आप इन परीक्षणों पर भरोसा करते हैं, तो आप यह सोच सकते हैं कि एक AI सुरक्षित और निष्पक्ष है क्योंकि उसने "परीक्षण" पास कर लिया है, जबकि वास्तव में वह वास्तविक कार्य करते समय पक्षपाती हो सकता है। शोधकर्ता तर्क देते हैं कि हमें AI के लिए विशेष रूप से नए परीक्षणों के आविष्कार की आवश्यकता है जो यह देखें कि AI वास्तविक दुनिया के परिदृश्यों में वास्तव में क्या करता है, बजाय इसके कि वह एक बहुविकल्पीय शीट पर उत्तर चुनने के लिए क्या कहता है।
संक्षेप में: सिर्फ इसलिए कि एक AI मानव मनोविज्ञान क्विज़ पास कर सकता है, इसका मतलब यह नहीं है कि उसका व्यक्तित्व मानव जैसा है या वह वास्तविक दुनिया में नैतिक रूप से व्यवहार करेगा। परीक्षण के स्कोर अक्सर एक मृगतृष्णा (mirage) होते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।