Measure what Matters: Psychometric Evaluation of AI with Situational Judgment Tests
यह शोध पत्र सिचुएशनल जजमेंट टेस्ट और मल्टीडायमेंशनल आइटम रिस्पांस थ्योरी का उपयोग करने वाले एक ढांचे को प्रस्तुत करता है जो यह प्रदर्शित करता है कि पर्सोना-कंडीशन्ड लार्ज लैंग्वेज मॉडल्स स्थिर, मापने योग्य व्यवहार संबंधी प्रवृत्तियाँ प्रदर्शित करते हैं जो बाहरी बेंचमार्क की भविष्यवाणी करती हैं, जिससे एआई व्यवहार के आकलन के लिए स्व-रिपोर्ट विधियों के मुकाबले एक अधिक विश्वसनीय विकल्प मिलता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि कोई व्यक्ति किस तरह से काम करता है या उसके व्यवहार के पीछे क्या कारण हैं। मनोविज्ञान की दुनिया में, वैज्ञानिकों ने लंबे समय से मानव मस्तिष्क को समझने के लिए "व्यक्तित्व परीक्षणों" (personality tests) का उपयोग किया है। इनमें से सबसे प्रसिद्ध उन चेकलिस्ट की तरह हैं जहाँ आप बस बयानों जैसे, "मैं एक बहुत ही व्यवस्थित व्यक्ति हूँ," से सहमत या असहमत होते हैं। लेकिन अब, हमारे पास एक नया प्रकार का चरित्र है: आर्टिफिशियल इंटेलिजेंस (AI)। ये AI मॉडल अविश्वसनीय रूप से स्मार्ट हैं, लेकिन उनके पास न तो कोई दिल है और न ही कोई बचपन। तो, हमें कैसे पता चलेगा कि एक AI "ईमानदार," "सावधान," या "मिलनसार" है?
कुछ समय के लिए, शोधकर्ताओं ने AI के साथ मनुष्यों जैसा व्यवहार करने की कोशिश की, उनसे वही चेकलिस्ट वाले प्रश्न पूछे। लेकिन यह कुछ ऐसा है जैसे किसी वीडियो गेम के पात्र से पूछना, "क्या तुम्हें हारने पर दुख होता है?" AI "हाँ" कह सकता है क्योंकि वह जानता है कि यही सही उत्तर देना है, न कि इसलिए कि वास्तव में उसकी कोई भावनाएं हैं। यह शोध पत्र तर्क देता है कि एक पेचीदा स्थिति में AI को यह चुनने के लिए कहना कि उसे क्या करना चाहिए, उसके "व्यक्तित्व" को समझने का एक बेहतर तरीका है, बजाय इसके कि केवल उससे यह पूछा जाए कि वह क्या सोचता है। यह एक ड्राइवर से यह पूछने और उसे तूफानी सड़क पर गाड़ी चलाते हुए देखने के बीच के अंतर जैसा है कि क्या वह एक अच्छा ड्राइवर है। शोधकर्ता यह देखना चाहते थे कि क्या वे इस बात का एक विश्वसनीय मानचित्र बना सकते हैं कि एक विशिष्ट प्रकार के व्यक्ति, जैसे कि एक पुलिस अधिकारी या एक राजनेता होने का ढोंग करते समय AI कैसा व्यवहार करता है, और क्या यह व्यवहार हर बार एक समान रहता है।
द ग्रेट AI रोल-प्ले एक्सपेरिमेंट (महान AI भूमिका निभाने का प्रयोग)
इस अध्ययन के पीछे के शोधकर्ताओं ने AI से "तुम क्या हो?" पूछना बंद करने और "तुम क्या करोगे?" पूछना शुरू करने का निर्णय लिया। उन्होंने इस विचार का परीक्षण करने के लिए एक विशाल, डिजिटल खेल का मैदान बनाया, जो सिचुएशनल जजमेंट टेस्ट्स (SJTs) नामक अवधारणा पर केंद्रित था। एक SJT को "चूज़ योर ओन एडवेंचर" (अपनी पसंद का रोमांच चुनें) वाली किताब की तरह समझें, लेकिन इसमें जादुई ड्रैगन के बजाय, कहानियाँ वास्तविक जीवन की समस्याओं के बारे में हैं, जैसे कि एक पुलिस अधिकारी जो एक भ्रमित नागरिक से निपट रहा हो या एक राजनेता जो एक कठिन वोट का सामना कर रहा हो। इन कहानियों में, AI को कई संभावित कार्यों में से एक को चुनना होता है। प्रत्येक कार्य को गुप्त रूप से एक विशिष्ट व्यक्तित्व लक्षण दिखाने के लिए डिज़ाइन किया गया है, जैसे कि ईमानदार होना, सावधान होना, या मिलनसार होना।
परीक्षण को निष्पक्ष और दिलचस्प बनाने के लिए, टीम ने AI को केवल "एक रोबोट" बनने के लिए नहीं कहा। उन्होंने AI को एक पूर्ण पर्सोना (व्यक्तित्व/भूमिका) दिया। कल्पना कीजिए कि आप एक अभिनेता हैं। आप केवल यह नहीं कहते, "मैं एक पुलिस वाला बनने जा रहा हूँ।" आप एक वेशभूषा पहनते हैं, आप अपने चरित्र की पृष्ठभूमि सीखते हैं, आप उनकी उम्र जानते हैं, वे कहाँ पले-बढे, और उनका पसंदीदा शौक क्या है। शोधकर्ताओं ने इन हजारों डिजिटल पात्रों को बनाया, जिसमें विस्तृत जीवन कथाएँ, नाम और यहाँ तक कि उनके चलने और बोलने के विशिष्ट तरीके भी शामिल थे। फिर उन्होंने विभिन्न AI मॉडलों से इन पात्रों की तरह "अभिनय" करने और कहानी की समस्याओं को हल करने के लिए कहा।
बड़ी खोज: अभिनय बनाम केवल बात करना
टीम ने एक बड़ा प्रयोग चलाया, जिसमें इन AI अभिनेताओं की 4 मिलियन से अधिक प्रतिक्रियाओं को देखा गया। उन्होंने पाया कि यह बहुत ही दिलचस्प है: जब किसी AI को एक विशिष्ट पर्सोना दिया जाता है, तो वह केवल अंदाज़ा नहीं लगाता; बल्कि वह वास्तव में एक स्थिर व्यक्तित्व विकसित करता है। यदि आप आज "टफ कॉप" (कठोर पुलिस वाले) पात्र को एक समस्या हल करने के लिए कहते हैं, और फिर कल फिर से उनसे पूछते हैं, तो वे उसी तरह के कठोर चुनाव करेंगे। यह कोई इत्तेफाक नहीं है; AI का व्यवहार सुसंगत है, जैसे कि एक वास्तविक व्यक्ति जिसकी अपनी कुछ आदतें होती हैं।
हालाँकि, शोध पत्र ने यह भी पाया कि AI का परीक्षण करने का पुराना तरीका भ्रामक था। जब उन्होंने AI को एक मानक व्यक्तित्व चेकलिस्ट (जैसे "मैं ईमानदार हूँ") भरने के लिए कहा, तो परिणाम कमजोर थे और वे इस बात से मेल नहीं खाते थे कि AI ने कहानियों में वास्तव में क्या किया। यह पता चला कि AI को खुद का वर्णन करने के लिए कहना मछली से तैरने का वर्णन करने के लिए कहने जैसा है; वह शब्दों को सही ढंग से बोल सकता है, लेकिन यह वास्तविक क्रिया को नहीं पकड़ पाता। "चूज़ योर ओन एडवेंचर" शैली के परीक्षण (SJTs) बहुत बेहतर थे क्योंकि वे भविष्यवाणी करने में सक्षम थे कि AI वास्तविक दुनिया में कैसा व्यवहार करेगा, जो AI की ईमानदारी और भावनात्मक बुद्धिमत्ता के अन्य ज्ञात परीक्षणों के साथ मेल खाता था।
"ट्रेट ब्लीड" (लक्षणों का मिश्रण) की समस्या और समाधान
इस शोध का एक पेचीदा हिस्सा था जिसे लेखकों ने "ट्रेट ब्लीड" (trait bleed) कहा। कल्पना कीजिए कि आप एक कहानी लिख रहे हैं जहाँ एक पात्र को बहादुर होने या दयालु होने के बीच चयन करना है। कभी-कभी, "बहादुर होने" का चुनाव थोड़ा "दयालु होने" जैसा भी लग सकता है। यदि परीक्षण एकदम सटीक नहीं है, तो AI भ्रमित हो जाता है, और परिणाम धुंधले हो जाते हैं। शोधकर्ताओं को सख्त संपादकों की तरह होना पड़ा, जिन्होंने अपने हजारों कहानियों को तब तक फिर से लिखा जब तक कि हर एक विकल्प पूरी तरह से स्पष्ट न हो गया। उन्होंने एक विशेष कंप्यूटर प्रोग्राम का उपयोग करके यह जांचा कि क्या कहानी का एक विकल्प वास्तव में "ईमानदारी" के बारे में था और गलती से "खुशी" के बारे में तो नहीं था। एक बार जब उन्होंने कहानियों को साफ कर दिया, तो परीक्षण अविश्वसनीय रूप से सटीक हो गया, जो एक "समस्या समाधानकर्ता" (Problem Solver) और एक "आलसी अधिकारी" (Lazy Officer) के बीच के अंतर को उच्च सटीकता के साथ बता सका।
इसका भविष्य के लिए क्या अर्थ है
अध्ययन सुझाव देता है कि अब हम AI व्यवहार को उस स्तर के विवरण के साथ माप सकते हैं जो हमारे पास पहले नहीं था। उन्होंने पाया कि विभिन्न "आर्केटाइप्स" (जैसे कि "रेसिप्रोकेटर" जो बहुत मिलनसार है, या "अवॉइडर" जो शर्मीला और हिचकिचाने वाला है) बहुत अलग पैटर्न दिखाते हैं। उदाहरण के लिए, "अवॉइडर" पात्र बोलने या कठिन निर्णय लेने में बहुत कम सक्षम था, जबकि "रेसिप्रोकेटर" बहुत अच्छा और खुला हुआ था।
शोधकर्ता सावधानी बरतते हुए कहते हैं कि इसका मतलब यह नहीं है कि AI के पास आत्मा या वास्तविक भावनाएं हैं। वे यह नहीं कह रहे हैं कि AI "दुखी" या "खुश" है। इसके बजाय, वे कह रहे हैं कि जब हम किसी AI को एक भूमिका देते हैं, तो वह एक सुसंगत तरीके से कार्य करना सीख जाता है जो एक मानव व्यक्तित्व जैसा दिखता है। यह एक बड़ा कदम है क्योंकि यह हमें यह जांचने के लिए एक बेहतर उपकरण देता है कि क्या AI सुरक्षित और विश्वसनीय है, इससे पहले कि हम इसे अस्पतालों, स्कूलों या पुलिस स्टेशनों में वास्तविक लोगों से बात करने दें।
संक्षेप में, शोध पत्र दिखाता है कि यदि आप जानना चाहते हैं कि एक AI वास्तव में कैसा है, तो उसे सर्वेक्षण भरने के लिए न कहें। उसे एक वेशभूषा पहनाएं, उसे एक कहानी दें, और देखें कि वह क्या करता है। असली सच्चाई वहीं छिपी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।