Can LLMs Simulate Human Behavioral Variability? A Case Study in the Phonemic Fluency Task
यह अध्ययन प्रदर्शित करता है कि यद्यपि कुछ बड़े भाषा मॉडल (LLMs) ध्वन्यात्मक प्रवाह (phonemic fluency) कार्य में मानवीय औसत का अनुमान लगा सकते हैं, वे मानवीय व्यवहारिक परिवर्तनशीलता के विस्तार और संरचना को दोहराने में लगातार विफल रहते हैं, जो संज्ञानात्मक अनुसंधान में मानव प्रतिभागियों के विकल्प के रूप में LLMs के उपयोग में महत्वपूर्ण सीमाओं को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य प्रश्न: क्या AI इंसान होने का ढोंग कर सकता है?
कल्पना कीजिए कि आप एक नाटक के लिए कास्टिंग कर रहे हैं। आपको 106 अलग-अलग किरदारों के लिए अभिनेताओं की जरूरत है। 106 असली लोगों को काम पर रखने के बजाय, आप एक सुपर-स्मार्ट AI रोबोट का उपयोग करने का निर्णय लेते हैं। आप रोबोट से कहते हैं, "एक 35 वर्षीय कॉलेज स्नातक होने का नाटक करो। अब, एक मिनट में 'F' अक्षर से शुरू होने वाले जितने भी शब्द हो सकें, उतने बोलो।"
यह अध्ययन जो बड़ा सवाल पूछता है, वह यह है: क्या अलग-अलग लोगों के रूप में अभिनय करने वाले AI रोबोटों का एक समूह, वास्तव में वास्तविक, अव्यवस्थित और अप्रत्याशित इंसानों की भीड़ की तरह लग सकता है? या वे सभी अलग-अलग टोपियां पहने हुए एक ही जैसे रोबोट लगेंगे?
प्रयोग: "F" शब्द का खेल
शोधकर्ताओं ने एक क्लासिक मस्तिष्क खेल का उपयोग किया जिसे फोनेमिक फ्लूएंसी (Phonemic Fluency) कहा जाता है।
- कार्य: आपके पास 60 सेकंड हैं। हर उस शब्द को बोलें जो "F" से शुरू होता है। कोई भी नाम नहीं (जैसे "Fred"), कोई संख्या नहीं, और एक ही शब्द को अलग अंत के साथ दोहराना नहीं (जैसे "fish," "fishing," "fished")।
- इंसान: उन्होंने 106 वास्तविक लोगों का परीक्षण किया।
- रोबोट: उन्होंने 34 अलग-अलग लार्ज लैंग्वेज मॉडल्स (LLMs) का परीक्षण किया—जो क्लॉड (Claude), जीपीटी (GPT) और जेमिनी (Gemini) जैसे चैटबॉट्स के पीछे का दिमाग हैं। उन्होंने "सोचने" वाले मोड (जहाँ AI तर्क करने के लिए रुकता है) और विभिन्न सेटिंग्स का भी परीक्षण किया।
उन्होंने रोबोट्स को इंसानों की उम्र, शिक्षा का स्तर और इंसानों ने वास्तव में कितने शब्द कहे थे, यह जानकारी दी, इस उम्मीद में कि इससे रोबोट इंसानों के प्रदर्शन की नकल कर पाएंगे।
परिणाम: व्यवहार की "अनकैनी वैली" (Uncanny Valley)
यहाँ उन्हें क्या मिला, इसे सरल रूप में समझाया गया है:
1. रोबोट गणित में अच्छे हैं, लेकिन अराजकता (Chaos) में बुरे हैं
AI मॉडल नियमों का पालन करने में आश्चर्यजनक रूप से अच्छे थे। उनमें से अधिकांश ने लगभग उतने ही शब्दों की संख्या बोलने में सफलता पाई जितने इंसानों ने बोले। यदि एक इंसान ने 15 शब्द कहे, तो AI ने 15 शब्द कहे।
- उपमा: एक ऐसे गायक दल (choir) की कल्पना करें जहाँ प्रत्येक गायक बिल्कुल सही सुर लगाता है। यह प्रभावशाली लगता है, लेकिन यह एक वास्तविक मानव गायक दल नहीं है। वास्तविक इंसान अव्यवस्थित होते; कुछ 10 शब्द बोलते हैं, कुछ 25, और कुछ "F" पर अटक जाते हैं और केवल 5 शब्द बोल पाते हैं। AI बहुत अधिक सटीक था।
2. "विविधता" की समस्या
यह सबसे बड़ी विफलता है।
- इंसान: जब आप सभी 106 इंसानों को एक साथ देखते हैं, तो वे 476 अद्वितीय शब्द उत्पन्न करते हैं। कई लोगों ने दुर्लभ, अजीब या व्यक्तिगत शब्द कहे (जैसे "furbelow" या "fipple")।
- रोबोट: सबसे अच्छा AI भी केवल लगभग 226 अद्वितीय शब्द ही बना पाया। वे सभी सबसे सामान्य, उबाऊ शब्दों जैसे "fun," "fire," "fan," और "family" तक ही सीमित रहे।
- उपमा: कल्पना कीजिए कि आप 100 लोगों से एक "कुत्ते" का चित्र बनाने के लिए कहते हैं।
- इंसान: आपको 100 अलग-अलग चित्र मिलेंगे: एक चिहुआहुआ, एक गोल्डन रिट्रीवर, एक कार्टून कुत्ता, टोपी पहना हुआ एक कुत्ता, स्पैगेटी से बना एक कुत्ता।
- AI: आपको 100 चित्र मिलेंगे जो सभी टेक्स्टबुक से लिए गए ठीक एक जैसे गोल्डन रिट्रीवर की तरह दिखते हैं। वे तकनीकी रूप से सही हैं, लेकिन उनमें व्यक्तित्व की चमक की कमी है।
3. "सोचने" का जाल
शोधकर्ताओं ने सोचा, "शायद अगर हम AI को जवाब देने से पहले और अधिक सोचने के लिए कहें, तो वह अधिक रचनात्मक होगा।"
- परिणाम: इसने इसके विपरीत काम किया। जब AI ने अपने "सोचने" वाले मोड का उपयोग किया, तो वह और भी कम विविध हो गया। वह और भी अधिक कठोर और सबसे सुरक्षित, सबसे सामान्य उत्तरों तक सीमित हो गया।
- उपमा: यह एक दोस्त से चुटकुला सुनाने के लिए कहने जैसा है। यदि वे बस इसे अचानक बोल देते हैं, तो वे कुछ अजीब और मजेदार सुना सकते हैं। यदि आप उनसे कहते हैं, "रुकें और एकदम सही चुटकुले के बारे में बहुत गहराई से सोचें," तो वे संभवतः सबसे सुरक्षित, सबसे साधारण चुटकुला सुनाएंगे ताकि वे गलती न करें।
4. "एन्सेम्बल" की विफलता (द ग्रुप हग)
शोधकर्ताओं ने एक चतुर तरकीब आजमाई। उन्होंने सोचा, "यदि एक रोबोट उबाऊ है, तो शायद रोबोटों का एक समूह दिलचस्प होगा।" उन्होंने 33 अलग-अलग मॉडलों के आउटपुट को मिला दिया, इस उम्मीद में कि मॉडलों के बीच के अंतर से एक "सुपर-ह्यूमन" विविधता पैदा होगी।
- परिणाम: यह काम नहीं किया। समूह अभी भी उबाऊ था।
- उपमा: कल्पना कीजिए कि आपके पास 33 अलग-अलग शेफ हैं। आप सोचते हैं, "यदि मैं उनके व्यंजनों को मिला दूँ, तो मुझे व्यंजनों की एक विशाल विविधता मिलेगी!" लेकिन जब आप उनके स्टोररूम की जांच करते हैं, तो आपको एहसास होता है कि उन सभी ने अपना सामान बिल्कुल एक ही गोदाम से खरीदा है। उनके पास एक ही तरह का आटा, एक ही तरह की चीनी और एक ही तरह के मसाले हैं। इसलिए, आप कितने भी शेफ को क्यों न मिला लें, आप बार-बार एक ही बुनियादी केक ही प्राप्त करेंगे। AI मॉडल सभी एक ही इंटरनेट डेटा पर प्रशिक्षित हैं, इसलिए वे सभी एक ही सामान्य शब्दों को "जानते" हैं।
5. वे कैसे "सोचते" हैं, यह अलग है
शोधकर्ताओं ने मानव मस्तिष्क बनाम AI मस्तिष्क में शब्दों के जुड़ाव को देखा।
- इंसान: हमारा मस्तिष्क एक अव्यवस्थित शहर की तरह है जिसमें घने मोहल्ले हैं। हमारे पास मजबूत स्थानीय संबंध (जैसे, "fish" से "boat" और फिर "water") हैं, लेकिन पूरा शहर पूरी तरह से जुड़ा हुआ नहीं है। हम अजीब रास्ते भी अपनाते हैं।
- AI: AI का मस्तिष्क एक पूरी तरह से कुशल सबवे मैप की तरह है। सब कुछ कुशलता से जुड़ा हुआ है, लेकिन वहां कोई अजीब मोड़ नहीं हैं। यह हर बार सबसे सीधा, तार्किक रास्ता लेता है।
- निष्कर्ष: इंसान यादों और अजीब जुड़ावों के आधार पर शब्दों को खोजते हैं। AI सांख्यिकीय संभावना (अगला शब्द क्या होने की सबसे अधिक संभावना है) के आधार पर शब्दों को खोजता है।
निचोड़
क्या AI मनोवैज्ञानिक अध्ययनों में मनुष्यों की जगह ले सकता है?
नहीं, अभी नहीं।
जबकि AI बोलने में प्रवाहपूर्ण होने और निर्देशों का पालन करने में बहुत अच्छा है, यह मानवीय अव्यवस्था (human messiness) का अनुकरण करने में बहुत बुरा है। यह उन अद्वितीय, अजीब और विविध तरीकों की नकल नहीं कर सकता जिनसे वास्तविक लोग सोचते और बोलते हैं।
- भविष्य के लिए: शोधकर्ताओं को केवल मनुष्यों को AI से बदलने के बजाय, AI का उपयोग एक "बेसलाइन" (एक मानक, उबाऊ नियंत्रण) के रूप में करना चाहिए ताकि यह मापा जा सके कि वास्तविक मनुष्य कितने अद्वितीय और लचीले हैं।
संक्षेप में: AI औसत का एक आदर्श नकलची है, लेकिन इसमें आउटलेयर्स (outliers) के लिए कोई आत्मा नहीं है। और मानव व्यवहार में, आउटलेयर्स ही अक्सर सबसे दिलचस्प हिस्सा होते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।