Are LLM Agents Behaviorally Coherent? Latent Profiles for Social Simulation
यह शोध पत्र यह प्रदर्शित करते हुए अनुसंधान में मानव प्रतिभागियों के विकल्प के रूप में लार्ज लैंग्वेज मॉडल एजेंटों के उपयोग की वैधता को चुनौती देता है कि, मनुष्यों के समान प्रतिक्रियाएं उत्पन्न करने के बावजूद, उनमें विभिन्न प्रयोगात्मक सेटिंग्स में वह मौलिक व्यवहारिक निरंतरता का अभाव है जो वास्तविक मानव व्यवहार का सटीक प्रतिनिधित्व करने के लिए आवश्यक है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप सामाजिक विज्ञान के एक प्रयोग के लिए एक आभासी शहर (virtual town) बनाने की कोशिश कर रहे हैं। हजारों वास्तविक लोगों को सर्वेक्षण भरने और बातचीत करने के लिए काम पर रखने के बजाय, आप AI एजेंटों (कंप्यूटर प्रोग्राम जो लार्ज लैंग्वेज मॉडल्स द्वारा संचालित होते हैं) का उपयोग करने का निर्णय लेते हैं ताकि वे उन लोगों की भूमिका निभा सकें।
बड़ा सवाल जो यह शोध पत्र पूछता है, वह यह है: क्या ये AI कलाकार वास्तव में "सुसंगत" (coherent) हैं?
दूसरे शब्दों में, यदि आप एक AI को कहते हैं, "आप एक जिद्दी व्यक्ति हैं जिसे पिज्जा पसंद है और ब्रोकली से नफरत है," तो क्या वह दूसरों से बात करते समय वास्तव में एक जिद्दी व्यक्ति की तरह व्यवहार करता है जिसे पिज्जा पसंद है और ब्रकोली से नफरत है? या क्या वह केवल एक पल के लिए उस व्यक्ति होने का नाटक करता है, और जैसे ही बातचीत दिलचस्प होती है, वह अपने व्यक्तित्व को भूल जाता है?
यहाँ शोधकर्ताओं ने जो पाया है, उसका विवरण सरल उपमाओं (analogies) का उपयोग करके दिया गया है।
सेटअप: "अभिनेता का ऑडिशन"
शोधकर्ताओं ने यह देखने के लिए कि क्या AI एजेंट सुसंगत थे, एक तीन-चरणीय परीक्षण तैयार किया:
- रिज्यूमे (नियंत्रण): उन्होंने AI को एक विशिष्ट "चरित्र शीट" (character sheet) दी जिसमें आयु, स्थान और राजनीतिक विचारों जैसे विवरण थे। उन्होंने इसे एक विशिष्ट "पूर्वाग्रह" (bias) भी दिया (जैसे, "आपको टैक्स बहुत पसंद हैं" या "आपको टैक्स से बहुत नफरत है")।
- सोलो इंटरव्यू (लेटेंट प्रोफाइल): उन्हें किसी से बात करने देने से पहले, उन्होंने AI से उसकी पर्सनैलिटी की पुष्टि करने के लिए सरल प्रश्न पूछे। "1 से 5 के पैमाने पर, आप टैक्स को कितना पसंद करते हैं?" और "आप अपनी राय बदलने के प्रति कितने खुले हैं?"
- ग्रुप चैट (बाहरी बातचीत): उन्होंने दो AI एजेंटों को एक साथ जोड़ा और उन्हें किसी विषय पर बात करने दी। फिर उन्होंने यह मापा कि दोनों एजेंटों के बीच सहमति या असहमति कितनी थी।
लक्ष्य यह देखना था कि ग्रुप चैट में AI का व्यवहार उस व्यक्तित्व से मेल खाता है या नहीं जो उसने सोलो इंटरव्यू में दावा किया था।
निष्कर्ष: "दो-मुंहा" अभिनेता
शोधकर्ताओं ने मानव व्यवहार के छह अलग-अलग नियमों का परीक्षण किया (जैसे, "जो लोग किसी विषय पर सहमत होते हैं, वे आमतौर पर बातचीत में भी सहमत होते हैं" या "जिद्दी लोग शायद ही कभी अपनी बात बदलते हैं")।
यहाँ बुरी खबर है: AI एजेंट गहरे परीक्षणों में विफल रहे।
AI एजेंटों को ऐसे अभिनेताओं की तरह समझें जो एक एकल दृश्य के लिए स्क्रिप्ट पढ़ने में तो माहिर हैं लेकिन पूरे नाटक में सुधार (improvisation) करने में बहुत खराब हैं।
- सतही स्तर (पास): यदि आप केवल बड़े चित्र को देखते हैं, तो AI काम करता हुआ प्रतीत होता है। यदि आप दो ऐसे एजेंटों को जोड़ते हैं जो टैक्स पसंद करते हैं, तो वे आम तौर पर सहमत होते हैं। यदि आप दो ऐसे एजेंटों को जोड़ते हैं जो टैक्स से नफरत करते हैं, तो वे भी आम तौर पर सहमत होते हैं। यह एक सामान्य बातचीत की तरह दिखता है।
- गहराई से जांच (फेल): जब शोधकर्ताओं ने बारीकी से देखा, तो AI का व्यवहार बिखर गया। यह अपने स्वयं के आंतरिक नियमों के साथ असंगत था।
AI के "किरदार से बाहर" होने के विशिष्ट तरीके यहाँ दिए गए हैं:
1. "पोलाइट रोबोट" की समस्या (बायस एसिमेट्री)
- अपेक्षा: यदि आप एक AI को कहते हैं, "आप एक कट्टर रूढ़िवादी हैं," और आप उसे दूसरे "कट्टर रूढ़िवादी" के साथ जोड़ते हैं, तो उन्हें सहमत होना चाहिए। यदि आप एक "कट्टर रूढ़िवादी" को एक "कट्टर उदारवादी" के साथ जोड़ते हैं, तो उन्हें लड़ना चाहिए।
- वास्तविकता: AI अपने रूढ़िवादी साथी के साथ सहमत हुआ (अच्छा!)। लेकिन जब इसे उदार साथी के साथ जोड़ा गया, तो इसने उतना संघर्ष नहीं किया जितना कि इसे करना चाहिए था। यह बहुत विनम्र था। अत्यधिक होने के निर्देश के बावजूद, AI एक वास्तविक असहमति बनाए रखने में असमर्थ रहा। इसने अपने "चरित्र" पर टिके रहने के बजाय चीजों को सुलझाने की कोशिश की।
2. "खुश बनाम दुखी" विरोधाभास (साझा भावना/Shared Sentiment)
- अपेक्षा: दो लोग जो किसी चीज़ से नफरत करते हैं (जैसे, "टैक्स भयानक हैं") उन्हें उतनी ही मजबूती से सहमत होना चाहिए जितनी मजबूती से दो लोग किसी चीज़ को पसंद करने (जैसे, "टैक्स शानदार हैं") पर सहमत होते हैं।
- वास्तविकता: AI सकारात्मकता की ओर अजीब तरह से झुका हुआ था। दो एजेंट जो किसी विषय को पसंद करते थे, वे पूरी तरह से सहमत थे। लेकिन दो एजेंट जो एक ही विषय से नफरत करते थे? वे अक्सर इस बात पर सहमत नहीं हो पाते थे कि वे उस विषय से क्यों नफरत करते हैं, या वे अलग हो जाते थे। AI "साझा नकारात्मकता" (shared negativity) का अनुकरण करने में संघर्ष करता रहा।
3. "विषय संवेदनशीलता" की खामी (कंटेंटशियसनेस)
- अपेक्षा: यदि दो लोग किसी विषय पर सहमत हैं, तो इससे कोई फर्क नहीं पड़ना चाहिए कि विषय उबाऊ है (जैसे, "वसंत बनाम शरद ऋतु") या विस्फोटक (जैसे, "आप्रवासन")। उनकी सहमति का स्तर समान रहना चाहिए।
- वास्तविकता: AI के सहमति स्तर विषय के "हॉट" होने के आधार पर बदल गए। भले ही दो एजेंटों की राय बिल्कुल समान थी, फिर भी वे "बीचों" (Beaches) की तुलना में "आप्रवासन" (Immigration) के बारे में अधिक बहस करते थे। विषय गरमागरम होने पर AI अपने आंतरिक स्तर को स्थिर नहीं रख सका।
4. "जिद्दीपन" का उलटा होना (ओपननेस)
- अपेक्षा: यदि आप दो बहुत जिद्दी लोगों (कम ओपननेस वाले) को जोड़ते हैं जिनके विचार विपरीत हैं, तो उनकी सहमति सबसे कम होनी चाहिए। उन्हें सबसे कठिन रूप से सुलझाया जाने वाला होना चाहिए।
- वास्तविकता: आश्चर्यजनक रूप से, जिन AI एजेंटों को "जिद्दी" और "विरोधी" के रूप में प्रोग्राम किया गया था, वे वास्तव में "खुले" (open) एजेंटों की तुलना में अधिक सहमत थे। AI उन दो जिद्दी लोगों के बीच के घर्षण का अनुकरण नहीं कर सका जो अपनी बात पर अड़े हुए थे। इसके बजाय, इसने बस उन्हें सहमत बना दिया।
बड़ी तस्वीर
शोध पत्र निष्कर्ष निकालता है कि जबकि AI एजेंट शून्य में मानवीय प्रतिक्रियाओं की नकल करने (जैसे सर्वेक्षण भरना) में बहुत अच्छे हैं, वे वर्तमान में एक गतिशील, सामाजिक सेटिंग में मानव व्यवहार का अनुकरण करने में बुरे हैं।
एक कठपुतली के खेल की कल्पना करें। कठपुतलियाँ इंसानों जैसी दिखती हैं, और यदि आप सही तरीके से धागे खींचते हैं, तो वे सही शब्द बोलती हैं। लेकिन यदि आप कठपुतलियों को बिना किसी स्क्रिप्ट के आपस में बात करने देते हैं, तो वे भूल जाती हैं कि उन्हें क्या होना चाहिए। वे अपना "लेटेंट प्रोफाइल" (उनका छिपा हुआ व्यक्तित्व) खो देते हैं और केवल सहमत, विनम्र और असंगत हो जाते हैं।
मुख्य बात:
यदि आप सामाजिक अनुसंधान में वास्तविक लोगों को बदलने के लिए AI का उपयोग करना चाहते हैं, तो आपको सावधान रहना होगा। वे एक सरल परीक्षण पास कर सकते हैं, लेकिन जब स्थिति जटिल होती है, तो वे "यथार्थवाद" (realism) के परीक्षण में विफल हो जाते हैं। वे अभी तक एक पूर्ण विकल्प बनने के लिए तैयार नहीं हैं क्योंकि उनमें एक स्थिर व्यक्तित्व वाले वास्तविक व्यक्ति की तरह कार्य करने की आंतरिक निरंतरता की कमी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।