Beyond Cooperative Simulators: Generating Realistic User Personas for Robust Evaluation of LLM Agents
यह शोध पत्र पर्सोना पॉलिसीज़ (PPol) को प्रस्तुत करता है, जो एक विकासवादी खोज-आधारित ढांचा है जो मानक LLM सिम्युलेटर्स के सहकारी पूर्वाग्रह (cooperative bias) को दूर करने के लिए विविध, मानव-समान उपयोगकर्ता व्यक्तित्व (personas) उत्पन्न करता है, जिससे वास्तविक दुनिया के इंटरेक्शन परिदृश्यों में LLM एजेंटों की मजबूती और मूल्यांकन सटीकता में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कस्टमर सर्विस एजेंट बनने के लिए प्रशिक्षित कर रहे हैं। आप चाहते हैं कि वह मददगार, धैर्यवान और बुद्धिमान हो। यह परीक्षण करने के लिए कि क्या वह वास्तविक दुनिया के लिए तैयार है, आप आमतौर पर उसे एक "सिम्युलेटेड यूजर" (simulated user) के साथ अभ्यास करने के लिए देते हैं—जो एक अन्य AI है जिसे ग्राहक की तरह व्यवहार करने के लिए प्रोग्राम किया गया है।
समस्या: "बहुत अधिक विनम्र" अभ्यास साथी
पेपर इस वर्तमान प्रशिक्षण में एक बड़ी खामी की ओर इशारा करता है: ये सिम्युलेटेड यूजर्स बहुत ही विनम्र और आदर्श छात्रों की तरह होते हैं। वे हमेशा सवालों के स्पष्ट उत्तर देते हैं, कभी भ्रमित नहीं होते, और कभी अधीर नहीं होते। यह एक नौकरी के साक्षात्कार के लिए उस दोस्त के साथ अभ्यास करने जैसा है जो केवल "हाँ, यह एक शानदार विचार है!" कहता है और आपको कभी चुनौती नहीं देता।
इस कारण से, रोबोट एजेंट को आत्मविश्वास का एक झूठा अहसास हो जाता है। उसे लगता है कि वह अपने काम में बहुत अच्छा है क्योंकि वह इन आदर्श, सहकारी सिमुलेशन को आसानी से संभाल सकता है। लेकिन जब कोई वास्तविक इंसान कॉल करता है—जो शायद विचलित हो सकता है, टाइपिंग में गलतियाँ (typos) कर सकता है, निराश हो सकता है, या अपना ऑर्डर नंबर तुरंत देने से मना कर सकता है—तो रोबोट अक्सर विफल हो जाता है।
समाधान: "परसोना पॉलिसीज़" (Persona Policies - PPol)
लेखकों ने एक नया सिस्टम बनाया जिसे परसोना पॉलिसीज़ (PPol) कहा जाता है। इसे सिम्युलेटेड यूजर्स के लिए एक "निर्देशक की स्क्रिप्ट" (Director's Script) के रूप में समझें। केवल AI को, "आप एक ग्राहक हैं जो जैकेट वापस करना चाहता है" कहने के बजाय, PPol उसे एक विशिष्ट, अनोखी शख्सियत (personality) निभाने के लिए देता है।
- पुराना तरीका: "आप एक ग्राहक हैं जो एक जैकेट वापस करना चाहता है।" (परिणाम: AI एक सामान्य, मददगार रोबोट की तरह व्यवहार करता है)।
- PPol वाला तरीका: "आप एक भीड़भाड़ वाली मेट्रो में यात्रा करने वाले तनावग्रस्त यात्री हैं, जो एक हाथ से टूटी हुई स्क्रीन वाले फोन पर टाइप कर रहे हैं। आप जल्दी में हैं, आपको अपना ईमेल पता साझा करना पसंद नहीं है, और आप ट्रेन के शोर से बार-बार विचलित हो रहे हैं।" (परिणाम: AI टुकड़ों में टाइप करता है, गलतियाँ करता है, और अधीर व्यवहार करता है)।
उन्होंने यह कैसे किया: "इवोल्यूशनरी" कोच
शोधकर्ताओं ने केवल हाथ से स्क्रिप्ट नहीं लिखी। उन्होंने एक ऐसा सिस्टम बनाया जो एक "सर्वाइवल-ऑफ-द-फिटनेस" कोच की तरह काम करता है।
- जेनरेटर (The Generator): उन्होंने एक कंप्यूटर प्रोग्राम लिखा जो सैकड़ों अलग-अलग "परसोना" (जैसे एक गुस्सैल सेवानिवृत्त व्यक्ति, एक संदेही टेक-ब्रो, या एक विचलित माता-पिता) बनाता है।
- परीक्षण (The Test): उन्होंने इन सिम्युलेटेड यूजर्स को रोबोट एजेंट के साथ बातचीत करने दिया।
- स्कोरकार्ड (The Scorecard): उन्होंने एक "जज" (एक मशीन लर्निंग मॉडल जिसे वास्तविक मानवीय बातचीत पर प्रशिक्षित किया गया है) का उपयोग सिमुलेशन को स्कोर करने के लिए किया। जज ने दो प्रश्न पूछे:
- क्या यह एक वास्तविक इंसान जैसा लगता है? (मानवीय समानता/Human-likeness)
- क्या यह यूजर दूसरों से अलग है? (विविधता/Diversity)
- विकास (The Evolution): यदि सिम्युलेटेड यूजर्स बहुत रोबोटिक लग रहे थे या सभी एक जैसा व्यवहार कर रहे थे, तो सिस्टम ने कोड में "म्यूटेशन" (परिवर्तन) किया। उन्होंने निर्देशों में बदलाव किया, व्यक्तित्व बदले, और फिर से प्रयास किया। कई चरणों के बाद, सिस्टम ने अत्यधिक यथार्थवादी, विविध और कभी-कभी कठिन यूजर व्यक्तित्वों का एक पुस्तकालय विकसित किया।
परिणाम: एक कठिन, स्मार्ट एजेंट
पेपर ने दो वास्तविक दुनिया के परिदृश्यों में इसका परीक्षण किया: रिटेल (कपड़े खरीदना) और एयरलाइंस (फ्लाइट बुक करना)।
- बेहतर सिमुलेशन: विकसित किए गए परसोना को मानव जजों द्वारा 80.4% बार "मानव" के रूप में रेट किया गया। इसके विपरीत, मानक, सहकारी सिम्युलेटर को केवल 46.5% बार ही मानव के रूप में रेट किया गया था।
- मजबूत एजेंट: जब रोबोट एजेंटों को इन नए, यथार्थवादी "परसोना पॉलिसीज़" का उपयोग करके प्रशिक्षित किया गया, तो वे बहुत अधिक सक्षम बन गए। जब उन्हें कठिन, असामान्य यूजर्स (जैसे कि कोई जो भ्रमित या अधीर है) के खिलाफ टेस्ट किया गया, तो ये एजेंट पुराने, आसान सिमुलेशन पर प्रशिक्षित एजेंटों की तुलना में 17% अधिक बार सफल हुए।
मुख्य निष्कर्ष (The Bottom Line)
यह पेपर दिखाता है कि वास्तव में मजबूत AI एजेंट बनाने के लिए, हम उन्हें केवल आदर्श, सहकारी अभ्यास साथियों पर प्रशिक्षित नहीं कर सकते। हमें "कठिन" लेकिन यथार्थवादी सिम्युलेटेड इंसानों की एक विविध आबादी विकसित करने की आवश्यकता है। "परसोना पॉलिसीज़" उत्पन्न करने के लिए इस विकासवादी (evolutionary) पद्धति का उपयोग करके, लेखकों ने सफलतापूर्वक नकली सिमुलेशन और वास्तविक मानव व्यवहार के बीच के अंतर को कम किया, जिससे ऐसे एजेंट तैयार हुए जो मानवीय बातचीत की अव्यवस्थित और अप्रत्याशित वास्तविकता के लिए तैयार हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।