Eval4Sim: An Evaluation Framework for Persona Simulation

आर्टिफिशियल इंटेलिजेंस अनुसंधान के शांत कोनों में, वैज्ञानिक कंप्यूटरों को इंसान होने का ढोंग करना सिखा रहे हैं। वे ऐसा आधुनिक चैटबॉट्स के पीछे के शक्तिशाली इंजनों, यानी लार्ज लैंग्वेज मॉडल्स को, यह बताने के लिए विशिष्ट निर्देश देकर करते हैं कि उन्हें कौन होना है। ये निर्देश, जिन्हें 'पर्सोना' (persona) कहा जाता है, यह कह सकते हैं कि मॉडल एक सेवानिवृत्त शिक्षक है जिसे बागवानी पसंद है, या एक किशोर जो वीडियो गेम का दीवाना है। इसका लक्ष्य एक ऐसा डिजिटल चरित्र बनाना है जो उस विशिष्ट पृष्ठभूमि वाले वास्तविक मानव की तरह बोलता और व्यवहार करता है। यह केवल मनोरंजन के लिए नहीं है; शोधकर्ता इन सिम्युलेटेड (simulated) बातचीत का उपयोग मानव व्यवहार का अध्ययन करने, सामाजिक सिद्धांतों का परीक्षण करने और बेहतर उपयोगकर्ता अनुभव बनाने के लिए करते हैं। लेकिन एक महत्वपूर्ण प्रश्न बना हुआ है: जब एक कंप्यूटर इंसान होने का नाटक करता है, तो क्या वह वास्तव में विश्वसनीय होता है? क्या यह एक वास्तविक मानव की तरह लगता है जो बात कर रहा है, या यह एक मशीन की तरह लगता है जो स्क्रिप्ट का पालन करने की बहुत अधिक कोशिश कर रही है?

वर्षों तक, इन डिजिटल अभिनेताओं को आंकने का मानक तरीका यह था कि दूसरे कंप्यूटर से उन्हें ग्रेड दिया जाए। इस पद्धति को अक्सर 'एआई को जज के रूप में उपयोग करना' कहा जाता था, जो एक सिम्युलेटेड बातचीत की तुलना एक आदर्श उदाहरण से करता था या बस जज से पूछता था कि क्या टेक्स्ट अच्छा महसूस होता है। हालाँकि, इस दृष्टिकोण ने अक्सर अस्पष्ट स्कोर दिए जो शोधकर्ताओं को वास्तविक व्यवहार के बारे में बहुत कुछ नहीं बता पाते थे। यह एक नाटक को केवल एक संख्या के आधार पर ग्रेड देने जैसा था बिना प्रदर्शन देखे। समस्या यह थी कि ये स्वचालित जज अक्सर उन सूक्ष्म, अव्यवस्थित और असंगत तरीकों को पहचानने में विफल रहे जिनसे वास्तविक मनुष्य वास्तव में बोलते हैं। वे आसानी से यह अंतर नहीं कर सके कि एक चरित्र स्वाभाविक रूप से त्रुटिपूर्ण था या वह पूरी तरह से टूटा हुआ था।

इसे हल करने के लिए, शेफील्ड विश्वविद्यालय और स्पेन के यूनिवर्सिटी ऑफ ए कोरुना के शोधकर्ताओं की एक टीम ने इन सिमुलेशन को मापने का एक नया तरीका विकसित किया, जिसे वे 'इवल4सिम' (Eval4Sim) कहते हैं। एक कंप्यूटर से एकल ग्रेड देने के लिए कहने के बजाय, उन्होंने एक ऐसा ढांचा बनाया जो कंप्यूटर द्वारा उत्पन्न बातचीत की सीधे वास्तविक मानव बातचीत के एक बड़े संग्रह के साथ तुलना करता है। उन्होंने वास्तविक मानव चैट को 'गोल्ड स्टैंडर्ड' (gold standard) माना, जो इस बात का आधार था कि लोग विशिष्ट व्यक्तित्वों के साथ वास्तव में कैसे बात करते हैं। फिर शोधकर्ताओं ने अपने सिमुलेशन को तीन अलग-अलग परीक्षणों के माध्यम से चलाया ताकि यह देखा जा सके कि वे वास्तविक चीज़ के कितने करीब हैं।

पहला परीक्षण 'अडहेरेंस' (adherence - पालन) की जाँच करता था, जो यह पूछता है कि क्या बातचीत में चरित्र का व्यक्तित्व वास्तव में दिखाई दे रहा है। यदि आप किसी ऐसे चैट को पढ़ते हैं जहाँ कोई दावा करता है कि वह एक डॉग ट्रेनर है, तो क्या आप केवल उसके द्वारा कही गई बातों को पढ़कर यह बता सकते हैं कि वह एक डॉग ट्रेनर है? शोधकर्ताओं ने यह देखने के लिए एक प्रणाली का उपयोग किया कि क्या एक कंप्यूटर यह सही ढंग से पहचान सकता है कि कौन सी बातचीत किस चरित्र की है। उन्होंने पाया कि कुछ सिमुलेशन बहुत अधिक स्पष्ट थे, जहाँ पात्र अपने गुणों को बहुत ही सीधे तौर पर बताते थे, जबकि अन्य बहुत अस्पष्ट थे, जो अपने व्यक्तित्व को पूरी तरह से छिपा देते थे। सबसे अच्छे सिमुलेशन वे थे जिन्होंने अपने व्यक्तित्व को चिल्लाकर बताने या पूरी तरह से छिपाने के बजाय स्वाभाविक रूप से प्रदर्शित किया।

दूसरा परीक्षण 'कंसिस्टेंसी' (consistency - निरंतरता) को देखता था, या यह कि क्या चरित्र बातचीत के दौरान एक ही व्यक्ति बना रहता है। वास्तविक लोगों का बोलने का एक विशिष्ट तरीका होता है, एक ऐसी शैली जो उन्हें पहचानने योग्य बनाती है भले ही वे अलग-अलग विषयों पर बात कर रहे हों। शोधकर्ताओं ने जाँच की कि क्या सिम्युलेटेड पात्र अपनी इस अनूठी शैली को बनाए रखते हैं या क्या वे भटक जाते हैं और अलग-अलग समय पर अलग-अलग लोगों की तरह सुनाई देते हैं। उन्होंने एक आश्चर्यजनक ट्रेड-ऑफ (trade-off) की खोज की: कुछ सबसे उन्नत कंप्यूटर मॉडल इतने सुसंगत थे कि वे वास्तव में अप्राकृतिक लगने लगे, जैसे कि एक रोबोट एक पैटर्न को दोहरा रहा हो, न कि एक ऐसा मानव जिसकी आवाज़ स्थिर लेकिन लचीली होती है।

तीसरा परीक्षण 'नेचुरलनेस' (naturalness - स्वाभाविकता) को मापता था, जो बातचीत का प्रवाह है। वास्तविक मानव संवाद में एक लय होती है; लोग बारी-बारी से बोलते हैं, बीच में टोकते हैं, और ऐसे जवाब देते हैं जो जैविक (organic) लगते हैं। शोधकर्ताओं ने विश्लेषण किया कि क्या सिम्युलेटेड बातचीत एक वाक्य से दूसरे वाक्य तक सहजता से चलती है या यह कठोर और रोबोटिक लगती है। उन्होंने पाया कि कई सिमुलेशन, भले ही वे बहुत सुसंगत थे, प्राकृतिक प्रवाह को पकड़ने में विफल रहे। वे सही या सुसंगत होने पर इतने केंद्रित थे कि उन्होंने वास्तविक मानव संपर्क की अनौपचारिक, कभी-कभी अव्यवस्थित गुणवत्ता को खो दिया।

जब शोधकर्ताओं ने इन तीन परीक्षणों को मिलाया, तो उन्होंने पाया कि कोई भी एकल कंप्यूटर मॉडल हर चीज़ में पूर्ण नहीं था। सबसे अच्छा समग्र प्रदर्शन करने वाला मॉडल 'क्वेन3 30बी' (Qwen3 30B) नामक एक लार्ज मॉडल था, जिसने अन्य मॉडलों की तुलना में तीनों गुणों को बेहतर ढंग से संतुलित किया, हालांकि यह अभी भी एक वास्तविक मानव से कम ही था। अन्य मॉडल एक चीज़ में उत्कृष्ट थे लेकिन दूसरी चीज़ में बहुत खराब; कुछ बहुत सुसंगत थे लेकिन अप्राकृतिक थे, जबकि कुछ का प्रवाह अच्छा था लेकिन वे अपना व्यक्तित्व भूल गए। अध्ययन ने यह भी दिखाया कि इन सिमुलेशन को बनाने के पुराने तरीके, जो आउटपुट को फ़िल्टर करने के लिए एक जनरेटर और एक क्रिटिक का उपयोग करते थे, सीधे आधुनिक लार्ज मॉडल्स को बातचीत उत्पन्न करने देने की तुलना में खराब प्रदर्शन करते थे।

सबसे महत्वपूर्ण निष्कर्ष यह था कि सिमुलेशन के एक हिस्से में सुधार करने से अक्सर दूसरा हिस्सा खराब हो जाता था। यदि किसी मॉडल को अधिक सुसंगत बनाया गया, तो वह अक्सर कम प्राकृतिक हो गया। यदि इसे अधिक प्राकृतिक बनाया गया, तो यह कभी-कभी अपना व्यक्तित्व भूल गया। यह सुझाव देता है कि एक वास्तव में यथार्थवादी डिजिटल मानव बनाना केवल कंप्यूटर को स्मार्ट या बड़ा बनाने के बारे में नहीं है। इसके लिए एक चरित्र के प्रति सच्चा रहने, सुसंगत रहने और एक वास्तविक व्यक्ति की तरह सुनाई देने के बीच एक नाजुक संतुलन खोजने की आवश्यकता है। शोधकर्ताओं ने अपने उपकरणों को जनता के लिए उपलब्ध कराया है ताकि अन्य लोग भी इसी ढांचे का उपयोग करके नए मॉडलों का परीक्षण कर सकें, यह सुनिश्चित करते हुए कि डिजिटल बातचीत का भविष्य इस बात से नहीं मापा जाए कि एक मशीन नियमों का कितनी अच्छी तरह पालन करती है, बल्कि इस बात से कि वह मानव जीवन की जटिल, अपूर्ण वास्तविकता को कितनी निकटता से दर्शाती है।