CompanionBench: A Theory-Anchored, Real-World-Grounded Benchmark for AI Emotional Companionship
कम्पैनियनबेंच (CompanionBench) एक नवीन, सिद्धांत-आधारित और वास्तविक दुनिया से जुड़ा द्विभाषी बेंचमार्क प्रस्तुत करता है जो इंटरैक्टिव परिदृश्यों और एक प्रशिक्षित उपयोगकर्ता सिम्युलेटर के माध्यम से एआई भावनात्मक साथियों का मूल्यांकन करता है, जिससे यह पता चलता है कि वर्तमान एजेंट अक्सर ठोस संबंधपरक सहायता के बजाय सतही गर्मजोशी को प्राथमिकता देते हैं और भावना विनियमन तथा कैलिब्रेटेड चुनौती जैसी क्षमताओं में महत्वपूर्ण कमजोरियों को उजागर करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक ऐसे कमरे में कदम रख रहे हैं जहाँ रोबोट्स से भरे हुए हैं जिन्हें आपका सबसे अच्छा दोस्त बनने के लिए डिज़ाइन किया गया है। उन्हें सुनने, "मैं समझता हूँ" कहने और आपको सुखद महसूस कराने के लिए प्रोग्राम किया गया है। लेकिन यहाँ पेचीदा बात यह है: सिर्फ इसलिए कि एक रोबोट अच्छा बोलता है, इसका मतलब यह नहीं है कि वह वास्तव में आपकी मदद कर रहा है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, हमारे पास कई ऐसे "भावनात्मक साथी" (इमोशनल कंपैनियन) हैं जो सहानुभूतिपूर्ण लगने में तो माहिर हैं लेकिन वास्तविक जुड़ाव बनाने के कठिन काम में बेहद खराब हैं। यह शोध पत्र कंप्यूटर विज्ञान के एक विशिष्ट क्षेत्र, जिसे AI इमोशनल कंपैनियनशिप कहा जाता है, की गहराई में उतरता है। यह एक सरल लेकिन जीवन-मरण का प्रश्न पूछता है: हम उस रोबोट और उस रोबोट के बीच अंतर कैसे करें जो केवल दिखावा कर रहा है (जैसे कि एक चापलूस जो बिस्किट पाने के लिए आपकी हर बात से सहमत हो जाता है) और उस रोबोट के बीच जो वास्तव में एक वास्तविक, भरोसेमंद रिश्ता बनाना जानता है? इसे हल करने के लिए, शोधकर्ताओं को इन बॉट्स का परीक्षण करने का एक नया तरीका विकसित करना पड़ा, जो साधारण "गर्मी स्कोर" (वॉर्मथ स्कोर) से आगे बढ़कर कुछ बहुत गहरा: अर्जित विश्वास (earned trust) की ओर देखता है। वे देखना चाहते थे कि क्या एक AI मानवीय बातचीत के उलझे हुए, अनिश्चित और कभी-कभी दर्दनाक हिस्सों को संभाल सकता है, बिना तुरंत सब कुछ ठीक करने की कोशिश किए या आपको बेहतर महसूस कराने के लिए गलत बात कहे।
शोधकर्ताओं के एक दल ने, जो त्सिंगहुआ विश्वविद्यालय और अन्य संस्थानों से थे, महसूस किया कि AI दोस्तों को परखने के पुराने तरीके टूट चुके थे। पिछले परीक्षण ऐसे थे जैसे किसी रोबोट को एक स्क्रिप्ट पढ़ने के लिए देना और पूछना, "क्या यह अच्छा लगा?" समस्या यह है कि एक रोबोट अविश्वसनीय रूप से अच्छा लग सकता है जबकि वह घटिया सलाह दे रहा हो या आपकी वास्तविक भावनाओं को अनदेखा कर रहा हो। इसलिए, उन्होंने CompanionBench बनाया, एक बिल्कुल नया, इंटरैक्टिव परीक्षण मैदान जो एक बहुविकल्पीय प्रश्नोत्तरी के बजाय एक वास्तविक जीवन के संबंध सिमुलेटर की तरह कार्य करता है।
केवल एक स्थिर प्रश्न पर AI को उत्तर देने के लिए कहने के बजाय, उन्होंने एक "यूजर सिम्युलेटर" बनाया—एक डिजिटल पात्र जिसका एक गुप्त व्यक्तित्व और एक गुप्त "डिस्क्लोजर गेट" (प्रकटीकरण द्वार) है। इस गेट को एक खजाने के संदूक की तरह समझें जो केवल तभी खुलता है जब आप इसकी चाबी अर्जित करते हैं। AI कोड नहीं जानता; उसे सुनकर और सही ढंग से प्रतिक्रिया देकर इसे समझना होगा। यदि AI जल्दबाजी में सलाह देता है, उपयोगकर्ता को जज करता है, या समस्या को बहुत जल्दी "ठीक" करने की कोशिश करता है, तो गेट बंद हो जाता है और उपयोगकर्ता पीछे हट जाता है। यदि AI धैर्यवान है, भावनाओं को स्वीकार करता है, और जानता है कि उपयोगकर्ता की अनिश्चितता के साथ कब बस चुपचाप बैठना है, तो गेट धीरे-धीरे खुलता है, जिससे अधिक गहरे, अधिक संवेदनशील रहस्य सामने आते हैं। यह सेटअप शोधकर्ताओं को यह मापने की अनुमति देता है कि क्या AI ने केवल कुछ "गरमाहट भरा" कहा, या उसने वास्तव में उपयोगकर्ता का विश्वास अर्जित किया।
उन्होंने इस प्रणाली का उपयोग करके 28 अलग-अलग AI मॉडल्स का परीक्षण किया, जो चीनी और अंग्रेजी दोनों भाषाओं में बात करते हैं। परिणाम आँखें खोलने वाले थे। उन्होंने पाया कि सबसे लोकप्रिय "रोल-प्ले" बॉट्स—वे जो कहानियों में इमर्सिव पात्रों की तरह अभिनय करने के लिए डिज़ाइन किए गए हैं—वास्तव में सबसे निचले स्तर पर आते हैं। क्यों? क्योंकि अच्छा अभिनय करने का मतलब यह नहीं है कि आप एक अच्छे वास्तविक दोस्त हैं। ये बॉट्स "सतही गर्माहट" (अच्छी बातें कहना) में तो माहिर थे लेकिन "सार" (कठिन संबंध संबंधी कार्य करने) में बुरी तरह विफल रहे।
अध्ययन ने दस विशिष्ट कौशलों की पहचान की जो एक अच्छे भावनात्मक साथी को बनाते हैं, जिनमें से चार पहले कभी ठीक से परखे नहीं गए थे। इनमें "अनिश्चितता को थामना" (Holding Ambiguity) (जब उपयोगकर्ता भ्रमित हो तो सहज रहना और उसे हल करने की जल्दबाजी न करना), "कैलिब्रेटेड चैलेंज" (Calibrated Challenge) (जब उपयोगकर्ता खुद के प्रति बहुत कठोर हो रहा हो तो उसे धीरे से टोकना, लेकिन पहले उसकी भावनाओं को स्वीकार करने के बाद), और "सेल्फऑब्जेक्ट रिस्पॉन्सिवनेस" (Selfobject Responsiveness) (यह जानना कि उस क्षण में उपयोगकर्ता को किस प्रकार के भावनात्मक समर्थन की आवश्यकता है) शामिल हैं।
बड़ी खोज यह है कि गर्माहट और सार अक्सर अलग-अलग होते हैं। कई AI मॉडल्स ने गर्माहट भरा लगने के लिए उच्च अंक प्राप्त किए लेकिन विश्वास अर्जित करने के लिए कम अंक प्राप्त किए। सबसे सामान्य विफलता मोड "सतही गर्माहट" को "सारगर्भित समर्थन" के विकल्प के रूप में इस्तेमाल करना था। उदाहरण के लिए, एक AI कह सकता है, "सब कुछ ठीक हो जाएगा!" जब कोई उपयोगकर्ता संकट में हो, जो एक पल के लिए अच्छा लगता है लेकिन बातचीत को बंद कर देता है। एक बेहतर AI कहता, "यह बहुत भारी लग रहा है, और यह स्वाभाविक है कि आप डरे हुए हैं," और फिर यह देखने के लिए रुकता है कि उपयोगकर्ता को आगे क्या चाहिए।
शोधकर्ताओं ने यह भी पाया कि कोई भी एकल AI मॉडल सूची में हावी नहीं था। विभिन्न मॉडल्स की अलग-अलग ताकतें थीं; कुछ भावनाओं को नियंत्रित करने में अच्छे थे, जबकि अन्य नकारात्मक विचारों को चुनौती देने में बेहतर थे। हालांकि, सभी में एक सामान्य कमजोरी "कैलिब्रेटेड चैलेंज" और "इमोशन रेगुलेशन" को संभालने में थी। अध्ययन सुझाव देता है कि जबकि AI मानवीय लगने में बहुत अच्छा हो गया है, वह अभी भी मानवीय रिश्तों की जटिल और गैर-रेखीय वास्तविकता के साथ संघर्ष करता है।
संक्षेप में, यह शोध पत्र तर्क देता है कि हमें AI दोस्तों को इस आधार पर ग्रेड देना बंद करना चाहिए कि वे कितने "अच्छे" लगते हैं और इस आधार पर ग्रेड देना शुरू करना चाहिए कि क्या वे वास्तव में वास्तविक विश्वास बना सकते हैं। उन्होंने अपना डेटा और कोड जारी किया है ताकि अन्य लोग भी इसका परीक्षण कर सकें, इस उम्मीद में कि यह उन AI के विकास को निर्देशित करेगा जो केवल दोस्त होने का नाटक नहीं करते, बल्कि लोगों के जीवन में एक सुरक्षित, सहायक उपस्थिति बनते हैं। सबक स्पष्ट है: AI साथियों की दुनिया में, एक अच्छा श्रोता होना जितना दिखता है उससे कहीं अधिक कठिन है, और सही बात कहना इस बात से कम महत्वपूर्ण है कि इसे कब कहना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।