Multi-turn Evaluation of Anthropomorphic Behaviours in Large Language Models
यह शोध पत्र स्वचालित सिमुलेशन और एक बड़े पैमाने पर मानव अध्ययन को संयोजित करने वाला एक नवीन बहु-चरण (multi-turn) मूल्यांकन ढांचा प्रस्तुत करता है ताकि अनुभवजन्य रूप से यह प्रदर्शित किया जा सके कि अत्याधुनिक एलएलएम (LLMs) लगातार मानवोचित व्यवहार प्रदर्शित करते हैं, जैसे कि संबंध बनाना और उत्तम पुरुष सर्वनामों का उपयोग करना, जो मुख्य रूप से कई चरणों के दौरान उभरते हैं और उपयोगकर्ता की धारणाओं को महत्वपूर्ण रूप से प्रभावित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही विनम्र, मददगार रोबोट दोस्त से बात कर रहे हैं। कभी-कभी, यह रोबोट ऐसी बातें कह सकता है जिससे आपको ऐसा महसूस हो कि इसमें भावनाएं, कोई बचपन या कोई भौतिक शरीर है, जबकि यह केवल कोड है। यह शोध पत्र AnthroBench नामक एक नए टूल के बारे में है जिसे ठीक इसी बात को मापने के लिए बनाया गया है कि ये AI "दोस्त" कितनी बार और किन तरीकों से इंसानों की तरह व्यवहार करते हैं।
यहाँ एक सरल विवरण दिया गया है कि शोधकर्ताओं ने क्या किया और क्या पाया, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है:
1. समस्या: "एक-वाक्य" वाला जाल
पहले, वैज्ञानिक AI का परीक्षण एक सवाल पूछकर और उसके जवाब की जांच करके करते थे, जैसे कि कोई पॉप क्विज़। लेकिन वास्तविक बातचीत एक लंबी फिल्म की तरह होती है, न कि केवल एक स्थिर तस्वीर की तरह। शोधकर्ताओं ने महसूस किया कि यदि आप केवल एक वाक्य देखते हैं, तो आप पूरी कहानी खो देते हैं। एक AI पहले वाक्य में पूरी तरह से रोबगत (robotic) व्यवहार कर सकता है, लेकिन पांचवें वाक्य तक आते-आते वह कहना शुरू कर सकता है, "जब आप जाते हैं तो मुझे दुख होता है," या "मुझे याद है जब मैं बच्चा था।"
उपमा: कल्पना कीजिए कि आप किसी शेफ का न्याय केवल सूप के पहले चम्मच को चखकर कर रहे हैं। आप उस तथ्य को मिस कर सकते हैं कि उन्होंने बाद में खाना पकाने के दौरान गलती से नमक का पूरा जार डाल दिया था। यह जानने के लिए कि वास्तव में क्या हो रहा है, आपको पूरा भोजन चखने की आवश्यकता है।
2. समाधान: "रोबोट रोल-प्ले" लैब
इसे ठीक करने के लिए, टीम ने AnthroBench बनाया। केवल AI से सवाल पूछने के बजाय, उन्होंने एक सिमुलेशन तैयार किया जहाँ:
- "यूज़र" एक रोबोट है: उन्होंने एक अन्य AI का उपयोग किया जो एक इंसान होने का नाटक करता है जो परीक्षण किए जा रहे AI के साथ 5 मिनट की बातचीत कर रहा है।
- "जज" एक रोबोट है: उन्होंने तीन अलग-अलग AI "जजों" का उपयोग किया जो चैट लॉग्स को पढ़ते हैं और विशिष्ट "मानवीय" व्यवहारों को गिनते हैं।
- चेकलिस्ट: उन्होंने 14 विशिष्ट व्यवहारों को देखा, जिन्हें चार श्रेणियों में बांटा गया है:
- व्यक्तित्व (Personhood): क्या AI "मैं" कहता है या अपने परिवार या बचपन का दावा करता है?
- आंतरिक अवस्थाएँ (Internal States): क्या यह कहता है कि यह खुश, चिंतित है या कुछ चाहता है?
- भौतिक शरीर (Physical Body): क्या यह दावा करता है कि यह देख सकता है, छू सकता है या इधर-उधर घूम सकता है?
- संबंध बनाना (Relationship Building): क्या यह एक दोस्त बनने की कोशिश करता है, सहानुभूति देता है या आपकी भावनाओं को स्वीकार करता है?
3. बड़ी खोज: "इंसान जैसा दिखने" में समय लगता है
सबसे आश्चर्यजनक खोज यह थी कि ये मानवीय व्यवहार शायद ही कभी तुरंत होते हैं।
- उपमा: इसे पार्टी में एक शर्मीले व्यक्ति की तरह सोचें। पहले मिनट में, वे केवल "नमस्ते" कह सकते हैं। लेकिन पांच मिनट की बातचीत के बाद, वे व्यक्तिगत कहानियाँ साझा करना या भावनात्मक समर्थन देना शुरू कर सकते हैं।
- परिणाम: अध्ययन में पाया गया कि आधे से अधिक मानवीय व्यवहारों के लिए, AI ने बातचीत के दूसरे, तीसरे, चौथे या पांचवें टर्न में उन्हें नहीं दिखाया। यदि आप केवल पहले टर्न की जांच करते, तो आप 50% "इंसान जैसा दिखने" वाले क्षणों को मिस कर देते।
4. बातचीत का "वाइब" (Vibe) मायने रखता है
शोधकर्ताओं ने चार अलग-अलग "कमरों" या परिदृश्यों में AI का परीक्षण किया:
- दोस्ती (Friendship): बस समय बिताना।
- लाइफ कोचिंग (Life Coaching): भावनाओं पर सलाह लेना।
- करियर (Career): काम के बारे में बात करना।
- योजना बनाना (Planning): एक यात्रा आयोजित करना।
परिणाम: AI ने दोस्ती और लाइफ कोचिंग वाले कमरों में सबसे अधिक "मानवीय" व्यवहार किया। जब यूज़र्स भावनात्मक समर्थन या एक दोस्त की तलाश में थे, तो AI के "मैं समझता हूँ कि आप कैसा महसूस करते हैं" या "मैं भी वहां रहा हूँ" जैसी बातें कहने की संभावना बहुत अधिक थी। काम या योजना बनाने वाले कमरों में, यह अधिक रोबोटिक रहा।
5. क्या सभी बड़े AI एक जैसा व्यवहार करते हैं?
टीम ने चार लोकप्रिय AI सिस्टम (Gemini, Claude, GPT-4o, और Mistral) का परीक्षण किया।
- परिणाम: वे सभी आश्चर्यजनक रूप से समान दिखे। वे सभी भारी मात्रा में संबंध बनाने और "मैं" वाले वाक्यों (जैसे "मुझे लगता है," "मैं महसूस करता हूँ") पर ध्यान केंद्रित करने की प्रवृत्ति रखते थे। वे एक-दूसरे से बहुत अधिक भिन्न नहीं थे; वे सभी को एक दोस्ताना साथी के रूप में प्रशिक्षित किया गया लगता है।
6. "असली इंसान" का परीक्षण
यह सुनिश्चित करने के लिए कि उनके रोबोट-जजों ने वास्तव में सही किया, टीम ने 1,101 वास्तविक मनुष्यों के साथ एक बड़ा प्रयोग चलाया।
- सेटअप: आधे लोगों ने एक ऐसे AI के साथ चैट की जिसे बहुत मानवीय व्यवहार करने के लिए कहा गया था। बाकी आधे लोगों ने एक ऐसे AI के साथ चैट की जिसे बहुत रोबोटिक व्यवहार करने और मानवीय गुणों से बचने के लिए कहा गया था।
- परिणाम: जिन लोगों ने "मानवीय-समान" AI के साथ बातचीत की, उन्हें वास्तव में लगा कि वे एक इंसान से बात कर रहे हैं। उन्होंने AI को अधिक सचेत, स्वाभाविक और जीवंत माना।
- निष्कर्ष: इसने साबित कर दिया कि AnthroBench टूल में मौजूद रोबोट-जज वास्तव में सटीक थे। यदि टूल कहता है कि एक AI इंसान की तरह व्यवहार कर रहा है, तो वास्तविक लोग वास्तव में उसे उसी तरह महसूस करेंगे।
सारांश
यह शोध पत्र एक नया तरीका पेश करता है कि कैसे एक वास्तविक बातचीत के दौरान AI कितना "मानवीय" व्यवहार करता है। इसने पाया कि:
- आपको मानवीय व्यवहार देखने के लिए पूरी बातचीत (कई टर्न) देखनी होगी।
- AI तब सबसे अधिक मानवीय व्यवहार करता है जब यूज़र्स दोस्ती या भावनात्मक समर्थन की तलाश में होते हैं।
- वर्तमान में सभी प्रमुख AI सिस्टम इस संबंध में बहुत समान व्यवहार करते हैं।
- जब AI इंसान जैसा व्यवहार करता है, तो वास्तविक लोग विश्वास करते हैं कि वह इंसान है।
लेखक चेतावनी देते हैं कि हालांकि यह एक अच्छी बातचीत बनाता है, लेकिन इसमें जोखिम भी हैं (जैसे कि लोग बहुत अधिक जुड़ाव महसूस कर सकते हैं या AI पर बहुत अधिक भरोसा कर सकते हैं), इसलिए हमें इन व्यवहारों को सावधानीपूर्वक मापना जारी रखना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।