AttuneBench: A Conversation-Based Benchmark for LLM Emotional Intelligence

यहाँ AttuneBench पेपर का हिंदी अनुवाद दिया गया है:

मुख्य विचार: AI के "इमोशनल रडार" का परीक्षण करना

कल्पना कीजिए कि आप एक दोस्त के साथ घंटों लंबी बातचीत कर रहे हैं। आप केवल मौसम के बारे में बात नहीं कर रहे हैं; आप अपनी चिंताएं साझा कर रहे हैं, अपनी जीत का जश्न मना रहे हैं, और आपका मूड निराशा से आशा की ओर बदल रहा है।

अब, कल्पना कीजिए कि एक AI उस कुर्सी पर बैठा है। बड़ा सवाल यह नहीं है कि: "क्या AI को तथ्य पता थे?" बल्कि यह है कि: "क्या AI 'समझ' पाया कि मैं कैसा महसूस कर रहा था, और क्या उसने सही समय पर सही बात कही?"

यही भावनात्मक बुद्धिमत्ता (Emotional Intelligence - EI) है। पेपर का तर्क है कि जबकि AI गणित और कोडिंग में बहुत अच्छा हो रहा है, हमारे पास यह जांचने का कोई अच्छा तरीका नहीं है कि क्या वह एक वास्तविक मानव बातचीत के जटिल और बदलते भावों को संभाल सकता है। मौजूदा परीक्षण किसी दुखद फिल्म के दृश्य के बारे में AI को बहुविकल्पीय प्रश्न (multiple-choice quiz) देने जैसा है; वे हमें यह नहीं बताते कि AI उस 30 मिनट की लाइव चैट को कैसे संभालता है जहाँ आप पहले परेशान हो सकते हैं, फिर शांत हो सकते हैं, और फिर उत्साहित हो सकते हैं।

समाधान: AttuneBench (द "लाइव कॉन्सर्ट" टेस्ट)

शोधकर्ताओं ने AttuneBench बनाया है, जो AI भावनाओं के लिए एक "स्टूडियो रिकॉर्डिंग" टेस्ट के बजाय "लाइव कॉन्सर्ट" टेस्ट की तरह है।

यह कैसे काम करता है:

1. सेटअप: उन्होंने 11 अलग-अलग AI मॉडल (संगीतकार) और 11 मानव प्रतिभागियों (दर्शक) को इकट्ठा किया।
2. प्रदर्शन: मनुष्यों ने 50 अलग-अलग विषयों (जैसे पैसा, रिश्ते, या शौक) पर एक AI के साथ चैट की। ये कोई बनावटी स्क्रिप्ट नहीं थी; ये वास्तविक, बहु-चरणीय (multi-turn) बातचीत थीं।
3. स्कोरकार्ड: जैसे-जैसे मनुष्य चैट कर रहे थे, उन्होंने केवल अंत में "अच्छा काम किया" नहीं कहा। वे एक लाइव साउंड इंजीनियर की तरह काम कर रहे थे। AI द्वारा भेजे गए हर एक संदेश के बाद, इंसान रुका और टैग किया:
   • मैं इस समय कैसा महसूस कर रहा था? (जैसे, "मुझे लगा कि मेरी बात सुनी गई," या "मुझे चिढ़ महसूस हुई।")
   • मैं चाहता था कि AI आगे क्या कहे?
   • क्या AI ने वास्तव में वही कहा जो मैं चाहता था?
4. रीप्ले: चैट के बाद, शोधकर्ताओं ने उसी बातचीत को लिया और अन्य 10 AI मॉडल्स से पूछा कि वे यह अनुमान लगाएं कि इंसान क्या महसूस कर रहा था और इंसान क्या कहना पसंद करता।

बड़ी खोज: "भावनात्मक रूप से स्मार्ट" होना वास्तव में कई अलग-अलग कौशल हैं

सबसे आश्चर्यजनक खोज यह है कि भावनात्मक बुद्धिमत्ता के एक हिस्से में अच्छा होने का मतलब यह नहीं है कि आप सभी में अच्छे हैं। यह एक स्पोर्ट्स टीम की तरह है: एक खिलाड़ी गोल करने में अद्भुत हो सकता है लेकिन बचाव (defending) करने में बहुत खराब।

शोधकर्ताओं ने पाया कि AI मॉडल "स्पेशलिस्ट" हैं, "ऑल-राउंडर" नहीं। उन्होंने EI को चार विशिष्ट कौशलों में विभाजित किया:

1. मूड ट्रैकर (The Mood Tracker): क्या AI बता सकता है कि बातचीत के दौरान आप दुखी या क्रोधित हो रहे हैं?
   • उपमा: यह एक मौसम विज्ञानी की तरह है जो तूफान की भविष्यवाणी करता है।
   • परिणाम: कुछ AI इसमें बहुत अच्छे थे; अन्य बहुत खराब।
2. व्यवहार जज (The Behavior Judge): क्या AI बता सकता है कि वह (या कोई अन्य AI) बदतमीजी, उपेक्षा या मददगार व्यवहार कर रहा है?
   • उपमा: यह एक रेफरी की तरह है जो खेल देख रहा है और फाउल पकड़ रहा है।
   • परिणाम: अधिकांश AI बुरे व्यवहार को पहचानने में काफी अच्छे थे, लेकिन हमेशा यह अनुमान नहीं लगा पाए कि आप क्या चाहते थे।
3. पसंद का भविष्यवक्ता (The Preference Predictor): क्या AI अनुमान लगा सकता है कि आप आगे क्या सुनना चाहते हैं?
   • उपमा: यह एक वेटर की तरह है जो जानता है कि आपको बिना पूछे ही एक्स्ट्रा केचप चाहिए।
   • परिणाम: यह सबसे कठिन कौशल था। यहाँ शीर्ष मॉडल "मूड ट्रैकिंग" के शीर्ष मॉडलों से पूरी तरह अलग थे।
4. प्रतिक्रिया जनरेटर (The Response Generator): क्या AI वास्तव में एक ऐसा जवाब लिख सकता है जो सही लगे?
   • उपमा: यह एक अभिनेता की तरह है जो संवाद को बिल्कुल सही तरीके से बोलता है।

"कम्पोजिट स्कोर" का जाल:
पेपर चेतावनी देता है कि यदि आप केवल AI को एक एकल "इमोशनल इंटेलिजेंस स्कोर" (जैसे 85/100 ग्रेड) देते हैं, तो आप खुद से झूठ बोल रहे हैं। यह कहने जैसा है कि एक कार का "ड्राइविंग स्कोर" 85 है, लेकिन उसके ब्रेक शानदार हैं और स्टीयरिंग बहुत खराब है। पेपर दिखाता है कि "आप क्या चाहते हैं" का अनुमान लगाने के लिए शीर्ष रैंक वाला AI अक्सर "बुरे व्यवहार को पहचानने" में सबसे खराब था। आपको कुल स्कोर के बजाय विशिष्ट कौशलों को देखने की आवश्यकता है।

"मानव बेसलाइन" (क्या इंसान इसे बेहतर कर सकते हैं?)

शोधकर्ताओं ने तीन मनुष्यों को AI की भूमिका निभाने और चैट प्रतिभागियों की भावनाओं का अनुमान लगाने के लिए भी कहा।

• परिणाम: मनुष्य वास्तव में यह अनुमान लगाने में काफी अच्छे थे कि लोग क्या सुनना चाहते थे (अधिकांश AI से बेहतर), लेकिन वे बातचीत के लक्ष्यों (goals) का अनुमान लगाने में आश्चर्यजनक रूप से खराब थे।
• सीख: यहाँ तक कि इंसान भी चैट में दूसरे इंसान की भावनात्मक जरूरतों को पूरी तरह से समझने में संघर्ष करते हैं। यह एक यथार्थवादी सीमा निर्धारित करता है: AI को पूर्ण होने की आवश्यकता नहीं है, लेकिन इसे मानवीय सहजता (human-level intuition) के करीब होना चाहिए।

"डायग्नोसिस" ट्विस्ट

पेपर ने इस बारे में भी दिलचस्प बात खोजी कि AI किसके साथ सबसे अधिक संघर्ष करता है।

• निष्कर्ष: AI उन लोगों की भावनाओं को ट्रैक करने में काफी कमजोर थे जिन्होंने मानसिक स्वास्थ्य संबंधी निदान (जैसे चिंता या अवसाद) की रिपोर्ट की थी, उन लोगों की तुलना में जिनके पास ऐसा कोई निदान नहीं था।
• उपमा: कल्पना कीजिए कि एक अनुवादक जो मानक अंग्रेजी का अनुवाद करने में बहुत अच्छा है, लेकिन भ्रमित हो जाता है जब बोलने वाला मुहावरों (slang) का उपयोग करता है या भारी लहजे (accent) में बोलता है। AI चिंता या अवसाद से ग्रस्त लोगों के भावनात्मक संकेतों को "अनुवाद" करने में संघर्ष करता था, अक्सर उनकी भावनाओं की सूक्ष्मता या तीव्रता को समझने में चूक जाता था।

"रोमांटिक रिलेशनशिप" की समस्या

शोधकर्ताओं ने 50 अलग-अलग विषयों का परीक्षण किया। उन्होंने पाया कि रोमांटिक रिलेशनशिप (प्रेम संबंध) लगभग हर AI के लिए सबसे कठिन विषय था।

• क्यों? रिश्ते जटिल, अस्पष्ट और अनकहे नियमों से भरे होते हैं। AI यहाँ खराब प्रदर्शन करते हुए दिखाई दिए, जो बताता है कि वे अभी भी प्रेम और डेटिंग की बातचीत की उच्च-दांव (high-stakes) और उच्च-अस्पष्टता वाली प्रकृति के साथ संघर्ष कर रहे हैं।

सारांश: इसका आपके लिए क्या अर्थ है

पेपर निष्कर्ष निकालता है कि हम केवल यह नहीं कह सकते कि "AI भावनात्मक रूप से बुद्धिमान है" या "AI नहीं है।" यह बहुत जटिल है।

• कुछ AI भावनाओं को पहचानने में अच्छे हैं लेकिन यह अनुमान लगाने में बुरे हैं कि आप क्या चाहते हैं।
• कुछ AI बुरे व्यवहार को पहचानने में अच्छे हैं लेकिन यह जानने में बहुत खराब हैं कि आप कब दुखी हैं।
• कुछ मॉडल विशिष्ट कार्यों के लिए लगातार बेहतर हैं, लेकिन कोई भी एक मॉडल "परफेक्ट थेरेपिस्ट" नहीं है।

AttuneBench अनिवार्य रूप से एक नया, अधिक यथार्थवादी रिपोर्ट कार्ड है। AI को केवल एक ग्रेड देने के बजाय, यह उन्हें एक विस्तृत ट्रांसक्रिप्ट देता है जो दिखाता है कि वे कहाँ चमकते हैं और कहाँ विफल होते हैं, जिससे डेवलपर्स को उन विशिष्ट "भावनात्मक मांसपेशियों" को ठीक करने में मदद मिलती है जो कमजोर हैं।

पेपर से महत्वपूर्ण नोट: लेखक स्पष्ट रूप से कहते हैं कि यह बेंचमार्क केवल अनुसंधान और निदान (research and diagnosis) के लिए है। यह प्रमाणित करने का उपकरण नहीं है कि AI थेरेपिस्ट के रूप में उपयोग करने के लिए सुरक्षित है, और न ही इसका उपयोग अस्पतालों या संकट केंद्रों में AI को तैनात करने के बारे में निर्णय लेने के लिए किया जाना चाहिए। यह डेवलपर्स के लिए एक मापने का पैमाना है, जनता के लिए प्रमाणन (seal of approval) नहीं।