← नवीनतम पेपर
💻 computer science

CAREBench: Evaluating LLMs' Emotion Understanding by Assessing Cognitive Appraisal Reasoning

यह शोधपत्र CAREBench को प्रस्तुत करता है, जो मूल्यांकन सिद्धांत (appraisal theory) पर आधारित एक नवीन बेंचमार्क है, जो केवल लेबल भविष्यवाणी के बजाय संज्ञानात्मक तर्क श्रृंखलाओं (cognitive reasoning chains) के माध्यम से LLMs की भावना समझ का मूल्यांकन करता है, जिससे यह पता चलता है कि वर्तमान मॉडल कुछ कार्यों पर मानव प्रदर्शन के स्तर तक पहुँचने के बावजूद, मूल्यांकन तर्क (appraisal reasoning) और सकारात्मक भावनाओं की पहचान करने में संघर्ष करते हैं।

मूल लेखक: Zhaoyue Sun, Hainiu Xu, Andero Uusberg, James J. Gross, Petr Slovak, Yulan He

प्रकाशित 2026-05-19
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Zhaoyue Sun, Hainiu Xu, Andero Uusberg, James J. Gross, Petr Slovak, Yulan He

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को मानवीय भावनाओं को समझना सिखाने की कोशिश कर रहे हैं। लंबे समय तक, हमने इन रोबोट्स का परीक्षण एक सरल प्रश्न पूछकर किया: "यह व्यक्ति क्या महसूस कर रहा है?" और एक एकल उत्तर की अपेक्षा की जैसे "दुखी" या "खुश"।

इस शोध पत्र के लेखक, CAREBench, तर्क देते हैं कि यह एक शेफ का परीक्षण करने जैसा है जिसमें केवल यह पूछा जाता है कि "क्या सूप नमकीन है?" बिना कभी यह पूछे कि उसका स्वाद ऐसा क्यों है या उन्होंने उसे कैसे बनाया। एक रोबोट पैटर्न को याद करके सही अंदाज़ा लगा सकता है, बिना वास्तव में खाना पकाने की प्रक्रिया को समझे।

यहाँ एक सरल विवरण दिया गया है कि उन्होंने क्या किया और उन्हें क्या मिला, रोजमर्रा के उपमाओं (analogies) का उपयोग करते हुए।

1. समस्या: भावना का "ब्लैक बॉक्स" (The "Black Box" of Emotion)

वर्तमान AI भावना समझ के परीक्षण बहुत उथले हैं। वे भावनाओं को एक वेंडिंग मशीन की तरह मानते हैं: आप एक कहानी डालते हैं, और मशीन एक लेबल (जैसे, "क्रोधित") थूक देती है। लेकिन वास्तविक मानवीय भावनाएँ एक जटिल रेसिपी की तरह होती हैं। वे इस बात पर निर्भर करती हैं कि एक व्यक्ति किसी स्थिति की व्याख्या कैसे करता है।

  • पुराना तरीका: "कार खराब हो गई।" -> AI कहता है: "हताश।"
  • असली तरीका: "कार खराब हो गई" -> व्याख्या: "मुझे काम के लिए देर हो रही है और मैं इसे खुद ठीक नहीं कर सकता" -> परिणाम: "हताश।"

शोध पत्र का तर्क है कि यदि AI "व्याख्या" (Interpretation) के चरण को छोड़ देता है, तो वह वास्तव में भावना को नहीं समझता; वह केवल कीवर्ड्स के आधार पर अनुमान लगा रहा है।

2. समाधान: "CAREBench" रेसिपी बुक

इसे ठीक करने के लिए, शोधकर्ताओं ने CAREBench नामक एक नया परीक्षण बनाया। केवल अंतिम भावना पूछने के बजाय, उन्होंने एक ऐसा डेटासेट बनाया जो AI को चरण-दर-चरण अपना काम दिखाने के लिए मजबूर करता है।

उन्होंने लोगों से उनके भावनात्मक अनुभवों के बारे में 1,000 वास्तविक जीवन की कहानियाँ एकत्र कीं। फिर, उन्होंने इन कहानियों को चार परतों में एनोटेट (annotate) करने के लिए मनुष्यों से कहा, जिससे एक पूर्ण "चेन ऑफ थॉट" (सोचने की श्रृंखला) बनी:

  1. कहानी: क्या हुआ?
  2. तर्क (Reasoning): यह क्यों मायने रखता है? (जैसे, "यह मेरी योजना को बिगाड़ देता है।")
  3. रेटिंग (Rating): इस भावना की तीव्रता कितनी है? (जैसे, "मैं 80% नियंत्रण महसूस करता हूँ।")
  4. भावना (Emotion): अंतिम भावना क्या है? (जैसे, "चिंतित।")

महत्वपूर्ण रूप से, उन्होंने इसे दो दृष्टिकोणों से किया:

  • प्रथम-व्यक्ति (First-Person): वह व्यक्ति जिसने कहानी जी।
  • तृतीय-व्यक्ति (Third-Person): एक पर्यवेक्षक जो कहानी पढ़ रहा है।

यह एक जासूस (AI) की तरह है जो संदिग्ध की डायरी (प्रथम-व्यक्ति) को देखकर अपराध सुलझाने की कोशिश करता है और साथ ही उस गवाह का साक्षात्कार भी लेता है जिसने घटना को देखा था (तृतीय-व्यक्ति)।

3. परीक्षण: रसोई में छह AI मॉडल

शोधकर्ताओं ने छह विभिन्न लार्ज लैंग्वेज मॉडल्स (LLMs) का परीक्षण किया—कुछ प्रसिद्ध जैसे GPT और Claude, और कुछ विशेष मनोवैज्ञानिक डेटा पर प्रशिक्षित मॉडल। उन्होंने मॉडल्स को केवल अंतिम भावना का अनुमान लगाने के बजाय पूरी श्रृंखला के प्रत्येक चरण को पूरा करने के लिए कहा।

4. परिणाम: AI अच्छे अनुमान लगाने वाले हैं, लेकिन बुरे शेफ हैं

यहाँ उन्होंने क्या खोजा, सरल रूपकों का उपयोग करते हुए:

  • "अच्छी खबर" (सतही स्तर): जब AI को केवल अंतिम भावना का अनुमान लगाना था (जैसे, "क्या यह व्यक्ति खुश है या दुखी?"), तो सबसे स्मार्ट मॉडल्स ने मानव पर्यवेक्षकों के बराबर या उनसे भी बेहतर प्रदर्शन किया। वे स्पष्ट संकेतों को पहचानने में माहिर हैं।
  • "बुरी खबर" (गहरी समझ): जब यह समझाने के लिए कहा गया कि व्यक्ति ऐसा क्यों महसूस कर रहा था (तर्क वाला चरण), तो AI संघर्ष करता है। यह अक्सर अस्पष्ट या सामान्य उत्तर देता है। यह उस छात्र की तरह है जो गणित के टेस्ट में सही उत्तर तो देता है लेकिन अपना काम (steps) नहीं दिखा पाता।
  • "सकारात्मक भावना" का ब्लाइंड स्पॉट: AI सकारात्मक भावनाओं (जैसे "आशावादी" या "कृतज्ञ") को पहचानने में आश्चर्यजनक रूप से खराब था। यह नकारात्मक भावनाओं (जैसे "क्रोधित" या "दुखी") को पहचानने में बहुत बेहतर था। ऐसा लगता है जैसे रोबोट अलार्म सुनने के लिए ट्यून किया गया है लेकिन हँसी की आवाज़ को मिस कर देता है।
  • "चेन रिएक्शन" की विफलता: शोधकर्ताओं ने तर्क (reasoning) टेक्स्ट पहले देकर AI की मदद करने की कोशिश की, इस उम्मीद में कि यह उसे सही भावना प्राप्त करने में मदद करेगा।
    • परिणाम: जब मनुष्यों ने तर्क प्रदान किया, तो AI बेहतर हो गया।
    • परिणाम: जब AI ने पहले अपना तर्क लिखने की कोशिश की, तो वह वास्तव में और खराब हो गया। यह अपने स्वयं के विचारों को बहुत अधिक नाटकीय बनाने लगा, जिससे इसकी अंतिम उत्तर प्रक्रिया भ्रमित हो गई।
  • "मानवीय विविधता" का अंतर: मनुष्य सभी एक जैसा व्यवहार नहीं करते। यदि आप एक दुखद कहानी पढ़ते हैं, तो एक व्यक्ति "दुखी" महसूस कर सकता है, दूसरा "क्रोधित", और दूसरा "सहानुभूति" महसूस कर सकता है। AI मॉडल इस विविधता को पकड़ने में विफल रहे। वे एक एकल, औसत उत्तर देने की प्रवृत्ति रखते थे, इस तथ्य को भूल जाते थे कि अलग-अलग लोग एक ही घटना के प्रति अलग-अलग महसूस करते हैं।

5. मुख्य निष्कर्ष

शोध पत्र निष्कर्ष निकालता है कि वर्तमान AI मॉडल "सतही-स्तर" के भावना डिटेक्टर हैं। वे अंतिम लेबल का अनुमान लगाने के लिए पैटर्न मिलान करने में उत्कृष्ट हैं, लेकिन उन्होंने उस जटिल मानसिक प्रक्रिया को वास्तव में आत्मसात नहीं किया है कि मनुष्य भावनाएँ कैसे उत्पन्न करते हैं।

यदि हम केवल इस बात पर AI का परीक्षण करते हैं कि क्या वे सही भावना लेबल का अनुमान लगा सकते हैं, तो हम उनकी बुद्धिमत्ता का अतिरंजित आकलन कर रहे हैं। हमें उन्हें "क्यों" और "कैसे" के माध्यम से तर्क करने की उनकी क्षमता पर परखने की आवश्यकता है, ठीक वैसे ही जैसे हम एक छात्र को विषय की समझ पर परखते हैं, न कि केवल उत्तर कुंजी को याद करने की उनकी क्षमता पर।

संक्षेप में: AI आपको बता सकता है कि कोई क्या महसूस कर रहा है, लेकिन वह अभी भी पूरी तरह से नहीं समझता है कि वे ऐसा क्यों महसूस कर रहे हैं, और न ही वह इस बात को समझता है कि अलग-अलग लोग एक ही स्थिति के बारे में अलग-अलग महसूस कर सकते हैं।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💻 cs →