CEI: A Benchmark for Evaluating Pragmatic Reasoning in Language Models
यह शोध पत्र कॉन्टेक्स्टुअल इमोशनल इन्फरेंस (CEI) बेंचमार्क प्रस्तुत करता है, जो 300 मानव-सत्यापित परिदृश्यों का एक डेटासेट है जिसे विविध शक्ति गतिशीलता और व्यावहारिक उपप्रकारों के माध्यम से अस्पष्ट कथनों को नेविगेट करते हुए शाब्दिक अर्थों से परे इच्छित अर्थ निकालने की बड़े भाषा मॉडलों (LLMs) की क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक डिनर पार्टी में हैं। कोई कहता है, "ओह, प्रेजेंटेशन पर शानदार काम किया," लेकिन वे एक आह भरते हैं और आँखें घुमाते हैं, जबकि प्रेजेंटेशन देने वाले व्यक्ति ने एक बहुत बड़ी गलती की है।
एक कंप्यूटर प्रोग्राम जो केवल शब्दों को देखता है, वह सोच सकता है: "वे खुश हैं! उन्होंने 'शानदार' शब्द का इस्तेमाल किया है!"
लेकिन एक इंसान सच जानता है: वे वास्तव में गुस्से में हैं।
जो कहा गया है और जो वास्तव में अर्थ है, उसके बीच के इस अंतर को प्रैग्मैटिक रीजनिंग (Pragmatic Reasoning) कहा जाता है। यह मानव संचार का गुप्त सूत्र है। हम अक्सर कटाक्ष (sarcasm), निष्क्रिय आक्रामकता (passive aggression) और शिष्ट झूठ का उपयोग करते हैं।
यह पेपर CEI (कॉन्टेक्स्टुअल इमोशनल इन्फरेंस - Contextual Emotional Inference) नामक एक नया परीक्षण पेश करता है ताकि यह देखा जा सके कि क्या आर्टिफिशियल इंटेलिजेंस (AI) इन छिपे हुए अर्थों को समझ सकता है। यहाँ इसे सरल शब्दों में समझाया गया है:
1. समस्या: AI "कमरे को पढ़ने" (Read the Room) में बुरा है
वर्तमान AI मॉडल उन प्रतिभाशाली छात्रों की तरह हैं जिन्होंने दुनिया के हर शब्दकोश को रट लिया है लेकिन उन्होंने वास्तव में कभी किसी इंसान से बात नहीं की है। वे शाब्दिक तथ्यों में बेहतरीन हैं लेकिन इन्हें समझने में बहुत खराब हैं:
- कटाक्ष (Sarcasm): जो आप कहना चाहते हैं उसका ठीक उल्टा कहना।
- निष्क्रिय आक्रामकता (Passive Aggression): सतह पर "अच्छा" दिखना जबकि अंदर से बुरा होना।
- रणनीतिक शिष्टता (Strategic Politeness): गरिमा बनाए रखने के लिए कड़वी बात को नरम बनाना।
- विषय परिवर्तन (Deflection): एक कठिन सत्य से बचने के लिए विषय बदलना।
- मिश्रित संकेत (Mixed Signals): जब शब्द एक बात कहते हैं, लेकिन स्थिति दूसरी बात कहती है।
2. समाधान: एक "सोशल डिटेक्टिव" टेस्ट
शोधकर्ताओं ने 300 लघु कहानियों (परिदृश्यों) का एक डेटासेट बनाया।
- सेटअप: प्रत्येक कहानी आपको संदर्भ (जैसे, "एक बॉस और एक कर्मचारी एक मीटिंग में हैं"), शक्ति का समीकरण (कौन प्रभारी है?), और वक्ता द्वारा बोला गया एक विशिष्ट वाक्य देती है।
- कार्य: आपको अनुमान लगाना है: यह व्यक्ति वास्तव में क्या महसूस कर रहा है?
- ट्विस्ट: वाक्य हो सकता है "ज़रूर, मैं इस वीकेंड अतिरिक्त काम संभाल लूँगा।" क्या यह ईमानदार है? क्या यह एक विनम्र "ना" है? क्या यह एक निष्क्रिय-आक्रामक "मैं तुमसे नफरत करता हूँ" है?
उन्होंने भावनाओं को लेबल करने के लिए "डिटेक्टिव" के रूप में 15 मानव छात्रों को काम पर रखा। उन्होंने AI को भी वही टेस्ट दिया।
3. परिणाम: इंसान संघर्ष करते हैं, और AI खो जाता है
चौंकाने वाली बात यह है: इंसानों को भी यह कठिन लगा।
- जब तीन अलग-अलग इंसानों ने एक ही परिदृश्य को देखा, तो वे अक्सर असहमत हुए।
- "सहमति स्कोर" कम था (लगभग 21%)। ऐसा इसलिए नहीं है कि इंसान बुरे थे; बल्कि इसलिए क्योंकि प्रैग्मैटिक अर्थ अस्पष्ट (fuzzy) होता है। कभी-कभी, "मैं ठीक हूँ" का अर्थ "मैं दुखी हूँ," "मैं क्रोधित हूँ," या "मैं बस थका हुआ हूँ" हो सकता है, और इसका कोई एक सही उत्तर नहीं होता।
- AI इससे भी बदतर प्रदर्शन कर गया। सबसे अच्छे AI मॉडल ने केवल 25% उत्तर सही दिए। इंसानों ने लगभग 54% सही दिए।
- उपमा: यदि यह एक ड्राइविंग टेस्ट था, तो इंसान बारिश में 50 मील प्रति घंटे की रफ्तार से गाड़ी चला रहे हैं (थोड़ा डगमगा रहे हैं, लेकिन पहुँच रहे हैं)। AI 10 मील प्रति घंटे की रफ्तार से चल रहा है, भ्रमित है कि कौन सी लेन कौन सी है, और बार-बार किनारे से टकरा रहा है।
4. AI क्यों विफल हो रहा है?
पेपर ने पाया कि AI विशिष्ट तरीकों से विफल होता है:
- यह चीजों को बहुत शाब्दिक रूप से लेता है। यदि आप व्यंग्य में कहते हैं "यह एक शानदार विचार है," तो AI सोचता है कि आप खुश हैं।
- यह शक्ति के समीकरणों (Power Dynamics) को अनदेखा करता है। यह नहीं समझता कि एक कर्मचारी का बॉस को "ज़रूर" कहना, एक दोस्त का दोस्त को "ज़रूर" कहने से अलग होता है।
- यह "अस्पष्ट" चीजों को नहीं संभाल पाता। जब इंसान भावनाओं पर असहमत होते हैं, तो AI बस सबसे सामान्य नकारात्मक भावना (जैसे क्रोध या उदासी) का अनुमान लगाता है और आगे बढ़ जाता है। इसमें यह कहने की सहज बुद्धि नहीं होती कि, "हम्म, यह संदिग्ध है।"
5. यह क्यों मायने रखता है?
आप सोच सकते हैं, "तो क्या हुआ? AI बस चुटकुलों में बुरा है।" लेकिन यह कौशल वास्तविक दुनिया की सुरक्षा और उपयोगिता के लिए महत्वपूर्ण है:
- मानसिक स्वास्थ्य: यदि कोई चैटबॉट किसी अवसाद से ग्रस्त व्यक्ति से बात कर रहा है, और वह व्यक्ति कहता है "मैं ठीक हूँ" (लेकिन उसका अर्थ "मैं ठीक नहीं हूँ" है), तो AI को यह जानना चाहिए कि "क्या आप सुनिश्चित हैं?" पूछना है।
- कार्यस्थल सुरक्षा: यदि कोई HR टूल ईमेल में "विषाक्त" व्यवहार को स्कैन करता है, तो उसे उन निष्क्रिय-आक्रामक ईमेलों को पकड़ना चाहिए जो सतह पर विनम्र दिखते हैं लेकिन वास्तव में शत्रुतापूर्ण होते हैं।
- पहुंच (Accessibility): उन लोगों के लिए जो सामाजिक संकेतों (social cues) को समझने में संघर्ष करते हैं (जैसे ऑटिज्म से पीड़ित लोग), "शिष्ट झूठ" को "वास्तविक भावनाओं" में अनुवाद करने वाले AI उपकरण एक बड़ी मदद हो सकते हैं।
निचोड़ (The Bottom Line)
यह पेपर एक वास्तविकता की जाँच है। यह दिखाता है कि भले ही AI गणित और लेखन में स्मार्ट हो रहा है, लेकिन यह अभी भी सामाजिक रूप से अनाड़ी है। यह एक कविता लिख सकता है, लेकिन यह नहीं बता सकता कि आप कटाक्ष कर रहे हैं या नहीं।
शोधकर्ताओं ने इस टेस्ट को जनता के लिए जारी किया है ताकि अन्य वैज्ञानिक भी इसे ठीक करने की कोशिश कर सकें। वे अनिवार्य रूप से कह रहे हैं: "यहाँ एक दर्पण है जो दिखा रहा है कि हमारा AI कहाँ अंधा है। चलिए इसे कमरे को पढ़ना सिखाने पर काम करते हैं।"
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।