Unveiling the Limits of Large Language Models in Inferring Pragmatic Meaning from Non-Verbal Responses
यह शोध पत्र गैर-मौखिक प्रतिक्रियाओं से व्यावहारिक अर्थ निकालने की बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) की क्षमता का पहला व्यवस्थित मूल्यांकन प्रस्तुत करता है, जो यह प्रकट करता है कि वे मौखिक कार्यों की तुलना में ऐसे कार्यों के साथ काफी संघर्ष करते हैं लेकिन इन-कॉन्टेक्स्ट लर्निंग (इन-कॉन्टेक्स्ट लर्निंग) के माध्यम से बेहतर प्रदर्शन दिखाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक पार्टी में हैं। कोई आपसे पूछता है, "क्या आप डांस करना चाहते हैं?" और आप बिना कुछ कहे बस उन्हें घूरते रहते हैं। एक मानव अतिथि शायद समझ जाएगा कि आपकी चुप्पी का अर्थ है "नहीं, मैं थक गया हूँ," या शायद "मैं शर्मीला हूँ।" लेकिन क्या होगा अगर आप एक सुपर-स्मार्ट रोबोट से यह अनुमान लगाने को कहें कि आपका क्या मतलब था?
यह शोध पत्र मूल रूप से इस बात की रिपोर्ट कार्ड है कि बड़े भाषा मॉडल (LLMs)—जो ChatGPT जैसे टूल्स के पीछे के AI दिमाग हैं—कितनी अच्छी तरह से "कमरे की नब्ज" (read the room) पहचान सकते हैं जब लोग शब्दों का उपयोग नहीं करते।
यहाँ उनके निष्कर्षों का विवरण दिया गया, जिसमें कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है:
1. बड़ी खोज: "मौन" का अंतर (The "Silent" Gap)
शोधकर्ताओं ने इन AI मॉडलों का तीन प्रकार के गैर-मौखिक संचार (non-verbal communication) पर परीक्षण किया:
- मौन (Silence): कुछ न कहना (जैसे टेक्स्ट चैट में एक ठहराव)।
- चेहरे के भाव (Facial Expressions): इमोजी या चेहरे के विवरण का उपयोग करना (जैसे आँखें घुमाना या पसीने वाली मुस्कान)।
- हलचल (Movements): क्रियाओं का वर्णन करना (जैसे टूटे हुए लैपटॉप की ओर इशारा करना)।
परिणाम: AI मॉडल शब्दों को समझने में बहुत अच्छे हैं, लेकिन जब शब्द गायब होते हैं, तो वे बुरी तरह लड़खड़ा जाते हैं।
- उपमा: AI को एक ऐसे छात्र के रूप में सोचें जिसने पूरी डिक्शनरी रट ली है लेकिन उसने कभी बॉडी लैंग्वेज पढ़ना नहीं सीखा है। जब शिक्षक शब्दों में सवाल पूछता है, तो छात्र को 'A' ग्रेड मिलता है (90%+ सटीकता)। लेकिन जब शिक्षक बस एक भौंह उठाता है या चुप रहता है, तो छात्र का ग्रेड गिरकर 'D' या 'F' हो जाता है (सटीकता 60% तक गिर जाती है)।
- "मौन" की समस्या: यह सबसे कठिन हिस्सा था। मनुष्य यह समझने में बहुत कुशल होते हैं कि मौन का अर्थ "मैं असहमत हूँ" या "मैं विषय से बच रहा हूँ" हो सकता है। हालाँकि, AI अक्सर बस यही सोचता है, "ओह, उन्होंने कुछ नहीं कहा," और छिपे हुए अर्थ को पूरी तरह से मिस कर देता है।
2. क्या बड़ा मतलब बेहतर है?
टीम ने छोटे मॉडलों (3 बिलियन पैरामीटर्स) से लेकर विशाल मॉडलों (70+ बिलियन पैरामीटर्स) तक के सभी आकार के मॉडलों का परीक्षण किया।
- उपमा: एक लाइब्रेरी की कल्पना करें। एक छोटी लाइब्रेरी (छोटा मॉडल) में कम किताबें होती हैं, इसलिए उसे सही उत्तर खोजने में संघर्ष करना पड़ता है। एक विशाल लाइब्रेरी (बड़ी लाइब्रेरी) में लाखों किताबें होती हैं।
- निष्कर्ष: बड़ी लाइब्रेरी ने छोटे मॉडलों की तुलना में बेहतर प्रदर्शन किया, लेकिन यहाँ तक कि "सुपर-लाइब्रेरी" (सबसे बड़े मॉडल) भी कमरे की नब्ज पढ़ने की मानवीय क्षमता से मेल नहीं खा सके। यह एक विशाल विश्वकोश होने जैसा है जो फिर भी व्यंग्य या एक शांत "ना" को नहीं समझ पाता।
3. वे क्यों विफल होते हैं? ("Literal" का जाल)
जब AI गलत होता है, तो वह आमतौर पर दो विशिष्ट गलतियाँ करता है:
- "Literal" (शाब्दिक) जाल: AI ठीक वही बताता है जो वह देखता है लेकिन मुख्य बिंदु को मिस कर जाता है।
- उदाहरण: यदि कोई टूटे हुए लैपटॉप की ओर इशारा करता है, तो AI कह सकता है, "वे एक टूटी हुई वस्तु की ओर इशारा कर रहे हैं।" वह यह समझने में विफल रहता है कि इसका अर्थ है "मैं यह कार्य नहीं कर सकता।"
- "Vague" (अस्पष्ट) जाल: AI एक उबाऊ, सामान्य उत्तर देता है जो वास्तव में स्थिति को संबोधित नहीं करता है, जैसे यह कहना कि "एक व्यक्ति दूसरे व्यक्ति के साथ बातचीत कर रहा है।"
मुख्य मुद्दा: शोध पत्र सुझाव देता है कि AI सतह (शब्दों या स्वयं इमोजी) पर बहुत अधिक केंद्रित है, बजाय इसके कि वह गहरे अर्थ (कोई उस इमोजी या मौन का उपयोग क्यों कर रहा है) को समझे।
4. क्या हम उन्हें बेहतर सिखा सकते हैं?
शोधकर्ताओं ने AI को बेहतर समझने में मदद करने के लिए दो तरीकों का परीक्षण किया:
- विधि A: "ज़ोर से सोचना" (Chain-of-Thought): उन्होंने AI को उत्तर देने से पहले चरण-दर-चरण अपने तर्क को समझाने के लिए कहा।
- परिणाम: यह मिला-जुला रहा। कुछ मॉडलों के लिए, इससे मदद मिली। अन्य मॉडलों (जैसे GPT-4o) के लिए, इसने स्थिति को वास्तव में बदतर बना दिया क्योंकि AI शाब्दिक विवरणों का अत्यधिक विश्लेषण करने में फंस गया।
- विधि B: "केवल बताना नहीं, दिखाना" (Few-Shot Learning): उन्होंने AI को पहले से ही समान स्थितियों के कुछ उदाहरण दिए (जैसे, "यहाँ एक मामला है जहाँ मौन का अर्थ 'ना' था। अब, यहाँ एक नया मामला है...")।
- परिणाम: यह बहुत अच्छा काम कर गया! यह एक छात्र को टेस्ट से पहले कुछ अभ्यास प्रश्न दिखाने जैसा है। बड़े मॉडलों ने, विशेष रूप से, इन उदाहरणों से सीखने के बाद सही अर्थ का अनुमान लगाने में बहुत बेहतर प्रदर्शन किया।
5. निचोड़ (The Bottom Line)
शोध पत्र निष्कर्ष निकालता है कि जबकि AI भाषा को प्रोसेस करने में अविश्वसनीय रूप से स्मार्ट हो रहा है, वह अभी भी मानवीय बातचीत के "अलिखित नियमों" को समझने के लिए संघर्ष कर रहा है।
- मानव बनाम AI: मनुष्य गैर-मौखिक संकेतों के स्वाभाविक जासूस होते हैं। AI वर्तमान में एक ऐसे रोबोट की तरह है जिसे यह समझने के लिए एक मैनुअल की आवश्यकता है कि एक कंधे उचकाना या एक चुप्पी कुछ विशिष्ट अर्थ रख सकती है।
- समाधान: AI को सामान्य अर्थों में "अधिक स्मार्ट" होने की आवश्यकता नहीं है; इसे बस संदर्भ में गैर-मौखिक संकेतों के अधिक उदाहरण दिखाने की आवश्यकता है ताकि "जो कहा गया है" और "जिसका अर्थ है" के बीच के अंतर को पाटा जा सके।
संक्षेप में: यदि आप चाहते हैं कि कोई AI आपके मौन को समझे, तो आप केवल इसे अनुमान लगाने के लिए नहीं कह सकते। आपको इसे पहले यह दिखाना होगा कि मौन कैसे काम करता, अन्यथा यह पूरी तरह से बात को मिस कर देगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।