Evaluating Pragmatic Reasoning in Large Language Models: Evidence from Scalar Diversity
यह अध्ययन प्रदर्शित करता है कि बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) में व्यावहारिक तर्क (प्रैग्मैटिक रीजनिंग), जिसे स्केलर विविधता के माध्यम से आंका गया है, एक स्थिर क्षमता नहीं है बल्कि आंतरिक संभाव्यतात्मक निरूपणों और कार्य-प्रेरित प्रॉम्प्टिंग व्यवहारों के बीच एक परिवर्तनशील अंतःक्रिया है, जो मॉडल की क्षमताओं की व्याख्या करने में मूल्यांकन डिजाइन के महत्वपूर्ण प्रभाव को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि क्या एक नया रोबोट दोस्त वास्तव में मानवीय बातचीत को समझता है, या वह केवल सही सवाल पूछने पर अभिनय करने में माहिर है। यह बिल्कुल वही है जो ये-यून चो (Ye-eun Cho) का शोध पत्र "Evaluating Pragmatic Reasoning in Large Language Models" के बारे में है।
यहाँ इस अध्ययन की कहानी है, जिसे सरल शब्दों में और कुछ सहायक उपमाओं (analogies) के साथ समझाया गया है।
बड़ा सवाल: क्या रोबट स्मार्ट है, या सिर्फ अभिनय करने में अच्छा है?
लार्ज लैंग्वेज मॉडल्स (LLMs) उन अविश्वसनीय रूप से पढ़े-लिखे छात्रों की तरह हैं जिन्होंने इंटरनेट पर लगभग सब कुछ पढ़ लिया है। वे व्याकरण और तथ्यों में बहुत अच्छे हैं। लेकिन क्या वे लोगों की बातों में छिपे छिपे हुए अर्थ को समझ सकते हैं?
मानवीय बातचीत में, हम अक्सर ऐसी बातें कहते हैं जैसे, "कुछ कुकीज़ खाई गई थीं।" हमारा मतलब केवल "कम से कम एक" नहीं होता; हम आमतौर पर यह भी संकेत देते हैं कि "सभी नहीं।" इसे स्केलर इम्पलिसचर (scalar implicature) कहा जाता है। यह एक सूक्ष्म सामाजिक नियम है: यदि मैं कहता हूँ "कुछ," तो मैं यह संकेत दे रहा हूँ कि मैंने "सभी" नहीं कहा क्योंकि "सभी" सच नहीं था।
शोधकर्ताओं ने जो बड़ा सवाल पूछा वह यह था: क्या ये AI मॉडल वास्तव में इस छिपे हुए अर्थ को "समझते" हैं, या वे केवल तब समझने का नाटक करते हैं जब हम उनसे विनम्रता से पूछते हैं?
रोबोट को टेस्ट करने के दो तरीके
इस उत्तर को खोजने के लिए, शोधकर्ताओं ने मॉडल्स को टेस्ट करने के दो अलग-अलग तरीके इस्तेमाल किए, जो कि किसी छात्र के ज्ञान को टेस्ट करने के दो अलग-अलग तरीकों की तरह हैं:
- "आंतरिक अंतर्ज्ञान" (Direct Probability - डायरेक्ट प्रोबेबिलिटी):
कल्पना कीजिए कि आप रोबोट को बिना जोर से बोले वाक्य में अगला शब्द अनुमान लगाने के लिए कह रहे हैं। आप उसके आंतरिक गणित (internal math) को देखते हैं कि वह वास्तव में क्या सोचता है कि सबसे अधिक संभावित क्या है।
- उपमा: यह एक छात्र के ब्रेनवेव्स (brainwaves) को देखने जैसा है जब वे परीक्षा दे रहे होते हैं। यह दिखाता है कि वे जवाब देने की कोशिश करने से पहले स्वाभाविक रूप से क्या जानते हैं।
- "मौखिक परीक्षा" (Metalinguistic Prompting - मेटालिंग्विस्टिक प्रॉम्प्टिंग):
यह तब होता है जब आप रोबोट से सीधे पूछते हैं: "यदि मैं कहता हूँ 'कुछ कुकीज़ खाई गई थीं,' तो क्या इसका मतलब है कि 'सभी कुकीज़ नहीं खाई गईं'? कृपया हाँ या ना में उत्तर दें।"
- उपमा: यह छात्र को हाथ उठाने और अपना उत्तर समझाने के लिए कहने जैसा है। यह वह है जो वे कहते हैं कि वे जानते हैं, जो कि इस बात से प्रभावित हो सकता है कि सवाल कैसे पूछा गया है।
प्रयोग: 60 अलग-अलग "कुछ" का मेनू
शोधकर्ताओं ने केवल एक वाक्य का परीक्षण नहीं किया। उन्होंने 60 अलग-अलग शब्द जोड़ों (जैसे some/all, warm/hot, good/excellent) का एक "मेनू" उपयोग किया।
- कुछ जोड़े इंसानों के लिए निष्कर्ष निकालना आसान बनाते हैं (जैसे some का अर्थ not all निहित है)।
- कुछ जोड़े कठिन या कमजोर होते हैं (जैसे warm का अर्थ हमेशा not hot नहीं होता)।
इस विविधता को स्केलर डाइवर्सिटी (Scalar Diversity) कहा जाता है। यह एक शेफ को केवल यह टेस्ट करने जैसा है कि वह स्टेक कितनी अच्छी तरह पकाता है, बल्कि यह भी कि वह 60 अलग-अलग सामग्रियों, नाजुक जड़ी-बूटियों से लेकर सख्त जड़ों तक को कैसे संभालता है।
उन्हें क्या मिला: एक अप्रत्याशित मोड़ (The Plot Twist)
परिणाम आश्चर्यजनक थे और उन्होंने दिखाया कि इन मॉडल्स की बुद्धिमत्ता के बारे में कोई एक एकल "सत्य" नहीं है।
1. "आंतरिक अंतर्ज्ञान" और "मौखिक परीक्षा" असहमत हैं
अक्सर, रोबोट का आंतरिक गणित (Gut Check) और उसका बोला गया उत्तर (Oral Exam) पूरी तरह से अलग कहानियाँ बताते हैं।
- कभी-कभी रोबोट का आंतरिक गणित कहता, "मुझे वास्तव में समझ नहीं आता," लेकिन जब उससे विनम्रता से पूछा गया, तो उसने कहा, "हाँ, मैं समझता हूँ!"
- अन्य मामलों में, आंतरिक गणित आत्मविश्वासी था, लेकिन बोला गया उत्तर भ्रमित था।
- निष्कर्ष: आप केवल एक विधि को देखकर यह नहीं जान सकते कि रोबक "सक्षम" है या नहीं। यह उस छात्र की तरह है जो अपने दिमाग में उत्तर जानता है लेकिन बोलने के लिए पूछे जाने पर जम जाता है, या इसके विपरीत।
2. "अभिनय" स्क्रिप्ट पर निर्भर करता है
जिस तरह से शोधकर्ताओं ने सवाल पूछा, वह बहुत मायने रखता था।
- यदि उन्होंने एक सरल प्रश्न पूछा, तो रोबोट "नहीं" कह सकता है।
- यदि उन्होंने एक विनम्र परिचय जोड़ा जैसे, "आप एक सहायक सहायक हैं, मुझे बताएं...", तो रोबोट अचानक "हाँ" कह सकता है।
- निष्कर्ष: रोबोट का "प्रदर्शन" सवाल की शैली पर बदल जाता है। यह जरूरी नहीं कि रोबोट ने कुछ नया सीखा हो; वह बस सवाल के तरीके पर प्रतिक्रिया दे रहा है।
3. अलग-अलग रोबोट, अलग-अलग व्यक्तित्व
अध्ययन ने दो अलग-अलग प्रकार के AI मॉडल्स (Flan-T5 और Qwen) का परीक्षण किया।
- Flan-T5 थोड़ा अधिक सुसंगत (consistent) था। इसका आंतरिक गणित और बोले गए उत्तर एक-दूसरे के करीब थे।
- Qwen बहुत नाटकीय था। इसका आंतरिक गणित अक्सर बहुत कम था (ऐसा लग रहा था कि वह उत्तर "जानता" नहीं है), लेकिन सीधे पूछे जाने पर, इसने सटीक उत्तर दिए, जैसे कि वह अभिनय कर रहा हो।
- निष्कर्ष: केवल इसलिए कि एक AI मॉडल स्मार्ट दिखता है, इसका मतलब यह नहीं है कि सभी AI मॉडल एक ही तरह से काम करते हैं।
4. "तुलना" वाली ट्रिक
जब शोधकर्ताओं ने रोबोट को आमने-सामने दो विकल्पों की तुलना करने के लिए कहा ("A या B में से कौन सा बेहतर है?"), तो रोबोट अकेले एक वाक्य को जज करने की तुलना में कार्य में बहुत बेहतर हो गया।
- निष्कर्ष: रोबोट के लिए शून्य से उत्तर उत्पन्न करने के बजाय, सही उत्तर चुनना आसान है।
अंतिम निर्णय
पेपर यह निष्कर्ष निकालता है कि हम यह नहीं कह सकते कि, "इस AI में प्रैग्मैटिक रीजनिंग (व्यावहारिक तर्क) है" या "इस AI में प्रैग्मैटिक रीजनिंग नहीं है।"
इसके बजाय, AI में प्रैग्मैटिक रीजनिंग दो भागीदारों के बीच एक नृत्य की तरह है:
- रोबोट का आंतरिक ज्ञान (जो उसने वास्तव में सीखा है)।
- जिस तरह से हम सवाल पूछते हैं (प्रॉम्प्ट)।
यदि आप डांस पार्टनर (प्रॉम्प्ट) या संगीत (कार्य) को बदलते हैं, तो नृत्य बदल जाता है। रोबोट आवश्यक रूप से मानव के अर्थ में "झूठ" नहीं बोल रहा है या "जान" नहीं रहा है; वह केवल उस विशिष्ट स्थिति के प्रति प्रतिक्रिया दे रहा है जिसमें वह है।
संक्षेप में: यदि आप समझना चाहते हैं कि क्या एक AI मानवीय बारीकियों को समझता है, तो आप केवल एक सवाल पूछकर उसके जवाब को सच मानकर नहीं चल सकते। आपको यह देखना होगा कि वह विभिन्न स्थितियों में कैसा व्यवहार करता है, क्योंकि उसकी "क्षमता" कोई स्थिर गुण नहीं है—यह इस बात का मिश्रण है कि वह क्या जानता है और आप उसे कैसे पूछते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।