Tracing the ongoing emergence of human-like reasoning in Large Language Models
यह शोध पत्र प्रकट करता है कि जहाँ लार्ज लैंग्वेज मॉडल्स (Large Language Models) सिमेंटिक लॉजिक (semantic logic) में उच्च सटीकता प्रदर्शित करते हैं, वहीं वे आम तौर पर उस प्रैग्मैटिक रीजनिंग (pragmatic reasoning) को दोहराने में विफल रहते हैं जो मनुष्यों को संदर्भ-निर्भर अर्थों के साथ सशर्त कथनों को समृद्ध करने की अनुमति देती है, एक ऐसी क्षमता जो मॉडल आर्किटेक्चर या प्रशिक्षण अभिविन्यास के बावजूद एक उभरती हुई क्षमता बनी हुई है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को मानवीय बातचीत समझना सिखा रहे हैं। आप यह जानना चाहते हैं कि क्या वह केवल एक सुपर-फास्ट डिक्शनरी है जिसे शब्दों की परिभाषाएँ पता हैं, या उसने वास्तव में उन "अलिखित नियमों" को सीख लिया है कि इंसान वास्तव में कैसे बात करते हैं और सोचते हैं।
यह पेपर 25 अलग-अलग AI मॉडल्स (लार्ज लैंग्वेज मॉडल्स, या LLMs) के लिए एक रिपोर्ट कार्ड की तरह है, जो मानवीय तर्क के एक विशिष्ट परीक्षण पर आधारित है। यहाँ हमने जो पाया है, उसका विवरण सरल उपमाओं (analogies) का उपयोग करके दिया गया है।
परीक्षण: "इफ" (If) का खेल
शोधकर्ताओं ने "इफ" वाक्यों से जुड़ी एक क्लासिक लॉजिक पहेली का उपयोग किया। मानवीय बातचीत में, "इफ" वाक्य स्थिति के आधार पर दो बहुत अलग चीजें दर्शा सकते हैं।
- "सौदा" (Standard Conditional):
- उदाहरण: "अगर तुम घास काट दोगे, तो मैं तुम्हें $50 दूँगा।"
- मानवीय तर्क: हम इसे एक सख्त सौदे के रूप में समझते हैं। तुम्हें पैसे तभी मिलेंगे यदि तुम घास काटते हो। यदि तुम नहीं काटते, तो तुम्हें भुगतान नहीं किया जाएगा। हम इसमें एक छिपा हुआ नियम जोड़ देते हैं: "घास नहीं काटी = कोई पैसा नहीं।"
- "सूचना" (Biscuit Conditional):
- उदाहरण: "अगर तुम्हें भूख लगी है, तो ओवन में पिज्जा है।"
- मानवीय तर्क: हम इसे एक मददगार सुझाव के रूप में समझते हैं। पिज्जा वहाँ है, चाहे आपको भूख लगी हो या नहीं। "इफ" (यदि) पिज्जा के अस्तित्व के लिए कोई शर्त नहीं है; यह केवल यह जाँचने का एक तरीका है कि क्या आपको इसकी आवश्यकता है।
चुनौती: शोधकर्ताओं ने मनुष्यों और AI मॉडल्स को पेचीदा स्थितियों में यह निर्णय लेने के लिए कहा कि वाक्य का दूसरा भाग (परिणाम) सत्य था या नहीं।
- परिदृश्य: आपने घास नहीं काटी। क्या आपको पैसे मिले? (इंसान "नहीं" कहते हैं क्योंकि यह एक सौदा था)।
- परिदृश्य: आपको भूख नहीं लगी है। क्या ओवन में पिज्जा है? (इंसान "हाँ" कहते हैं क्योंकि पिज्जा वहाँ मौजूद है)।
परिणाम: "शाब्दिक" बनाम "लचीला"
अध्ययन में पाया गया कि मनुष्यों और AI मॉडल्स ने इन परीक्षणों को कैसे संभाला, इसमें एक स्पष्ट अंतर है।
1. मनुष्य "संदर्भ के जासूस" (Context Detectives) होते हैं
इंसान लाइनों के बीच पढ़ना जानते हैं। हम जानते हैं कि घास काटने के बारे में किया गया वादा एक सख्त सौदा है, लेकिन पिज्जा के बारे में की गई टिप्पणी केवल एक मददगार तथ्य है। हम स्थिति के आधार पर अपनी समझ को स्वचालित रूप से समायोजित करते हैं।
2. AI मॉडल्स "शाब्दिक रोबोट" (Literal Robots) होते हैं
AI मॉडल्स आमतौर पर मानव जासूसों की तरह व्यवहार करने में विफल रहे। वे मुख्य रूप से दो जाल में फंसे:
- जाल A: "कठोर मुनीम" (The Strict Accountant)
कुछ मॉडल्स एक कठोर कंप्यूटर प्रोग्राम की तरह काम करते थे। उन्होंने वाक्य "अगर तुम घास काटोगे, तो मैं भुगतान करूँगा" को देखा और कहा, "ठीक है, तार्किक रूप से, यदि आपने घास नहीं काटी, तो भी यह कथन तकनीकी रूप से सत्य है क्योंकि शर्त पूरी नहीं हुई थी।" उन्होंने निहित (implied) सौदे को अनदेखा कर दिया। वे सख्त तर्क पर इतने केंद्रित थे कि उन्होंने मानवीय अर्थ को नजरअंदाज कर दिया। - जाल B: "अति-सुधारकर्ता" (The Over-Corrector)
अन्य मॉडल्स बहुत स्मार्ट बनने की कोशिश करते हैं। उन्होंने तय किया कि हर "इफ" वाक्य एक सख्त सौदा है। इसलिए, जब उन्होंने सुना "अगर तुम्हें भूख लगी है, तो ओवन में पिज्जा है," तो उन्होंने सोचा, "आह, तो यदि आपको भूख नहीं लगी है, तो पिज्जा नहीं है।" उन्होंने पिज्जा वाले वाक्य पर "घास काटने" वाला नियम लागू कर दिया, जो गलत है।
मुख्य बात: AI मॉडल्स "इफ" की डिक्शनरी परिभाषा (तर्क) जानने में उत्कृष्ट हैं, लेकिन वे सामाजिक संदर्भ (प्रैगमैटिक्स) समझने में बहुत खराब हैं। वे उन अभिनेताओं की तरह हैं जिन्होंने स्क्रिप्ट तो पूरी तरह रट ली है, लेकिन वे चरित्र की भावनाओं को नहीं समझते।
क्या AI का "प्रकार" मायने रखता था?
शोधकर्ताओं ने सोचा कि क्या AI का "व्यक्तित्व" या "बनावट" परिणामों को बदल देगी। उन्होंने जाँच की:
- ओपन बनाम क्लोज्ड सोर्स: क्या सार्वजनिक कोड वाले मॉडल्स (Open) ने गुप्त वाले (Closed) से बेहतर प्रदर्शन किया? नहीं।
- विशेषज्ञ बनाम सामान्य: क्या "तर्क" के लिए विशेष रूप से बनाए गए मॉडल सामान्य चैटबॉट्स से बेहतर प्रदर्शन करते हैं? नहीं।
- आर्किटेक्चर: क्या एक विशिष्ट आंतरिक डिज़ाइन (Mixture-of-Experts) वाले मॉडल्स ने मानक मॉडल्स से बेहतर प्रदर्शन किया? नहीं।
यह अलग-अलग ब्रांड की कारों का परीक्षण करने जैसा था कि कौन सी बर्फ पर बेहतर चलती है। आश्चर्यजनक रूप से, इससे कोई फर्क नहीं पड़ा कि वह फेरारी है या टोयोटा; वे सभी एक ही तरह से फिसले। इन "अलिखित नियमों" को समझने की क्षमता ऐसी नहीं थी कि बड़े या अधिक जटिल मॉडल होने से यह अपने आप आ जाती। यह एक विशिष्ट, उभरता हुआ कौशल था जो कुछ मॉडल्स में था और दूसरों में नहीं, और आप केवल मॉडल के स्पेसिफिकेशन को देखकर इसकी भविष्यवाणी नहीं कर सकते थे।
"डिकोन्टेक्स्टुअलाइजेशन बायस" (Decontextualization Bias)
लेखक इस समस्या को "डिकोन्टेक्स्टुअलाइजेशन बायस" कहते हैं।
कल्पना कीजिए कि एक छात्र जो वर्कशीट पर गणित के सवालों में बहुत अच्छा है लेकिन जब आप उससे दोस्तों के साथ डिनर का बिल बांटने के लिए गणित का उपयोग करने को कहते हैं तो फेल हो जाता है। AI वह छात्र है जो गणित (तर्क) जानता है लेकिन यह नहीं सीख पाया है कि इसे वास्तविक जीवन (संदर्भ) में कैसे लागू किया जाए। क्योंकि AI को टेक्स्ट पर प्रशिक्षित किया गया है लेकिन वह वास्तव में वास्तविक दुनिया में नहीं रहता है, इसलिए उसे यह समझने में संघर्ष होता है कि कभी-कभी "इफ" का अर्थ एक सौदा होता है, और कभी-कभी इसका अर्थ केवल "वैसे भी" होता है।
सारांश
- मनुष्य स्वाभाविक रूप से सख्त तर्क और सामाजिक संदर्भ के बीच स्विच करते हैं।
- AI एक कठोर नियम (या तो हमेशा सख्त या हमेशा ढीला) पर टिके रहने की प्रवृत्ति रखता है और बारीकियों को चूक जाता है।
- कारण: यह मॉडल के आकार या इसके "ओपन सोर्स" होने के बारे में नहीं है। यह इस बारे में है कि AI में वर्तमान में "वास्तविक-दुनिया के आधार" (real-world grounding) की कमी है जो मनुष्यों को यह समझने में मदद करता है कि एक वादे और एक सलाह के बीच क्या अंतर है।
पेपर निष्कर्ष निकालता है कि हालांकि AI तर्क में बेहतर हो रहा है, लेकिन "मानवीय" क्षमता—कमरे की स्थिति को समझने और निहित अर्थों को समझने की—अभी भी प्रगति पर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।