Revisiting the Systematicity in Negation in the Era of In-Context Learning
यह शोधपत्र इन-कॉन्टेक्स्ट लर्निंग के माध्यम से बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) में निषेध (नेगेशन) बोध की व्यवस्थितता की जांच करता है, जो यह प्रकट करता है कि जबकि मॉडल प्रदर्शनों (डेमोंस्ट्रेशन) के माध्यम से निषेध अभिव्यक्तियों और उनके दायरे (स्कोप) को आंशिक रूप से पहचान सकते हैं, वे पूर्ण प्रदर्शन करने और स्कोप पहचान के लिए फंक्शन वेक्टर्स को मजबूती से निर्मित करने में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े शाब्दिक अर्थों को पकड़ने वाले (literal-minded) रोबोट को "not" शब्द को समझना सिखा रहे हैं। आप उसे कुछ उदाहरण दिखाते हैं: "The cat is not happy" और "The dog is not running." आप उम्मीद करते हैं कि रोबोट एक सामान्य नियम सीख जाएगा कि कैसे "not" वाक्य के अर्थ को बदल देता है, ताकि वह उन नए वाक्यों को भी संभाल सके जिन्हें उसने पहले कभी नहीं देखा है।
यह शोध पत्र उस रोबोट के बारे में दो बड़े सवाल पूछता है:
- व्यवहारगत व्यवस्थितता (Behavioral Systematicity): क्या रोबट वास्तव में नए वाक्यों पर काम सही ढंग से कर सकता है?
- प्रतिनिधित्व संबंधी व्यवस्थितता (Representational Systematicity): क्या रोबोट वास्तव में अपने मस्तिष्क के भीतर "not" की अवधारणा को समझता है, या वह केवल पैटर्न के आधार पर अनुमान लगा रहा है?
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है।
1. "व्यवहार" परीक्षण: क्या रोबोट काम कर सकता है?
शोधकर्ताओं ने रोबोट को इन-कॉन्टेक्स्ट लर्निंग (ICL) का उपयोग करके सिखाया। इसे ऐसे समझें जैसे आप रोबोट को सवाल पूछने से ठीक पहले एक 'चीट शीट' (कुछ उदाहरण) दे रहे हैं, न कि उसके पूरे मस्तिष्क को फिर से प्रशिक्षित कर रहे हैं।
उन्होंने रोबोट को दो प्रकार के कार्य दिए:
- कार्य A ( "not" को खोजना): वाक्य में "not" शब्द की ओर इशारा करें।
- कार्य B ( "स्कोप" या विस्तार खोजना): यह पता लगाएं कि "not" किस चीज़ को बदल रहा है। उदाहरण के लिए, "I do not eat apples" में, क्या "not" केवल "eat" पर लागू होता है, या "eat apples" पर?
परिणाम:
- शब्द खोजना: जब रोबोट को उदाहरण दिए गए, तो वह "not" शब्द को पहचानने में काफी अच्छा था। यह उस कार्य के लगभग बराबर था जहाँ उसे केवल किसी शब्द का विपरीत अनुमान लगाना था (जैसे "hot" "cold")।
- स्कोप खोजना: यहीं पर रोबोट लड़खड़ा गया। उसे यह समझने में कठिनाई हुई कि वाक्य का ठीक कौन सा हिस्सा नकारात्मक (negated) किया जा रहा है।
- "फॉर्मेट" का जाल: रोबोट का प्रदर्शन इस बात पर बहुत अधिक बदल जाता था कि आपने उससे उत्तर कैसे मांगा।
- यदि आपने उससे स्कोप के भीतर के शब्द लिखने को कहा (जैसे "eat apples"), तो वह ठीक-ठाक था।
- यदि आपने उसे शब्दों के चारों ओर ब्रैकेट लगाने को कहा (जैसे "[eat apples]"), तो वह भ्रमित हो गया।
- यदि आपने उसे हर शब्द को 0 या 1 के साथ चिह्नित करने को कहा (एक चेकलिस्ट की तरह), तो वह पूरी तरह से विफल रहा।
निष्कर्ष: रोबोट "not" को पहचानना सीख सकता है, लेकिन उसके पास "not" कैसे काम करता है, इसकी कोई ठोस, सार्वभौमिक समझ नहीं है। यह एक ऐसे छात्र की तरह है जो गणित की परीक्षा पास कर सकता है यदि प्रश्न अभ्यास वाले प्रश्नों जैसे ही हों, लेकिन यदि शिक्षक प्रारूप (format) थोड़ा भी बदल दे, तो वह भ्रमित हो जाता है।
2. "ब्रेन स्कैन" परीक्षण: क्या रोबोट के पास "not" बटन है?
यह देखने के लिए कि क्या रोबोट वास्तव में अवधारणा को समझता है, शोधकर्ताओं ने फंक्शन वेक्टर्स (Function Vectors) नामक एक तकनीक का उपयोग किया।
उपमा: कल्पना कीजिए कि रोबोट का मस्तिष्क हजारों श्रमिकों (न्यूरॉन्स) वाला एक विशाल कारखाना है। जब आप रोबोट को "not" के उदाहरण दिखाते हैं, तो श्रमिकों का एक विशिष्ट समूह उत्साहित हो जाता है और एक विशिष्ट कार्य करना शुरू कर देता है। शोधकर्ताओं ने उस "उत्साह" को एक एकल डिजिटल फ़ाइल (वेक्टर) के रूप में पकड़ने की कोशिश की।
फिर, उन्होंने उस फ़ाइल को लिया और बिना कोई उदाहरण दिखाए, एक नए वाक्य को देखते समय उसे रोबोट के मस्तिष्क में इंजेक्ट (inject) कर दिया। यह ऐसा है जैसे आप रोबोट को एक "जादुई गोली" दे रहे हैं जो उसे तुरंत "निषेध मोड" (Negation Mode) में स्विच करने के लिए मजबूर करती है।
परिणाम:
- "not" शब्द खोजने के लिए: जादुई गोली काम कर गई! जब उन्होंने "निषेध मोड" फ़ाइल को इंजेक्ट किया, तो रोबोट बिना किसी उदाहरण के, नए वाक्यों में "not" शब्द को सही ढंग से खोज सका। इससे पता चलता है कि रोबोट के पास "संकेत खोजने" का एक स्पष्ट, संरचित प्रतिनिधित्व (representation) है।
- स्कोप खोजने के लिए: जादुic गोली विफल रही। फ़ाइल को इंजेक्ट करने से रोबोट को यह समझने में मदद नहीं मिली कि निषेध (negation) का विस्तार क्या है। रोबोट अभी भी वह काम नहीं कर सका।
निष्कर्ष: रोबोट के पास "not" के संकेत को पहचानने के लिए एक स्पष्ट, व्यवस्थित "फ़ाइल" है। हालाँकि, उसके पास इस जटिल तर्क को समझने के लिए कोई स्पष्ट, व्यवस्थित "फ़ाइल" नहीं है कि "not" वास्तव में किसे नकार रहा है। यह ऐसा है जैसे रोबोट के पास "not शब्द खोजो" कहने वाला बटन तो है, लेकिन उसके पास "not का अर्थ समझो" कहने वाला बटन नहीं है।
सारांश
- क्या रोबोट सीख सकता है? हाँ, लेकिन एक सीमा तक। वह "not" के संकेत को पहचान सकता है यदि आप उसे उदाहरण दिखाएं, लेकिन वह पूर्ण अर्थ समझने में संघर्ष करता है, विशेष रूप से यदि आप प्रश्न को अलग तरीके से पूछें।
- क्या रोबोट समझता है? आंशिक रूप से। उसके पास संकेत खोजने के लिए एक ठोस, संगठित आंतरिक प्रतिनिधित्व है, लेकिन वह निषेध के स्कोप (विस्तार) को समझने के लिए एक मजबूत आंतरिक प्रतिनिधित्व बनाने में विफल रहता है।
शोध पत्र निष्कर्ष निकालता है कि हालांकि लार्ज लैंग्वेज मॉडल्स (LLMs) बेहतर हो रहे हैं, फिर भी उनमें उस गहरे, व्यवस्थित "तर्क" की कमी है जो मनुष्यों में होता है जब हम तुरंत समझ जाते हैं कि "The dog didn't chase the cat" का उल्टा "The cat didn't chase the dog" है। वे पैटर्न पहचानने में अच्छे हैं, लेकिन वास्तविक संरचनात्मक तर्क (structural reasoning) में अभी नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।