Nothing from Something: Can a Language Model Discover 0?
यह शोध पत्र इस बात की जांच करता है कि क्या भाषा मॉडल शून्य की अवधारणा को स्वतंत्र रूप से खोज सकते हैं, जिसमें यह पाया गया है कि जबकि GPT-2 आकार के मॉडल केवल मानक अंकगणित से इस अवधारणा को सामान्य बनाने में विफल रहते हैं, वे न्यूनतम उदाहरणों के साथ इसे सीख सकते हैं, एक ऐसी प्रक्रिया जो पूर्व भाषा प्रीट्रेनिंग द्वारा काफी तेज हो जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को गणित करना सिखा रहे हैं, लेकिन एक बहुत ही सख्त नियम के साथ: रोबोट को कभी भी शून्य (zero) संख्या देखने की अनुमति नहीं है। आप उसे हजारों समस्याएं दिखाते हैं जैसे "2 + 3 = 5" या "9 - 4 = 5," लेकिन आप उसे कभी भी ऐसी समस्या का सामना नहीं करने देते जहाँ उत्तर शून्य हो, या जहाँ समीकरण का हिस्सा शून्य हो।
बड़ा सवाल जो यह शोध पत्र पूछता है: यदि आप फिर उस रोबोट से एक समस्या हल करने के लिए कहते हैं जैसे "5 - 5 = ?", तो क्या वह जादुई रूप से यह समझ जाएगा कि उत्तर "0" है?
शोधकर्ता यह देखना चाहते थे कि क्या आधुनिक एआई (विशेष रूप से GPT-2 जैसे भाषा मॉडल) अपने आप इस "तर्क की छलांग" (leap of logic) को लगा सकता है, जैसा कि एक मानव बच्चा शायद "शून्य" या "कुछ नहीं" की अवधारणा को समझने के लिए कर सकता है।
यहाँ जो उन्होंने पाया है, उसे सरल अवधारणाओं में विभाजित किया गया है:
1. "ब्लाइंड स्पॉट" (अंध बिंदु) प्रयोग
शोधकर्ताओं ने दो प्रकार के रोबोटों को प्रशिक्षित किया:
- "मैथ-ओनली" (केवल गणित वाला) रोबोट: इस रोबोट ने केवल गणित की समस्याएं देखीं।
- "स्टोरीटेलर" (कहानी सुनाने वाला) रोबोट: इस रोबोट ने गणित सीखने से पहले लाखों पन्नों की कहानियाँ, समाचार और बातचीत (भाषा प्रीट्रेनिंग) पढ़ी थीं।
परिणाम: जब उन्होंने इन रोबोटों का शून्य (zero) से जुड़ी समस्याओं पर परीक्षण किया (जो उन्होंने पहले कभी नहीं देखा था), तो दोनों पूरी तरह से विफल रहे।
भले ही "स्टोरीटेलर" रोबोट ने अपनी कहानियों में "कुछ नहीं," "खाली," या "शून्य" के बारे में पढ़ा था, लेकिन वह उन शब्दों को गणितीय समस्या "5 - 5" से नहीं जोड़ सका। यह किसी ऐसे व्यक्ति को देने जैसा था जिसके पास "बर्फ" की परिभाषाओं से भरी डिक्शनरी तो है, लेकिन फिर उससे बर्फबीन (snowman) बनाने के लिए कहा जाता है बिना यह देखे कि बर्फ क्या होती है; वे बस उस अवधारणा को लागू करना नहीं जानते थे।
2. "मैजिक फ्यू-शॉट" (जादुई कुछ उदाहरण) का सबक
इसके बाद, शोधकर्ताओं ने एक अलग दृष्टिकोण अपनाया। उन्होंने रोबोटों को एक बहुत ही छोटा सा संकेत दिया। उन्होंने उन्हें अपने प्रशिक्षण के बीच में शून्य के कुछ उदाहरण दिखाए (जैसे 10,000 समस्याओं में से केवल 64 बार "5 - 5 = 0" दिखाना)।
परिणाम: इससे सब कुछ बदल गया।
- रोबोटों ने अचानक शून्य की अवधारणा को बहुत तेज़ी से सीख लिया।
- "स्टोरीटेलर" रोबोट (जिसके पास भाषा प्रशिक्षण था) ने "मैथ-ओनली" रोबोट की तुलना में दोगुनी तेज़ी से सीखा। समान स्कोर प्राप्त करने के लिए उसे लगभग 50% कम उदाहरणों की आवश्यकता पड़ी।
उपमा: इसे एक नया वाद्य यंत्र (instrument) सीखने जैसा समझें।
- "मैथ-ओनली" रोबोट उस व्यक्ति की तरह है जिसने कभी वाद्य यंत्र को छुआ तक नहीं है; उसे हर एक नोट को शुरू से सीखना होगा।
- "स्टोरीटेलर" रोबोट उस व्यक्ति की तरह है जो पहले से ही संगीत की शीट (sheet music) पढ़ सकता है और लय (rhythm) को समझ सकता है। जब वह अंततः नया वाद्य यंत्र उठाता है, तो उसे यह सीखने की ज़रूरत नहीं होती कि 'नोट' क्या होता है; उसे बस यह दिखाया जाना चाहिए कि 'शून्य' फ्रेटबोर्ड पर कहाँ है। भाषा प्रशिक्षण ने उन्हें एक "स्कैफोल्ड" (पाड़) या एक मानसिक सीढ़ी दी जिससे वे नई अवधारणा तक चढ़ सकें।
3. क्या शून्य विशेष है?
शोधकर्ताओं ने सोचा कि क्या शून्य केवल एक अजीब, कठिन संख्या थी, या क्या यह एक सामान्य समस्या थी। उन्होंने शून्य के बजाय अन्य संख्याओं (जैसे 1, 2, या 9) को छिपाकर रोबोटों का परीक्षण किया।
परिणाम: शून्य वास्तव में सबसे कठिन सीखने वाली संख्याओं में से एक था, 9 के साथ।
- क्यों 9? गणित में, 9 विशेष है क्योंकि यह वह संख्या है जो आपको अगले कॉलम में "कैरी ओवर" (हासिल) करने पर मजबूर करती है (जैसे जब 5 + 5 = 10 होता है)।
- क्यों 0? यह संख्या रेखा (number line) का किनारा है।
- बीच की संख्याएँ: 4 या 5 जैसी संख्याएँ रोबोट के लिए सही अनुमान लगाने में बहुत आसान थीं। शोधकर्ताओं का मानना है कि ऐसा इसलिए है क्योंकि 4 और 5 के कई "पड़ोसी" (3, 6, 2, आदि) हैं जिन्हें रोबोट पहले ही देख चुका है। शून्य और 9 "किनारों" पर हैं, इसलिए उनके पास अनुमान लगाने के लिए कम पड़ोसी हैं।
मुख्य निष्कर्ष
यह शोध पत्र यह दावा नहीं करता है कि एआई अपने आप नई गणित की खोज करने वाला है। वास्तव में, यह दिखाता है कि एआई वर्तमान में "नई अवधारणाओं की खोज" करने में काफी खराब है यदि वे अवधारणाएं उसके प्रशिक्षण डेटा में स्पष्ट रूप से मौजूद नहीं हैं।
हालाँकि, यह आशा की एक किरण भी दिखाता है: भाषा मदद करती है। यदि किसी एआई का आधार भाषा में मजबूत है, तो केवल कुछ उदाहरण दिए जाने पर वह गणितीय विचारों को बहुत तेज़ी से सीख सकता है। यह बताता है कि हालांकि एआई अभी भी शून्य से खुद "सोचकर" कोई नई खोज नहीं कर सकता, लेकिन भाषा एक शक्तिशाली उपकरण के रूप में कार्य करती है जो उस अंतर को पाटने में मदद करती है जब खोज को अंततः प्रस्तुत किया जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।