Training Transformers as a Universal Computer
यह शोध पत्र प्रदर्शित करता है कि यादृच्छिक रूप से उत्पन्न माइक्रोपाय (MicroPy) प्रोग्रामों पर प्रशिक्षित एक छोटा ट्रांसफार्मर जटिल, मानव-लिखित एल्गोरिदम को निष्पादित करने के लिए सामान्यीकरण कर सकता है, जो इस बात का अनुभवजन्य प्रमाण प्रदान करता है कि मानक ट्रांसफार्मर सार्वभौमिक कंप्यूटर के रूप में कार्य कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन थोड़ी कमज़ोर याददाश्त वाला रोबोट सहायक है। आप उसे जटिल कंप्यूटर प्रोग्राम चलाना सिखाना चाहते हैं। समस्या यह है कि रोबोट एक बार में केवल कुछ ही चरणों के बारे में "सोच" सकता है, इससे पहले कि वह कहानी की शुरुआत भूल जाए। यदि कोई प्रोग्राम बहुत लंबा है, तो रोबोट खो जाता है।
यह शोध पत्र इस समस्या का एक समाधान प्रस्तुत करता है। शोधकर्ताओं ने MicroPy नामक एक बहुत ही छोटा, सरल प्रोग्रामिंग भाषा बनाया और एक मानक AI मॉडल (एक ट्रांसफार्मर) को एक सार्वभौमिक कंप्यूटर के रूप में कार्य करने के लिए प्रशिक्षित किया जो इस भाषा में लिखे गए किसी भी प्रोग्राम को चला सकता है, यहाँ तक कि उन प्रोग्रामों को भी जिन्हें उसने पहले कभी नहीं देखा है।
उन्होंने इसे कैसे किया, यहाँ इसके कुछ रोज़मर्रा के उदाहरण दिए गए हैं:
1. भाषा: MicroPy (एक "लेगो सेट")
MicroPy को पायथन या C++ जैसी पूरी तरह से विकसित प्रोग्रामिंग भाषा के बजाय, बहुत सख्त, सरल लेगो निर्देशों के सेट के रूप में समझें।
- इसमें "यदि यह, तो वह," "इस मान को देखें," या "इस वस्तु को बदलें" जैसे काम करने के लिए बुनियादी ब्लॉक हैं।
- चूंकि यह एक "सार्वभौमिक" भाषा (जो सैद्धांतिक रूप से कोई भी गणना कर सकती है) का एक सरलीकृत संस्करण है, इसलिए यदि AI इन विशिष्ट लेगो ब्लॉक्स को समझना सीख जाता है, तो वह सैद्धांतिक रूप से कुछ भी बना सकता है।
2. समस्या: "लंबी कहानी" का मुद्दा
आमतौर पर, जब कोई AI गणित की समस्या को हल करने या कोड को चरण-दर-चरण चलाने (जिसे "चेन ऑफ थॉट" कहा जाता है) की कोशिश करता है, तो वह हर एक चरण को लिख देता है।
- उदाहरण: कल्पना कीजिए कि आप एक किताब पढ़ रहे हैं, लेकिन आप अपने दिमाग में केवल अंतिम 10 पृष्ठ ही रख सकते हैं। यदि किताब 1,000 पन्नों की है, तो जब तक आप अंत तक पहुँचते हैं, आप शुरुआत भूल जाते हैं। आप रहस्य को हल नहीं कर सकते क्योंकि आप भूल गए कि अध्याय 1 में खलनायक कौन था।
- कंप्यूटर के शब्दों में, "कॉन्टेक्स्ट विंडो" (AI की अल्पकालिक स्मृति) लंबी गणनाओं के साथ बहुत तेज़ी से भर जाती है।
3. समाधान: PENCIL (एक "सफाई दल")
शोधकर्ताओं ने PENCIL नामक एक विशेष तकनीक का उपयोग किया। PENCIL को एक "सफाई दल" (Clean-Up Crew) के रूप में समझें जो AI को अपनी मेमोरी प्रबंधित करने में मदद करता है।
- यह कैसे काम करता है: जब AI एक छोटा उप-कार्य पूरा कर लेता है (जैसे किसी संख्या की गणना करना या एक फ़ंक्शन को समाप्त करना), तो PENCIL दल तुरंत AI की मेमोरी से बीच के अस्त-व्यस्त चरणों को मिटा देता है, और केवल अंतिम परिणाम को रखता है।
- उदाहरण: कल्पना कीजिए कि आप एक जटिल भोजन बना रहे हैं। हर गंदे बर्तन, पैन और सामग्री के रैपर को काउंटर पर रखने के बजाय (जो अंततः पूरे किचन को भर देते हैं), आप बर्तन का उपयोग करने के तुरंत बाद उन्हें धोकर रख देते हैं। आप काउंटर पर केवल तैयार व्यंजन को ही रखते हैं। इस तरह, आप छोटे किचन में बिना जगह खत्म हुए एक बड़ा भोज तैयार कर सकते हैं।
- यह AI को उन प्रोग्रामों को चलाने की अनुमति देता है जो प्रशिक्षण के दौरान देखे गए प्रोग्रामों से 60 गुना लंबे हैं, क्योंकि यह कभी भी अपने "किचन काउंटर" को अव्यवस्थित नहीं होने देता।
4. प्रशिक्षण: रैंडम अभ्यास बनाम वास्तविक परीक्षण
शोधकर्ताओं ने AI को प्रसिद्ध, मानव-लिखित कोड दिखाकर नहीं सिखाया। इसके बजाय, उन्होंने लाखों रैंडम, अर्थहीन MicroPy प्रोग्राम उत्पन्न किए।
- उदाहरण: यह एक छात्र को शतरंज सिखाने जैसा है जिसमें वे एक कंप्यूटर के खिलाफ खेलते हैं जो रैंडम, बेतुकी चालें चलता है। छात्र मोहरों के चलने और उन्हें काटने के नियमों को सीखता है, न कि केवल प्रसिद्ध खेलों को याद करता है।
- एक बार जब AI ने इन रैंडम अभ्यासों से ये नियम सीख लिए, तो उन्होंने इसे वास्तविक, मानव-लिखित प्रोग्रामों पर परखा, जो वास्तव में कुछ काम करते थे, जैसे:
- बिट्स (बाइनरी डेटा) को कॉपी करना और पलटना।
- बड़ी बाइनरी संख्याओं को जोड़ना और गुणा करना।
- लॉजिक पहेलियों (SAT समस्याओं) को हल करना।
5. परिणाम: सार्वभौमिक कंप्यूटर
परिणाम आश्चर्यजनक और सटीक था।
- AI ने सभी मानव-लिखित परीक्षणों पर 100% सटीकता प्राप्त की।
- भले ही परीक्षण किए गए प्रोग्राम प्रशिक्षण के दौरान देखे गए प्रोग्रामों की तुलना में बहुत लंबे और जटिल थे, फिर भी इसने उन्हें पूरी तरह से संभाला।
- यह शोध पत्र दावा करता है कि यह सिद्ध करता है कि एक मानक AI मॉडल को एक सार्वभौमिक कंप्यूटर के रूप में कार्य करने के लिए प्रशिक्षित किया जा सकता है। इसने केवल उत्तरों को याद नहीं किया; इसने निर्देशों को निष्पादित करने के तर्क को सीखा, जिससे यह पूरी तरह से नए, अनदेखे प्रोग्रामों को निष्पादित करने में सक्षम हुआ।
सारांश
संक्षेप में, यह शोध पत्र दिखाता है कि यदि आप एक मानक AI को सीखने के लिए एक सरल भाषा और अपने कार्यों को प्रबंधित करने में मदद करने के लिए एक "मेमोरी क्लीनर" (PENCIL) देते हैं, तो यह एक सार्वभौमिक कंप्यूटर की तरह कार्य करना सीख सकता है। यह उन निर्देशों को ले सकता है जिन्हें इसने पहले कभी नहीं देखा है और उन्हें पूरी तरह से निष्पादित कर सकता है, जो यह सिद्ध करता है कि ये मॉडल वास्तव में "सोचना" और गणना करना सीख सकते हैं, न कि केवल अगले शब्द की भविष्यवाणी करना।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।