MACRO: Markov Chain Routing of Transformer Layers
यह शोध पत्र MACRO को प्रस्तुत करता है, जो मॉडल के भार (weights) में बदलाव किए बिना, मार्कोव चेन (Markov chains) के माध्यम से कार्य-विशिष्ट, गतिशील लेयर रूटिंग नीतियों को सीखकर लार्ज लैंग्वेज मॉडल्स (Large Language Models) को उन्नत करता है, जिससे मौजूदा विधियों की तुलना में सटीकता में महत्वपूर्ण सुधार और तेज़ खोज समय प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट है जो किताबें पढ़ता है और सवालों के जवाब देता है। अपना काम करने के लिए, रोबोट के पास 28 या 32 नन्हे श्रमिकों (जिन्हें "परतें" या "layers" कहा जाता है) की एक लंबी असेंबली लाइन है। एक मानक सेटअप में, जानकारी के हर एक टुकड़े को हर एक श्रमिक के पास से गुजरना ही पड़ता है, पहले से लेकर आखिरी तक, एक सख्त और अपरिवर्तनीय रेखा में। यह एक स्कूल बस की तरह है जिसे सड़क के हर घर पर रुकना ही पड़ता है, भले ही यात्री को केवल तीन ब्लॉक आगे उतरना हो। आज के अधिकांश AI मॉडल इसी तरह काम करते हैं: वे एक कठोर कार्यक्रम का पालन करते हैं, चाहे सवाल कितना भी आसान या कठिन क्यों न हो।
लेकिन क्या होगा अगर रोबोट थोड़ा अधिक लचीला हो सके? क्या होगा अगर वह एक सीधी रेखा में मार्च करने के बजाय, यह तय कर सके कि किस श्रमिक की आवश्यकता नहीं है उसे छोड़ दिया जाए, या यहाँ तक कि पिछले श्रमिक से अपने गणित की दोबारा जाँच करने के लिए वापस जाकर पूछ सके? इस विचार को "डायनेमिक रूटिंग" (dynamic routing) कहा जाता है। सोचिए जैसे एक GPS जो केवल एक पूर्व-निर्धारित मानचित्र का पालन नहीं करता, बल्कि ट्रैफिक से बचने के लिए तुरंत नया रास्ता या शॉर्टकट ढूंढ सकता है। वैज्ञानिक AI को यह करना सिखाने की कोशिश कर रहे हैं, लेकिन अधिकांश प्रयास ऐसे हैं जैसे कि एक बस ड्राइवर को हर नई सड़क पर इंजन को फिर से वायर करने के माध्यम से या हर यात्री के लिए चिल्लाकर निर्देश देने वाले एक अलग, महंगे गाइड को काम पर रखकर गाड़ी चलाना सिखाना। यह धीमा, महंगा है, और अक्सर रोबोट के दिमाग को खराब कर देता है।
यहीं पर MACRO नामक एक नया अध्ययन आता है। शोधकर्ताओं ने एक सरल प्रश्न पूछा: क्या हम एक जमे हुए रोबोट (जिसके मस्तिष्क को बदलने की अनुमति नहीं है) को अपने ही श्रमिकों के बीच एक बेहतर रास्ता खोजने के लिए सिखा सकते हैं बिना कुछ भी तोड़े? उन्होंने पाया कि रोबोट के पथ को सरल संभाव्यता नियमों (जिन्हें "मार्कोव चेन" कहा जाता है) के आधार पर "चुनो अपनी पसंद की साहसिक यात्रा" (choose your own adventure) के खेल की तरह मानकर, वे एक बहुत अधिक स्मार्ट मार्ग खोज सकते थे। रोबोट को फिर से प्रशिक्षित करने या महंगे गाइडों का उपयोग करने के बजाय, उन्होंने रोबोट को कुछ अभ्यास प्रश्नों पर विभिन्न पथों को खोजने दिया, उस विशिष्ट कार्य के लिए नेविगेट करने के लिए नियमों का एक एकल, कार्य-विशिष्ट सेट सीखा, और फिर उस विशिष्ट कार्य के लिए सबसे अच्छा मार्ग पहचानने के लिए एक चतुर गणितीय ट्रिक का उपयोग किया। इस सर्वोत्तम मार्ग का उपयोग उस कार्य के सभी प्रश्नों के लिए समान रूपв से किया जाता है, न कि प्रत्येक नए प्रश्न के लिए एक नया पथ गणना करने के लिए।
परिणाम आश्चर्यजनक रूप से प्रभावी हैं। विभिन्न कठिन गणित और विज्ञान परीक्षणों पर, MACRO ने रोबोट को काफी स्मार्ट बनाने में मदद की। उदाहरण के लिए, GSM8K नामक एक कठिन गणित बेंचमार्क पर, एक छोटे रोबोट मॉडल ने केवल अपने श्रमिकों के आने वाले क्रम को बदलकर 43.4% सही उत्तरों से सीधे 69.5% तक की छलांग लगाई—जो एक विशाल उछाल है। शोधकर्ताओं ने पाया कि यह तरीका पिछले तरीकों की तुलना में सेट करने में बहुत तेज़ था। जबकि अन्य दृष्टिकोणों को किसी कार्य के लिए सर्वोत्तम पथ निर्धारित करने में लगभग 15 घंटे लगे, MACRO ने इसे केवल 1.6 घंटे में कर लिया।
मुख्य अंतर्दृष्टि यह है कि रोबोट पहले से ही उत्तर जानता था; उसे बस अपने स्वयं के आंतरिक विचारों को "सुनने" का एक बेहतर तरीका चाहिए था। रोबोट को अनावश्यक चरणों को छोड़ने या अपने काम की समीक्षा करने के लिए वापस लौटने की अनुमति देकर, शोधकर्ताओं ने रोबोट के मस्तिष्क में एक भी 'वेट' (weight) बदले बिना उसकी छिपी हुई क्षमता को उजागर कर दिया। यह ऐसा ही है जैसे उन्होंने रोबोट को नए तथ्य नहीं सिखाए, बल्कि केवल उसे अधिक कुशलता से सोचना सिखाया। अध्ययन बताता है कि कई जटिल कार्यों के लिए, उत्तर मॉडल के भीतर ही मौजूद था; हमें बस उसे खोजने के लिए एक बेहतर मानचित्र की आवश्यकता थी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।