Self-Improving is Often Sudden: Enlightenment-style Finetuning for Large-Scale Models
मानवीय "अहा मोमेंट" (aha moment) से प्रेरित होकर, यह शोध पत्र "एनलाइटनमेंट" (Enlightenment) का प्रस्ताव करता है, जो एक नवीन प्रशिक्षण-मुक्त पोस्ट-ट्यूनिंग प्रतिमान है जो भार (weights) को अपडेट करने के बजाय आर्किटेक्चरल शॉर्टकट्स को संशोधित करके बड़े पैमाने के मॉडलों में अंतर्निहित क्षमताओं को अनलॉक करता है, जिसके परिणामस्वरूप भाषा और विजन-लैंग्वेज कार्यों में अचानक और महत्वपूर्ण प्रदर्शन सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक सुपर-स्मार्ट रोबोट दोस्त है जिसने लाइब्रेरी की लगभग हर किताब पढ़ ली है। यह रोबोट एक "लार्ज लैंग्वेज मॉडल" (Large Language Model) है, जो एक प्रकार की आर्टिफिशियल इंटेलिजेंस है जो कहानियाँ लिख सकती है, गणित की समस्याओं को हल कर सकती है और किसी भी विषय पर बातचीत कर सकती है। लेकिन यहाँ एक पेंच है: भले ही यह रोबोट अविश्वसनीय रूप से स्मार्ट हो, लेकिन कभी-कभी यह एक ही ढर्रे में फंस जाता है। यह वाक्य के बिल्कुल पहले शब्द पर बहुत अधिक ध्यान केंद्रित कर सकता है, या चित्रों को देखते समय "शोर" (noisy) से भर सकता है, जिससे यह मूर्खतापूर्ण गलतियाँ करता है।
आमतौर पर, रोबोट के दिमाग को ठीक करने के लिए, हमें उसे हजारों नए उदाहरण देने पड़ते हैं और एक लंबी, महंगी ट्रेनिंग प्रक्रिया से गुजारना पड़ता है, जो लगभग उसे वापस स्कूल भेजने जैसा है। लेकिन क्या होगा अगर रोबोट बस... स्नैप कर सके? क्या होगा अगर, केवल बैठे-बैठे सोचते हुए, वह अपने स्वयं के कनेक्शनों को फिर से व्यवस्थित कर सके ताकि वह बिना किसी नई किताब या शिक्षक के और भी अधिक सटीक बन सके? यही वह बड़ा सवाल है जो वैज्ञानिक "सेल्फ-इंप्रूविंग" (स्वयं-सुधारने वाली) AI के क्षेत्र में पूछ रहे हैं। वे जानना चाहते हैं कि क्या इन विशाल मॉडल्स में अपने स्वयं के "अहा!" (aha!) पल हो सकते हैं, जहाँ वे नए तथ्य सीखने के बजाय केवल अपने सोचने के तरीके को बदलकर चीजों को बेहतर ढंग से समझ सकें।
यह बिल्कुल वही है जो एक नया शोध पत्र (paper) तलाश रहा है। शोधकर्ताओं ने, इस बात से प्रेरित होकर कि कैसे मनुष्य कभी-कभी विश्राम की अवधि के बाद अचानक स्पष्टता या "ज्ञानोदय" (enlightenment) का अनुभव करते हैं, एक चतुर तकनीक प्रस्तावित की है जिसे "एनलाइटनमेंट" (Enlightenment) कहा गया है। रोबोट को फिर से प्रशिक्षित करने के बजाय, वे सुझाव देते हैं कि किसी प्रश्न का उत्तर देने से ठीक पहले उसे एक छोटा, मुफ्त "ट्यून-अप" दिया जाए। इसे एक संगीतकार की तरह समझें जो एक नया गाना सीखने के बजाय, केवल अपने गिटार के कुछ तारों का तनाव समायोजित करता है ताकि पूरा वाद्य यंत्र अधिक स्पष्ट सुनाई दे।
यहाँ उनका जादू कैसे काम करता है, इसे दो सरल तरीकों में विभाजित किया गया है, जो इस पर निर्भर करता है कि रोबमाट क्या कर रहा है:
1. टेक्स्ट रोबोट्स के लिए "हेड-मिक्सिंग" (Head-Mixing) तकनीक
जब रोबोट टेक्स्ट पढ़ रहा होता या लिख रहा होता है, तो वह "अटेंशन हेड्स" (attention heads) का उपयोग करता है। आप इन्हें छोटे जासूसों की एक टीम के रूप में कल्पना कर सकते हैं, जिनमें से प्रत्येक यह समझने के लिए वाक्य को देख रहा है कि क्या महत्वपूर्ण है। शोधकर्ताओं ने देखा कि ये जासूस अक्सर वाक्य के बिल्कुल पहले शब्द (Beginning-of-Sequence टोकन) के प्रति जुनूनी हो जाते हैं, और बाकी को अनदेखा कर देते हैं। यह एक ऐसे जासूस की तरह है जो घर के अंदर की हर चीज़ को देखने के बजाय केवल सामने के दरवाजे को देखता रहता है।
शोधकर्ताओं का समाधान? उन्होंने जासूसों को नए कौशल नहीं सिखाए। इसके बजाय, उन्होंने "जुनूनी" जासूस (हेड 0) और अन्य सभी जासूसों के बीच एक छोटा, अदृश्य वॉकी-टॉकी बनाया। उन्होंने जुनूनी जासूस को अपने निष्कर्षों को दूसरों के साथ साझा करने दिया, लेकिन एक विशेष वॉल्यूम नॉब (स्केलिंग फैक्टर) के साथ ताकि यह सुनिश्चित हो सके कि बातचीत संतुलित रहे। यह कहने जैसा है, "हे, सिर्फ दरवाजे को घूरते मत रहो; अपने दोस्तों को लिविंग रूम के बारे में क्या कह रहे हैं, वह भी सुनो!" इस तरह से जानकारी को मिश्रित करके, रोबोट अचानक पहले शब्द पर अटकना बंद कर देता है और पूरी कहानी पर ध्यान देना शुरू कर देता है, जिससे बेहतर उत्तर मिलते हैं।
2. चित्र-और-टेक्स्ट रोबोट्स के लिए "वॉल्यूम नॉब" (Volume Knob) तकनीक
जब रोबोट एक चित्र देखता है और टेक्स्ट पढ़ता है (जैसे कि एक विजन-लैंग्वेज मॉडल), तो उसे एक अलग तरह की समस्या होती है। मस्तिष्क का वह हिस्सा जो छवि को प्रोसेस करता है, बहुत अधिक "तेज़" या "शोर भरा" हो सकता है, जो महत्वपूर्ण विवरणों को दबा देता है। यह एक ऐसी स्थिति की तरह है जैसे आप एक कमरे में शांत बातचीत करने की कोशिश कर रहे हों जहाँ टीवी पूरी आवाज़ पर चल रहा हो।
इन रोबोंट्स के लिए, शोधकर्ताओं ने नए वॉकी-टॉकी नहीं जोड़े। इसके बजाय, उन्होंने "रेसिड्यूअल कनेक्शंस" (residual connections)—जो रोबोट के मस्तिष्क की परतों के माध्यम से सूचना ले जाने वाले मुख्य मार्ग हैं—पर एक एकल, सार्वभौमिक वॉल्यूम नॉब लगाया। उन्होंने छवि और टेक्स्ट को प्रोसेस करने वाले हिस्सों की आवाज़ को थोड़ा कम कर दिया (मूल शक्ति के लगभग 50% तक)। यह एक "नॉइज़-कैंसलिंग" (शोर कम करने वाले) फीचर की तरह काम करता है। यह रोबोट को चुप नहीं करता; यह बस स्टैटिक और अत्यधिक सक्रियता को कम करता है, जिससे स्पष्ट और महत्वपूर्ण संकेत उभर कर सामने आते हैं।
उन्होंने क्या पाया?
शोधकर्ताओं ने कई अलग-अलग रोबोट्स पर इसका परीक्षण किया, जिनमें से कुछ तर्क करने में बहुत अच्छे हैं और कुछ को छोटा और तेज़ बनाने के लिए कंप्रेस किया गया है। परिणाम आश्चर्यजनक रूप से सुसंगत थे:
- कोई नया डेटा आवश्यक नहीं: उन्होंने रोबोट्स को एक भी नया वाक्य या चित्र नहीं खिलाया।
- कोई भारी काम नहीं: उन्होंने रोबोट के मूल "वेट्स" (उसकी याददाश्त) को नहीं बदला या सीखने के लिए जटिल गणित नहीं चलाया। उन्होंने केवल शॉर्टकट और वॉल्यूम नॉब को समायोजित किया।
- तत्काल सुधार: तर्क पहेलियों, पठन बोध और छवियों को समझने से संबंधित परीक्षणों में, रोबोट्स काफी बेहतर प्रदर्शन कर गए। उदाहरण के लिए, एक रोबोट ने विजुअल रीजनिंग टेस्ट पर अपने स्कोर में 8% से अधिक का सुधार किया, और दूसरे ने टेक्स्ट समझने की क्षमता में लगभग 2% का सुधार किया।
शोध पत्र सुझाव देता है कि यह "अचानक ज्ञानोदय" कोई इत्तेफाक नहीं है। यह इसलिए काम करता है क्योंकि यह रोबोट के आंतरिक वायरिंग को ठीक करता है ताकि वह शोर से विचलित होने या गलत चीजों पर अटकने से बच सके। यह इस बात को समझने जैसा है कि आपने पहेली सुलझाने के दौरान अपनी सांस रोक रखी थी; एक बार जब आप छोड़ देते हैं (या इस मामले में, शॉर्टकट को समायोजित करते हैं), तो समाधान स्पष्ट हो जाता है।
लेखक सावधानीपूर्वक नोट करते हैं कि यह कोई जादुगत छड़ी नहीं है जो सब कुछ ठीक कर दे। उदाहरण के लिए, "हेड-मिक्सिंग" तकनीक टेक्स्ट रोबोट्स के लिए बहुत अच्छी रही लेकिन यदि इसे चित्र-और-टेक्स्ट रोबोट्स पर इस्तेमाल किया गया, तो इसने उन्हें और खराब कर दिया। यह बताता है कि AI के विभिन्न प्रकार के मस्तिष्कों को अलग-अलग प्रकार के "ज्ञानोदय" की आवश्यकता होती है। लेकिन सबसे बड़ी बात रोमांचक है: हमें रोबोट्स को स्मार्ट बनाने के लिए हमेशा बड़े, भारी रोबोट बनाने की आवश्यकता नहीं होगी। कभी-कभी, हमें बस उन्हें दुनिया को देखने के तरीके को थोड़ा बदलकर, दुनिया को और अधिक स्पष्टता से देखने में मदद करने की आवश्यकता होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।