Universal One-third Time Scaling in Learning Peaked Distributions
यह शोधपत्र यह प्रदर्शित करता है कि बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) के प्रशिक्षण में देखी जाने वाली गणनात्मक रूप से महंगी, धीमी पावर-लॉ कन्वर्जेंस (power-law convergence), पीक्ड डिस्ट्रीब्यूशन (peaked distributions) को सीखने के लिए सॉफ्टमैक्स (softmax) और क्रॉस-एन्ट्रॉपी (cross-entropy) का उपयोग करने का एक अंतर्निहित परिणाम है, जिसके परिणामस्वरूप सार्वभौमिक रूप से टाइम-स्केलिंग एक्सपोनेंट (time-scaling exponent) 1/3 का नुकसान होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को आपके वाक्यों को पूरा करना सिखाने की कोशिश कर रहे हैं। आप उसे लाखों किताबें देते हैं, और वह मानव भाषा के पैटर्न को सीखना शुरू कर देता है। लेकिन यहाँ एक पेंच है: जैसे-जैसे रोबोट बड़ा होता जाता है और आप उसे अधिक डेटा खिलाते हैं, वह तुरंत पूर्ण नहीं हो जाता। इसके बजाय, वह एक बहुत ही विशिष्ट, धीमी तरह से सुधरता है। यह एक कार को एक पहाड़ी पर चढ़ते हुए देखने जैसा है जहाँ पहाड़ी जितनी खड़ी होती जाती है, कार उतनी ही धीमी होती जाती है, एक अनुमानित वक्र (curve) का पालन करते हुए। वैज्ञानिक इसे "न्यूरल स्केलिंग" कहते हैं, और लंबे समय तक, उन्हें लगा कि यह धीमी गति इसलिए हुई क्योंकि डेटा खुद अव्यवस्थित या जटिल था, जैसे एक ऐसी लाइब्रेरी जहाँ कुछ किताबें दुर्लभ हैं और कुछ हर जगह मौजूद हैं। उन्होंने माना कि रोबोट केवल दुर्लभ किताबों को खोजने में संघर्ष कर रहा था। लेकिन क्या होगा अगर रोबोट इसलिए संघर्ष नहीं कर रहा है क्योंकि लाइब्रेरी खराब है, बल्कि इसलिए कि वह सोचता कैसे है? यह शोध पत्र उस रहस्य की गहराई में जाता है, रोबोट के मस्तिष्क के भीतर के गणितीय "गियर्स" (gears) को देखता है कि सीखने की गति क्यों धीमी हो जाती है और क्या हम सटीक भविष्यवाणी कर सकते हैं कि यह कितनी धीमी होगी।
इस अध्ययन के लेखक, यिज़ोउ लियू, ज़िमिंग लियू, सेन्गीज़ पेहलेवन और जेफ गोर ने "मेसी लाइब्रेरी" के बारे में अनुमान लगाना बंद करने और इसके बजाय रोबोट के आंतरिक इंजन को देखने का निर्णय लिया। उन्होंने एक बहुत ही सरल संस्करण वाला एक छोटा सा भाषा मॉडल—एक "टॉय मॉडल"—बनाया ताकि यह देखा जा सके कि जब यह एक बहुत ही विशिष्ट प्रकार के पैटर्न को सीखने की कोशिश करता है तो क्या होता है: एक "पीक्ड" (peaked) वितरण। कल्पना कीजिए कि मौसम का पूर्वानुमान कहता है कि बारिश की 99% संभावना है और धूप की 1% संभावना है। यह एक 'पीक्ड' वितरण है; उत्तर लगभग निश्चित है, लेकिन मॉडल को इसे सही पाने के लिए बहुत सटीक होना पड़ता है।
जब उन्होंने अपने टॉय मॉडल को इन तीखे, निश्चित परिणामों की भविष्यवाणी करने के लिए प्रशिक्षित किया, तो उन्होंने कुछ आश्चर्यजनक खोजा। वह धीमी, पावर-लॉ लर्निंग कर्व इसलिए नहीं था क्योंकि डेटा कठिन था; बल्कि इसलिए था क्योंकि मॉडल के पास दो विशिष्ट उपकरण थे: सॉफ्टमैक्स (softmax) और क्रॉस-एन्ट्रॉपी (cross-entropy)। आप सॉफ्टमैक्स को एक "वोटिंग मशीन" के रूप में समझ सकते हैं जो कच्चे नंबरों को संभावनाओं में बदल देती है (यह सुनिश्चित करती है कि वे 100% जोड़ें), और क्रॉस-एन्ट्रॉपी को एक "स्कोरकार्ड" के रूप में जो मॉडल को बताता है कि वह कितना गलत है। यह पेपर दिखाता है कि जब आप एक बहुत ही तीखे, निश्चित उत्तर को सीखने के लिए इन दोनों उपकरणों को मिलाते हैं, तो गणित अनिवार्य रूप से सीखने की गति को एक विशिष्ट तरीके से धीमा कर देता है। चाहे आप डेटा या मॉडल के आकार को कैसे भी बदल लें, लॉस (त्रुटि) एक दर पर गिरता है जो एक सार्वभौमिक नियम का पालन करता है: यह समय की घात 1/3 के साथ स्केल करता है।
इसे एक मनोरंजक उपमा में डालने के लिए: कल्पना कीजिए कि आप एक पेंसिल को उसकी नोक पर संतुलित करने की कोशिश कर रहे हैं। शुरुआत में, छोटे समायोजन करना आसान होता है। लेकिन जैसे-जैसे पेंसिल पूरी तरह से सीधी ( "पीक्ड" अवस्था) होने के करीब पहुँचती है, छोटी सी हलचल भी अधिक महत्वपूर्ण हो जाती है। पेपर सुझाव देता है कि जिस तरह से मॉडल अपनी गलतियों की गणना करता है, उससे ऐसा महसूस होता है जैसे वह सटीक उत्तर के करीब पहुँचते ही गाढ़े शहद के माध्यम से चल रहा है। "शहद" डेटा नहीं है; यह वोटिंग मशीन और स्कोरकार्ड का गणित है। लेखक ने पाया कि इस "शहद" में, त्रुटि तेजी से नहीं गिरती; यह एक स्थिर, अनुमानित गति से गिरती है जहाँ यदि आप प्रशिक्षण में बिताया गया समय दोगुना करते हैं, तो त्रुटि केवल एक विशिष्ट अंश तक गिरती है, आधा नहीं। यह अंश समय का घनमूल, या 1/3 है।
शोधकर्ताओं ने केवल अपने इस छोटे से टॉय मॉडल पर ही नहीं रोका। वे जानना चाहते थे कि क्या यह "शहद" प्रभाव आज के विशाल, वास्तविक दुनिया के भाषा मॉडलों में मौजूद है, जैसे कि पाइथिया (Pythia) और ओल्मो (Olmo) मॉडल। उन्होंने इन विशाल मॉडलों के प्रशिक्षण डेटा को देखा और पाया कि, वास्तव में, मॉडल इस "लो-टेम्परेचर" (बहुत तीखे, निश्चित) शासन में काम कर रहे थे। जब उन्होंने इन विशाल मॉडलों के एरर रेट को उनके प्रशिक्षण के समय के विरुद्ध प्लॉट किया, तो डेटा उनके अनुमान के साथ पूरी तरह से मेल खा गया। त्रुटि 1/3 पावर-लॉ एक्सपोनेंट के साथ गिर रही थी। यह बताता है कि बड़े AI में दिखने वाली धीमी सीख कोई बग या अव्यवस्थित डेटा का संकेत नहीं है; यह उन मॉडलों के निर्माण का एक मौलिक फीचर है।
पेपर ने यह भी पता लगाया कि क्या होगा यदि आप इसे तेज करने की कोशिश करते हैं। उन्होंने पाया कि यदि आप लर्निंग रेट (कि मॉडल कितना बड़ा कदम उठाता है) को बहुत बड़ा कर देते हैं, तो मॉडल भ्रमित हो जाता है और शहद के माध्यम से पथ का अनुसरण नहीं कर पाता। लेकिन यदि आप कदमों को छोटा और स्थिर रखते हैं, तो मॉडल 1/3 नियम का पूरी तरह से पालन करता है। दिलचस्प बात यह है कि उन्होंने यह भी पाया कि भले ही मॉडल शुरुआत में शिक्षक के साथ पूरी तरह से संरेखित न हो, वह अंततः इस लय में आ जाता है। यह नियम केवल तभी टूटता है जब डेटा बहुत "फ्लैट" या अनिश्चित हो (जैसे कि 50% बारिश और 50% धूप वाला मौसम पूर्वानुमान), जिसके मामले में सीखना तेज और एक्सपोनेंशियल होता है, न कि धीमा पावर-लॉ।
तो, इसका भविष्य के लिए क्या अर्थ है? लेखक सुझाव देते हैं कि यदि हम AI को तेजी से प्रशिक्षित करना चाहते हैं, तो हमें उस "वोटिंग मशीन" और "स्कोरकार्ड" के बारे में फिर से सोचने की आवश्यकता है जिसका हम उपयोग करते हैं। शायद हमें नए उपकरणों की आवश्यकता है जो शहद में फंसने के बजाय बेहतर काम करें जब उत्तर बहुत निश्चित हो। वे यह भी बताते हैं कि यह खोज बताती है कि पिछले प्रयोगों में 1/3 एक्सपोनेंट (या इसके करीब, जैसे 0.28 या 0.30) क्यों देखा गया था बिना यह जाने कि क्यों। यह कोई संयोग नहीं था; यह स्वयं मॉडल का गणित था।
संक्षेप में, यह पेपर प्रकट करता है कि बड़े भाषा मॉडलों का धीमा, स्थिर सुधार उनके डिज़ाइन का एक अंतर्निहित फीचर है, न कि डेटा की कोई खामी। यह AI लर्निंग के लिए भौतिकी के एक नियम जैसा है: जब आप इन विशिष्ट उपकरणों का उपयोग करके एक बहुत ही निश्चित उत्तर सीखने की कोशिश करते हैं, तो आप 1/3 की गति से चलने के लिए नियत हैं। लेखक सावधानी बरतते हुए कहते हैं कि यह उनके सिमुलेशन और मौजूदा मॉडलों के विश्लेषण पर आधारित है, जो AI प्रशिक्षण को अधिक कुशल बनाने के लिए एक नया दिशा प्रदान करता है, लेकिन वे पूरी तरह से प्रशिक्षण की गति की समस्या को हल करने का दावा नहीं करते हैं। इसके बजाय, उन्होंने हमें एक नक्शा थमा दिया है जो दिखाता है कि स्पीड बंप्स कहाँ हैं और वे क्यों मौजूद हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।