Skaling: Chinchilla's Exponents Meet Kaplan's Coupling
यह शोध पत्र स्केलिंग लॉ (Skaling law) को प्रस्तुत करता है, जो एक सामान्यीकृत स्केलिंग ढांचा है जो मॉडल क्षमता और डेटा को एक एकल इंटरेक्शन एक्सपोनेंट (interaction exponent) के माध्यम से जोड़ता है ताकि लॉस प्रेडिक्शन सटीकता में महत्वपूर्ण सुधार किया जा सके और बड़े पैमाने पर लैंग्वेज मॉडल ट्रेनिंग के लिए संसाधन-कुशल कंप्यूट बजट आवंटन को सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
महान संतुलन कार्य: AI कैसे सीखता है
कल्पना कीजिए कि आप एक विशाल, डिजिटल मस्तिष्क को दुनिया की हर भाषा बोलना सिखाने की कोशिश कर रहे हैं। ऐसा करने के लिए, आपको दो मुख्य सामग्रियों की आवश्यकता है: एक बड़ा मस्तिष्क (अधिक न्यूरॉन्स, या "पैरामीटर्स") और अधिक पाठ्यपुस्तकें (अधिक डेटा, या "टोकन्स")। वर्षों से, वैज्ञानिक "स्केलिंग लॉज़" (scaling laws) नामक नियमों के एक समूह का उपयोग यह अनुमान लगाने के लिए करते आए हैं कि यह मस्तिष्क कैसा प्रदर्शन करेगा। इन नियमों को एक रेसिपी बुक की तरह समझें जो आपको बताती है कि एक आदर्श केक बनाने के लिए आपको प्रत्येक सामग्री की कितनी मात्रा की आवश्यकता है।
सबसे प्रसिद्ध रेसिपी, जिसे "चिंचिला कानून" (Chinchilla law) के रूप में जाना जाता है, ने सुझाव दिया कि मस्तिष्क का आकार और डेटा की मात्रा दो अलग-अलग कमरों में काम करने वाले दो अलग-अलग दोस्तों की तरह कार्य करते हैं। इसने माना कि यदि आप मस्तिष्क के आकार को दोगुना कर देते हैं, तो सुधार इस बात पर निर्भर नहीं करेगा कि आपके पास कितना डेटा है, और इसके विपरीत भी। इसने गणित को आसान बना दिया और शोधकर्ताओं को यह तय करने में मदद की कि वे अपने विशाल बजट को कैसे खर्च करें। हालाँकि, एक वास्तविक रेसिपी की तरह, यह धारणा बहुत सरल हो सकती है। क्या होगा अगर मस्तिष्क और डेटा वास्तव में एक-दूसरे से बात करने की आवश्यकता रखते हैं? क्या होगा अगर एक बड़ा मस्तिष्क अधिक किताबें पढ़ने पर अलग तरह से सीखता है? यदि हम इस संबंध को गलत समझते हैं, तो हम लाखों डॉलर उन मॉडल्स को प्रशिक्षित करने में बर्बाद कर सकते हैं जो या तो उनके डेटा के लिए बहुत छोटे हैं या उनके मस्तिष्क के लिए बहुत बड़े हैं, जिससे निराशाजनक परिणाम मिल सकते हैं।
नया "स्केलिंग" नियम: जब सामग्रियां आपस में मिलती हैं
इस शोध पत्र में, मेटा के FAIR लैब के शोधकर्ताओं ने एक बेहतर और उन्नत रेसिपी पेश की है जिसे Skaling law (उच्चारण: "ske-IH-ling") कहा जाता है। उन्होंने पाया कि पुराने "चिंचिला" रेसिपी में एक छिपा हुआ दोष था: इसने मॉडल के आकार और डेटा को ऐसे माना जैसे वे पूरी तरह से स्वतंत्र हों, यह नजरअंदाज करते हुए कि वे वास्तव में एक-दूसरे को प्रभावित करते हैं।
इसे विज़ुअलाइज़ करने के लिए, कल्पना कीजिए कि आप यह अनुमान लगाने की कोशिश कर रहे हैं कि एक कार कितनी तेज़ चलेगी। पुराने नियम ने कहा, "गति इंजन के आकार और ईंधन की मात्रा, दोनों पर अलग-अलग निर्भर करती है।" लेकिन नया शोध दिखाता है कि एक बड़ा इंजन वास्तव में यह बदल देता है कि वह ईंधन का उपयोग कितनी कुशलता से करता है। यदि आपके पास एक छोटा इंजन है, तो अधिक ईंधन जोड़ने से ज्यादा मदद नहीं मिलती। लेकिन यदि आपके पास एक विशाल इंजन है, तो वह अतिरिक्त ईंधन एक बड़ा अंतर पैदा करता है। पुराने गणित ने इस "कपलिंग" (coupling) प्रभाव को मिस कर दिया, जिससे चरम स्थितियों में प्रदर्शन का अनुमान लगाने में बड़ी त्रुटियां हुईं—जैसे कि जब आपके पास बहुत कम डेटा वाला एक विशाल मॉडल हो, या बहुत अधिक डेटा वाला एक छोटा मॉडल हो।
लेखकों ने पाया कि समीकरण में केवल एक संख्या ("कपलिंग एक्सपोनेंट") जोड़कर, वे इसे ठीक कर सकते थे। यह नया नंबर एक "मिक्सिंग डायल" की तरह काम करता है जो मस्तिष्क के आकार और डेटा की मात्रा को जोड़ता है। उनके प्रभावों को रेत के दो अलग-अलग ढेरों की तरह जोड़ने के बजाय, नया नियम उन्हें इस तरह से गुणा करता है जो यह स्वीकार करता है कि वे एक टीम के रूप में काम करते हैं।
उन्होंने क्या पाया: कम काम में स्मार्ट भविष्यवाणियां
शोधकर्ताओं ने इस नए नियम का परीक्षण दो विशाल डेटासेट्स का उपयोग करके किया जिन्हें उन्होंने Farseer और SK-Grid नाम दिया। इन डेटासेट्स में सैकड़ों अलग-अलग प्रयोग शामिल थे, जिनमें 100 मिलियन पैरामीटर्स वाले छोटे मॉडल्स से लेकर अरबों वाले विशाल मॉडल्स तक, और 1 बिलियन से लेकर सैकड़ों बिलियन शब्दों तक सब कुछ शामिल था।
यहाँ उनकी खोजें दी गई हैं:
पुराना नियम किनारों पर गलत था: जब उन्होंने त्रुटियों को देखा, तो पुराना चिंचिला कानून डेटा के बीच में तो ठीक था लेकिन कोनों (extremes) पर बुरी तरह विफल रहा। जब मॉडल का आकार और डेटा की मात्रा असंतुलित होती थी, तो यह प्रदर्शन का बहुत अधिक या बहुत कम अनुमान लगा देता था। हालाँकि, नया Skaling law हर जगह सटीक रहा, जिसने पुराने तरीके की तुलना में भविष्यवाणी त्रुटि को 1.5 से 3 गुना तक कम कर दिया।
प्रशिक्षण का एक "स्पार्स" (Sparse) तरीका: सबसे दिलचस्प खोजों में से एक यह है कि आपको नियमों को समझने के लिए मस्तिष्क के आकार और डेटा के हर संभव संयोजन को प्रशिक्षित करने की आवश्यकता नहीं है। पुराने तरीके के लिए प्रयोगों के एक "फुल ग्रिड" की आवश्यकता होती थी, जो अविश्वसनीय रूप से महंगा है। नया Skaling law उतना ही प्रभावी ढंग से काम करता है यदि आप केवल ग्रिड के "L-आकार" के किनारों पर प्रशिक्षण लेते हैं—अर्थात, आप केवल बहुत अधिक डेटा वाले छोटे मॉडल्स और बहुत कम डेटा वाले बड़े मॉडल्स का परीक्षण करते हैं। यह "स्पार्स" रणनीति शोधकर्ताओं को पहले की तुलना में लगभग 10 गुना कम कंप्यूटिंग पावर का उपयोग करके विशाल, महंगे मॉडल्स के प्रदर्शन की भविष्यवाणी करने की अनुमति देती है।
बेहतर संसाधन आवंटन: क्योंकि नया नियम यह समझता है कि मस्तिष्क और डेटा कैसे परस्पर क्रिया करते हैं, यह इस प्रश्न का अधिक सटीक उत्तर देता है कि: "मुझे अपने मॉडल को कितना डेटा खिलाना चाहिए?" पुराने कानून ने एक निश्चित अनुपात (जैसे 20 शब्द प्रति न्यूरॉन) का सुझाव दिया था, लेकिन नया कानून बताता है कि यह अनुपात वास्तव में स्केल के आधार पर बदलना चाहिए। कुछ डेटासेट्स के लिए, जैसे-जैसे मॉडल बड़े होते जाते हैं, अनुकूलतम अनुपात काफी बदल जाता है, जिसका अर्थ है कि पुराना सुझाव कंपनियों को पैसा बर्बाद करने की ओर ले जा सकता है।
यह क्यों मायने रखता है
यह शोध पत्र यह दावा नहीं करता कि इसने AI की सभी समस्याओं को हल कर दिया है, लेकिन यह यह सुझाव जरूर देता है कि वर्तमान में हमारे प्रशिक्षण बजट की योजना बनाने का तरीका थोड़ा गलत हो सकता है। यह महसूस करते हुए कि मॉडल का आकार और डेटा स्वतंत्र कार्यकर्ता होने के बजाय एक जुड़ी हुई टीम हैं, Skaling law एक अधिक मजबूत और संसाधन-कुशल ढांचा प्रदान करता है। यह शोधकर्ताओं को यह अनुमान लगाने में मदद करता है कि उनके अगले पीढ़ी के मॉडल्स कैसा प्रदर्शन करेंगे, बिना हजारों महंगे प्रयोग किए।
संक्षेप में, लेखक दिखाते हैं कि गणित में एक साधारण बदलाव—एक "मिक्सिंग" पैरामीटर जोड़ना—उन व्यवस्थित त्रुटियों को दूर कर देता है जो इस क्षेत्र में बनी हुई थीं। इसका मतलब है कि हम बेहतर मॉडल्स, तेजी से और सस्ते में बना सकते हैं, क्योंकि हम समझते हैं कि AI की दुनिया में, मस्तिष्क का आकार और पढ़ने की सामग्री एक दूसरे से अटूट रूप से जुड़े हुए हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।