Prescriptive Scaling Laws for Data Constrained Training
यह शोध पत्र एक नया निर्देशात्मक स्केलिंग लॉ प्रस्तावित करता है जो डेटा-सीमित व्यवस्थाओं में डेटा पुनरावृत्ति और ओवरफिटिंग को ध्यान में रखता है, यह प्रदर्शित करते हुए कि एक निश्चित बिंदु के बाद, मॉडल की क्षमता बढ़ाना डेटा की और अधिक पुनरावृत्ति करने की तुलना में अधिक प्रभावी है और मजबूत वेट डिके (weight decay) ओवरफिटिंग को महत्वपूर्ण रूप से कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छात्र को एक बड़ी परीक्षा के लिए पढ़ा रहे हैं। आपके पास पाठ्यपुस्तकों का एक सीमित पुस्तकालय (उच्च-गुणवत्ता वाला डेटा) है, लेकिन आपके पास समय और ऊर्जा (कंप्यूट) की असीमित आपूर्ति है।
लंबे समय तक, AI में एक नियम प्रचलित था: "बस नए पन्ने पढ़ते रहें।" प्रसिद्ध चिंचिला कानून (Chinchilla law) ने यह माना कि आपके द्वारा पढ़ा गया हर एक वाक्य बिल्कुल नया और अद्वितीय था। इसने आपको ठीक से बताया कि सबसे अच्छे ग्रेड पाने के लिए आपको कितने बड़े मस्तिष्क के मुकाबले कितने अधिक किताबें पढ़नी चाहिए।
लेकिन वास्तविक दुनिया में, अच्छी पाठ्यपुस्तकें दुर्लभ हैं। अक्सर, आप नए पन्नों के खत्म होने पर पहुँच जाते हैं और फिर से उन्हीं किताबों को बार-बार पढ़ना शुरू कर देते हैं। पुराने नियमों को यह संभालने का तरीका नहीं पता था। उन्होंने सोचा कि एक ही पन्ने को दोबारा पढ़ने से उतना ही फायदा होगा जितना कि एक नया पन्ना पढ़ने से, या कम से कम यह हमेशा थोड़ा बेहतर होता रहेगा।
समस्या: "अति-पढ़ने" का जाल (The "Over-Reading" Trap)
इस शोध पत्र के लेखकों ने पाया कि एक ही डेटा को बहुत अधिक बार पढ़ना वैसा ही है जैसे कोई छात्र विषय की अवधारणाओं को समझने के बजाय पाठ्यपुस्तक के सटीक फ़ॉन्ट और गलतियों (typos) को रट लेता है। इसे ओवरफिटिंग (overfitting) कहा जाता है।
यदि आप एक छात्र को मजबूर करते हैं कि वह 100 पन्नों को 16 बार पढ़े, तो वह नई चीजें सीखना बंद कर देता है और भ्रमित या जड़ हो जाता है। आपका AI मॉडल (दिमाग) जितना बड़ा होगा, वे इस जाल में उतनी ही तेजी से फंसेंगे। पुराने नियम यह अनुमान लगाने में विफल रहे कि एक निश्चित बिंदु के बाद, डेटा को बार-बार दोहराना वास्तव में प्रदर्शन को खराब कर देता है।
समाधान: एक नया नियम (A New Rulebook)
लेखकों ने एक नया, सरल नियम (एक "स्केलिंग लॉ") बनाया जो दोहराव के लिए एक "दंड" (penalty) जोड़ता है। इसे एक शिक्षक की हाशिए पर लिखी टिप्पणी की तरह समझें: "हर बार जब आप एक पन्ना दोबारा पढ़ते हैं, तो आप नई चीजें सीखने की अपनी थोड़ी सी क्षमता खो देते हैं।"
उनके नए फॉर्मूले के तीन भाग हैं:
- फ्लोर (The Floor): कुछ चीजें सीखना कठिन होता है (जैसे वाक्य में अगले शब्द का अनुमान लगाना)।
- मस्तिष्क का आकार (The Brain Size): यदि आपका मस्तिष्क बहुत छोटा है, तो आप सभी पैटर्नों को समाहित नहीं कर सकते।
- दोहराव दंड (The Repetition Penalty): यदि आप एक ही डेटा को बहुत अधिक बार पढ़ते हैं, तो आप "बासी" (stale) हो जाते हैं।
बड़ी खोज: पढ़ना बंद करें, सोचना शुरू करें (Stop Reading, Start Thinking)
सबसे आश्चर्यजनक खोज आपके समय (कंप्यूट) को खर्च करने के तरीके के बारे में है।
- पुरानी सलाह: "यदि आपके पास किताबें खत्म हो जाएं, तो बस उन्हीं को बार-बार पढ़ते रहें।"
- नई सलाह: "एक बार जब आपने किताबों को कुछ बार पढ़ लिया हो, तो रुक जाएं।"
यह शोध पत्र दिखाता है कि यदि आपके पास किताबों का एक निश्चित संग्रह है, तो उन्हें कितनी बार पढ़ने के लिए एक "स्वीट स्पॉट" (सही संतुलन) होता है। यदि आपके पास बहुत अधिक समय (कंप्यूट) है लेकिन एक छोटा पुस्तकालय है, तो सबसे अच्छा कदम एक ही किताबों को 20 बार पढ़ना नहीं है। इसके बजाय, आपको एक बड़ा मस्तिष्क बनाना चाहिए (एक बड़ा मॉडल) और किताबों को कम बार पढ़ना चाहिए।
यह समझने जैसा है कि एक ही अध्याय को 10 घंटे तक दोबारा पढ़ना समय की बर्बादी है। बेहतर यह है कि आप उस समय का उपयोग एक बड़ा, अधिक बुद्धिमान मस्तिष्क बनाने के लिए करें जो उस अध्याय को केवल एक या दो बार पढ़कर समझ सके।
गुप्त हथियार: मजबूत "अनुशासन" (Stronger "Discipline")
पत्र में एक तकनीक का परीक्षण किया गया जिसे वेट डिके (weight decay) कहा जाता है (एक तरीका जो मॉडल को बहुत अधिक आत्मविश्वासी या जड़ होने से रोकता है)। उन्होंने पाया कि इस "अनुशासन" के एक बहुत ही कड़े संस्करण का उपयोग करना एक छात्र को बेहतर अध्ययन पद्धति देने जैसा है।
- यह "बासीपन" (stale) के दंड को लगभग 70% तक कम कर देता है।
- इसका अर्थ है कि छात्र एक ही किताबों को अधिक बार पढ़े बिना भी भ्रमित हुए बिना सीख सकता है।
- यह स्पष्ट करता है कि डेटा-दुर्लभ स्थितियों में, बहुत कड़े अनुशासन (जिसे पहले बहुत कठोर माना जाता था) का उपयोग करना मानक तरीकों की तुलना में बेहतर काम करता है।
सारांश में
यह शोध पत्र हमें बताता है कि AI की दुनिया में, डेटा ही बाधा है, कंप्यूटर पावर नहीं।
- अति-अभ्यास न करें: डेटा को बहुत अधिक दोहराना प्रदर्शन को नुकसान पहुँचाता है, विशेष रूप से बड़े मॉडलों के लिए।
- बड़ा बनें, लंबा नहीं: जब आपके पास नया डेटा खत्म हो जाए, तो अपनी कंप्यूटिंग शक्ति को एक ही डेटा को बार-बार पढ़ने के बजाय मॉडल को बड़ा बनाने में खर्च करें।
- मजबूत अनुशासन का उपयोग करें: "वेट डिके" को बढ़ाने से मॉडल को डेटा को दोबारा पढ़ने के भ्रम से बचने में मदद मिलती है, जिससे वे सीमित संसाधनों से अधिक प्रभावी ढंग से सीख पाते हैं।
लेखकों ने यह सिद्ध करने के लिए 300 से अधिक अलग-अलग मॉडलों को प्रशिक्षित किया और दिखाया कि उनका नया नियमबुक पुराने नियमों की तुलना में बेहतर परिणामों की भविष्यवाणी करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।