Scaling Domain Data Repetition in LLM Pretraining
यह शोध पत्र लार्ज लैंग्वेज मॉडल प्रीट्रेनिंग में डेटा दोहराव (data repetition) और ओवरफिटिंग के बीच के ट्रेड-ऑफ की जांच करता है, जो यह प्रकट करता है कि एक निश्चित टोकन्स-पर-पैरामीटर अनुपात पर उच्च-गुणवत्ता वाले डोमेन डेटा के लिए इष्टतम दोहराव संख्या मॉडल के आकार के साथ मामूली रूप से बढ़ती है और किसी डोमेन के वैलिडेशन लॉस के साथ दृढ़ता से नकारात्मक रूप से सह-संबंधित है, जो यह सुझाव देता है कि छोटे प्रॉक्सी मॉडलों पर ट्यूनिंग बड़े मॉडलों के लिए स्केलिंग रणनीतियों को प्रभावी ढंग से निर्देशित कर सकती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को बोलना, लिखना और सोचना सिखाने की कोशिश कर रहे हैं। इसे करने के लिए, आप उसे टेक्स्ट का एक विशाल पुस्तकालय खिलाते हैं, जिसे "प्रीट्रेनिंग" (pretraining) कहा जाता है। लेकिन इसमें एक पेंच है: जैसे-जैसे आप इसमें अधिक "मस्तिष्क कोशिकाएं" (पैरामीटर्स) जोड़ते हैं, रोबोट बड़ा और स्मार्ट होता जाता है, और इसे भ्रमित या कम प्रदर्शन करने से बचाने के लिए, आपको इसे और भी अधिक शब्द खिलाने पड़ते हैं। यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है। समस्या यह है कि जबकि आप इंटरनेट पर मौजूद सामान्य टेक्स्ट (जैसे रैंडम फोरम पोस्ट या समाचार लेख) की अंतहीन मात्रा आसानी से पा सकते हैं, वास्तव में उच्च-गुणवत्ता वाले, विशिष्ट ज्ञान (जैसे उन्नत गणित, कोडिंग, या चिकित्सा तथ्य) को खोजना घास के ढेर में सुई खोजने जैसा है। एक विशाल रोबोट को खिलाने के लिए पर्याप्त मात्रा में ऐसा डेटा उपलब्ध नहीं है।
तो, जब आपके पास अच्छी चीज़ें खत्म हो जाती हैं, तो आप क्या करते हैं? आप उसे दोहराना शुरू कर देते हैं। आप उस कीमती गणित की किताब को लेते हैं और उसे रोबोट को बार-बार खिलाते हैं। लेकिन यह एक नाजुक संतुलन है। यदि आप अच्छी चीज़ों को बहुत अधिक दोहराते हैं, तो रोबोट केवल शब्दों को शब्द-दर-शब्द याद कर सकता है और वास्तविक अवधारणाओं को समझने में विफल हो सकता है, जिसे "ओवरफिटिंग" (overfitting) नामक समस्या कहा जाता है। यदि आप इसे पर्याप्त रूप से नहीं दोहराते हैं, तो रोबोट सामान्य इंटरनेट के शोर में डूब जाएगा और कभी भी कठिन चीज़ें नहीं सीख पाएगा। बड़ा सवाल यह है कि: रोबोट के भ्रमित होने से पहले आपको अच्छी डेटा को कितनी बार दोहराना चाहिए?
यह शोध पत्र, जिसका शीर्षक "Scaling Domain Data Repetition in LLM Pretraining" है, इसी सटीक प्रश्न की गहराई में जाता है। त्सिंगहुआ विश्वविद्यालय और बाइटडांस सीड (ByteDance Seed) के शोधकर्ताओं ने यह पता लगाने की कोशिश की कि जैसे-जैसे रोबोट बड़े होते जाते हैं, उच्च-गुणवत्ता वाले डेटा को सामान्य डेटा के साथ मिलाने का सही नुस्खा क्या है। उन्होंने इसे चार विशेष "फ्लेवर्स" या प्रकार के डेटा पर परखा: कोड, गणित, विकिपीडिया और मेडिकल रिकॉर्ड।
उन्होंने जो खोजा, वह थोड़ा चौंकाने वाला है। लंबे समय से, लोगों ने सोचा था कि जैसे-जैसे रोबोट बड़े होते हैं, वे अधिक नाजुक हो जाते हैं और डेटा को तेजी से ओवरफिट (याद) करने लगते हैं। पुरानी सलाह थी: "अच्छी चीज़ों को बहुत अधिक न दोहराएं, अन्यथा बड़ा रोबोट टूट जाएगा।" लेकिन लेखकों ने पाया कि जब उन्होंने प्रशिक्षण बजट को रोबोट के आकार के आनुपातिक रखा (एक नियम जिसे "फिक्स्ड टोकन-पर-पैरामीटर" अनुपात कहा जाता है), तो उन्हें कुछ आश्चर्यजनक मिला। उन्होंने पाया कि बड़े रोबोट छोटे रोबोटों की तुलना में अधिक दोहराव (repetition) को संभाल सकते हैं। यह एक विशाल एथलीट की तरह है जो एक छोटे एथलीट की तुलना में अधिक लैप्स (चक्कर) दौड़ सकता है, बशर्ते कि वे दोनों समान तीव्रता के साथ प्रशिक्षण ले रहे हों।
हालाँकि, सबसे महत्वपूर्ण नियम जो उन्होंने खोजा, वह रोबोट के आकार के बारे में नहीं, बल्कि स्वयं डेटा की गुणवत्ता के बारे में है। उन्होंने एक विशिष्ट विषय को सीखने की रोबोट की क्षमता और उस विषय को कितनी बार दोहराया जा सकता है, इसके बीच एक गहरा संबंध पाया। यदि रोबोट एक डोमेन (जैसे गणित) को बहुत अच्छी तरह से सीखता है और उसका "त्रुटि स्कोर" (validation loss) कम है, तो वह टूटने से पहले उस डेटा को कई बार दोहरा सकता है। लेकिन यदि रोबलेट किसी विषय के साथ संघर्ष करता है और उसका त्रुटि स्कोर अधिक है, तो वह बहुत जल्दी ओवरफिट हो जाएगा, इसलिए आपको उस डेटा को बहुत कम बार दोहराना चाहिए।
दिलचस्प बात यह है कि आप कितने अद्वितीय (unique) डेटा से शुरुआत करते हैं, यह तय करने के लिए ज्यादा मायने नहीं रखता कि उसे कितनी बार दोहराया जाए। चाहे आपके पास गणित के समस्याओं का छोटा ढेर हो या बहुत बड़ा, दोहराव के लिए "स्वीट स्पॉट" (सही बिंदु) लगभग एक समान रहता है। शोधकर्ता सुझाव देते हैं कि यदि आप एक विशाल रोबोट को प्रशिक्षित करना चाहते हैं, तो आपको अनुमान लगाने की आवश्यकता नहीं है। पहले एक छोटा "प्रॉक्सी" (proxy) रोबोट प्रशिक्षित करें, देखें कि वह गणित या कोड को कितनी अच्छी तरह सीखता है, और उस परिणाम का उपयोग सुरक्षित रूप से यह अनुमान लगाने के लिए करें कि विशाल रोबोट के लिए डेटा को कितनी बार दोहराना है।
उन्होंने यह भी परीक्षण किया कि यदि कुल "अच्छी चीज़ों" की मात्रा को समान रखते हुए, अद्वितीय डेटा को दोहराए गए डेटा से बदल दिया जाए तो क्या होता है। उन्होंने पाया कि कुछ विषयों के लिए, जैसे गणित, डेटा को दोहराना नए अद्वितीय डेटा रखने के लगभग बराबर ही अच्छा है। लेकिन अन्य विषयों के लिए, जैसे विकिपीडिया, डेटा को दोहराना एक बुरा विचार है; रोबोट बहुत खराब प्रदर्शन करता है यदि वह केवल उन्हीं विकिपीडिया वाक्यों को बार-बार सुनता है बजाय इसके कि वह नई चीज़ें पढ़े।
अंत में, उन्होंने प्रशिक्षण के दौरान रोबोट की "सीखने की गति" (learning rate) में बदलाव को देखा। उन्होंने पाया कि यदि आप प्रशिक्षण के शुरुआती चरणों में रोबोट की गति धीमी कर देते हैं, तो वह दोहराव के प्रति अधिक संवेदनशील हो जाता है और जल्दी ओवरफिट हो जाता है। लेकिन यदि आप सीखने की गति को लंबे समय तक उच्च रखते हैं, तो रोबोट दोहराव को अधिक सहन कर सकता है बिना याद करने (memorize) के बजाय सीखने (learn) के।
संक्षेप में, यह शोध पत्र सुझाव देता है कि डेटा को दोहराने के लिए कोई एक जादुई संख्या नहीं है। इसके बजाय, सबसे अच्छी रणनीति इस बात पर निर्भर करती है कि रोबोट पहले से ही उस विशिष्ट विषय को कितनी अच्छी तरह सीख रहा है। यदि वह एक तेज़ सीखने वाला है, तो डेटा को अधिक दोहराएं। यदि वह एक धीमा सीखने वाला है, तो दोहराना जल्दी रोक दें। और आश्चर्यजनक रूप से, बड़े रोबोट उम्मीद से कहीं अधिक मजबूत होते हैं, जब तक कि हम उन्हें उनके आकार के अनुरूप सही मात्रा में डेटा खिलाते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।