Data Mixing as Mixture Experiment: Response Surface Methodology and Optimal Design for Large Language Model Pretraining
यह शोधपत्र लार्ज लैंग्वेज मॉडल डेटा मिक्सिंग को एक शास्त्रीय मिश्रण प्रयोग (classical mixture experiment) के रूप में पुनर्गठित करता है, जिसमें डोमेन के बीच योगात्मक (additive) और परस्पर क्रिया (interaction) दोनों प्रभावों को स्पष्ट रूप से कैप्चर करने के लिए स्पार्स शेफ़े रिस्पॉन्स-सरफेस मॉडल (sparse Scheffé response-surface models) और मॉडल-रोबस्ट ऑप्टिमल डिजाइनों के उपयोग का प्रस्ताव दिया गया है ताकि इष्टतम डेटा आवंटन को कुशलतापूर्वक पहचाना जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक आधुनिक आर्टिफिशियल इंटेलिजेंस सिस्टम का प्रदर्शन काफी हद तक उस 'आहार' पर निर्भर करता है जो इसे इसके प्रारंभिक प्रशिक्षण के दौरान दिया जाता है। जिस तरह एक मानव बच्चा इस आधार पर अलग तरह से सीखता है कि उसे मुख्य रूप से कहानियों, तकनीकी मैनुअल या अनौपचारिक बातचीत के संपर्क में रखा गया है, उसी तरह एक लार्ज लैंग्वेज मॉडल अपनी क्षमताओं को उस विशिष्ट प्रकार के टेक्स्ट से सीखता है जिसे उसे खिलाया जाता है। शोधकर्ता लंबे समय से जानते हैं कि विभिन्न प्रकार के डेटा का अनुपात महत्वपूर्ण होता है; किसी मॉडल को अधिक कोड देने से वह प्रोग्रामिंग में बेहतर हो सकता है, जबकि अधिक वैज्ञानिक लेख उसकी तर्क करने की क्षमता में सुधार कर सकते हैं। हालांकि, एक मॉडल द्वारा प्रोसेस किए जा सकने वाले डेटा की कुल मात्रा कंप्यूटिंग शक्ति के एक निश्चित बजट द्वारा सीमित होती है। यह एक कठिन पहेली पैदा करता है: यदि आपके पास प्रशिक्षण के लिए समय की एक निश्चित मात्रा है, तो आप यह कैसे तय करेंगे कि प्रत्येक प्रकार के टेक्स्ट पर कितना समय खर्च करना है? एक विषय के हिस्से को बढ़ाने का अर्थ अनिवार्य रूप से दूसरे के हिस्से को कम करना है, और इस संतुलन को गलत करने से महंगे कंप्यूटिंग संसाधनों की बर्बादी होती है और परिणाम स्वरूप एक कम सक्षम मशीन प्राप्त होती है।
हाल ही में, वैज्ञानिकों ने विभिन्न डेटा मिश्रणों पर इन मॉडलों के छोटे, सस्ते संस्करणों को प्रशिक्षित करके इसे हल करने का प्रयास किया है ताकि यह देखा जा सके कि कौन से संयोजन सबसे अच्छा काम करते हैं, इस उम्मीद में कि वे उन परिणामों का उपयोग बहुत बड़े, अधिक शक्तिशाली सिस्टम को निर्देशित करने के लिए कर सकें। कैलगरी विश्वविद्यालय और वर्जीनिया विश्वविद्यालय के शोधकर्ताओं द्वारा किए गए एक नए अध्ययन से पता चलता है कि यह पूरी प्रक्रिया केवल अनुमान लगाने या रैंडम सैंपलिंग का मामला नहीं है, बल्कि वास्तव में एक क्लासिक प्रकार का सांख्यिकीय प्रयोग है जिसे 'मिक्सचर एक्सपेरिमेंट' (मिश्रण प्रयोग) के रूप में जाना जाता है। इस दृष्टिकोण में, विभिन्न डेटा स्रोत एक रेसिपी (नुस्खे) में सामग्रियों की तरह हैं, और लक्ष्य एक आदर्श मिश्रण खोजना है। शोधकर्ताओं ने एक विशिष्ट गणितीय ढांचे को लागू किया, जिसे मूल रूप से रासायनिक उत्पादों या खाद्य व्यंजनों को तैयार करने के लिए विकसित किया गया था, आर्टिफिशियल इंटेलिजेंस के प्रशिक्षण की समस्या पर। डेटा मिश्रण को एक रैंडम अनुमान के बजाय एक संरचित प्रयोग के रूप में मानकर, वे विभिन्न प्रकार के टेक्स्ट के बीच छिपे हुए संबंधों को उजागर करने में सक्षम रहे और यह दिखाया कि शोधकर्ताओं द्वारा अपने परीक्षण मिश्रणों को चुनने के तरीके को काफी अधिक कुशल बनाया जा सकता है।
टीम ने पिछले अध्ययन से प्राप्त एक सार्वजनिक रूप से उपलब्ध डेटासेट 'RegMix' का उपयोग किया, जिसमें 17 विभिन्न प्रकार के डेटा—विकिपीडिया लेखों और कानूनी दस्तावेजों से लेकर सोर्स कोड और चैट लॉग्स तक—पर 512 छोटे मॉडलों को प्रशिक्षित किया गया था। जटिल, 'ब्लैक-बॉक्स' मशीन लर्निंग टूल का उपयोग करने के बजाय जो बिना कारण बताए केवल सर्वोत्तम परिणाम की भविष्यवाणी करते हैं, शोधकर्ताओं ने एक ऐसी विधि लागू की जो परिणामों को दो भागों में विभाजित करती है: प्रत्येक डेटा प्रकार का व्यक्तिगत मूल्य और वह विशेष मूल्य जो केवल तभी प्रकट होता है जब दो विशिष्ट प्रकार आपस में मिलते हैं। उन्होंने पाया कि किसी डेटा स्रोत का मूल्य स्थिर नहीं होता; यह बदलता रहता है कि उसे किसके साथ मिलाया जा रहा है। उदाहरण के लिए, कुछ डोमेन जो अकेले विचार किए जाने पर कमजोर या अनुपयोगी लगते थे, वेब-व्युत्पन्न टेक्स्ट के साथ जोड़े जाने पर अत्यधिक मूल्यवान बन गए। विश्लेषण से पता चला कि सबसे शक्तिशाली संयोजन केवल अच्छे तत्वों को एक साथ जोड़ने के बारे में नहीं थे, बल्कि इस बारे में थे कि कैसे विशिष्ट तत्वों के जोड़े आपस में क्रिया करके मॉडल की त्रुटियों को उम्मीद से अधिक कम कर देते हैं।
इस दृष्टिकोण ने शोधकर्ताओं को यह देखने की अनुमति भी दी कि छोटे मॉडलों में खोजे गए संबंध बड़े मॉडलों को देखते समय भी सत्य बने रहते हैं। इस पद्धति ने सफलतापूर्वक भविष्यवाणी की कि विभिन्न पैमानों पर कौन से डेटा मिश्रण सबसे अच्छा प्रदर्शन करेंगे, जो अधिक लचीले लेकिन कम व्याख्या योग्य मशीन लर्निंग मॉडलों की सटीकता से मेल खाते हैं। महत्वपूर्ण रूप से, अध्ययन ने दिखाया कि शोधकर्ता वर्तमान में अपने परीक्षण मिश्रणों को जिस तरह से चुनते हैं, उसमें सुधार किया जा सकता है। मूल RegMix अध्ययन में, परीक्षण मिश्रणों को रैंडम तरीके से चुना गया था, जैसे टोकरी से नंबर निकालना। नए शोध ने प्रदर्शित किया कि इन टेस्ट पॉइंट्स (परीक्षण बिंदुओं) को रखने के लिए एक विशिष्ट डिजाइन रणनीति का उपयोग करके, वैज्ञानिक लगभग 25 प्रतिशत कम प्रशिक्षण रन के साथ समान स्तर की समझ प्राप्त कर सकते हैं। इसका अर्थ है कि डेटा मिश्रणों के परीक्षण की महंगी प्रक्रिया को बिना किसी क्षमता को खोए, काफी सस्ता और तेज़ बनाया जा सकता है।
निष्कर्ष बताते हैं कि आर्टिफिशियल इंटेलिजेंस प्रशिक्षण का क्षेत्र डेटा मिक्सिंग को केवल एक भविष्यवाणी समस्या के रूप में नहीं, बल्कि एक सुविचारित प्रयोगात्मक डिजाइन समस्या के रूप में माना जाना चाहिए। यह पहचानकर कि परीक्षण मिश्रणों का चुनाव परिणामों के विश्लेषण जितना ही महत्वपूर्ण है, शोधकर्ता कंप्यूटिंग शक्ति की महत्वपूर्ण बचत कर सकते हैं। अध्ययन पुष्टि करता है कि सर्वोत्तम डेटा मिश्रण अक्सर इस बात से परिभाषित होते हैं कि विभिन्न स्रोत एक-दूसरे के पूरक कैसे हैं, न कि किसी एकल स्रोत की गुणवत्ता से। हालांकि विशिष्ट परिणाम एक विशेष डेटा सेट और मॉडलों से प्राप्त हुए थे, लेकिन यह ढांचा आर्टिफिशियल इंटेलिजेंस को खिलाने के तरीके के बारे में सोचने का एक स्पष्ट, संरचित तरीका प्रदान करता है, जो एक जटिल आवंटन समस्या को एक समाधान योग्य प्रयोग में बदल देता है जो स्मार्ट, अधिक कुशल भाषा मॉडलों के विकास को निर्देशित कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।