Harnessing the Potential of Optimizing Data Mixtures via Bayesian Domain Reweighting
यह शोध पत्र एक बेयसियन डोमेन रीवेटिंग (Bayesian domain reweighting) विधि प्रस्तुत करता है जो इष्टतम प्री-ट्रेनिंग डेटा मिश्रणों का अनुमान लगाने के लिए गामा प्रायर्स (Gamma priors) और डिरिचलेट वितरणों (Dirichlet distributions) का लाभ उठाती है, जिससे मौजूदा फंक्शन-फिटिंग या डायरेक्ट सर्च दृष्टिकोणों की तुलना में काफी कम डेटा खपत के साथ स्थिर और कुशल अनुकूलन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को इंसान की तरह बोलना सिखाने की कोशिश कर रहे हैं। आपके पास उन्हें खिलाने के लिए किताबों, वेबसाइटों, कोड और ईमेल का एक विशाल पुस्तकालय है। लेकिन यहाँ पेचीदा बात यह है कि सभी किताबें एक जैसी नहीं होतीं। यदि आप रोबोट को 99% खाना बनाने की रेसिपी और 1% गणित की पाठ्यपुस्तकें खिलाते हैं, तो वह एक ऐसा शेफ बन जाएगा जो बीजगणित (algebra) नहीं कर सकता। यदि आप उसे ज्यादातर पुराने ईमेल खिलाते हैं, तो वह एक कॉर्पोरेट रोबोट की तरह बोलना सीख सकता है। यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है, जो चैटबॉट्स और लेखन सहायकों जैसे टूल्स के पीछे का AI दिमाग है। उन्हें शानदार बनाने का गुप्त नुस्खा केवल यह नहीं है कि वे कितना डेटा "खाते" हैं, बल्कि यह है कि वे किस तरह के डेटा के मिश्रण (mix) का सेवन करते हैं।
लंबे समय तक, इंसानों ने हाथ से एक आदर्श रेसिपी का अनुमान लगाने की कोशिश की, जिसमें थोड़ा सा कोड, समाचार का एक हिस्सा और विकिपीडिया की एक चुटकी मिलाई गई। लेकिन जैसे-जैसे डेटा के पुस्तकालय अरबों में बढ़ते गए, इंसानी अनुमान लगाना काम करना बंद कर गया। विभिन्न प्रकार के डेटा के बीच के संबंध बहुत जटिल हो गए। कुछ शोधकर्ताओं ने इसे हल करने के लिए एक "क्रिस्टल बॉल" बनाने की कोशिश की जो छोटे परीक्षणों पर रोबोट के प्रदर्शन के आधार पर यह भविष्यवाणी करती है कि प्रत्येक प्रकार के डेटा का कितना उपयोग किया जाना चाहिए। अन्य लोगों ने बस रोबोट को सब कुछ चखने दिया और मौके पर ही मिश्रण को बदलने की कोशिश की। दुर्भाग्य से, जब डेटा बहुत बड़ा हो जाता था, तो क्रिस्टल बॉल अक्सर टूट जाती थी, और "चखने और तालमेल बिठाने" (taste-and-adjust) वाली विधि इतनी अराजक और धीमी थी कि काम पूरा करना व्यावहारिक रूप से असंभव था।
यह पेपर एक नया तरीका पेश करता है जिससे डेटा की सही रेसिपी खोजी जा सके, जिसे ByDoRe कहा जाता है। कठोर नियमों के साथ भविष्य की भविष्यवाणी करने या अनुमान लगाने के बजाय, लेखक डेटा के मिश्रण को संभावनाओं (probability) के खेल की तरह देखते हैं। उन्होंने एक चतुर गणितीय तकनीक का उपयोग किया जिसे बेयसियन इन्फरेंस (Bayesian inference) कहा जाता है, जो एक स्मार्ट सहायक की तरह है जो केवल एक उत्तर नहीं चुनता, बल्कि "शायद" वाले उत्तरों की एक पूरी श्रृंखला को ध्यान में रखता है और जैसे-जैसे वह सीखता है, अपने विश्वास को अपडेट करता रहता है। इस पद्धति का उपयोग करके, टीम ने सीखने की प्रक्रिया को स्थिर करने का एक तरीका खोजा, जिससे यह पिछले प्रयासों की तुलना में अधिक तेज़ और विश्वसनीय बन गया। उनके प्रयोग बताते हैं कि यह दृष्टिकोण अन्य तरीकों की तुलना में बहुत कम कंप्यूटर शक्ति का उपयोग करके एक बेहतर डेटा मिश्रण खोज सकता है, भले ही डेटा अप्रत्याशित व्यवहार कर रहा हो।
समस्या: रोबोट का नखरेबाज होना
कल्पना कीजिए कि आप एक बेहतरीन स्मूदी बनाने की कोशिश कर रहे एक शेफ हैं। आपके पास एक ब्लेंडर, फलों का एक पहाड़ और एक रेसिपी बुक है। यदि आप सब कुछ बेतरतीब ढंग से डाल देते हैं, तो स्मूदी का स्वाद बहुत खराब हो सकता है। यदि आप 10 साल पहले के मानव शेफ द्वारा लिखी गई रेसिपी का पालन करते हैं, तो यह ठीक हो सकती है, लेकिन यह आज के स्वाद के लिए एकदम सही नहीं होगी।
AI की दुनिया में, "स्मूदी" प्रशिक्षण डेटा (training data) है, और "शेफ" वह एल्गोरिदम है जो यह तय करता है कि प्रत्येक सामग्री (जैसे कोड, समाचार या कहानियाँ) का कितना हिस्सा उसमें डालना है। शुरुआती AI मॉडल उन मानव शेफ पर निर्भर थे जो मिश्रण के अनुपात का अनुमान लगाते थे। लेकिन जैसे-जैसे डेटा का विस्फोट हुआ, उनके अनुमान बेकार हो गए। AI को मिश्रण को समझने के लिए एक स्मार्ट तरीके की आवश्यकता थी।
कुछ वैज्ञानिकों ने एक "पूर्वानुमान लगाने वाला" (predictor) बनाने की कोशिश की जो स्मूथी का एक छोटा सा स्वाद लेकर पूरे बैच के लिए सही रेसिपी का अनुमान लगा सके। उन्होंने माना कि यदि एक छोटी प्याली में एक विशेष फल (मान लीजिए विकिपीडिया) अच्छा स्वाद देता है, तो यह बड़े जग के लिए सबसे महत्वपूर्ण सामग्री होगा। लेकिन यह पेपर दिखाता है कि यह अक्सर गलत होता है। सिर्फ इसलिए कि किसी चीज़ का छोटा नमूना अच्छा स्वाद देता है, इसका मतलब यह नहीं है कि वह पूरी चीज़ के लिए सबसे अच्छी सामग्री है। वास्तव में, पेपर ने पाया कि जैसे-जैसे डेटा बढ़ता है, विभिन्न सामग्रियों का "महत्व" बदलता रहता है। जो छोटे पैमाने पर सबसे अच्छी सामग्री थी, वह बड़े पैमाने पर सबसे खराब हो सकती है। यह ऐसा है जैसे यह सोचना कि नमक की एक चुटकी सूप को उत्तम बना देती है, लेकिन बाद में एहसास होता है कि एक विशाल बर्तन में, यह उसे खाने लायक भी नहीं छोड़ती।
अन्य वैज्ञानिकों ने एक अलग दृष्टिकोण अपनाया: उन्होंने AI को डेटा चखने दिया और वास्तविक समय में मिश्रण को समायोजित करने दिया। यह शेफ द्वारा हर सेकंड स्मूदी को चखने और उसमें अधिक चीनी या फल मिलाने जैसा है। समस्या क्या है? शेफ चक्कर खा जाता है। समायोजन इतने अनियंत्रित और अस्थिर होते हैं कि स्मूथी कभी भी एक अच्छे स्वाद पर नहीं टिक पाती। इसे सही करने में बहुत समय लगता है, और कंप्यूटर इतना थक जाता है (चलाने में महंगा) कि यह करना सार्थक नहीं रह जाता।
समाधान: बेयसियन "स्मार्ट गेस"
इस पेपर के लेखक, शियांग युआन और उनकी टीम ने अनुमान लगाना और डेटा को एक कठोर ढांचे में ढालने की कोशिश करना बंद करने का निर्णय लिया। इसके बजाय, उन्होंने ByDoRe (बेयसियन डोमेन रीवेटिंग) नामक एक प्रणाली बनाई।
ByDoRe को एक ऐसे शेफ के रूप में न देखें जो एक विशिष्ट रेसिपी चुनता है, बल्कि एक ऐसे शेफ के रूप में देखें जो सभी संभावित अच्छी रेसिपीओं का एक मानसिक मानचित्र (mental map) रखता है। यह कहने के बजाय कि, "हमें 100% निश्चित रूप से 30% विकिपीडिया चाहिए," सिस्टम कहता है, "मुझे लगता है कि हमें लगभग 30% विकिपीडिया चाहिए, लेकिन यह रोबोट की स्थिति के आधार पर 25% से 35% के बीच कहीं भी हो सकता है।"
यह "मानसिक मानचित्र" एक गणितीय अवधारणा डिरिचलेट डिस्ट्रीब्यूशन (Dirichlet distribution) पर आधारित है। एक कंचों के थैले की कल्पना करें जहाँ रंग विभिन्न प्रकार के डेटा को दर्शाते हैं। एक कंचा बाहर निकालने और यह कहने के बजाय कि, "हमें इसी रंग की आवश्यकता है," सिस्टम पूरे थैले को देखता है और समझता है कि प्रत्येक रंग के सही होने की संभावना क्या है। यह जंगली उतार-चढ़ाव और अस्थिर समायोजन को सुचारू बनाने में मदद करता है जो पिछले तरीकों को विफल कर देते थे।
इसे और भी तेज़ बनाने के लिए, उन्होंने एक "स्मार्ट प्रेडिक्टर" (एक न्यूरल नेटवर्क) जोड़ा जो रोबोट के वर्तमान प्रदर्शन से सीखता है ताकि यह अनुमान लगाया जा सके कि अगला "मानसिक मानचित्र" कैसा होना चाहिए। यह एक सहायक शेफ की तरह है जो रोबोट को स्मूथी चखते हुए देखता है और तुरंत सुझाव देता है, "हे, रोबोट को कोड वाला हिस्सा पसंद आया, चलिए कोड की संभावना को थोड़ा बढ़ा देते हैं।"
उन्होंने क्या पाया: एक सुचारू और तेज़ सफर
टीम ने अपने नए तरीके का परीक्षण The Pile नामक एक विशाल डेटासेट पर किया, जिसमें वैज्ञानिक शोध पत्रों से लेकर चैट लॉग्स तक 17 विभिन्न प्रकार के डेटा शामिल हैं। उन्होंने मौजूदा सर्वोत्तम तरीकों, जिनमें अस्थिर "चखने और तालमेल बिठाने" वाली विधि (DoReMi) और "पूर्वानुमान लगाने" वाले तरीके (RegMix, AutoScale) शामिल हैं, के मुकाबले ByDoRe का परीक्षण किया।
यहाँ उनकी खोजें दी गई हैं:
- यह स्थिर है: जबकि पुराना "चखने और तालमेल बिठाने" वाला तरीका एक रोलरकोस्टर की तरह था, जिसमें डेटा का मिश्रण तेजी से ऊपर-नीचे होता था, ByDoRe एक सुचारू ट्रेन यात्रा की तरह था। वजन (रेसिपी अनुपात) जल्दी से स्थिर हो गए और वहीं रहे।
- यह सस्ता है: यह सबसे बड़ी बात है। सबसे अच्छा मिश्रण खोजने के लिए, पुराने तरीकों को बहुत अधिक कंप्यूटर शक्ति की आवश्यकता थी। ByDoRe ने अपने शीर्ष प्रतिस्पर्धी RegMix की तुलना में केवल 0.8% कंप्यूटर शक्ति (FLOPs में मापा गया) का उपयोग करके एक बेहतर मिश्रण खोजने में सफलता प्राप्त की। केस 2 में, जहाँ डेटा कठिन था, ByDoRe ने सबसे अच्छे प्रतिस्पर्धी की लागत का केवल 1.2% उपयोग किया।
- यह तब भी काम करता है जब दूसरे विफल हो जाते हैं: पेपर में एक ऐसी स्थिति का परीक्षण किया गया जहाँ डेटा खराब व्यवहार कर रहा था (उन नियमों का उल्लंघन कर रहा था जिन पर अन्य तरीके निर्भर करते हैं)। पुराने तरीके क्रैश हो गए और भयानक परिणाम दिए। हालाँकि, ByDoRe ने अनुकूलन किया और एक बेहतरीन मिश्रण खोजा, यहाँ तक कि कुछ परीक्षणों में मानव विशेषज्ञों को भी पीछे छोड़ दिया।
एक विशिष्ट परीक्षण में, ByDo \text{Re} ने विभिन्न भाषा कार्यों पर 48.50% का औसत स्कोर प्राप्त किया, जो पिछले सर्वश्रेष्ठ स्वचालित तरीके (RegMix) को भी पछाड़ गया, जिसका स्कोर 48.22% था। इससे भी अधिक प्रभावशाली बात यह है कि एक विशेष परीक्षण में, जहाँ डेटा सामान्य से बहुत अलग था, ByDoRe ने 38.35% स्कोर किया, जबकि अन्य स्वचालित तरीके 35% या उससे कम तक संघर्ष कर रहे थे।
यह क्यों मायने रखता है
यह पेपर सुझाव देता है कि AI को सही डेटा "खाने" के लिए सिखाने के लिए हमें कठोर नियमों या महंगे, अराजक अनुमानों पर निर्भर रहने की आवश्यकता नहीं है। अनिश्चितता से लड़ने के बजाय उसे अपनाने वाले संभाव्यता (probabilistic) दृष्टिकोण का उपयोग करके, हम बहुत कम कंप्यूटर शक्ति के साथ बहुत तेज़ी से बेहतर डेटा मिश्रण पा सकते हैं।
लेखक निष्कर्ष निकालते हैं कि यह तरीका भविष्य के लिए एक "स्थिर और फुर्तीला ढांचा" प्रदान करता है। यह केवल एक प्रकार के डेटा के लिए काम नहीं करता है; यह वास्तविक दुनिया की अव्यवस्थित और अप्रत्याशित जानकारी को संभालने के लिए पर्याप्त मजबूत दिखता है। हालाँकि यह पेपर यह दावा नहीं करता है कि इसने AI की हर समस्या को हल कर दिया है, लेकिन यह एक आशाजनक नई दिशा का सुझाव देता है: डेटा चयन को एक ऐसे गणितीय प्रश्न के रूप में नहीं, बल्कि एक गतिशील, संभाव्य यात्रा के रूप में देखना जहाँ AI अपनी विकसित होती अंतर्दृष्टि पर भरोसा करना सीखता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।