🤖 machine learning

Mix, Don't Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings

यह शोध पत्र व्यापक प्रयोगों के माध्यम से यह प्रदर्शित करता है कि द्विभाषी प्री-ट्रेनिंग के दौरान उच्च-संसाधन वाले सहायक डेटा को मिलाना, कम-संसाधन वाली भाषा मॉडलों के लिए आक्रामक हाइपरपैरामीटर ट्यूनिंग की तुलना में काफी बेहतर प्रदर्शन करता है, जो अद्वितीय लक्ष्य डेटा के कई गुना के बराबर प्रदर्शन लाभ प्रदान करता है और यह भी प्रकट करता है कि लक्ष्य-भाषा सत्यापन हानि (validation loss) इन लाभों का व्यवस्थित रूप से कम आकलन करती है।

मूल लेखक: Paul Jeha, Anastasiia Sedova, Louis Béthune, Skyler Seto, Jes Frellsen, Pierre Ablin, Natalie Schluter

प्रकाशित 2026-05-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Paul Jeha, Anastasiia Sedova, Louis Béthune, Skyler Seto, Jes Frellsen, Pierre Ablin, Natalie Schluter

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Mix, Don't Tune" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी समस्या: "खाली लाइब्रेरी"

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान छात्र (AI मॉडल) को एक दुर्लभ भाषा, जैसे कि अरबी, बोलना सिखाने की कोशिश कर रहे हैं। आपके पास उस भाषा में किताबों की एक बहुत छोटी लाइब्रेरी है (केवल 200 मिलियन शब्द)। हालाँकि, आपके पास अध्ययन करने के लिए बहुत अधिक समय और ऊर्जा (कंप्यूट पावर) है।

चूँकि लाइब्रेरी बहुत छोटी है, छात्र को उन्हीं कुछ किताबों को बार-बार पढ़ना पड़ता है—शायद 100 बार।

परिणाम: भाषा को गहराई से सीखने के बजाय, छात्र शब्दों को रटना शुरू कर देता है। वह टेक्स्ट को पूरी तरह से सुना सकता है लेकिन नए सवालों के जवाब नहीं दे पाता या उन विशिष्ट पन्नों के बाहर की दुनिया को नहीं समझ पाता। इसे ओवरफिटिंग (Overfitting) कहा जाता है।

शोधकर्ताओं ने पूछा: हम छात्र को केवल रटने से कैसे रोक सकते हैं और उसे वास्तव में सीखने में कैसे मदद कर सकते हैं?

परीक्षण किए गए दो समाधान

पेपर इस समस्या को ठीक करने के दो अलग-अलग तरीकों की तुलना करता है:

"सख्त शिक्षक" दृष्टिकोण (हाइपरपैरामीटर ट्यूनिंग):
- यह क्या है: आप छात्र को अधिक अनुशासित होने के लिए मजबूर करने की कोशिश करते हैं। आप उन्हें उन विवरणों को भूलने के लिए कहते हैं जिन्हें उन्होंने बहुत जल्दी याद कर लिया है (इसे "वेट डिके" या रेगुलराइजेशन कहा जाता है)। आप कई अलग-अलग सेटिंग्स का परीक्षण करके पूर्ण सख्ती का स्तर खोजने की कोशिश करते हैं।
- उदाहरण: यह एक ऐसे शिक्षक की तरह है जो बार-बार कहता है, "सिर्फ उत्तर कुंजी को मत रटो! और गहराई से सोचो!" और यह देखने के लिए विभिन्न स्तरों की सख्ती का परीक्षण करता है कि क्या काम करता है।
"द्विभाषी रूममेट" दृष्टिकोण (डेटा मिक्सिंग):
- यह क्या है: आप एक सामान्य भाषा, जैसे कि अंग्रेजी में, किताबों की एक विशाल लाइब्रेरी लाते हैं और उन्हें अरबी की दुर्लभ किताबों के साथ मिला देते हैं। छात्र दोनों का मिश्रण पढ़ता है।
- उदाहरण: केवल अरबी के 10 पन्ने घूरने के बजाय, छात्र एक ऐसे रूममेट के साथ बैठता है जो अंग्रेजी बोलता है। वे अरबी के कुछ पन्ने पढ़ते हैं, फिर अंग्रेजी के कुछ पन्ने, और फिर वापस अरबी पर आते हैं। अंग्रेजी की किताबें नए विचार, तथ्य और तर्क प्रदान करती हैं जो अरबी की किताबों में नहीं हैं।

मुख्य खोज: "मिक्स, डोंट ट्यून" (मिलाएँ, ट्यून न करें)

शोधकर्ताओं ने अलग-अलग आकार के छात्रों (छोटे से लेकर बहुत बड़े तक) के साथ लगभग 1,000 प्रयोग चलाए। यहाँ उन्हें जो मिला:

1. मिक्सिंग एक सुपरपावर है; ट्यूनिंग एक बैंडेज है।

निष्कर्ष: अंग्रेजी की किताबें जोड़ने (मिक्सिंग) ने छात्र को सख्त बनाने (ट्यूनिंग) की तुलना में बहुत अधिक स्मार्ट बना दिया।
उदाहरण: यदि आप चाहते हैं कि छात्र एक कठिन परीक्षा पास करे, तो उसे एक दूसरी, बड़ी पाठ्यपुस्तक (अंग्रेजी) देना उसे कॉन्सेप्ट्स बेहतर तरीके से सिखाने में मदद करता है, बजाय इसके कि आप उसे केवल चिल्लाकर "रटना बंद करो" कहें।
स्केल का प्रभाव: छात्र जितना बड़ा होगा (बड़ा AI मॉडल), उन्हें अंग्रेजी की किताबों की उतनी ही अधिक आवश्यकता होगी। एक छोटा छात्र ज्यादा फर्क नहीं डालता, लेकिन एक विशाल छात्र बिना मिक्स के बुरी तरह विफल हो रहा था।

2. "मैजिक मल्टीप्लायर" प्रभाव।

निष्कर्ष: अंग्रेजी डेटा को मिलाना अद्वितीय अरबी किताबों के 2 से 13 गुना अधिक होने के बराबर था।
उदाहरण: कल्पना कीजिए कि आपके पास अरबी टेक्स्ट के 100 पन्ने हैं। अंग्रेजी मिलाने से, छात्र ऐसे सीखता है जैसे उसने 1,300 पन्नों का अद्वितीय अरबी टेक्स्ट पढ़ा हो। अंग्रेजी डेटा ने केवल समय नहीं भरा; इसने एक "नॉलेज बूस्टर" के रूप में कार्य किया जिसने दुर्लभ अरबी डेटा को बहुत अधिक मूल्यवान बना दिया।

3. "हिडन स्कोर" का जाल।

निष्कर्ष: शोधकर्ताओं ने एक अभ्यास परीक्षण (Validation Loss) बनाम एक वास्तविक दुनिया के परीक्षण (Downstream Accuracy) पर छात्र के स्कोर को देखा।
उदाहरण:
- अभ्यास परीक्षण (Validation Loss): यह परीक्षण केवल यह जाँचता है कि क्या छात्र अरबी की किताबों में देखे गए अगले शब्द की भविष्यवाणी कर सकता है। "सख्त शिक्षक" (ट्यूनिंग) यहाँ ठीक था क्योंकि इसने छात्र को रटने से रोका।
- वास्तविक दुनिया का परीक्षण (Accuracy): यह परीक्षण सामान्य ज्ञान के प्रश्न पूछता है। "द्विभाषी रूममेट" (मिक्सिंग) ने इस परीक्षण में सबको पछाड़ दिया।
- जाल: यदि आप केवल अभ्यास परीक्षण के स्कोर को देखते, तो आप सोचते कि "सख्त शिक्षक" "द्विभाषी रूममेट" के लगभग बराबर था। लेकिन वास्तविक परीक्षण पर, रूममेट कहीं अधिक श्रेष्ठ था। अभ्यास परीक्षण उस नए ज्ञान को पकड़ने में विफल रहा जो छात्र ने अंग्रेजी की किताबों से प्राप्त किया था।

व्यावहारिक नुस्खा (आपको क्या करना चाहिए?)

इन निष्कर्षों के आधार पर, लेखक किसी के लिए भी जो दुर्लभ डेटा पर AI को प्रशिक्षित कर रहा है, एक सरल नुस्खा देते हैं:

"सख्ती" के नॉब्स (Knobs) को ट्यून करने में समय बर्बाद न करें। परफेक्ट लर्निंग रेट या वेट डिके खोजने की कोशिश करना कम मूल्य वाला काम है।
एक उच्च-संसाधन वाली भाषा को मिलाएं। यदि आप एक दुर्लभ भाषा पर प्रशिक्षण दे रहे हैं, तो अंग्रेजी (या किसी अन्य बड़ी भाषा) का डेटा मिलाएं।
नियम निर्धारित करने के लिए एक "छोटा प्रॉक्सी" उपयोग करें। आपको विशाल मॉडल पर हर सेटिंग का परीक्षण करने की आवश्यकता नहीं है। पहले एक छोटा संस्करण प्रशिक्षित करें, वहां सर्वोत्तम सेटिंग्स खोजें, और बस उन्हें बड़े मॉडल पर कॉपी करें। यह लगभग पूरी तरह से काम करता है।
"मिक्स रेशियो" (Mix Ratio) पर ध्यान दें। सबसे महत्वपूर्ण चीज़ यह ट्यून करना है कि कितना अंग्रेजी मिलाना है (जैसे, 10% अंग्रेजी, 90% अरबी), न कि मॉडल की आंतरिक गणितीय सेटिंग्स को।

सारांश

जब आपके पास किसी विशिष्ट भाषा के लिए पर्याप्त डेटा नहीं होता है, तो अधिक सख्त होकर आपके पास जो थोड़ा बहुत है उससे और निकालने की कोशिश न करें। इसके बजाय, एक ऐसा दोस्त लाएं जो एक अलग भाषा बोलता हो। वह दोस्त आपके छात्र को नई चीजें सिखाएगा जो दुर्लभ डेटा कभी नहीं सिखा सका, जिससे पूरी सीखने की प्रक्रिया बहुत अधिक प्रभावी हो जाएगी। और अभ्यास परीक्षण के स्कोर से धोखा न खाएं; वास्तविक प्रमाण इस बात में है कि मॉडल वास्तविक कार्यों पर कितनी अच्छी तरह प्रदर्शन करता है।

तकनीकी सारांश: ट्यून न करें, बल्कि मिक्स करें: डेटा-सीमित सेटिंग्स में द्विभाषी प्री-ट्रेनिंग हाइपरपैरामीटर सर्च से बेहतर प्रदर्शन करती है

समस्या विवरण

जैसे-जैसे कंप्यूट बजट उपलब्ध टेक्स्ट डेटा की तुलना में तेजी से बढ़ रहे हैं, भाषा मॉडल का प्री-ट्रेनिंग कार्य तेजी से एक डेटा-सीमित शासन (data-constrained regime) में संचालित हो रहा है। इस शासन में, मॉडलों को उपलब्ध कंप्यूट का उपयोग करने के लिए अपने प्रशिक्षण डेटा को कई बार दोहराना पड़ता है, जो एक ऐसी प्रक्रिया है जो इंडक्शन (induction) के बजाय मेमोराइजेशन (memorization) की ओर मॉडल की क्षमता को स्थानांतरित करके सामान्यीकरण (generalization) को सक्रिय रूप से खराब करती है। यह समस्या कम-संसाधन वाली भाषाओं (LRLs) के लिए विशेष रूप से गंभीर है, जहाँ उच्च-मूल्य वाले कॉर्पोरा कंप्यूट बजट को भरने के लिए बहुत छोटे होते हैं।

अभ्यासकर्ता वर्तमान में इस गिरावट को कम करने के लिए दो प्राथमिक लीवर्स का सामना करते हैं:

आक्रामक हाइपरपैरामीटर (HP) ट्यूनिंग: वजन (weights) को छोटा करने और नेटवर्क क्षमता को सीमित करने के लिए रेगुलराइजेशन (जैसे, वेट डिके) को बढ़ाना, जिससे बार-बार दोहराए जा रहे लक्षित कॉर्पस पर ओवरफिटिंग को रोका जा सके।
सहायक डेटा मिक्सिंग (Auxiliary Data Mixing): प्रशिक्षण सिग्नल को विविध बनाने और प्रशिक्षण वितरण (distribution) का विस्तार करने के लिए एक उच्च-संसाधन वाली भाषा (HRL) से डेटा पेश करना।

हालाँकि दोनों रणनीतियाँ सुधार के लिए सिद्धांतवादी तरीके प्रदान करती हैं, लेकिन उनकी सापेक्ष प्रभावकारिता, परस्पर क्रिया और डाउनस्ट्रीम प्रदर्शन बनाम वैलिडेशन लॉस पर उनके प्रभाव स्पष्ट नहीं हैं। विशेष रूप से, यह अज्ञात है कि क्या सहायक डेटा को मिक्स करने से हाइपरपैरामीटर ट्यूनिंग की तुलना में अधिक लाभ मिलता है, कितना मिक्सिंग डेटा की कमी की भरपाई करता है, और क्या लक्षित-भाषा वैलिडेशन लॉस इन लाभों को सटीक रूप से दर्शाता है।

कार्यप्रणाली (Methodology)

लेखकों ने चार मॉडल स्केल्स (150M, 380M, 600M, और 1.43B पैरामीटर्स) का उपयोग करते हुए एक व्यवस्थित तुलना की, जिसमें अरबी को कम-संसाधन लक्षित भाषा और अंग्रेजी को उच्च-संसाधन सहायक भाषा के रूप में उपयोग किया गया। इस अध्ययन में लगभग 1,000 प्री-ट्रेनिंग रन शामिल थे।

प्रयोगात्मक सेटअप

डेटा: अरबी कॉर्पस को FineWeb2 से 200M यूनिक टोकन ( $D_{LR}$ ) तक सब-सैंपल किया गया था, जिसे 100 बार ( $R_{max}=100$ ) तक दोहराया गया। अंग्रेजी कॉर्पस प्रभावी रूप से असीमित था।
प्रशिक्षण बजट: बजट को $D = 100 \times N_{nonemb}$ टोकन के लिए फिक्स किया गया था। द्विभाषी सेटिंग्स में, बजट एक अरबी हिस्से ( $\alpha D$ ) और एक अंग्रेजी हिस्से ( $(1-\alpha)D$ ) में विभाजित होता है, जहाँ $\alpha$ मिक्सिंग रेशियो है।
हाइपरपैरामीटर शासन (Regimes):
- बेसिक HP: हाइपरपैरामीटर (वेट डिके $\lambda$ , लर्निंग रेट $\eta$ ) को 150M प्रॉक्सी मॉडल पर ट्यून किया गया और मैक्सिमल अपडेट पैरामीट्राइजेशन ( $\mu$ P) का उपयोग करके बड़े स्केल्स पर स्थानांतरित किया गया।
- ट्यून किया गया HP: प्रत्येक स्केल पर इष्टतम कॉन्फ़िगरेशन खोजने के लिए एक पूर्ण ग्रिड सर्च ( $\lambda, \eta$ के लिए $5 \times 5$ ) किया गया।
चार प्रतिमान (Paradigms): अध्ययन ने डेटा रणनीतियों (मोनोलिंगुअल बनाम द्विभाषी) और HP शासन (बेसिक बनाम ट्यून किया गया) के माध्यम से प्रभावों को अलग करने के लिए अध्ययन किया।
मूल्यांकन:
- प्राथमिक मीट्रिक: अरबी वैलिडेशन लॉस (VL)।
- डाउनस्ट्रीम मीट्रिक: अरबी और अंग्रेजी दोनों में ARC Easy (5-shot) सटीकता।
- विश्लेषण: मिश्रण अनुपात (mixing ratios) बनाम हाइपरपैरामीटर के योगदान को मापने के लिए वेरिएंस डिकम्पोजिशन (ANOVA) का उपयोग किया गया।

मुख्य योगदान और परिणाम

1. डेटा मिक्सिंग हाइपरपैरामीटर ट्यूनिंग पर हावी है

अध्ययन पाता है कि उच्च-संसाधन वाली भाषा को मिक्स करने से हाइपरपैरामीटर ट्यूनिंग अकेले की तुलना में काफी अधिक सुधार होता है।

वैलिडेशन लॉस: 1.43B पैरामीटर्स पर, द्विभाषी प्रशिक्षण ने मोनोलिंगुअल बेसलाइन की तुलना में अरबी वैलिडेशन लॉस में 12.9% का सुधार किया, जबकि केवल HP ट्यूनिंग से केवल 3.1% का लाभ हुआ।
स्केलिंग: मिक्सिंग और ट्यूनिंग के बीच प्रदर्शन का अंतर मॉडल के आकार के साथ बढ़ता जाता है। 1.43B पर, एक बेसिक $\mu$ P हाइपरपैरामीटर वाला द्विभाषी मॉडल, एक प्रति-स्केल ट्यून किए गए हाइपरपैरामीटर वाले मोनोलिंगुअल मॉडल से बेहतर प्रदर्शन करता है, जबकि वह 2.4 $\times$ छोटा है।
ट्यूनिंग का घटता रिटर्न: एक बार जब मिक्सिंग के माध्यम से विविध डेटा पेश कर दिया जाता है, तो आगे के HP ट्यूनिंग से होने वाला मार्जिनल लाभ नगण्य (<1% वैलिडेशन लॉस पर) होता है।

2. मिक्सिंग के मूल्य का परिमाणीकरण (द डेटा मल्टीप्लायर)

लेखक यह मात्रा निर्धारित करते हैं कि अनूइक लक्षित-भाषा डेटा मिक्सिंग कितनी प्रभावी रूप से प्रतिस्थापित करती है।

वैलिडेशन लॉस: मिक्सिंग 2–3 $\times$ का मल्टीप्लायर प्रदान करती है (उदाहरण के लिए, 200M अरबी टोकन को अंग्रेजी के साथ मिक्स करने से VL पर 500M–600M यूनिक अरबी टोकन जैसा प्रदर्शन मिलता है)।
डाउनस्ट्रीम सटीकता: बेंचमार्क पर मल्टीप्लायर बहुत अधिक है, जो 2 $\times$ से 13 $\times$ तक जाता है। 1.43B पर, 200M अरबी टोकनों पर प्रशिक्षित द्विभाषी मॉडल ने 2.7B यूनिक अरबी टोकनों पर प्रशिक्षित मोनोलिंगुअल मॉडल की सटीकता के बराबर प्रदर्शन किया (एक 13.4 $\times$ मल्टीप्लायर)।
विचलन (Divergence): एक व्यवस्थित विचलन है जहाँ वैलिडेशन लॉस मिक्सिंग के मूल्य को कम करके आंकता है। वैलिडेशन लॉस रेगुलराइजेशन प्रभाव (सिग्नल को विविध बनाना) को कैप्चर करता है, लेकिन यह उस नॉलेज ट्रांसफर (तथ्यात्मक क्षमताओं) को कैप्चर करने में विफल रहता है जो सहायक भाषा प्रदान करती है, जो डाउनस्ट्रीम बेंचमार्क के लिए महत्वपूर्ण है।

3. हाइपरपैरामीटर संवेदनशीलता और $\mu$ P ट्रांसफर

संवेदनशीलता: इष्टतम मिक्सिंग अनुपात ( $\alpha$ ) मॉडल के आकार के साथ बढ़ते हुए अधिक अंग्रेजी की ओर शिफ्ट होता है (जैसे, 380M पर $\alpha=0.33$ से 1.43B पर $\alpha=0.10$ तक)।
$\mu$ P प्रभावकारिता: $\mu$ P के माध्यम से एक छोटे प्रॉक्सी मॉडल (150M) से हाइपरपैरामीटर ट्रांसफर करना अत्यधिक प्रभावी है। द्विभाषी मॉडलों के लिए 1.43B तक $\mu$ P-ट्रांसफर्ड HPs और प्रति-स्केल ट्यून किए गए HPs के बीच का अंतर वैलिडेशन लॉस पर 0.6% से कम रहता है।
लैंडस्केप शार्पनिंग: 1.43B पर, हाइपरपैरामीटर लैंडस्केप अधिक शार्प और इंटरैक्टिव हो जाता है (विशेष रूप से लर्निंग रेट और वेट डिके के बीच), जिससे व्यापक ग्रिड सर्च जोखिम भरा हो जाता है। हालाँकि, $\mu$ P एक मजबूत "सेफ डिफॉल्ट" बना रहता है जो HP स्पेस के पैथोलॉजिकल कोनों से बचाता है।

4. प्रॉक्सी के रूप में वैलिडेशन लॉस

जबकि वैलिडेशन लॉस एकल रन के भीतर चेकपॉइंट्स चुनने के लिए एक विश्वसनीय प्रॉक्सी है (पीक सटीकता के साथ सहसंबंध $r \approx 0.97$ ), यह मोनोलिंगुअल और द्विभाषी रणनीतियों की तुलना करने के लिए एक विश्वसनीय मीट्रिक नहीं है। केवल वैलिडेशन लॉस पर भरोसा करने से अभ्यासकर्ता द्विभाषी मिक्सिंग के मूल्य को कम आंक सकते हैं, क्योंकि यह मीट्रिक सहायक भाषा द्वारा प्रदान किए गए डाउनस्ट्रीम नॉलेज गेन्स को ध्यान में नहीं रखता है।

महत्व और व्यावहारिक सिफारिशें

पेपर निष्कर्ष निकालता है कि डेटा-सीमित सेटिंग्स में, मिक्सिंग सुधार के लिए प्राथमिक लीवर है, जबकि हाइपरपैरामीटर ट्यूनिंग माध्यमिक है। लेखक अभ्यासकर्ताओं के लिए एक व्यावहारिक रेसिपी प्रदान करते हैं:

एक उच्च-संसाधन वाली भाषा को मिक्स करें: आक्रामक हाइपरपैरामीटर ट्यूनिंग के बजाय इष्टतम मिक्सिंग अनुपात खोजने को प्राथमिकता दें।
ट्रांसफर के लिए $\mu$ P का उपयोग करें: बड़े स्केल्स पर हाइपरपैरामीटर ट्रांसफर करने के लिए एक छोटे प्रॉक्सी मॉडल का उपयोग करें ताकि खोज लागत को कम किया जा सके।
मीट्रिक्स का पुनर्मूल्यांकन करें: मोनोलिंगुअल और द्विभाषी रणनीतियों की तुलना करने के लिए केवल लक्षित-भाषा वैलिडेशन लॉस का उपयोग न करें, क्योंकि यह व्यवस्थित रूप से सहायक डेटा के मूल्य को कम आंकता है।

अध्ययन दर्शाता है कि मिक्सिंग की कंप्यूट लागत जायज है क्योंकि यह ओवरफिटिंग पर बर्बाद होने वाले दोहराव को मूल्यवान, विविध ज्ञान से बदल देती है, जो प्रभावी रूप से एक डेटा मल्टीप्लायर के रूप में कार्य करती है जो मॉडल के आकार के साथ तेजी से बढ़ता है।