💬 NLP

Domain-Aware Scaling Laws Uncover Data Synergy

यह शोध पत्र विविध ओपन-वेट (open-weight) एलएलएम (LLM) के अवलोकन संबंधी डेटा का लाभ उठाकर, यह अनुमान लगाने के लिए कि विभिन्न डोमेन संयोजन कैसे परस्पर क्रिया करते हैं, भाषा मॉडल प्रीट्रेनिंग में "डेटा सिनर्जी" (data synergy) को औपचारिक रूप देता है और परिमाणित करता है, जो यह प्रदर्शित करता है कि उनका प्रस्तावित ढांचा डोमेन-अज्ञेयवादी स्केलिंग लॉज़ (domain-agnostic scaling laws) से बेहतर प्रदर्शन करता है और इष्टतम बनाम प्रति-इष्टतम (optimal versus anti-optimal) डेटा मिश्रण के आधार पर मॉडल प्रदर्शन रैंकिंग की सटीक भविष्यवाणी करता है।

मूल लेखक: Kimia Hamidieh, Lester Mackey, David Alvarez-Melis

प्रकाशित 2026-07-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kimia Hamidieh, Lester Mackey, David Alvarez-Melis

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप दुनिया का सबसे स्वादिष्ट केक बना रहे हैं। लंबे समय तक, हर किसी को लगता था कि केवल इस बात से फर्क पड़ता है कि आपने कितना ज्यादा आटा इस्तेमाल किया है। आटे का ढेर (डेटा) जितना बड़ा होगा, केक (AI मॉडल) उतना ही बेहतर होगा। लेकिन यह नया शोध पत्र सुझाव देता है कि यह केवल आधी कहानी है। यह सच है कि आप उस आटे में क्या मिलाते हैं, यह भी उतना ही महत्वपूर्ण है जितना कि आटे की कुल मात्रा।

शोधकर्ता इसे "डेटा सिनर्जी" (data synergy) कहते हैं। इसे एक गुप्त रेसिपी की तरह समझें जहाँ कुछ सामग्रियां केवल जुड़ती नहीं हैं; वे एक-दूसरे के जादू को कई गुना बढ़ा देती हैं। यदि आप "कोड" और "गणित" को एक साथ मिलाते हैं, तो केक अकेले बेक करने की तुलना में अधिक ऊंचा उठेगा। लेकिन अगर आप "किताबें" और "कोड" मिलाते हैं, तो घोल अजीब हो सकता है और केक गिर सकता है। यह पेपर स्पष्ट रूप से उस पुराने विचार का खंडन करता है कि सभी डेटा टोकन एक समान हैं, जैसे कि एक जैसे दिखने वाले लेगो ब्रिक्स। इसके बजाय, वे दिखाते हैं कि डेटा का विशिष्ट संयोजन यह बदल देता है कि AI कितनी तेजी से सीखता है।

मिश्रण का "जादुई गणित"
टीम ने केवल अनुमान नहीं लगाया; उन्होंने इसे मापने के लिए नए नियमों का एक सेट बनाया (जिसे "स्केलिंग लॉज़" कहा जाता है)। उन्होंने पहले से मौजूद 52 अलग-अलग AI मॉडलों को देखा, जिन्हें वेब पेज, किताबें, कोड और गणित की समस्याओं जैसे विभिन्न "मिश्रणों" पर प्रशिक्षित किया गया था।

उन्होंने दो प्रकार के जादू पाए:

"बूस्ट" प्रभाव: कुछ डेटा AI को विशिष्ट कार्यों में बेहतर बनाता है। उदाहरण के लिए, कोड डेटा पर प्रशिक्षण लेने से AI गणित की समस्याओं को हल करने में काफी बेहतर हो जाता है। शोध पत्र में पाया गया कि कोडिंग टेस्ट के लिए जिसे HumanEval कहा जाता है, गणित डेटा के लिए सिनर्जी गुणांक (synergy coefficient) +1.34 था, जबकि कोड डेटा के लिए यह +0.47 था। ये मान यह दर्शाते हैं कि वे बेसलाइन की तुलना में सीखने की दर को कितना तेज करते हैं, न कि केवल अंतिम स्कोर में एक साधारण गुणात्मक वृद्धि।
"डबल-बूस्ट" प्रभाव: यह वास्तव में सबसे शानदार हिस्सा है। कभी-कभी, दो प्रकार के डेटा को एक ही बर्तन में एक साथ होने की आवश्यकता होती है ताकि वे एक सुपरपावर को अनलॉक कर सकें। पेपर सुझाव देता है कि जब "कोड" और "विज्ञान" का डेटा एक साथ दिखाई देता है, तो वे एक "बोनस" प्रभाव पैदा करते हैं जो उनके व्यक्तिगत लाभों को जोड़ने से कहीं अधिक मजबूत होता है। यह बिल्कुल वैसा ही है जैसे पीनट बटर और जेली अच्छे होते हैं, लेकिन एक साथ मिलकर वे एक ऐसा सैंडविच बनाते हैं जो अपने हिस्सों के योग से कहीं अधिक महान होता है।

उन्होंने क्या खारिज किया
यह पेपर इस बारे में बहुत स्पष्ट है कि क्या काम नहीं करता है। वे स्पष्ट रूप से इस विचार को खारिज करते हैं कि आप बस मिश्रण में कोई भी रैंडम डेटा डाल सकते हैं और समान परिणाम की उम्मीद कर सकते हैं। वे यह भी दिखाते हैं कि केवल शब्दों (टोकन) की कुल संख्या गिनना यह अनुमान लगाने के लिए पर्याप्त नहीं है कि AI कितना स्मार्ट हो जाएगा। वास्तव में, जब उन्होंने केवल डेटा की कुल मात्रा का उपयोग करके प्रदर्शन का अनुमान लगाने की कोशिश की, तो उनके अनुमान पूरी तरह से गलत थे (एक कम सटीकता स्कोर 0.17 के साथ)। लेकिन एक बार जब उन्होंने डेटा के मिश्रण को ध्यान में रखना शुरू किया, तो उनके अनुमान लगभग सटीक हो गए (सटीकता 1.00 तक पहुँच गई)।

वे कितने आश्वस्त हैं?
लेखक यह दावा करने में सावधान हैं कि उन्होंने AI प्रशिक्षण को "हल" कर दिया है। इसके बजाय, वे मौजूदा मॉडलों का अवलोकन करके इन प्रभावों का सुझाव देते हैं और अनुमान लगाते हैं। उन्होंने केवल कंप्यूटर पर इसका सिमुलेशन नहीं किया; उन्होंने वास्तव में वास्तविक दुनिया में अपने सिद्धांत का परीक्षण किया।

यह साबित करने के लिए कि उनका "रेसिपी" काम कर रहा है, उन्होंने दो छोटे नए मॉडल प्रशिक्षित किए (एक 30 मिलियन पैरामीटर्स वाला और एक 150 मिलियन पैरामीटर्स वाला)।

उन्होंने एक मॉडल को "इष्टतम" (optimal) मिश्रण दिया (कोडिंग कार्यों के लिए बहुत सारा गणित और कोड)।
उन्होंने दूसरे मॉडल को "गैर-इष्टतम" (anti-optimal) मिश्रण दिया (कोडिंग कार्यों के लिए बहुत सारी किताबें और विश्वकोश)।

परिणाम? "इष्टतम" मॉडल ने "गैर-इष्टतम" मॉडल को बुरी तरह हरा दिया। बड़े पैमाने पर HumanEval कोडिंग टेस्ट पर, इष्टतम मिश्रण संतुलित बेसलाइन की तुलना में 16.9% बेहतर था, जबकि गैर-इष्टतम मिश्रण बेसलाइन के प्रदर्शन की तुलना में 21.9% खराब प्रदर्शन कर गया। यह पुष्टि करता है कि उनके "सिनर्जी" अनुमानों ने सही ढंग से भविष्यवाणी की कि कौन सा मिश्रण जीतेगा।

निष्कर्ष
पेपर सुझाव देता है कि स्मार्ट AI बनाने का भविष्य केवल अधिक डेटा इकट्ठा करने के बारे में नहीं है, बल्कि डेटा के सही मिश्रण के बारे में है। यह समझने जैसा है कि रॉकेट बनाने के लिए आपको केवल अधिक ईंधन की आवश्यकता नहीं है; आपको ईंधन और ऑक्सीजन का सही अनुपात चाहिए। यदि आप अनुपात गलत करते हैं, तो रॉकेट लड़खड़ा जाएगा। यदि आप इसे सही करते हैं, तो आप सितारों तक पहुँच सकते हैं। लेखकों ने पाया कि कोडिंग और गणित के कार्यों के लिए, कोड और गणित डेटा को मिलाना वह सटीक अनुपात है, जबकि किताबों और कोड को मिलाना वास्तव में आपकी गति धीमी कर सकता है। यह एक सुखद याद दिलाता है कि AI की दुनिया में, गुणवत्ता और संयोजन उतने ही महत्वपूर्ण हैं जितनी कि मात्रा।

तकनीकी सारांश: डोमेन-अवेयर स्केलिंग लॉज़ ने डेटा सिनर्जी का खुलासा किया

समस्या विवरण

यद्यपि मशीन लर्निंग की प्रगति को अक्सर मॉडल के आकार और डेटासेट की मात्रा को बढ़ाने (scaling) से जोड़ा जाता है, लेकिन प्रीट्रेनिंग डेटा की संरचना को अक्सर एक अविभेदित टोकन गणना (undifferentiated token count) के रूप में माना जाता है। अनुभवजन्य साक्ष्य बताते हैं कि डेटा संरचना महत्वपूर्ण है: विभिन्न डोमेन (जैसे, कोड, गणित, वेब) से डेटा संयोजनों से गैर-मामूली अंतःक्रियाएं (nontrivial interactions) उत्पन्न होती हैं जहाँ डोमेन का संयुक्त योगदान उनके अलग-थलग प्रभावों के योग से अधिक या कम हो सकता है। ये अंतःक्रियाएं, जिन्हें डेटा सिनर्जी (data synergy) कहा जाता है, वर्तमान में मानक स्केलिंग लॉज़ (जैसे, चिनचिला) द्वारा अनदेखी की जाती हैं, जो यह मानती हैं कि सभी टोकन स्रोत की परवाह किए बिना समान योगदान देते हैं। मौजूदा विधियाँ या तो कॉर्पोरा को सजातीय (homogeneous) मानती हैं या संरचना को बिना विशिष्ट डोमेन के बीच की अंतःक्रियाओं को कैप्चर किए मॉडल करती हैं, जिससे अधिक डेटा के कुल लाभ और डोमेन के विशिष्ट प्रभाव के बीच अंतर करने में विफलता होती है।

कार्यप्रणाली (Methodology)

लेखक डोमेन-अवेयर स्केलिंग लॉज़ (domain-aware scaling laws) का प्रस्ताव करते हैं, जो एक ढांचा है जो भाषा मॉडल प्रीट्रेनिंग में डेटा सिनर्जी को औपचारिक रूप देता है और उसे मापता है। प्रशिक्षित मॉडलों के एक बड़े सेट के साथ नियंत्रित प्रयोगों पर निर्भर रहने के बजाय, यह दृष्टिकोण विविध, प्रलेखित प्रीट्रेनिंग मिश्रणों वाले 52 ओपन-वेट लार्ज लैंग्वेज मॉडल्स (LLMs) के अवलोकन संबंधी भिन्नता (observational variation) का लाभ उठाता है।

यह ढांचा मानक स्केलिंग लॉज़ का विस्तार करता है और दो अलग-अलग प्रकार के सिनर्जी गुणांकों (synergy coefficients) को पेश करता है:

प्रथम-क्रम डोमेन $\rightarrow$ बेंचमार्क सिनर्जी ( $\gamma_{j,k}$ ):
यह कैप्चर करता है कि कैसे एक विशिष्ट डोमेन $k$ से प्रीट्रेनिंग डेटा, कुल टोकन संख्या से परे, एक विशिष्ट बेंचमार्क $j$ पर लॉस (loss) घटने की दर को संशोधित करता है।

एक सकारात्मक $\gamma_{j,k}$ एक सिनर्जिस्टिक प्रभाव को दर्शाता है जहाँ टोकन बेसलाइन स्केलिंग एक्सपोनेंट $\beta_j$ की तुलना में तेजी से लॉस को कम करते हैं।
एक नकारात्मक $\gamma_{j,k}$ हस्तक्षेप (interference) का संकेत देता है, जहाँ टोकन लॉस को धीमी गति से कम करते हैं।
गणितीय रूप से, यह डेटा स्केलिंग एक्सपोनेंट को $\beta_j + \gamma_{j,k}$ में संशोधित करता है, जो डोमेन के हिस्से और पूर्ण टोकन संख्या के आधार पर डेटा टर्म को पुनर्गठित (rescale) करता है।

द्वितीय-क्रम डोमेन-डोमेन सिनर्जी ( $\sigma_{kk'}$ ):
यह उन गैर-योगात्मक प्रभावों (non-additive effects) को कैप्चर करता है जो तब उत्पन्न होते हैं जब दो डोमेन $k$ और $k'$ प्रशिक्षण मिश्रण में सह-घटित होते हैं।

इन अंतःक्रियाओं को "बोनस टोकन" के रूप में मॉडल किया जाता है जो केवल तभी मौजूद होते हैं जब दोनों डोमेन उपस्थित हों, और यह दोनों डोमेन के लॉग-टोकन बजट में से छोटे के साथ स्केल होता है।
अंतःक्रिया पद (interaction term) तब शून्य हो जाता है जब दोनों में से कोई भी डोमेन अनुपस्थित होता है, यह सुनिश्चित करता है कि मॉडल वास्तविक सह-घटन निर्भरताओं को कैप्चर करे न कि केवल सरल योगात्मक प्रभावों को।
ये गुणांक सभी बेंचमार्क में साझा किए जाते हैं, जो प्रीट्रेनिंग कॉर्पस के भीतर मौलिक पूरकता या हस्तक्षेप को दर्शाते हैं।

अनुमान रणनीति (Estimation Strategy):
पैरामीटर्स का अनुमान दो-चरणीय फिटिंग प्रक्रिया का उपयोग करके अवलोकन संबंधी डेटा से लगाया जाता है:

चरण 1: स्केलिंग एक्सपोनेंट्स के लिए प्रायोर (priors) स्थापित करने के लिए एक डोमेन-अज्ञेय (domain-agnostic) चिनचिला बेसलाइन को फिट करना।
चरण 2: शोर वाले मेटाडेटा के प्रति मजबूती (robustness) के लिए हबर लॉस (Huber loss), स्पार्सिटी (sparsity) लागू करने और कोलीनियरिटी (collinearity) को संभालने के लिए $\ell_1$ और $\ell_2$ रेगुलराइजेशन, और $\beta$ और $\gamma$ के बीच ट्रेड-ऑफ को रोकने के लिए डेटा स्केलिंग एक्सपोनेंट पर एक प्रायोर का उपयोग करके पूर्ण सिनर्जी मॉडल (प्रथम-क्रम या द्वितीय-क्रम) को फिट करना।
सत्यापन (Validation): अनिश्चितता को बूटस्ट्रैप रीसैंपलिंग के माध्यम से मात्रात्मक किया जाता है, और मॉडल चयन क्रॉस-वैलिडेशन फोल्ड्स के बीच पैरामीटर स्थिरता पर निर्भर करता है।

मुख्य परिणाम

1. बेहतर भविष्य कहनेवाला सटीकता (Improved Predictive Accuracy)

डोमेन-अवेयर मॉडल होल्ड-आउट मॉडल प्रदर्शन की भविष्यवाणी करने में डोमेन-अज्ञेय चिनचिला बेसलाइन की तुलना में काफी बेहतर प्रदर्शन करते हैं।

प्रथम-क्रम (FO) मॉडल: बेंचमार्क पर मेडियन क्रॉस-वैलिडेटेड $R^2$ का 0.906 प्राप्त करता है। सुधार सबसे अधिक कोड बेंचमार्क (HumanEval और MBPP) पर स्पष्ट है, जहाँ बेसलाइन $R^2$ 0.20–0.41 जितना कम था, जबकि FO मॉडल 0.88–0.92 तक पहुँच गया।
द्वितीय-क्रम (SO) मॉडल: $R^2$ का 0.912 का मेडियन प्राप्त करता है, जो उन बेंचमार्क जैसे GSM8K और IFEval पर भविष्यवाणियों में और सुधार करता है जहाँ प्रथम-क्रम प्रभाव पहले से ही मजबूत थे।

2. पहचानी गई सिनर्जी और हस्तक्षेप (Identified Synergies and Interferences)

ढांचा स्थिर, व्याख्या योग्य अनुमानों को रिकवर करता है:

मजबूत सकारात्मक सिनर्जी: सबसे मजबूत निष्कर्ष कोड (Code) और गणित (Math) डोमेन के बीच आपसी सुदृढ़ीकरण है। उदाहरण के लिए, HumanEval पर, $\gamma_{\text{code}} = +0.47$ और $\gamma_{\text{math}} = +1.34$ है। द्वितीय-क्रम विश्लेषण एक मजबूत युग्म सिनर्जी ( $\sigma_{\text{code,math}} = +2.40$ ) प्रकट करता है, जो इंगित करता है कि उनकी सह-उपस्थिति व्यक्तिगत प्रभावों के योग से अधिक लाभ प्रदान करती है। कोड और विज्ञान (Science) भी मजबूत सकारात्मक सिनर्जी दिखाते हैं ( $\sigma_{\text{code,science}} = +2.55$ )।
नकारात्मक हस्तक्षेप: ढांचा निरंतर हस्तक्षेप की पहचान करता है, विशेष रूप से किताबें/विश्वकोश (Books/Encyclopedia) और कोड बेंचमार्क के बीच, जहाँ इन डोमेन की उपस्थिति कोडिंग कार्यों पर प्रदर्शन लाभ को धीमा कर देती है।
बेंचमार्क विशिष्टता: स्केलिंग एक्सपोनेंट $\beta$ स्थिर नहीं है; यह संरचना के आधार पर काफी भिन्न होता है। उदाहरण के लिए, मिश्रण से कोड को हटाने से HumanEval पर डेटा स्केलिंग एक्सपोनेंट 0.45 से घटकर 0.18 रह जाता है।

3. मिश्रण अनुकूलन के माध्यम से सत्यापन (Validation via Mixture Optimization)

इन अवलोकन संबंधी अनुमानों की क्रियाशीलता (actionability) का परीक्षण करने के लिए, लेखकों ने तीन कार्यों के लिए इष्टतम (सिनर्जी गुणांकों को अधिकतम करने वाले) और एंटी-ऑप्टिमल (उन्हें न्यूनतम करने वाले) मिश्रणों पर मॉडल (30M और 150M पैरामीटर्स) प्रशिक्षित किए।

परिणाम: अनुमानित-इष्टतम मिश्रणों ने सभी कार्यों और पैमानों पर एंटी-ऑप्टिमल मिश्रणों की तुलना में लगातार बेहतर प्रदर्शन किया।
परिमाण: 30M पैरामीटर्स पर HumanEval के लिए, इष्टतम मिश्रण ने संतुलित बेसलाइन की तुलना में बिट्स-पर-बाइट (BPB) में 12.4% का सुधार हासिल किया, जबकि एंटी-ऑप्टिमल 18.6% बदतर था। 150M पर, यह अंतर बढ़ गया, जहाँ इष्टतम मिश्रण ने बेसलाइन की तुलना में 16.9% का सुधार दिखाया।
निष्कर्ष: विशुद्ध रूप से अवलोकन संबंधी डेटा से प्राप्त सिनर्जी अनुमानों ने प्रदर्शन रैंकिंग की सफलतापूर्वक भविष्यवाणी की, जो पुष्टि करता है कि पहचाने गए इंटरैक्शन डेटा क्यूरेशन के लिए कार्रवाई योग्य (actionable) हैं।

महत्व और दावे

पेपर यह दावा करता है कि यह डेटा सिनर्जी की पहली औपचारिक, मात्रात्मक परिभाषा प्रदान करता है जो डेटा वॉल्यूम के कुल लाभ को संरचना के प्रभाव से अलग करती है। डोमेन-अज्ञेय स्केलिंग लॉज़ से आगे बढ़कर, लेखक प्रदर्शित करते हैं कि:

टोकन विनिमेय (interchangeable) नहीं हैं: एक टोकन का मूल्य प्रशिक्षण मिश्रण में मौजूद अन्य डोमेन पर बहुत अधिक निर्भर करता है।
अवलोकन से सिनर्जी रिकवर की जा सकती है: नियंत्रण हस्तक्षेपों के अभाव के बावजूद, मौजूदा ओपन-वेट मॉडल्स से स्थिर और व्याख्या योग्य सिनर्जी गुणांकों का अनुमान लगाया जा सकता है।
क्रियाशील अंतर्दृष्टि (Actionable Insights): ये अनुमान डेटा क्यूरेशन के लिए एक सिद्धांत आधारित उपकरण प्रदान करते हैं, जिससे अभ्यासकर्ता पहचाने गए सिनर्जी का लाभ उठाकर और हस्तक्षेपों से बचकर विशिष्ट क्षमताओं (जैसे, तर्क या कोडिंग) को अधिकतम करने के लिए प्रीट्रेनिंग मिश्रणों को डिजाइन कर सकते हैं।

लेखक सीमाओं का उल्लेख करते हैं, जिसमें अवलोकन संबंधी डेटा पर निर्भरता (जो सख्त कार्य-कारण संबंध के बजाय संबंध स्थापित करती है) और सत्यापन प्रयोगों का छोटा पैमाना शामिल है। वे सुझाव देते हैं कि भविष्य के कार्य को यह सत्यापित करना चाहिए कि क्या ये सिनर्जी बड़े मॉडल स्केल पर बनी रहती हैं और क्या वे सुपरवाइज्ड फाइन-ट्यूनिंग या सुदृढीकरण लर्निंग (reinforcement learning) के तहत भी कायम रहती हैं।