💬 NLP

InfoLaw: Information Scaling Laws for Large Language Models with Quality-Weighted Mixture Data and Repetition

यह शोध पत्र InfoLaw को प्रस्तुत करता है, जो एक नवीन डेटा-जागरूक स्केलिंग फ्रेमवर्क है जो प्रीट्रेनिंग को सूचना संचय (information accumulation) के रूप में मॉडल करता है ताकि विभिन्न डेटा मिश्रणों, गुणवत्ता भार (quality weights) और पुनरावृत्ति स्तरों के बीच LLM प्रदर्शन का सटीक अनुमान लगाया जा सके, जिससे ओवरट्रेन या डेटा-सीमित शासन (regimes) में भी इष्टतम डेटा रेसिपी चयन सक्षम हो सके।

मूल लेखक: Fengze Liu, Weidong Zhou, Binbin Liu, Ping Guo, Zijun Wang, Bingni Zhang, Yifan Zhang, Yifeng Yu, Xiaohuan Zhou, Taifeng Wang

प्रकाशित 2026-05-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Fengze Liu, Weidong Zhou, Binbin Liu, Ping Guo, Zijun Wang, Bingni Zhang, Yifan Zhang, Yifeng Yu, Xiaohuan Zhou, Taifeng Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "InfoLaw" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी समस्या: क्या बहुत अधिक होना भी बुरा है?

कल्पना कीजिए कि आप एक छात्र (AI) को अच्छी तरह लिखना सिखाने की कोशिश कर रहे हैं। आपके पास किताबों का एक विशाल पुस्तकालय है, लेकिन उनमें से केवल कुछ ही वास्तव में उच्च गुणवत्ता वाले क्लासिक्स (उत्कृष्ट कृतियाँ) हैं। बाकी या तो औसत दर्जे की हैं या बस ठीक-ठाक हैं।

अतीत में, शोधकर्ताओं ने सोचा कि सबसे अच्छी रणनीति यह है कि आप छात्र को केवल उच्च-गुणवत्ता वाले क्लासिक्स ही दें। लेकिन इसमें एक पेंच है: छात्र के पूरे अध्ययन कार्यक्रम को भरने के लिए पर्याप्त क्लासिक्स उपलब्ध नहीं हैं। यदि आप छात्र को समय भरने के लिए उन्हीं 100 क्लासिक्स को बार-बार पढ़ने के लिए मजबूर करते हैं, तो वे अंततः ऊब जाते हैं, एक ही वाक्यांशों को दोहराने लगते हैं, और उनका प्रदर्शन वास्तव में खराब हो जाता है। इसे "दोहराव" (repetition) कहा जाता है।

दूसरी ओर, यदि आप समय भरने के लिए कुछ कम गुणवत्ता वाली किताबें मिला देते हैं, तो छात्र अधिक विविधता सीखता है, लेकिन वह कुछ बुरी आदतें भी सीख सकता है।

बड़ा सवाल यह है: हमें उच्च-गुणवत्ता वाली किताबों को कितनी बार दोहराना चाहिए, और हमें कम-गुणवत्ता वाली किताबों को कितना मिलाना चाहिए?

पुराना तरीका: एक टूटे हुए मानचित्र के साथ अनुमान लगाना

पहले, वैज्ञानिक यह अनुमान लगाने के लिए "स्केलिंग लॉज़" (Scaling Laws) का उपयोग करते थे कि एक AI कैसा प्रदर्शन करेगा। इन नियमों को एक ऐसे मानचित्र के रूप में सोचें जो कहता है, "यदि आप 10 घंटे पढ़ाई करते हैं, तो आपको 'B' ग्रेड मिलता है; यदि आप 100 घंटे पढ़ाई करते हैं, तो आपको 'A' ग्रेड मिलता है।"

हालाँकि, यह पेपर तर्क देता है कि जब आप एक ही उच्च-गुणवत्ता वाले डेटा को दोहराना शुरू करते हैं, तो यह पुराना मानचित्र विफल हो जाता है।

खामी: पुराना मानचित्र यह मानता है कि अधिक अध्ययन का समय हमेशा बेहतर ग्रेड की ओर ले जाता है। यह इस तथ्य को ध्यान में नहीं रखता कि एक ही किताब को 50 बार पढ़ने से पहली 5 बार के बाद कोई मदद नहीं मिलती।
परिणाम: जब शोधकर्ताओं ने एक विशाल AI के प्रदर्शन की भविष्यवाणी करने के लिए पुराने मानचित्र का उपयोग करने की कोशिश की, तो मानचित्र अत्यधिक आशावादी था। इसने भविष्यवाणी की कि AI को पूर्ण अंक मिलेंगे, लेकिन वास्तव में, AI भ्रमित हो गया और खराब प्रदर्शन किया क्योंकि वह दोहराव के चक्र में फंस गया था।

नया समाधान: "InfoLaw" (सूचना थर्मामीटर)

लेखक एक नया ढांचा पेश करते हैं जिसे InfoLaw कहा जाता है। केवल यह गिनने के बजाय कि AI ने "कितने घंटे" पढ़ाई की (या उसने कितने टोकन देखे), InfoLaw यह मापता है कि AI ने वास्तव में "कितनी नई जानकारी" सीखी।

उन्होंने इसे इस प्रकार बनाया है:

लाइब्रेरी बकेट (Library Buckets): उन्होंने अपने विशाल टेक्स्ट लाइब्रेरी को गुणवत्ता के आधार पर 6 बकेट (हिस्सों) में विभाजित किया ( "गोल्ड" से लेकर "जंक" तक)।
मिक्सिंग रेसिपी (Mixing Recipe): उन्होंने प्रशिक्षण के लिए अलग-अलग "रेसिपी" बनाईं। कुछ रेसिपी में 80% गोल्ड बुक्स थीं (बहुत अधिक दोहराव के साथ), और अन्य गोल्ड और सिल्वर बुक्स का मिश्रण थीं (कम दोहराव के साथ)।
खोज: उन्होंने पाया कि AI की लर्निंग एक विशिष्ट पैटर्न का पालन करती है:
- क्वालिटी डेंसिटी (Quality Density): उच्च-गुणवत्ता वाली किताबें पहली बार पढ़ने पर एक बड़ा "इन्फॉर्मेशन बूस्ट" देती हैं।
- घटता हुआ प्रतिफल (The Diminishing Returns): हर बार जब आप एक किताब को दोबारा पढ़ते हैं, तो वह बूस्ट छोटा होता जाता है, जैसे एक बैटरी खत्म हो रही हो। अंततः, उसे दोबारा पढ़ने से लगभग शून्य मूल्य जुड़ता है।
- फॉर्मूला: उन्होंने एक गणितीय सूत्र बनाया जो यह गणना करता है कि AI ने किताबों की गुणवत्ता और उन्हें कितनी बार दोहराया गया, दोनों को मिलाकर कुल कितनी "सूचना" (Information) ग्रहण की।

जादुई परिणाम: एक सीधी रेखा

इस पेपर का सबसे प्रभावशाली हिस्सा वह है जो हुआ जब उन्होंने केवल "समय बिताने" के बजाय इस नए "सूचना" मीट्रिक का उपयोग करके अपने परिणामों को प्लॉट किया।

पहले: जब उन्होंने समय के आधार पर परिणामों को प्लॉट किया, तो डेटा पॉइंट्स इधर-उधर बिखरे हुए थे। उच्च दोहराव वाली रेसिपी एक रेसिपी से बिल्कुल अलग दिखती थी।
बाद में: जब उन्होंने "सूचना" (Information) के आधार पर परिणामों को प्लॉट किया, तो वे सभी बिखरे हुए बिंदु एक ही एकल, पूर्ण सीधी रेखा में सिमट गए।

इसका मतलब यह है कि आप चाहे किसी भी "रेसिपी" का उपयोग करें (उच्च गुणवत्ता के साथ दोहराव, या मिश्रित गुणवत्ता), यदि आप जानते हैं कि AI ने कुल कितनी "सूचना" प्राप्त की है, तो आप सटीक रूप से भविष्यवाणी कर सकते हैं कि वह कैसा प्रदर्शन करेगा।

हम इससे क्या कर सकते हैं?

चूंकि उनके पास यह पूर्ण सीधी रेखा (InfoLaw) है, इसलिए अब वे विशाल मॉडल को प्रशिक्षित करने में लाखों डॉलर खर्च किए बिना दो बहुत उपयोगी काम कर सकते हैं:

भविष्यवाणी करना: वे एक छोटे, सस्ते मॉडल (जैसे 250-मिलियन-पैरामीटर वाला मॉडल) को एक विशिष्ट रेसिपी के साथ प्रशिक्षित कर सकते हैं। InfoLaw का उपयोग करके, वे सटीक रूप से भविष्यवाणी कर सकते हैं कि एक विशाल 7-बिलियन-पैरामीटर वाला मॉडल उसी रेसिपी के साथ कैसा प्रदर्शन करेगा।
परफेक्ट रेसिपी खोजना: वे फॉर्मूले का उपयोग करके "इष्टतम मिश्रण" (optimal mix) की गणना कर सकते हैं। उन्होंने पाया कि:
- छोटे मॉडल (या छोटा बजट) उच्चतम गुणवत्ता वाले डेटा पर ध्यान केंद्रित करने चाहिए, भले ही इसका मतलब उसे थोड़ा दोहराना ही क्यों न हो।
- बड़े मॉडल (या बड़ा बजट) विविधता से अधिक लाभान्वित होते हैं। उन्हें दोहराव के "बोरियत" से बचने के लिए कम-गुणवत्ता वाले डेटा को अधिक मिलाना चाहिए।

सारांश उपमा (Analogy)

AI को प्रशिक्षित करना एक स्टू (Stew/सूप) बनाने जैसा है।

पुरानी विधि: आप केवल यह मापते हैं कि बर्तन कितनी देर तक उबलता रहा। आप मानते हैं कि 1 घंटा उबलने से हमेशा 10 घंटे उबलने से बेहतर होता है। लेकिन अगर आप बार-बार वही 3 आलू डालते रहेंगे, तो स्टू अजीब और नमकीन हो जाएगा (दोहराव नुकसान पहुँचाता है)।
InfoLaw: यह विधि सामग्रियों से निकाले गए वास्तविक "स्वाद" (Flavor) को मापती है। यह जानता है कि उबालने का पहला घंटा आलू का 90% स्वाद निकालता है, लेकिन 10वां घंटा लगभग कुछ भी नहीं निकालता।
लाभ: अब, एक विशाल बर्तन के लिए कितना नमक और कितने आलू डालने हैं, इसका अनुमान लगाने के बजाय, आप तुरंत "फ्लेवर फॉर्मूला" का उपयोग करके सही रेसिपी की गणना कर सकते हैं, जिससे आप सामग्री और समय बर्बाद करने से बच सकते हैं।

मुख्य निष्कर्ष: यह पेपर साबित करता है कि बेहतर AI को प्रशिक्षित करने के लिए, हमें केवल यह नहीं देखना चाहिए कि हम कितना डेटा उपयोग कर रहे हैं, बल्कि यह देखना चाहिए कि वह डेटा कितनी नई जानकारी प्रदान करता है, खासकर जब हमें उच्च-गुणवत्ता वाले डेटा को दोहराने के लिए मजबूर किया जाता है। यह हमें प्रदर्शन की सटीक भविष्यवाणी करने और किसी भी आकार के AI के लिए सर्वोत्तम डेटा मिश्रण चुनने की अनुमति देता है।

तकनीकी सारांश: InfoLaw

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) को प्रशिक्षित करना तेजी से उच्च गुणवत्ता वाले डेटा की कमी के कारण बाधित हो रहा है। हालांकि प्रीट्रेनिंग में उच्च-गुणवत्ता वाले डेटा को अधिक महत्व देने से प्रदर्शन में सुधार होता है, लेकिन डेटा-सीमित व्यवस्थाओं (data-constrained regimes) में इन नमूनों को दोहराने की आवश्यकता होती है। मौजूदा साहित्य इंगित करता है कि अत्यधिक पुनरावृत्ति (repetition) घटते प्रतिफल (diminishing returns) और संभावित प्रदर्शन गिरावट का कारण बनती है। इसके अलावा, मानक स्केलिंग लॉ (scaling laws), जो आमतौर पर मॉडल लॉस को कंप्यूट या टोकन काउंट से जोड़ते हैं, विभिन्न डेटा मिश्रण रेसिपी या पुनरावृत्ति की स्थितियों के तहत विश्वसनीय रूप से एक्सट्रपलेशन (extrapolate) करने में विफल रहते हैं। यह विफलता बड़े पैमाने पर इष्टतम डेटा रेसिपी के चयन को अनिश्चित बना देती है, जिसके लिए अक्सर डेटा कॉन्फ़िगरेशन पर खर्चीले ग्रिड सर्च की आवश्यकता होती है।

कार्यप्रणाली (Methodology)

यह शोध पत्र InfoLaw (Information Scaling Laws) पेश करता है, जो एक डेटा-जागरूक स्केलिंग फ्रेमवर्क है जिसे उपभोग किए गए टोकन, मॉडल आकार, डेटा मिश्रण भार (mixture weights) और पुनरावृत्ति स्तर के आधार पर मॉडल लॉस की भविष्यवाणी करने के लिए डिज़ाइन किया गया है। इसका मुख्य सैद्धांतिक आधार प्रीट्रेनिंग को एक सूचना संचय प्रक्रिया (information accumulation process) के रूप में मॉडल करना है जहाँ:

गुणवत्ता सूचना घनत्व (Information Density) को नियंत्रित करती है: उच्च-गुणवत्ता वाला डेटा प्रति टोकन अधिक सूचना योगदान देता है।
पुनरावृत्ति स्केल-निर्भर घटते प्रतिफल उत्पन्न करती है: बार-बार एक्सपोजर से सूचना लाभ धीरे-धीरे कम होता जाता है।

InfoLaw फ्रेमवर्क

फ्रेमवर्क एक मीट्रिक को परिभाषित करता है जिसे सूचना (Information - $info$) कहा जाता है, जो प्रशिक्षण कॉर्पस से सीखी गई जानकारी को एकत्रित करता है। इसकी गणना में शामिल हैं:

गुणवत्ता घनत्व ( $f_d$ ): एक पैरामीट्रिक फंक्शन जहाँ उच्च-गुणवत्ता वाले बकेट (निम्न इंडेक्स $d$ ) को उच्च सूचना घनत्व दिया जाता है। पेपर एक एक्सपोनेंशियल डिके फंक्शन $f_d(\theta) = e^{-\theta \cdot d}$ को फिट करता है।
लर्निंग रेट डिके ( $\lambda(N)$ ): एक दर पैरामीटर जो मॉडल के नॉन-एम्बेडिंग FLOPs प्रति टोकन ( $N$ ) पर निर्भर है। पेपर इस संबंध को एक लॉगरिदमिक फंक्शन $\lambda(N) = a \cdot \ln(N) + b$ के रूप में मॉडल करता है, जो मॉडल स्केल बढ़ने के साथ सीखने की क्षमता के संतृप्ति (saturation) को दर्शाता है।
पुनरावृत्ति कारक ( $R_d$ ): एक विशिष्ट गुणवत्ता बकेट के टोकन को कितनी बार देखा गया है, इसका औसत, जिसे लक्ष्य टोकन काउंट ( $K$ ), स्रोत टोकन काउंट ( $S$ ), और मिश्रण भार ( $w$ ) के आधार पर गणना किया जाता है।

सीखी गई कुल सूचना को इस प्रकार सूत्रबद्ध किया गया है:
$info = \sum_{d} f_d M_d \log(K) \left(1 - e^{-\lambda(N) R_d / \log(K)}\right)$
जहाँ $M_d$ बकेट $d$ में अद्वितीय टोकन की संख्या है।

अंत में, फ्रेमवर्क मॉडल के वैलिडेशन लॉस ( $L$ ) और गणना की गई सूचना के बीच एक पावर-लॉ संबंध स्थापित करता है:
$L = \alpha \cdot info^{-\beta}$

प्रयोगात्मक सेटअप (Experimental Setup)

InfoLaw के मापदंडों को फिट करने के लिए, लेखकों ने एक डेटासेट बनाया जो तीन अक्षों (axes) पर भिन्न होता है: स्केल, गुणवत्ता वितरण, और पुनरावृत्ति स्तर।

डेटा स्रोत: 3.7T इंग्लिश टोकन कॉमन क्रॉल (Common Crawl) से, जिन्हें क्लासिफायर स्कोर के आधार पर छह गुणवत्ता बकेट में विभाजित किया गया है।
सैंपलिंग: विविध मिश्रण भार ( $w$ ) और पुनरावृत्ति स्तरों (लक्ष्य आकार $K$ के सापेक्ष स्रोत आकार $S$ को समायोजित करके) के साथ प्रशिक्षण सेट बनाने के लिए एक "LayerMix" सैंपलिंग फंक्शन का उपयोग किया गया था।
प्रशिक्षण: 252M से 1.2B पैरामीटर्स के बीच 9 मॉडल्स को 3.6x ओवरट्रेनिंग अनुपात के तहत स्क्रैच से प्रशिक्षित किया गया।
मूल्यांकन: प्रदर्शन को पांच डाउनस्ट्रीम कार्यों (HellaSwag, ARC-E/ARC-C, MMLU, TriviaQA) में औसत परप्लेक्सिटी (perplexity) के रूप में मापा गया।

मुख्य योगदान (Key Contributions)

स्केलिंग लॉ की विफलता की पहचान: पेपर प्रदर्शित करता है कि पारंपरिक स्केलिंग लॉ (लॉस बनाम कंप्यूट) डेटा पुनरावृत्ति के तहत व्यवस्थित रूप से गलत एक्सट्रपलेशन करते हैं, जिससे बड़े मॉडल्स के लिए अत्यधिक आशावादी भविष्यवाणियां मिलती हैं।
InfoLaw फॉर्मूलेशन: एक अभिनव फ्रेमवर्क जो "कंप्यूट" को "क्वालिटी-एंड-रिपिटिशन-अवेयर इंफॉर्मेशन" मीट्रिक से बदलकर विविध डेटा रेसिपी और मॉडल स्केल्स को एक एकल पावर-लॉ कर्व पर एकीकृत करता है।
पैरामीटर फिटिंग और वैलिडेशन: लेखकों ने छोटे पैमाने के प्रयोगों (252M–1.2B) का उपयोग करके क्वालिटी डेंसिटी और लर्निंग डिके मापदंडों को फिट किया और अनदेखी डेटा रेसिपी और बड़े मॉडल स्केल्स (425B टोकन पर प्रशिक्षित 7B मॉडल्स तक) पर फ्रेमवर्क की भविष्यवाणी करने की क्षमता को मान्य किया।

परिणाम (Results)

भविष्यवाणी सटीकता: InfoLaw अनदेखी डेटा रेसिपी और बड़े स्केल्स (7B मॉडल्स तक) पर वैलिडेशन लॉस की भविष्यवाणी 0.15% मीन एब्सोल्यूट एरर (mean absolute error) और 0.96% मैक्सिमम एब्सोल्यूट एरर के साथ करता है।
एक्सट्रपलेशन क्षमताएं:
- अनदेखी रेसिपी: मॉडल उन मिश्रण भारों (जैसे MLQ, MHQ) के लिए लॉस की सटीक भविष्यवाणी करता है जो प्रशिक्षण के दौरान नहीं देखे गए थे।
- बड़े स्केल्स: भविष्यवाणियां 7B पैरामीटर्स तक के मॉडल्स के लिए भी बनी रहती हैं, जो पारंपरिक स्केलिंग लॉ से काफी बेहतर है जो उच्च कंप्यूट बजट पर अलग (diverge) हो जाते हैं।
- उच्च ओवरट्रेनिंग: फ्रेमवर्क 25x ओवरट्रेनिंग रिजीम तक सफलतापूर्वक एक्सट्रपलेट करता है, जहाँ ओवरट्रेनिंग की डिग्री कर्व के आकार को बदलने के बजाय मुख्य रूप से इसके इंटरसेप्ट को शिफ्ट करती है।
ऑप्टिमाइजेशन: फिट किए गए InfoLaw का उपयोग करते हुए, लेखकों ने बिना किसी अतिरिक्त ट्रेनिंग रन के 2.5B मॉडल के लिए इष्टतम डेटा रेसिपी की खोज की। पहचाना गया रेसिपी चार रैंडमली सैंपल किए गए बेसलाइन्स से बेहतर रहा।
सामान्य रुझान: विश्लेषण से पता चलता है कि छोटे मॉडल्स या छोटे ट्रेनिंग बजट उच्च-गुणवत्ता वाले डेटा को प्राथमिकता देते हैं, जबकि बड़े मॉडल्स या बड़े बजट डेटा विविधता (डाइवर्सिटी) से अधिक लाभान्वित होते हैं (उच्चतम गुणवत्ता वाले बकेट को छोटा हिस्सा आवंटित करना)।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि InfoLaw विभिन्न कंप्यूटेशनल बजटों के तहत डेटा रेसिपी चुनने के लिए एक विश्वसनीय उपकरण प्रदान करता है, जिससे व्यापक ट्रायल-एंड-एरर प्रयोगों की आवश्यकता समाप्त हो जाती है। डेटा की गुणवत्ता, पुनरावृत्ति और मॉडल स्केल के बीच के अंतर्संबंध को सटीक रूप से मॉडल करके, फ्रेमवर्क डेटा-सीमित व्यवस्थाओं में कुशल प्रीट्रेनिंग रणनीतियों को सक्षम बनाता है। लेखक दावा करते हैं कि उनकी विधि वेटेड-क्वालिटी मिक्सचर और पुनरावृत्ति वाले परिदृश्यों में प्रदर्शन की भविष्यवाणी करने के लिए पारंपरिक स्केलिंग लॉ का एक अधिक मजबूत विकल्प प्रदान करती है, जिससे सैकड़ों मिलियन से लेकर अरबों पैरामीटर्स वाले मॉडल्स के लिए इष्टतम डेटा कॉन्फ़िगरेशन की खोज सुलभ होती है।

पेपर निष्कर्ष निकालता है कि हालांकि वर्तमान डेटा बकेटिंग अनुभवजन्य ह्यूरिस्टिक्स (empirical heuristics) पर निर्भर है और ओवरट्रेनिंग शिफ्ट के लिए सैद्धांतिक स्पष्टीकरण अभी भी एक खुला प्रश्न है, Info la प्रभावी रूप से LLM स्केलिंग के मूलभूत ट्रेड-ऑफ को कैप्चर करता है, जो कुशल डेटा उपयोग के लिए एक व्यावहारिक मार्ग प्रदान करता है।