🤖 AI

To Memorize or to Retrieve: Scaling Laws for RAG-Considerate Pretraining

यह शोधपत्र विभिन्न मॉडल पैमानों (scales) में प्रीट्रेनिंग डेटा और रिट्रीवल कॉर्पस के आकार के बीच के ट्रेड-ऑफ की जांच करता है, जो ज्ञान-गहन कार्यों में भाषा मॉडल के प्रदर्शन को अधिकतम करने के लिए इष्टतम डेटा बजट आवंटन निर्धारित करने हेतु एक त्रि-आयामी स्केलिंग ढांचे का प्रस्ताव करता है।

मूल लेखक: Karan Singh, Michael Yu, Varun Gangal, Zhuofu Tao, Sachin Kumar, Emmy Liu, Steven Y. Feng

प्रकाशित 2026-04-02

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Karan Singh, Michael Yu, Varun Gangal, Zhuofu Tao, Sachin Kumar, Emmy Liu, Steven Y. Feng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "To Memorize or to Retrieve: Scaling Laws for RAG-Considerate Pretraining" पेपर का एक सरल भाषा में अनुवाद दिया गया है, जिसमें रचनात्मक उपमाओं (analogies) का उपयोग किया गया है।

मुख्य सवाल: क्या आपको लाइब्रेरी याद करनी चाहिए या बस एक नक्शा साथ रखना चाहिए?

कल्पना कीजिए कि आप एक छात्र (AI) को दुनिया का सबसे बुद्धिमान व्यक्ति बनने के लिए प्रशिक्षित कर रहे हैं। आपके पास समय और संसाधनों का एक निश्चित बजट है। आपके सामने एक क्लासिक दुविधा है:

विकल्प A (याद करना/Memorization): छात्र को लाइब्रेरी की हर एक किताब पढ़ने और रटने के लिए कहें। वे सब कुछ अपने दिमाग के अंदर जान लेंगे, लेकिन इसमें पढ़ाई में बहुत अधिक समय लगेगा, और यदि वे कोई तथ्य भूल जाते हैं, तो वे उसे वापस नहीं पा सकते।
विकल्प B (खोजना/Retrieval): छात्र को कम किताबें पढ़ने दें लेकिन उन्हें एक सुपर-फास्ट, जादुई इंडेक्स कार्ड सिस्टम (एक सर्च इंजन) दें जिसे वे ज़रूरत पड़ने पर देख सकें। उन्हें सब कुछ याद रखने की ज़रूरत नहीं है, लेकिन उन्हें रुककर चीज़ें ढूँढनी होंगी।

समस्या: लंबे समय से, AI शोधकर्ताओं ने इन्हें अलग-अलग विकल्पों के रूप में देखा है। या तो उन्होंने छात्र को सब कुछ याद करने के लिए बनाया या बाद में एक सर्च टूल जोड़ दिया। उन्होंने यह नहीं पूछा: "समय के एक निश्चित हिस्से को देखते हुए, याद करने और नक्शा साथ रखने का सही मिश्रण क्या है?"

यह पेपर इसी सवाल का जवाब देता है।

प्रयोग: "DCLM" लाइब्रेरी

शोधकर्ताओं ने छात्रों (AI मॉडल्स) की एक श्रृंखला बनाई, जो एक छोटे बच्चे (30 मिलियन "मस्तिष्क कोशिकाएं") से लेकर एक प्रतिभाशाली वयस्क (3 बिलियन "मस्तिष्क कोशिकाएं") तक थी।

उन्होंने उन्हें टेक्स्ट की एक विशाल लाइब्रेरी (100 बिलियन शब्द) तक पहुँच दी। फिर उन्होंने "संसाधन आवंटन" (Resource Allocation) का खेल खेला:

उन्होंने छात्र को सिखाने के लिए लाइब्रेरी का एक हिस्सा लिया (Pretraining)।
उन्होंने लाइब्रेरी का बाकी हिस्सा लिया और उसे एक खोजने योग्य डेटाबेस (Retrieval) में डाल दिया।

उन्होंने हजारों अलग-अलग संयोजनों का परीक्षण किया:

परिदृश्य 1: छात्र 90% लाइब्रेरी याद करता है और 10% खोजता है।
परिदृश्य 2: छात्र 10% याद करता है और 90% खोजता है।
परिदृश्य 3: छात्र 50% याद करता है और 50% खोजता है।

फिर उन्होंने इन छात्रों का विभिन्न कार्यों पर परीक्षण किया: तर्क पहेलियाँ (logic puzzles), विज्ञान के सामान्य ज्ञान और सामान्य ज्ञान के प्रश्न।

मुख्य निष्कर्ष

1. "स्वीट स्पॉट" इस बात पर निर्भर करता है कि छात्र कितना बुद्धिमान है

पेपर ने पाया कि सबसे अच्छी रणनीति मॉडल के आकार के आधार पर बदल जाती है।

"छोटे बच्चों" के लिए (Small Models): ये छात्र एक खाली स्पंज की तरह होते हैं। उन्हें सर्च टूल से भारी लाभ मिलता है। यदि आप एक छोटे छात्र को सब कुछ याद करने के लिए मजबूर करते हैं, तो वे घबरा जाते हैं और भ्रमित हो जाते हैं। उन्हें सर्च टूल देना एक कैलकुलेटर देने जैसा है; यह उनके प्रदर्शन को तुरंत बढ़ा देता है।
- उपमा: एक छोटा बच्चा पूरी फोन बुक याद करने की कोशिश करेगा तो असफल होगा। लेकिन अगर आप उन्हें एक फोन बुक दें और कहें, "जब भी ज़रूरत हो, बस नंबर देख लेना," तो वे काम को पूरी तरह से कर सकते हैं।
"प्रतिभाशालियों" के लिए (Large Models): जैसे-जैसे छात्र बड़े और अधिक बुद्धिमान होते जाते हैं, वे स्वाभाविक रूप से अधिक ज्ञान को आत्मसात करने लगते हैं। सर्च टूल अभी भी मदद करता है, लेकिन इसका सीमांत लाभ (marginal benefit - वह अतिरिक्त बढ़त जो आपको मिलती है) कम होने लगता है।
- उपमा: एक जीनियस प्रोफेसर पहले से ही अधिकांश तथ्यों को जानता है। यदि आप उन्हें एक सर्च टूल देते हैं, तो यह थोड़ी मदद करता है, लेकिन वे पहले से ही उत्तर सही देने वाले थे। जैसे-जैसे छात्र की अपनी याददाश्त मजबूत होती है, सर्च टूल का "जादू" फीका पड़ता जाता है।

2. "क्रॉसओवर पॉइंट" (कब याद करना बंद करें)

शोधकर्ताओं ने एक विशिष्ट टिपिंग पॉइंट पाया।

यदि छात्र ने पर्याप्त अध्ययन नहीं किया है (वह "अंडरट्रेन्ड" है), तो सर्च टूल एक शक्तिशाली विकल्प है। एक "सर्च टोकन" कई "याद किए गए टोकन" की जगह ले सकता है।
हालाँकि, एक बार जब छात्र पर्याप्त अध्ययन करके एक निश्चित स्तर तक पहुँच जाता है, तो सर्च टूल याद करने की जगह लेने में कम कुशल हो जाता है।
निष्कर्ष: यदि आपके पास छोटा मॉडल या सीमित डेटा है, तो रिट्रीवल (खोज) पर भारी रूप से निर्भर रहें। यदि आपके पास एक बड़ा मॉडल और बहुत सारा डेटा है, तो मेमोराइजेशन (याद करने) पर भारी रूप से निर्भर रहें।

3. सभी प्रश्न एक जैसे नहीं होते

पेपर ने यह भी खोजा कि प्रश्न का प्रकार मायने रखता है:

तथ्यात्मक प्रश्न (जैसे, "प्रथम राष्ट्रपति कौन थे?"): रिट्रीवल यहाँ कमाल का है। यह इतिहास की किताब में तारीख देखने जैसा है। सर्च टूल यहाँ पूरी तरह काम करता है।
तर्क संबंधी प्रश्न (जैसे, "यदि मेरे पास 5 सेब हैं और मैं 2 खा लेता हूँ, तो मेरे पास कितने बचे?"): यहाँ रिट्रीवल अक्सर बेकार होता है। उत्तर किताब में नहीं है; इसके लिए दिमाग को गणित करने की आवश्यकता होती है।
- उपमा: यदि आप एक छात्र से पूछते हैं "फ्रांस की राजधानी क्या है?", तो एक सर्च इंजन एकदम सही है। यदि आप पूछते हैं "मुझे इस जटिल भौतिकी समस्या को कैसे हल करना चाहिए?", तो एक सर्च इंजन शायद एक टेक्स्टबुक पेज दिखा सकता है जो वास्तव में आपको आपकी विशिष्ट समस्या को हल करने में मदद नहीं करेगा। छात्र को तर्क करने के कौशल अपने दिमाग के अंदर रखने की आवश्यकता है।

"तीन-आयामी" मानचित्र (Three-Dimensional Map)

लेखकों ने एक नया गणितीय सूत्र (एक "स्केलिंग लॉ") बनाया है जो एक 3D मानचित्र की तरह काम करता है।

अक्ष 1 (Axis 1): छात्र कितना बड़ा है?
अक्ष 2 (Axis 2): उन्होंने कितना याद किया?
अक्ष 3 (Axis 3): उनका सर्च लाइब्रेरी कितनी बड़ी है?

यह मानचित्र इंजीनियरों को उनके बजट को देखने और यह कहने की अनुमति देता है: "यदि मेरे पास 100GB डेटा और 1B पैरामीटर वाला मॉडल है, तो मुझे सर्वोत्तम परिणाम प्राप्त करने के लिए अपना 60% समय मॉडल को प्रशिक्षित करने में और 40% समय सर्च इंडेक्स बनाने में खर्च करना चाहिए।"

यह क्यों महत्वपूर्ण है (इसका महत्व क्या है?)

अतीत में, कंपनियाँ केवल बड़े मॉडल्स पर अधिक डेटा डालकर AI बनाती थीं, इस उम्मीद में कि वे सब कुछ याद कर लेंगे। यह पेपर कहता है: "रुकिए! आप पैसा बर्बाद कर रहे हैं।"

दक्षता (Efficiency): आपको सब कुछ याद करने की ज़रूरत नहीं है यदि आपके पास एक अच्छा सर्च टूल है। आप छोटे, सस्ते मॉडल बना सकते हैं जो एक विशाल बाहरी डेटाबेस तक पहुँच के साथ उतने ही स्मार्ट हो सकते हैं।
सटीकता (Accuracy): एक सर्च टूल पर भरोसा करने से तथ्यात्मक प्रश्नों के लिए "भ्रम" (hallucinations - मनगढ़ंत बातें बनाना) कम हो जाता है क्योंकि मॉडल तथ्यों की जाँच कर सकता है।
डिज़ाइन (Design): यह हमें बताता है कि AI का भविष्य केवल बड़े दिमागों के बारे में नहीं है; बल्कि बेहतर दिमाग + लाइब्रेरी सिस्टम बनाने के बारे में है।

एक वाक्य में सारांश

सिर्फ पूरी दुनिया को याद करने की कोशिश न करें; छोटे या विशिष्ट AI के लिए, चीज़ों को कुशलतापूर्वक ढूँढना सीखना अक्सर अधिक स्मार्ट और सस्ता होता है, लेकिन आपको यह जो उन्होंने दिल से सीखा है और जो वे ढूँढते हैं, उसके बीच का सही संतुलन बनाना होगा।

यहाँ शोध पत्र "To Memorize or to Retrieve: Scaling Laws for RAG-Considerate Pretraining" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) के वर्तमान स्केलिंग लॉज़ (scaling laws) प्रशिक्षण कॉर्पस को एक अखंड संसाधन (monolithic resource) मानते हैं, यह मानते हुए कि सारा डेटा पैरामेट्रिक रूप से (मॉडल वेट्स में संकुचित होकर) उपभोग किया जाता है। हालाँकि, रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) एक नया स्वतंत्रता स्तर (degree of freedom) पेश करता है: डेटा का एक हिस्सा बाहरी डेटास्टोर के रूप में रखा जा सकता है और इन्फरेंस के समय एक्सेस किया जा सकता है।

मूल समस्या एक निश्चित डेटा बजट के तहत संसाधन आवंटन के ट्रेड-ऑफ (resource allocation trade-off) को संबोधित करती है। $N$ टोकन के कॉर्पस के लिए, डेटा को निम्नलिखित के बीच कैसे अनुकूलित रूप से विभाजित किया जाना चाहिए:

प्रीट्रेनिंग डेटा ( $D$ ): पैरामेट्रिक ज्ञान (आंतरिक वेट्स) बनाने के लिए।
रिट्रीवल स्टोर ( $R$ ): नॉन-पैरामेट्रिक ज्ञान (बाहरी इंडेक्स) बनाने के लिए।

पिछले कार्यों ने प्रीट्रेनिंग के स्केलिंग लॉज़ और RAG के लाभों का अलग-अलग अध्ययन किया है, लेकिन इस पर कोई व्यवस्थित विश्लेषण मौजूद नहीं है कि ये दोनों तंत्र विभिन्न मॉडल स्केल और कार्य प्रकारों (task types) में एक ही डेटा बजट के लिए कैसे परस्पर क्रिया करते हैं या प्रतिस्पर्धा करते हैं।

2. कार्यप्रणाली (Methodology)

प्रयोगात्मक सेटअप (Experimental Setup)

मॉडल्स: लेखकों ने 30M से 3B पैरामीटर्स तक के OLMo-2 आधारित LMs को प्रशिक्षित किया।
डेटा: DCLM (DataComp-LM) कॉर्पस के 100B टोकन्स का उपयोग किया गया।
परिवर्तनीय स्केल (Variable Scales):
- प्रीट्रेनिंग डेटा ( $D$ ): मॉडल पैरामीटर्स की संख्या के 1x से 150x तक बदला गया।
- रिट्रीवल स्टोर ( $R$ ): पैरामीटर्स की संख्या के 1x से 20x तक बदला गया, जिसे उसी DCLM कॉर्पस के रखे गए (held-out) स्लाइस से बनाया गया था।
इंडेक्स निर्माण: इंडेक्स बनाने के लिए Qwen3-Embedding-8B का उपयोग करके FAISS के साथ IVPQ इंडेक्सिंग का उपयोग किया गया। नियंत्रित स्केलिंग तुलना सुनिश्चित करने के लिए रिट्रीवल स्टोर को कॉर्पस के विलगित (disjoint) उपसमुच्चयों से बनाया गया था (छोटे स्टोर बड़े स्टोर के सख्त उपसमुच्चय हैं)।
मूल्यांकन: PIQA, StrategyQA (रीजनिंग), SciQ, OpenBookQA (वैज्ञानिक QA), और Natural Questions, SimpleQA (ओपन-डोमेन QA) जैसे विविध बेंचमार्क सूट के माध्यम से मूल्यांकन किया गया।
मेट्रिक्स: मुख्य मेट्रिक परप्लेक्सिटी (Perplexity - PPL) है, न कि सटीकता (accuracy)। PPL एक निरंतर, लेंथ-नॉर्मलाइज्ड माप प्रदान करता है जो डिस्क्रीट सटीकता (जो अक्सर स्टेप-लाइक व्यवहार प्रदर्शित करती है) की तुलना में वृद्धिशील सुधारों को बेहतर ढंग से कैप्चर करता है।

मॉडलिंग दृष्टिकोण (Modeling Approach)

लेखक एक 3D स्केलिंग लॉ प्रस्तावित करते हैं जो लॉस $L$ को मॉडल साइज ( $N$ ), प्रीट्रेनिंग टोकन्स ( $D$ ), और रिट्रीवल टोकन्स ( $R$ ) के फलन (function) के रूप में मॉडल करता है।

वे रिट्रीवल के लॉगरिदमिक गेन टर्म को जोड़कर मानक पावर-लॉ स्केलिंग (Kaplan et al., 2020; Hoffmann et al., 2022) का विस्तार करते हैं:
$L(N, D, R) = A \left(\frac{N}{10^9}\right)^{-\alpha} + B \left(\frac{D}{10^9}\right)^{-\beta} - C \log\left(1 + \eta \frac{R}{10^9}\right) + L_0$

जहाँ:

$\alpha, \beta$ : मॉडल साइज और डेटा के स्केलिंग एक्सपोनेंट्स हैं।
$C, \eta$ : रिट्रीवल गेन के परिमाण और सैचुरेशन रेट को नियंत्रित करने वाले पैरामीटर्स हैं।
$L_0$ : इरिड्यूसिबल लॉस फ्लोर (irreducible loss floor) है।

3. मुख्य योगदान (Key Contributions)

एकीकृत स्केलिंग फ्रेमवर्क: एक 3D स्केलिंग मैनिफोल्ड पेश किया गया जो प्रदर्शन को मॉडल साइज, प्रीट्रेनिंग डेटा और रिट्रीवल कॉर्पस साइज के संयुक्त फलन के रूप में मॉडल करता है।
प्रतिस्थापन क्षमता का मात्रात्मककरण (Quantification of Substitutability): एक मेट्रिक ( $\sigma$ ) परिभाषित किया गया जो प्रति रिट्रीवल टोकन बचाए गए प्रीट्रेनिंग टोकन्स की संख्या को दर्शाता है। यह "तुल्यकालिक प्रीट्रेनिंग बजट" (equivalent pretraining budget) की गणना करने की अनुमति देता है जो रिट्रीवल स्टोर प्रदान करता है।
क्रॉसओवर पॉइंट्स की पहचान: एक स्केल-डिपेंडेंट थ्रेशोल्ड की खोज की गई जहाँ रिट्रीवल प्रीट्रेनिंग के लिए एक कुशल विकल्प बन जाता है।
कार्य-आधारित विश्लेषण: यह प्रदर्शित किया गया कि रिट्रीवल की उपयोगिता समान नहीं है; यह कार्य के प्रकार (तथ्यात्मक बनाम रीजनिंग) और मॉडल सैचुरेशन के आधार पर काफी भिन्न होती है।

4. मुख्य परिणाम (Key Results)

A. प्रीट्रेनिंग के विकल्प के रूप में रिट्रीवल

क्रॉसओवर थ्रेशोल्ड: लो-डेटा रिजीम में रिट्रीवल, प्रीट्रेनिंग को बदलने में अप्रभावी है। हालांकि, लगभग 4.14 प्रीट्रेनिंग टोकन्स प्रति पैरामीटर ( $D/N \approx 4.14$ ) के थ्रेशोल्ड के बाद, रिट्रीवल एक अत्यधिक कुशल विकल्प बन जाता है।
लॉग-लीनियर गेन्स: सैचुरेटेड रिजीम में, प्रत्येक रिट्रीवल टोकन कई प्रीट्रेनिंग टोकन की जगह ले सकता है, जिसके लाभ लॉग-लीनियर रूप से बढ़ते हैं।
घटते प्रतिफल (Diminishing Returns): जबकि बड़े स्केल पर रिट्रीवल एक कुशल विकल्प बना रहता है, निरपेक्ष सीमांत लाभ (प्रति यूनिट रिट्रीवल डेटा लॉस रिडक्शन) जैसे-जैसे मॉडल बड़े और अधिक सैचुरेटेड होते जाते हैं, कम होता जाता है।

B. स्केल और कार्य निर्भरता

छोटे मॉडल्स सबसे अधिक लाभ उठाते हैं: छोटे मॉडल्स (जैसे 30M) रिट्रीवल से सबसे बड़ा सीमांत (marginal) लाभ प्राप्त करते हैं। जैसे-जैसे मॉडल का आकार बढ़ता है (3B तक), रिट्रीवल की सीमांत उपयोगिता घटती जाती है।
कार्य संवेदनशीलता (Task Sensitivity):
- ज्ञान-गहन कार्य (Knowledge-Intensive Tasks): CommonsenseQA और SimpleQA जैसे कार्यों में उच्च प्रतिस्थापन क्षमता ( $\sigma$ ) दिखाई देती है, जिसका अर्थ है कि रिट्रीवल तथ्यों को याद रखने की आवश्यकता को प्रभावी ढंग से बदल देता है।
- रीजनिंग-हैवी कार्य (Reasoning-Heavy Tasks): PIQA और StrategyQA जैसे कार्यों में कमजोर या नकारात्मक गेन देखा गया। लेखक सुझाव देते हैं कि ये कार्य आंतरिक रीजनिंग क्षमताओं पर निर्भर करते हैं न कि बाहरी फैक्ट रिट्रीवल पर।

C. रिट्रीवल की गुणवत्ता

अध्ययन ने क्वेरी फॉर्मुलेशन (Question-only बनाम Question + Gold Answer) का परीक्षण किया। हालांकि बेहतर रिट्रीवल (ओरेकल-स्टाइल) प्रदर्शन में सुधार करता है, लेकिन यह मौलिक रूप से स्केलिंग ट्रेंड्स को नहीं बदलता है। यह इंगित करता है कि देखे गए ट्रेड-ऑफ केवल रिट्रीवल प्रिसिजन द्वारा नहीं, बल्कि डेटा संसाधनों के आवंटन द्वारा संचालित होते हैं।

5. महत्व और निहितार्थ (Significance and Implications)

डेटा आवंटन पर पुनर्विचार: यह पेपर इस धारणा के विरुद्ध तर्क देता है कि उपलब्ध सभी डेटा को वेट्स में संकुचित किया जाना चाहिए। इसके बजाय, यह एक निश्चित कंप्यूट/डेटा बजट के तहत प्रीट्रेनिंग और रिट्रीवल के संयुक्त अनुकूलन (joint optimization) का सुझाव देता है।
डिज़ाइन दिशानिर्देश:
- छोटे या अंडरट्रेन्ड मॉडल्स के लिए, डेटा बजट का एक महत्वपूर्ण हिस्सा रिट्रीवल स्टोर के लिए आवंटित करना अत्यधिक कुशल है और यह भारी प्रीट्रेनिंग का विकल्प बन सकता है।
- बड़े, सैचुरेटेड मॉडल्स के लिए, रिट्रीवल पर सीमांत रिटर्न कम हो जाता है, जो रीजनिंग-हैवी कार्यों के लिए पैरामेट्रिक लर्निंग की ओर वापसी का सुझाव देता है।
संज्ञानात्मक संरेखण (Cognitive Alignment): इनके निष्कर्ष मानव संज्ञान (human cognition) को दर्शाते हैं, जहाँ अमूर्त तर्क (abstract reasoning) को आंतरिक (parametric) बनाया जाता है जबकि तथ्यात्मक रिकॉल को बाहरी मेमोरी (non-parametric) पर छोड़ा जाता है।
भविष्य के सिस्टम: यह कार्य "RAG-कंसीडरेट" प्रीट्रेनिंग पाइपलाइनों को डिजाइन करने के लिए एक मात्रात्मक आधार प्रदान करता है, जहाँ कॉर्पेटा को स्पष्ट रूप से आंतरिककरण बनाम बाहरी एक्सेस के लिए डेटा में विभाजित किया जाता है, जिससे प्रशिक्षण लागत और इन्फरेंस दक्षता दोनों को अनुकूलित किया जा सके।

संक्षेप में, यह पेपर स्थापित करता है कि रिट्रीवल और प्रीट्रेनिंग स्वतंत्र डिज़ाइन विकल्प नहीं हैं, बल्कि ज्ञान भंडारण के लिए प्रतिस्पर्धी तंत्र हैं। इष्टतम आवंटन मॉडल के स्केल, विशिष्ट कार्य आवश्यकताओं और प्रीट्रेनिंग सैचुरेशन की डिग्री पर निर्भर करता है।