💻 computer science

Same Architecture, Different Capacity: Optimizer-Induced Spectral Scaling Laws

यह शोधपत्र यह प्रदर्शित करता है कि ऑप्टिमाइज़र का चयन ट्रांसफॉर्मर मॉडलों के स्पेक्ट्रल स्केलिंग लॉज़ (spectral scaling laws) को मौलिक रूप से बदल देता है, यह प्रकट करते हुए कि Muon जैसे ऑप्टिमाइज़र्स, AdamW की तुलना में कठिन-से-सीखने वाले (hard-to-learn) परिदृश्यों में स्पेक्ट्रल क्षमता के काफी बेहतर उपयोग को प्राप्त कर सकते हैं, जिससे अनुकूलन (optimization) को प्रतिनिधित्व स्केलिंग (representation scaling) के एक महत्वपूर्ण, स्वतंत्र अक्ष के रूप में स्थापित किया गया है जो वास्तुशिल्प डिजाइन (architectural design) के समकक्ष है।

मूल लेखक: Nandan Kumar Jha, Brandon Reagen

प्रकाशित 2026-05-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nandan Kumar Jha, Brandon Reagen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप मानव ज्ञान को संग्रहीत और पुनर्प्राप्त करने के लिए एक विशाल पुस्तकालय (एक लार्ज लैंग्वेज मॉडल) बना रहे हैं। आपके पास पुस्तकालय की अलमारियों का एक ब्लूप्रिंट है (आर्किटेक्चर), और आपके पास किताबों को व्यवस्थित करने वाला एक लाइब्रेरियन है (ऑप्टिमाइज़र)।

वर्षों तक, शोधकर्ताओं का मानना था कि यदि आप केवल पुस्तकालय को बड़ा करते हैं (अधिक अलमारियाँ/पैरामीटर्स जोड़ते हैं) और इसे अधिक किताबें (डेटा) खिलाते हैं, तो लाइब्रेरियन का काम अपने आप एक अनुमानित तरीके से बेहतर हो जाएगा। उन्होंने माना कि लाइब्रेरियन का प्रकार बहुत अधिक मायने नहीं रखता, जब तक कि वह अपना काम कर रहा है।

यह पेपर तर्क देता है कि लाइब्रेरियन कितना बड़ा है, इसके साथ ही यह भी मायने रखता है कि लाइब्रेरियन कौन है। वास्तव में, लाइब्रेरियन ही यह निर्धारित करता है कि नई अलमारियों का वास्तव में कैसे उपयोग किया जाता है।

यहाँ सरल उपमाओं का उपयोग करके पेपर के निष्कर्षों का विवरण दिया गया है:

1. "लाइब्रेरी क्षमता" के दो प्रकार

शोधकर्ताओं ने देखा कि मॉडल अपने आंतरिक "मस्तिष्क स्थान" (विशेष रूप से फीड-फॉरवर्ड नेटवर्क, या FFNs) का उपयोग कैसे करता है। उन्होंने इसे दो तरीकों से मापा:

सॉफ्ट रैंक (फैलाव): कल्पना करें कि एक पुस्तकालय जहाँ किताबें हर एक अलमारी में समान रूप से बिखरी हुई हैं। स्थान का उपयोग व्यापक रूप से किया जाता है, लेकिन शायद गहराई से नहीं। यह "डिफ्यूज" (विस्तृत) क्षमता है।
हार्ड रैंक (केंद्रण): कल्पना करें कि एक पुस्तकालय जहाँ सबसे महत्वपूर्ण, दुर्लभ और जटिल किताबें कुछ विशिष्ट, उच्च-गुणवत्ता वाली अलमारियों पर सघन रूप से रखी गई हैं, जबकि अन्य अलमारियाँ खाली हैं। यह "डोमिनेंट" (प्रभावी) क्षमता के बारे में है। यह जटिल विचारों को दर्शाने के लिए कुछ बहुत मजबूत तरीकों के बारे में है।

2. "मानक लाइब्रेरियन" (AdamW) के साथ समस्या

सबसे सामान्य लाइब्रेरियन, AdamW, किताबों को फैलाने में अच्छा है। जब आप इसे एक बड़ा पुस्तकालय (अधिक चौड़ाई) देते हैं, तो यह अलमारियों को व्यापक रूप से भर देता है (सॉफ्ट रैंक बढ़ जाती है)।

हालाँकि, जब बात दुर्लभ और कठिन किताबों ( "टेल" टोकन्स—जैसे अस्पष्ट तथ्य या जटिल अवधारणाएं) की आती है, तो AdamW उन्हें मजबूत, केंद्रित अलमारियों में व्यवस्थित करने में संघर्ष करता है।

परिणाम: भले ही आप पुस्तकालय का आकार दोगुना कर दें, AdamW कठिन चीजों को संभालने की अपनी क्षमता को दोगुना नहीं करता है। यह केवल भ्रम को अधिक स्थान पर फैला देता है। पेपर इसे "कमजोर हार्ड-रैंक स्केलिंग" कहता है।

3. "सुपर लाइब्रेरियन" (Muon)

शोधकर्ताओं ने एक अलग लाइब्रेरियन का परीक्षण किया जिसे Muon कहा जाता है।

परिणाम: जब Muon को एक बड़ा पुस्तकालय मिलता है, तो यह केवल चीजों को फैलाता नहीं है। यह दुर्लभ और कठिन किताबों के लिए सक्रिय रूप से मजबूत, केंद्रित अलमारियाँ बनाता है।
जादू: Muon अतिरिक्त स्थान को उपयोगी शक्ति में बहुत तेज़ी से बदल देता है। यदि AdamW की कठिन अवधारणाओं को संभालने की क्षमता धीरे बढ़ती है (जैसे धीमी चाल), तो Muon की क्षमता एक सीधी रेखा में बढ़ती है (जैसे स्प्रिंट)। पेपर के शब्दों में, Muon लीनियर स्केलिंग प्राप्त करता है जहाँ AdamW एक "कमजोर" विकास पैटर्न में फंसा हुआ है।

4. "परप्लेक्सिटी ट्रैप" (हमने इसे पहले क्यों नहीं देखा?)

आप पूछ सकते हैं, "यदि Muon चीजों को व्यवस्थित करने में इतना बेहतर है, तो हमने इसे पहले क्यों नहीं देखा? क्या यह केवल कम त्रुटि स्कोर (error scores) नहीं दिखाता?"

पेपर एक जाल प्रकट करता है: आपके पास समान अंतिम स्कोर (perplexity) के साथ पूरी तरह से अलग आंतरिक संरचनाएं हो सकती हैं।

यदि आप "मानक लाइब्रेरियन" (AdamW) को बहुत लंबे समय तक प्रशिक्षित करते हैं, तो यह अंततः "सुपर लाइब्रेरियन" (Muon) के अंतिम टेस्ट स्कोर (परप्लेक्सिटी) के बराबर पहुँच सकता है।
हालाँकि: मस्तिष्क के अंदर, वे पूरी तरह से अलग हैं। मानक लाइब्रेरियन की संरचना अव्यवस्थित और विस्तृत है। सुपर लाइब्रेरियन की संरचना तीक्ष्ण और संगठित है।
सीख: केवल इसलिए कि दो मॉडलों का अंतिम टेस्ट स्कोर समान है, इसका मतलब यह नहीं है कि वे एक ही तरह से "सोचते" हैं। मानक लाइब्रेरियन वास्तव में दुनिया का एक बेहतर आंतरिक मानचित्र बना रहा है, भले ही अंतिम ग्रेड समान दिखे।

5. "दुर्लभ पुस्तक" की समस्या

भाषा जिपफ के नियम (Zipf's Law) जैसे वितरण की तरह है: कुछ शब्द लगातार उपयोग किए जाते हैं (जैसे "the" या "is"), लेकिन अधिकांश शब्द दुर्लभ होते हैं।

AdamW सामान्य शब्दों के साथ ठीक है लेकिन दुर्लभ शब्दों के साथ खो जाता है।
Muon विशेष रूप से दुर्लभ, लॉन्ग-टेल ज्ञान के साथ चमकता है। यह मॉडल के बड़े होने के साथ-साथ इन दुर्लभ टोकन को संभालने की अपनी क्षमता को लगभग पूरी तरह से स्केल करता है।

6. लाइब्रेरियन बनाम ब्लूप्रिंट (आर्किटेक्चर)

शोधकर्ताओं ने पूछा, "क्या लाइब्रेरियन पुस्तकालय के डिज़ाइन (आर्किटेक्चर) से अधिक महत्वपूर्ण है?"
उन्होंने पुस्तकालय के डिज़ाइन को बदलने का परीक्षण किया (जैसे अटेंशन हेड्स की संख्या बदलना या पोजीशनल सिग्नल हटाना)।

निष्कर्ष: लाइब्रेरी डिज़ाइन (आर्किटेक्चर) को बदलने की तुलना में लाइब्रेरियन (ऑप्टिमाइज़र) को बदलने का मॉडल के सीखने पर अधिक प्रभाव पड़ा।
वास्तव में, एक "सुपर लाइब्रेरियन" एक मानक लाइब्रेरी डिज़ाइन को एक "मानक लाइब्रेरियन" द्वारा किए गए शानदार नए डिज़ाइन की तुलना में बेहतर तरीके से काम करने के लिए मजबूर कर सकता है। लाइब्रेरियन और ब्लूप्रिंट एक टीम हैं; आप केवल एक ब्लूप्रिंट नहीं चुन सकते और यह मान नहीं सकते कि कोई भी लाइब्रेरियन काम कर जाएगा।

सारांश

पेपर निष्कर्ष निकालता है कि ऑप्टिमाइज़ेशन AI डिज़ाइन में एक प्रथम श्रेणी का नागरिक (first-class citizen) है।

पुराना दृष्टिकोण: "मॉडल को बड़ा बनाएं, और यह स्मार्ट हो जाएगा।"
नया दृष्टिकोण: "मॉडल को बड़ा बनाएं, लेकिन सही ऑप्टिमाइज़र चुनें ताकि यह सुनिश्चित हो सके कि अतिरिक्त आकार वास्तव में उपयोगी, केंद्रित बुद्धिमत्ता में बदले, विशेष रूप से कठिन और दुर्लभ चीजों के लिए।"

यदि आप एक ऐसा मॉडल चाहते हैं जो मानव ज्ञान के "लॉन्ग टेल" को वास्तव में समझ सके, तो आप केवल मानक उपकरणों पर भरोसा नहीं कर सकते। आपको एक ऐसे ऑप्टिमाइज़र की आवश्यकता है जो कठिन किताबों के लिए मजबूत, केंद्रित अलमारियाँ बनाना जानता हो, न कि केवल खाली स्थान को भरना जानता हो।

तकनीकी सारांश: ऑप्टिमाइज़र-प्रेरित स्पेक्ट्रल स्केलिंग लॉज़ (Optimizer-Induced Spectral Scaling Laws)

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए क्लासिकल स्केलिंग लॉज़ ने मॉडल आकार, डेटा वॉल्यूम और कंप्यूट जैसे संसाधनों के साथ वैलिडेशन लॉस के बीच अनुमानित पावर-लॉ संबंधों को स्थापित किया है। हालाँकि, ये फ्रेमवर्क आमतौर पर ऑप्टिमाइज़र को एक फिक्स्ड ट्रेनिंग डिटेल के रूप में देखते हैं, यह मानते हुए कि यह केवल कन्वर्जेंस की गति को प्रभावित करता है या एक मल्टीप्लिकेटिव एफिशिएंसी फैक्टर के रूप में कार्य करता है। यह पेपर इस धारणा को चुनौती देता है, और यह प्रस्तावित करता है कि ऑप्टिमाइज़र 'रिप्रेजेंटेशन स्केलिंग' का एक मौलिक अक्ष (axis) है। विशेष रूप से, लेखक यह जांचते हैं कि विभिन्न ऑप्टिमाइज़र बढ़े हुए फीड-फॉरवर्ड नेटवर्क (FFN) विड्थ (width) को कितनी प्रभावी ढंग से उपयोग की जाने योग्य स्पेक्ट्रल कैपेसिटी (spectral capacity)—अर्थात लेटेंट स्पेस की प्रभावी आयामशीलता (effective dimensionality)—में परिवर्तित करते हैं। वे यह सवाल उठाते हैं कि क्या समान वैलिडेशन लॉस समान आंतरिक प्रतिनिधित्व ज्यामिति (internal representation geometry) को दर्शाता है, या क्या विभिन्न ऑप्टिमाइज़र मौलिक रूप से भिन्न स्पेक्ट्रल संरचनाओं के माध्यम से समान आर्किटेक्चरल कैपेसिटी को साकार करते हैं।

कार्यप्रणाली (Methodology)

यह अध्ययन ट्रांसफार्मर आर्किटेक्चर के भीतर FFN रिप्रेजेंटेशन्स के आइजनस्पेक्ट्रा (eigenspectra) पर केंद्रित एक स्पेक्ट्रल विश्लेषण फ्रेमवर्क का उपयोग करता है।

स्पेक्ट्रल मेट्रिक्स (Spectral Metrics): लेखक स्पेक्ट्रल स्प्रेड को मापने के लिए रेनी प्रभावी-रैंक (Rényi effective-rank) परिवार का उपयोग करते हैं। वे अपने विश्लेषण को दो प्राथमिक मेट्रिक्स पर आधारित करते हैं:
- सॉफ्ट रैंक ( $R_1$ ): यह $\alpha=1$ (शैनन एंट्रॉपी) के अनुरूप है, जो एंट्रॉपी-वेटेड स्पेक्ट्रल स्प्रेड को मापता है और डिफ्यूज कैपेसिटी (diffuse capacity) को कैप्चर करता है।
- हार्ड रैंक ( $R_2$ ): यह $\alpha=2$ (पार्टिसिपेशन रेशियो) के अनुरूप है, जो कंसंट्रेशन-सेंसिटिव प्रभावी आयामशीलता को मापता है और डोमिनेंट-मोड कैपेसिटी (dominant-mode capacity) को कैप्चर करता है।
- हार्ड-सॉफ्ट एसिमेट्री ( $\Delta_{1,2}$ ): इसे $\log R_1 - \log R_2$ के रूप में परिभाषित किया गया है, और यह डिफ्यूज और डोमिनेंट कैपेसिटी के बीच के अंतर को मापता है।
प्रायोगिक सेटअप (Experimental Setup): प्रयोग GPT-शैली के डिकोडर-ओनली ट्रांसफॉर्मर्स (160M और 350M पैरामीटर्स) पर किए गए, जिन्हें FineWeb-Edu डेटासेट पर प्रशिक्षित किया गया था। स्पेक्ट्रल स्केलिंग लॉ ( $R(D) \propto D^\beta$ ) स्थापित करने के लिए FFN हिडन डायमेंशन ( $D$ ) को बदला गया।
ऑप्टिमाइज़र तुलना (Optimizer Comparison): अध्ययन मानक AdamW बनाम मैट्रिक्स-अवेयर ऑप्टिमाइज़र्स (Muon, NorMuon) और रैंक-कंस्ट्रेंड वेरिएंट्स (Dion जिसमें विभिन्न रैंक फ्रैक्शंस $r$ का उपयोग किया गया है) की तुलना करता है।
स्तरीकरण (Stratification): भाषा डेटा के जिपफियन (Zipfian) वितरण को संबोधित करने के लिए, FFN रिप्रेजेंटेशन्स को टोकन फ्रीक्वेंसी के आधार पर HEAD (Frequent), MID, और TAIL (Rare) श्रेणियों में विभाजित किया गया।
आर्किटेक्चरल कंट्रोल्स (Architectural Controls): लेखकों ने अपने ऑप्टिमाइज़र-प्रेरित बदलावों की तुलना आर्किटेक्चरल हस्तक्षेपों (interventions) से की, विशेष रूप से प्रति-हेड अटेंशन रैंक को बढ़ाने (हेड काउंट कम करके) और रोटरी पोजीशनल एम्बेडिंग्स (RoPE) को हटाने से।

मुख्य परिणाम (Key Results)

1. ऑप्टिमाइज़र-डिपेंडेंट स्पेक्ट्रल स्केलिंग लॉज़

एक ही ट्रांसफार्मर आर्किटेक्चर अलग-अलग ऑप्टिमाइज़र्स के आधार पर स्पष्ट रूप से भिन्न स्पेक्ट्रल स्केलिंग लॉ प्रदर्शित करता है।

हार्ड-रैंक स्केलिंग (Hard-Rank Scaling): AdamW कमजोर हार्ड-रैंक स्केलिंग ( $\beta_{hard} \approx 0.29$ से $0.44$) प्रदर्शित करता है, विशेष रूप से दुर्लभ (TAIL) टोकन के लिए। इसके विपरीत, Muon उसी रिजीम में लगभग रैनियर स्केलिंग ( $\beta_{hard} \approx 1.02$ ) प्राप्त करता है। यह स्केलिंग एक्सपोनेंट में 2.3 $\times$ की वृद्धि है।
हार्ड-सॉफ्ट एसिमेट्री (Hard-Soft Asymmetry): AdamW एक बड़ा पॉजिटिव एसिमेट्री ( $\Delta_{1,2} \approx 0.37$ ) प्रदर्शित करता है, जो यह दर्शाता है कि अतिरिक्त FFN विड्थ डोमिनेंट रिप्रेजेंटेशनल दिशाओं के बजाय डिफ्यूज स्पेक्ट्रल मास का विस्तार करती है। Muon और NorMuon इस एसिमेट्री को लगभग शून्य ( $\Delta_{1,2} \approx 0.14$ ) तक कम कर देते हैं, जिसका अर्थ है कि जोड़ी गई विड्थ को कुशलतापूर्वक डोमिनेंट-मोड कैपेसिटी में परिवर्तित किया जाता है।

2. मैचड लॉस $\neq$ मैचड ज्योमेट्री (Matched Loss $\neq$ Matched Geometry)

पेपर यह प्रदर्शित करता है कि वैलिडेशन लॉस, रिप्रेजेंटेशन स्ट्रक्चर के लिए एक अपर्याप्त प्रॉक्सी है।

विस्तारित प्रशिक्षण (Extended Training): AdamW को विस्तारित स्टेप्स (12K बनाम 6K) तक प्रशिक्षित करने से इसने एक Dion (1/16) वेरिएंट की परप्लेक्सिटी (perplexity) को मैच करने की अनुमति दी। हालाँकि, स्पेक्ट्रल ज्योमेट्री विशिष्ट बनी रही: AdamW का हार्ड-रैंक स्केलिंग लगभग गायब हो गया ( $\beta_{hard} \to 0.03$ ), जबकि Dion ने मजबूत पावर-लॉ स्केलिंग बनाए रखी।
लर्निंग रेट (Learning Rate): लर्निंग रेट स्वैप (sweep) ने पुष्टि की कि AdamW-Muon स्पेक्ट्रल गैप एक हाइपरपैरामीटर आर्टिफैक्ट नहीं है; Muon का सबसे निचला हार्ड-रैंक एक्सपोनेंट लगातार AdamW के उच्चतम एक्सपोनेंट से अधिक रहा।

3. फ्रीक्वेंसी और रैंक डिपेंडेंसीज़ (Frequency and Rank Dependencies)

टोकन फ्रीक्वेंसी (Token Frequency): ऑप्टिमाइज़र प्रभाव MID और TAIL टोकन रिजीम में सबसे अधिक स्पष्ट है। AdamW दुर्लभ टोकन के लिए हार्ड कैपेसिटी को स्केल करने में संघर्ष करता है, जबकि Muon रैनियरली स्केल करता है।
अपडेट रैंक (Update Rank): Dion का उपयोग करके, लेखकों ने अपडेट रैंक के प्रभाव को अलग किया। रैंक फ्रैक्शन ( $r$ ) को $1/2$ से घटाकर $1/16$ करने से हार्ड-रैंक स्केलिंग $\beta \approx 0.88$ से गिरकर $\beta \approx 0.40$ (AdamW के स्तर के करीब) हो गई, जबकि सॉफ्ट-रैंक स्केलिंग अधिक धीरे-धीरे कम हुई। यह इंगित करता है कि अपडेट रैंक विड्थ को डोमिनेंट-मोड कैपेसिटी में बदलने के लिए एक कंट्रोल नॉब (control knob) के रूप में कार्य करता है।

4. आर्किटेक्चरल इंटरवेंशन पर प्रभुत्व (Dominance Over Architectural Interventions)

ऑप्टिमाइज़र-प्रेरित स्पेक्ट्रल शिफ्ट अक्सर आर्किटेक्चरल परिवर्तनों के प्रभावों से अधिक होते हैं या उन्हें नया रूप देते हैं:

अटेंशन रैंक (Attention Rank): प्रति-हेड अटेंशन रैंक बढ़ाने (हेड काउंट कम करके) ने 30 में से 28 फ्रीक्वेंसी/मैट्रिक रिजीम में ऑप्टिमाइज़र स्विच करने की तुलना में छोटे स्पेक्ट्रल स्केलिंग शिफ्ट उत्पन्न किए।
पोजीशनल एनकोडिंग (Positional Encoding): RoPE को हटाने से ऑप्टिमाइज़र-डिपेंडेंट पुनर्वितरण (redistribution) हुआ। Muon के लिए, NoPE ने HEAD हार्ड-रैंक स्केलिंग को बढ़ाया लेकिन MID/TAIL स्केलिंग को कम किया; NorMuon के लिए, इसने सभी रिजीम में स्केलिंग को कम कर दिया। यह दर्शाता है कि आर्किटेक्चरल सिग्नल ऑप्टिमाइज़र ज्योमेट्री के माध्यम से व्यक्त होते हैं।

महत्व और दावे (Significance and Claims)

यह पेपर तर्क देता है कि ऑप्टिमाइज़ेशन को मॉडल साइज, डेटा और कंप्यूट के साथ रिप्रेजेंटेशन स्केलिंग के एक प्रथम-श्रेणी के अक्ष (first-class axis) के रूप में माना जाना चाहिए।

आर्किटेक्चर-ऑप्टिमाइज़र को-डिज़ाइन (Architecture-Optimizer Co-Design): वास्तविक स्पेक्ट्रल कैपेसिटी एक आर्किटेक्चर-ऑप्टिमाइज़र पेयर का गुण है, न कि केवल आर्किटेक्चर का। आर्किटेक्चरल हस्तक्षेप (जैसे अटेंशन रैंक या पोजीशनल एनकोडिंग बदलना) निश्चित, ऑप्टिमाइज़र-स्वतंत्र शिफ्ट उत्पन्न नहीं करते हैं; उनके प्रभाव ऑप्टिमाइज़र की ज्योमेट्री द्वारा मध्यस्थ (mediated) होते हैं।
रिप्रेजेंटेशन स्ट्रक्चर (Representation Structure): ऑप्टिमाइज़र का चयन यह निर्धारित करता है कि मॉडल कैपेसिटी को आइजनमोड्स (eigenmodes) में कैसे संरचित किया जाता है और टोकन-फ्रीक्वेंसी रिजीम में कैसे आवंटित किया जाता है। यह केवल कन्वर्जेंस स्पीड के लिए एक एफिशिएंसी नॉब नहीं है।
सीमाएँ (Limitations): लेखक नोट करते हैं कि ये निष्कर्ष एक नियंत्रित अनुभवजन्य रिजीम (GPT-शैली के 350M पैरामीटर्स तक के मॉडल) के भीतर स्थापित किए गए हैं। हालांकि 350M के परिणाम 160M के पैटर्न को दोहराते हैं, फ्रंटियर स्केल (1B+) पर और अधिक सत्यापन की आवश्यकता है। इसके अतिरिक्त, जबकि स्पेक्ट्रल रैंक कैपेसिटी यूटिलाइजेशन को मात्रात्मक रूप से मापते हैं, वे डाउनस्ट्रीम टास्क व्यवहार का पूरी तरह से वर्णन नहीं करते हैं।

निष्कर्षतः, यह अध्ययन ऑप्टिमाइज़र-आर्किटेक्चर को-डिज़ाइन की ओर बढ़ने के लिए प्रेरित करता है, यह सुझाव देते हुए कि भविष्य के स्केलिंग लॉज़ को मॉडल कैपेसिटी कैसे साकार होती है, इसके प्राथमिक निर्धारक के रूप में ऑप्टिमाइज़र के निहित इंडक्टिव बायस (inductive biases) को ध्यान में रखना चाहिए।