📊 statistics

The Effect of Mini-Batch Noise on the Implicit Bias of Adam

यह शोध पत्र एक सैद्धांतिक ढांचा प्रस्तुत करता है जो यह प्रदर्शित करता है कि मिनी-बैच शोर (mini-batch noise) एडम (Adam) के मोमेंटम हाइपरपैरामीटर्स के निहित पूर्वाग्रह (implicit bias) को मौलिक रूप से बदल देता है, जिससे यह स्पष्ट होता है कि जबकि मानक $(\beta_1, 0.999)$ विन्यास छोटे बैचों के लिए इष्टतम है, बड़े बैचों के लिए एंटी-रेगुलराइजेशन (anti-regularization) से बचने और सामान्यीकरण (generalization) में सुधार करने के लिए $\beta_1$ को $\beta_2$ के करीब समायोजित करने की आवश्यकता होती है।

मूल लेखक: Matias D. Cattaneo, Boris Shigida

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Matias D. Cattaneo, Boris Shigida

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र (एक AI मॉडल) को एक जटिल पहेली हल करना सिखाने की कोशिश कर रहे हैं। आपके पास उन्हें सिखाने के लिए दो मुख्य उपकरण हैं:

"मेमोरी" टूल (मोमेंटम - Momentum): यह एक ऐसे छात्र की तरह है जो अपनी पिछली गलतियों को याद रखता है और अपने सीखने के मार्ग को सुचारू बनाता है। यदि वह कल लड़खड़ाया था, तो वह आज फिर से लड़खड़ाने से बचने के लिए अपने कदम समायोजित करता है। शोध पत्र में, इसे $\beta_1$ नामक सेटिंग द्वारा नियंत्रित किया जाता है।
"नॉइज़" टूल (मिनी-बैच साइज - Mini-batch Size): यह इस बात पर निर्भर करता है कि छात्र एक बार में कितने अभ्यास प्रश्न देखता है।
- छोटा बैच (उच्च नॉइज़/शोर): वे एक बार में बहुत कम प्रश्न देखते हैं। फीडबैक "नॉइज़ी" या उछल-कूद वाला होता है क्योंकि यह एक बहुत छोटे, गैर-प्रतिनिधि नमूने पर आधारित होता है।
- बड़ा बैच (कम नॉइज़/शोर): वे एक बार में हजारों अभ्यास प्रश्न देखते हैं। फीडबैक सुचारू, स्पष्ट और बहुत सटीक होता है।

शोध पत्र एक तीसरे उपकरण, $\beta_2$ , की जांच करता है, जो यह नियंत्रित करता है कि छात्र अपनी हालिया गलतियों के इतिहास पर कितना भरोसा करता है बनाम अपने पुराने इतिहास पर।

बड़ी खोज: "गोल्डिलॉक्स" स्विच (The "Goldilocks" Switch)

वर्षों से, AI को प्रशिक्षित करने के लिए मानक सलाह यह रही है कि अपने "मेमोरी" ( $\beta_1$ ) को 0.9 और अपने "हालिया इतिहास" ( $\beta_2$ ) को 0.999 पर सेट करें। इसका अर्थ है: "अपने हालिया इतिहास पर अपने पुराने इतिहास की तुलना में बहुत अधिक भरोसा करें।"

लेखकों ने खोजा कि यह मानक सलाह केवल आधी सही है। यह पूरी तरह से इस बात पर निर्भर करता है कि आप कितने "नॉइज़" (आपका बैच साइज कितना छोटा है) का उपयोग कर रहे हैं।

यहाँ वह मोड़ है जो उन्होंने पाया:

1. "छोटा बैच" परिदृश्य (उच्च नॉइज़)

स्थिति: आप छात्र को एक बार में बहुत कम अभ्यास प्रश्न दे रहे हैं। फीडबैक उछल-कूद वाला और अराजक है।
समस्या: आपका "मेमोरी" टूल (डिफ़ॉल्ट सेटिंग) वास्तव में चीजों को बदतर बना रहा है। यह पुरानी, नॉइज़ी जानकारी को पकड़े रहता है जो छात्र को भ्रमित करती है, जिससे वह समाधान के "शार्प" (तीखे) कोनों (ऐसी जगहें जहाँ उत्तर नाजुक है और आसानी से बदल जाता है) में फंस जाता है।
समाधान: इस शोर वाले वातावरण में, आपको $\beta_2$ को बढ़ाना होगा (हालिया इतिहास पर और भी अधिक भरोसा करना होगा)।
उपमा: कल्पना कीजिए कि आप एक धुंधले जंगल में चल रहे हैं और आपके पास एक डगमगाता हुआ नक्शा है। यदि आप इस बात पर बहुत अधिक भरोसा करते हैं कि आप 10 मिनट पहले कहाँ थे (जो कि एक गलत मोड़ हो सकता है), तो आप खो सकते हैं। आपको अभी अपने पैरों के ठीक सामने जो दिख रहा है, उस पर भारी भरोसा करने की आवश्यकता है। शोध पत्र दिखाता है कि उच्च-नॉइज़ सेटिंग्स में, मानक सेटिंग ( $\beta_1 \ll \beta_2$ ) सही है क्योंकि "नॉइज़" मेमोरी के बुरे प्रभावों को रद्द करने में मदद करता है।

2. "बड़ा बैच" परिदृश्य (कम नॉइज़)

स्थिति: आप छात्र को एक बार में हजारों अभ्यास प्रश्न दे रहे हैं। फीडबैक एकदम स्पष्ट और सुचारू है।
समस्या: अब, "मेमोरी" टूल एक जिद्दी आदत की तरह काम कर रहा है। क्योंकि फीडबैक इतना स्पष्ट है, छात्र के पिछले कदमों की याद उसे फिर से "शार्प" कोनों की ओर धकेलने लगती है, और इस बार, $\beta_2$ को बढ़ाने से स्थिति और भी खराब हो जाती है।
समाधान: इस स्पष्ट वातावरण में, आपको $\beta_1$ और $\beta_2$ को बराबर करना चाहिए (जैसे, दोनों 0.9)।
उपमा: अब कल्पना कीजिए कि आप एक धूप वाले, खुले मैदान में एक आदर्श मानचित्र के साथ चल रहे हैं। यदि आप अपने हालिया कदमों (उच्च $\beta_2$ ) पर अपने पुराने कदमों की तुलना में बहुत अधिक भरोसा करते हैं, तो आप अनावश्यक रूप से टेढ़े-मेढ़े चलने लगते हैं। इसके बजाय, आप एक संतुलित मेमोरी चाहते हैं जहाँ आपके हालिया कदम और आपके पुराने कदम सामंजस्य में मिलकर काम करें। शोध पत्र भविष्यवाणी करता है कि जब डेटा बड़ा और साफ होता है, तो $\beta_1 \approx \beta_2$ सेट करने से एक "फ्लैट" (समतल), अधिक स्थिर समाधान मिलता है जो बेहतर तरीके से सामान्यीकरण (generalize) करता है।

"स्विचिंग पॉइंट" (The "Switching Point")

शोध पत्र आपके डेटा बैच के आकार के आधार पर एक विशिष्ट "टिपिंग पॉइंट" की गणना करता है।

टिपिंग पॉइंट से नीचे (छोटे बैच): "नॉइज़ी" नियम लागू होते हैं। $\beta_1$ को कम रखें और $\beta_2$ को उच्च रखें (डिफ़ॉल्ट)।
टिपिंग पॉइंट से ऊपर (बड़े बैच): "क्लियर" नियम लागू होते हैं। $\beta_1$ और $\beta_2$ को एक-दूसरे के करीब लाएं।

यह क्यों मायने रखता है? "शार्पनेस" बनाम "फ्लैटनेस"

लेखक "टेरेन" (धरातल) के रूपक का उपयोग करते हैं:

शार्प मिनिमा (Sharp Minima): कल्पना कीजिए कि एक सुई अपनी नोक पर खड़ी है। यह एक ऐसा समाधान है जो आपके द्वारा देखे गए विशिष्ट अभ्यास प्रश्नों के लिए बिल्en काम करता है, लेकिन यदि आप समस्या को थोड़ा सा बदलते हैं (जैसे, एक नया टेस्ट प्रश्न), तो सुई गिर जाएगी। यह सामान्यीकरण (generalization) के लिए बुरा है।
फ्लैट मिनिमा (Flat Minima): एक चौड़ी, समतल घाटी की कल्पना करें। आप घाटी के भीतर थोड़ा घूम सकते हैं, और आप घाटी में ही रहेंगे। यह समाधान मजबूत है और यह अच्छा काम करता है भले ही समस्या थोड़ी बदल जाए।

शोध पत्र तर्क देता है कि आपकी "मेमोरी" सेटिंग्स और "बैच साइज" के बीच की परस्पर क्रिया गुप्त रूप से छात्र को या तो सुई (शार्प) की ओर या घाटी (फ्लैट) की ओर धकेलती है।

छोटे बैच में, नॉइज़ स्वाभाविक रूप से आपको घाटी की ओर धकेलता है, लेकिन केवल तभी जब आप मानक सेटिंग्स का उपयोग करते हैं।
बड़े बैच में, नॉइज़ की कमी का मतलब है कि मेमोरी सेटिंग्स नियंत्रण ले लेती हैं। यदि आप उन्हें समायोजित नहीं करते हैं (यानी, $\beta_1$ और $\beta_2$ को समान बनाकर), तो मेमोरी आपको वापस सुई की ओर धकेल देगी।

शोध पत्र के दावों का सारांश

डिफ़ॉल्ट सार्वभौमिक नहीं है: प्रसिद्ध सेटिंग $\beta_1=0.9$ और $\beta_2=0.999$ छोटे बैचों के लिए बहुत अच्छी है लेकिन बहुत बड़े बैचों के लिए इष्टतम (suboptimal) है।
रिवर्सल (उलटफेर): जैसे-जैसे आप बैच का आकार बढ़ाते हैं, $\beta_1$ $β_{1}$ और $\beta_2$ $β_{2}$ के बीच का "सर्वश्रेष्ठ" संबंध बदल जाता है।
- छोटा बैच: $\beta_1$ को $\beta_2$ से बहुत कम रखें।
- बड़ा बैच: $\beta_1$ और $\beta_2$ को लगभग बराबर बनाएं।
प्रमाण: उन्होंने गणितीय रूप से यह सिद्ध किया कि डेटा में "नॉइज़" ऑप्टिमाइज़र के "मेमोरी" के साथ कैसे इंटरैक्ट करता है। उन्होंने भाषा मॉडल (जैसे Llama 3) पर भी परीक्षण किया और पाया कि उनके प्रदर्शन (मॉडल नए डेटा पर कैसा प्रदर्शन करता है) ने उनके भविष्यवाणियों का पालन किया: जैसे-जैसे बैच का आकार बढ़ता गया, "सर्वश्रेष्ठ" सेटिंग्स बदल गईं।

संक्षेप में: यदि आप डेटा के छोटे टुकड़ों के साथ प्रशिक्षण दे रहे हैं, तो डिफ़ॉल्ट का पालन करें। यदि आप डेटा के विशाल टुकड़ों के साथ प्रशिक्षण दे रहे हैं, तो आपको अपनी मेमोरी को अधिक समान रूप से संतुलित करने के लिए अपनी सेटिंग्स को बदलना चाहिए।

समस्या विवरण
Adam और AdamW डीप लर्निंग में मानक ऑप्टिमाइज़र हैं, फिर भी उनके मोमेंटम हाइपरपैरामीटर्स, $\beta_1$ और $\beta_2$ , के चयन के लिए अक्सर परंपरा (आमतौर पर $\beta_1=0.9, \beta_2=0.999$ ) के अलावा कोई सिद्धांत आधारित आधार नहीं होता है। हालांकि हाल के बड़े पैमाने के प्रशिक्षण अभ्यासों में कभी-कभी स्थिरता में सुधार के लिए $\beta_2$ को कम किया जाता है (जैसे, 0.95 तक), लेकिन इन हाइपरपैरामीटर्स, बैच आकार ( $b$ ), और परिणामी लॉस लैंडस्केप शार्पनेस (loss landscape sharpness) की ओर निहित पूर्वाग्रह (implicit bias) के बीच की अंतःक्रिया अभी भी अज्ञात है। यह महत्वपूर्ण है क्योंकि लॉस शार्पनेस मल्टी-एपोक ट्रेनिंग में सामान्यीकरण (generalization) के लिए एक यांत्रिक प्रॉक्सी (mechanistic proxy) के रूप में कार्य करती है और पोस्ट-ट्रेनिंग प्रदर्शन (जैसे, क्वांटाइजेशन डिग्रेडेशन और कैटास्ट्रोफिक फॉरगेटिंग) को प्रभावित करती है, यहाँ तक कि सिंगल-एपोक प्रीट्रेनिंग में भी। केंद्रीय प्रश्न यह है कि क्या $\beta_1$ , $\beta_2$ , और बैच आकार के बीच पसंदीदा संबंध अलग-अलग नॉइज़ रिजीम (noise regimes) में बदल जाता है।

कार्यप्रणाली (Methodology)
लेखक मिनी-बैच नॉइज़ और मेमोरी के प्रभावों को अलग करके Adam के निहित पूर्वाग्रह का विश्लेषण करने के लिए एक सैद्धांतिक ढांचा विकसित करते हैं। यह दृष्टिकोण तीन चरणों में आगे बढ़ता है:

मेमोरी हटाना (Memory Removal): Cattaneo और Shigida [10] की एक तकनीक का उपयोग करते हुए, लेखक मेमोरी-निर्भर Adam इटरेशन को एक मेमोरीलेस इटरेशन में परिवर्तित करते हैं जिसमें एक स्पष्ट सुधार पद (correction term) होता है। यह अनुमति देता है कि डायनेमिक्स को केवल वर्तमान अवस्था के फलन के रूप में अनुमानित किया जा सके, जिसका ग्लोबल एरर बाउंड $O(\eta^2)$ है।
नॉइज़ एक्सपेंशन और एवरेजिंग: वे इस ढांचे को मिनी-बैच Adam पर लागू करते हैं, जिसमें नॉइज़ डेरिवेटिव्स के सेकंड-ऑर्डर मोनोमियल्स तक सुधार पद का विस्तार किया गया है। नमूनों के सभी क्रमपरिवर्तनों (without-replacement sampling) पर औसत निकालकर, वे एक स्पष्ट सुधार पद प्राप्त करते है जो फुल-बैच प्रभावों को मिनी-बैच नॉइज़ प्रभावों से अलग करता है।
शार्पनेस प्रॉक्सी व्याख्या: परिणामी सुधार के प्रमुख पदों की व्याख्या एक शार्पनेस प्रॉक्सी के माध्यम से की जाती है। विशेष रूप से, विश्लेषण इस बात पर केंद्रित है कि इन पदों के गुणांक $\beta_1$ , $\beta_2$ , और "सिंपल नॉइज़ स्केल" $B_{simple}$ (जो क्रिटिकल बैच साइज से संबंधित है) के आधार पर कैसे निर्भर करते हैं। लेखक दो रिजीम के तहत $\beta_1$ के साथ बदलते $\beta_2$ और $\beta_2$ के साथ बदलते $\beta_1$ के रूप में शार्पनेस-बायस कोएफिशिएंट $C_{total}$ की मोनोटोनिसिटी (monotonicity) का विश्लेषण करते हैं।

मुख्य योगदान और परिणाम
यह शोध पत्र Adam के बीटा के पसंदीदा चुनाव में बैच-साइज पर निर्भर रिवर्सल (reversal) की पहली सैद्धांतिक व्याख्या प्रदान करता है, जो एक निहित शार्पनेस-बायस तंत्र द्वारा संचालित है:

मोनोटोनिसिटी का रिवर्सल (Reversal of Monotonicity): $\beta_2$ $β_{2}$ और शार्पनेस पेनलाइजेशन के बीच का संबंध सभी बैच आकारों में मोनोटोनिक नहीं है।
- हाई-नॉइज़, स्मॉल-बैच रिजीम ( $b \ll 2B_{simple}$ ): मिनी-बैच नॉइज़ मोनोटोनिसिटी को उलट देता है। इस रिजीम में, एक बड़ा $\beta_2$ एंटी-रेगुलराइजिंग मेमोरी टर्म की भरपाई करता है। फलस्वरूप, डिफॉल्ट व्यवस्था $\beta_1 \ll \beta_2$ (जैसे, $0.9 $बनाम$ 0.999$) सामान्यीकरण में सुधार करने और मॉडल संवेदनशीलता को कम करने के लिए सैद्धांतिक रूप से अच्छी तरह से प्रेरित है।
- लो-नॉइज़, लार्ज-बैच रिजीम ( $b \gg 2B_{simple}$ ): $\beta_2$ को बढ़ाने से मेमोरी द्वारा प्रेरित एंटी-रेगुलराइजेशन मजबूत होता है। यहाँ, $\beta_1$ को $\beta_2$ के करीब चुनना (जैसे, $\beta_1 = \beta_2 = 0.9$ ) सामान्यीकरण के लिए बेहतर होने का अनुमान है।
$\beta_1$ के लिए सममित प्रभाव (Symmetric Effect for $\beta_1$ ): $\beta_2$ को 0.999 पर स्थिर रखते हुए $\beta_1$ के स्वैप (sweep) के दौरान भी इसी तरह का रिवर्सल होता है। बड़े बैचों के लिए, बड़ा $\beta_1$ पसंद किया जाता है; छोटे बैचों के लिए, $\beta_1 \ll \beta_2$ संरचना बनाए रखने के लिए छोटा $\beta_1$ पसंद किया जाता है।
ट्रांजिशन स्केल (Transition Scale): इन रिजीम्स के बीच संक्रमण एक बैच साइज स्केल पर होता है जो $2B_{simple}$ द्वारा नियंत्रित होता है, जो क्रिटिकल बैच साइज से निकटता से संबंधित है।
अनुभवजन्य सत्यापन (Empirical Validation): WikiText-2 पर ओवरफिटिंग कर रहे एक छोटे ट्रांसफार्मर और DCLM पर 280M-पैरामीटर वाले Llama3 के प्रीट्रेनिंग रन पर प्रयोग इन गुणात्मक भविष्यवाणियों का समर्थन करते हैं। परिणाम दिखाते हैं कि छोटे-बैच सेटिंग्स में, $\beta_2$ को बढ़ाने से वैलिडेशन लॉस और शार्पनेस कम हो जाती है, जबकि बड़े-बैच सेटिंग्स में, यह प्रवृत्ति उलट जाती है, जहाँ कम $\beta_2$ (या $\beta_1 \approx \beta_2$ ) बेहतर प्रदर्शन देता है।

महत्व
यह पेपर दावा करता है कि यह सामान्यीकरण पर आधारित पहला सैद्धांतिक तर्क प्रदान करता है जो यह समझाता है कि क्यों Adam के मोमेंटम पैरामीटर्स के बीच का इष्टतम संबंध बैच साइज पर निर्भर करता है। यह इस धारणा को चुनौती देता है कि डिफॉल्ट हाइपरपैरामीटर्स सार्वभौमिक रूप से इष्टतम हैं, बल्कि यह सुझाव देता है कि $\beta_1$ और $\beta_2$ के लिए "स्वीट स्पॉट" मेमोरी-प्रेरित एंटी-रेगुलराइजेशन और मिनी-बैच नॉइज़ के बीच की अंतःक्रिया द्वारा निर्धारित होता है। निष्कर्ष चिकित्सकों के लिए एक नियम (rule of thumb) प्रदान करते हैं: छोटे बैचों के लिए डिफॉल्ट $\beta_1 \ll \beta_2$ का उपयोग करें और बहुत बड़े बैचों के लिए सामान्यीकरण और मॉडल संवेदनशीलता को अनुकूलित करने के लिए $\beta_1 \approx \beta_2$ पर विचार करें। सिद्धांत पर्याप्त अनुभवजन्य कार्य के साथ संरेखित है लेकिन निहित पूर्वाग्रह और लॉस लैंडस्केप शार्पनेस में निहित एक यांत्रिक व्युत्पत्ति प्रदान करता है।