📊 statistics

Adapt or Forget: Provable Tradeoffs Between Adam and SGD in Nonstationary Optimization

यह शोध पत्र गैर-स्थिर उद्देश्यों (non-stationary objectives) के तहत एडम (Adam) का एक सैद्धांतिक विश्लेषण प्रदान करता है, जो एक प्रमाणित शोर-ड्रिफ्ट ट्रेडऑफ (noise-drift tradeoff) स्थापित करता है जहाँ अनुकूली विधियाँ (adaptive methods) शोर-प्रधान व्यवस्थाओं (noise-dominated regimes) में एसजीडी (SGD) से बेहतर प्रदर्शन करती हैं, लेकिन पुराने मोमेंटम (stale momentum) और प्रीकंडीशनर गड़बड़ी (preconditioner perturbations) के कारण ड्रिफ्ट-प्रधान सेटिंग्स (drift-dominated settings) में संचयी त्रुटियों (compounded errors) से ग्रस्त होती हैं।

मूल लेखक: Sharan Sahu, Abir Sarkar, Cameron J. Hogan, Martin T. Wells

प्रकाशित 2026-05-07

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sharan Sahu, Abir Sarkar, Cameron J. Hogan, Martin T. Wells

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक धुंधले खेत में एक चलते हुए लक्ष्य का पीछा करने की कोशिश कर रहे हैं। वह लक्ष्य (एक "इष्टतम समाधान" या optimal solution) लगातार अपनी स्थिति बदल रहा है, और आप उसे केवल एक धुंधले, शोर वाले लेंस के माध्यम से देख सकते हैं। आपका लक्ष्य उस लक्ष्य के जितना संभव हो सके उतना करीब रहना है।

यह शोध पत्र इस चलते हुए लक्ष्य का पीछा करने की दो अलग-अलग रणनीतियों की एक सैद्धांतिक जांच है: SGD (स्टोकेस्टिक ग्रेडिएंट डिसेंट) और Adam (एडेप्टिव मोमेंट एस्टीमेशन)। जबकि Adam आधुनिक AI को प्रशिक्षित करने के लिए एक "गो-टू" (सबसे पसंदीदा) टूल है, यह शोध पत्र पूछता है: क्या Adam वास्तव में तब मदद करता है जब दुनिया बदल रही होती है, या क्या यह कभी-कभी चीजों को बदतर बना देता है?

यहाँ सरल उपमाओं (analogies) का उपयोग करके उनके निष्कर्षों का विवरण दिया गया।

दो धावक

SGD (द स्प्रिंटर - एक तेज़ दौड़ने वाला): यह धावक केवल उसी के आधार पर कदम उठाता है जो वह अभी देख रहा है। यदि ज़मीन नीचे की ओर ढलान वाली दिखती है, तो वह उसी दिशा में कदम रखता है। उसे इस बात से कोई फर्क नहीं पड़ता कि पाँच सेकंड पहले वह कहाँ था।
- ताकत: क्योंकि उसके पास कोई पुराना बोझ (baggage) नहीं है, वह लक्ष्य के अचानक दिशा बदलने पर तुरंत प्रतिक्रिया दे सकता है।
- कमजोरी: यदि दृश्य धुंधला है (शोर वाला डेटा), तो वह धुंध में हुई किसी गड़बड़ी के आधार पर गलत कदम उठा सकता है।
Adam (द मैराथनर विद अ बैकपैक - एक बैकपैक के साथ मैराथन धावक): यह धावक अधिक समझदार है। वह "याददाश्त" का एक "बैकपैक" लेकर चलता है।
- फर्स्ट-मोमेंट मेमोरी (द कंपास - दिशा सूचक): उसे याद रहता है कि वह किस दिशा में जा रहा था। यदि रास्ता ऊबड़-खाबबड़ है, तो वह पिछले दिशाओं का औसत निकालकर अपने कदमों को सुचारू बनाता है।
- सेकंड-मोमेंट मेमोरी (द टेरेन मैप - इलाके का नक्शा): उसे याद रहता है कि अतीत में ज़मीन कितनी ढाल वाली रही है। यदि रास्ता पहले बहुत ढाल वाला था, तो वह वहाँ छोटे कदम लेता है; यदि रास्ता समतल था, तो वह बड़े कदम लेता है।
- ताकत: एक धुंधले और ऊबड़-खाबड़ वातावरण में, उसकी याददाश्त उसे स्थिर रहने में मदद करती है और उसे यादृच्छिक शोर (random noise) से भटकने नहीं देती।
- कमजोरी: यदि लक्ष्य अचानक एक नई दिशा में दौड़ पड़ता है, तो धावक की याददाश्त (कंपास और नक्शा) अब "पुरानी/बासी" (stale) हो जाती है। वह अभी भी पुराने रास्ते का अनुसरण करने की कोशिश कर रहा होता है, जिससे वह पीछे छूट जाता है।

बड़ी खोज: "नॉइज़ बनाम ड्रिफ्ट" का ट्रेडऑफ (Tradeoff)

यह शोध पत्र गणितीय रूप से सिद्ध करता है कि एक मौलिक ट्रेडऑफ मौजूद है। आप एक ही रणनीति के साथ दोनों परिदृश्यों में नहीं जीत सकते।

परिदृश्य A: "ड्रिफ्ट-डोमिनेटेड" दुनिया (जब लक्ष्य तेज़ी से भाग रहा हो)

कल्पना कीजिए कि लक्ष्य खेत में तेज़ी से दौड़ रहा है, और बार-बार अपनी दिशा बदल रहा है।

क्या होता है: Adam का "बैकपैक" एक लायबिलिटी (बोझ) बन जाता है। धावक एक पुराने नक्शे को देख रहा है और एक पुराने कंपास का पालन कर रहा है। जब तक वह अपनी याददाश्त को नई दिशा के अनुसार ढालता है, तब तक लक्ष्य फिर से आगे बढ़ चुका होता है।
परिणाम: SGD जीतता है। वह स्प्रिंटर जो अतीत को अनदेखा करता है और केवल वर्तमान पर प्रतिक्रिया देता है, वह भारी याददाश्त वाले धावक की तुलना में तेज़ चलते लक्ष्य के साथ बेहतर तालमेल बिठा सकता है।
शोध पत्र का दावा: हाई-ड्रिफ्ट (तेज़ बदलाव वाले) रेजीम में, Adam की "पुरानी" जानकारी वास्तव में प्रदर्शन को नुकसान पहुँचाती है, जिससे आपके और लक्ष्य के बीच का अंतर बढ़ जाता है।

परिदृश्य B: "नॉइज़-डोमिनेटेड" दुनिया (लक्ष्य स्थिर है, लेकिन धुंध बहुत गहरी है)

कल्पना कीजिए कि लक्ष्य खड़ा है, लेकिन हवा में मलबा उड़ रहा है, जिससे ज़मीन देखना कठिन हो गया है।

क्या होता है: SGD, यानी स्प्रिंटर, हवा के हर झोंके से भ्रमित हो जाता है और लड़खड़ाने लगता है। Adam, यानी मैराथन धावक, अपनी याददाश्त का उपयोग यह कहने के लिए करता है, "ठीक है, हवा का वह झोंका केवल शोर था; मुख्य रुझान (trend) अभी भी वही है।"
परिणाम: Adam जीतता है। उसकी अनुकूलन क्षमता (adaptive memory) अराजकता को सुचारू बनाती है, जिससे वह धावक लक्ष्य के अधिक करीब रह पाता है।
शोध पत्र का दावा: हाई-नॉइज़ (अधिक शोर वाले) रेजीम में, शोर को औसत निकालने की Adam की क्षमता उसे SGD से बेहतर बनाती है।

"बर्न-इन" और "फ्लोर"

यह शोध पत्र यह भी समझाता है कि Adam कभी-कभी शुरू होने में समय क्यों लेता है ("बर्न-इन" अवधि) और वह लक्ष्य के बिल्कुल करीब क्यों नहीं पहुँच पाता ("फ्लोर")।

बर्न-इन (Burn-In): जब Adam शुरू होता है, तो उसका "बैकपैक" खाली होता है। उसे अपनी याददाश्त प्रभावी ढंग से उपयोग करने के लिए डेटा से इसे भरना पड़ता है। इस दौरान, वह वास्तव में SGD से खराब प्रदर्शन कर सकता है।
फ्लोर (Floor): एक लंबे समय के बाद भी, Adam चलते हुए लक्ष्य के बिल्कुल करीब नहीं पहुँच सकता। शोध पत्र विस्तार से बताता है कि यह अंतर क्यों मौजूद है। यह चार कारणों से होता है:
1. शुरुआती स्थिति (Starting Position): जहाँ से आपने शुरुआत की।
2. लक्ष्य की गति (Target Speed): लक्ष्य कितनी तेज़ी से दौड़ रहा है (ड्रिफ्ट)।
3. मेमोरी लैग (Memory Lag): बैकपैक अतीत को कितना थामे रखता है (इसे $\beta_1$ नामक सेटिंग द्वारा नियंत्रित किया जाता है)।
4. मैप इंस्टेबिलिटी (Map Instability): "इलाके का नक्शा" कितना उतार-चढ़ाव भरा है (इसे $\beta_2$ द्वारा नियंत्रित किया जाता है)।

"स्टेबलाइज़र" नॉब ( $\epsilon$ )

इस शोध पत्र की एक सबसे व्यावहारिक खोज Adam में मौजूद एक विशिष्ट सेटिंग के बारे में है जिसे $\epsilon$ (एप्सिलॉन) कहा जाता है।

उपमा: $\epsilon$ को धावक के जूतों पर एक "शॉक एब्जॉर्बर" (झटका सहने वाला) या "डैम्पनर" के रूप में समझें।
निष्कर्ष: शोध पत्र समझाता है कि क्यों $\epsilon$ $ϵ$ को बढ़ाने से Adam को बदलते हुए संसार (ड्रिफ्ट) में मदद मिलती है:
- एक छोटा $\epsilon$ धावक को "इलाके के नक्शे" के प्रति बहुत संवेदनशील बनाता है। यदि नक्शा गड़बड़ाता है, तो धावक लड़खड़ा जाता है।
- एक बड़ा $\epsilon$ एक बफर (बचाव) के रूप में कार्य करता है। यह धावक को नक्शे के छोटे-छोटे बदलावों पर अत्यधिक प्रतिक्रिया करने से रोकता है। यह धावक को अधिक स्थिर बनाता है जब लक्ष्य चल रहा होता है, जिससे वह एडेप्टिव मैकेनिज्म (अनुकूलन तंत्र) के कारण अपना संतुलन नहीं खोता।

सारांश

यह शोध पत्र प्रदान करता है कि किस धावक का उपयोग कब करना है, इसका एक गणितीय "नियम पुस्तिका" (rulebook):

यदि आपका डेटा तेज़ी से बदल रहा है (हाई ड्रिफ्ट): Adam की भारी याददाश्त का उपयोग न करें। SGD (या कम याददाश्त वाला Adam संस्करण) का उपयोग करें ताकि आप तेज़ी से प्रतिक्रिया दे सकें।
यदि आपका डेटा शोर वाला है लेकिन स्थिर है (हाई नॉइज़): Adam का उपयोग करें। उसकी याददाश्त आपको शोर को अनदेखा करने और सही रास्ते को खोजने में मदद करेगी।
यदि आपको बदलते हुए संसार में Adam का ही उपयोग करना है: तो आपको "शॉक एब्जॉर्बर" ( $\epsilon$ ) को ट्यून करने की आवश्यकता हो सकती है ताकि एल्गोरिदम बहुत अधिक अस्थिर न हो जाए।

लेखक निष्कर्ष निकालते हैं कि Adam "बुरा" नहीं है; बस इसकी सुपरपावर (याददाश्त) तब कमजोरी बन जाती है जब वातावरण उस गति से बदलता है जिसके साथ उसकी याददाश्त तालमेल बिठा सके।

तकनीकी सारांश: अनुकूलित हों या भूल जाएँ: गैर-स्थिर अनुकूलन (Nonstationary Optimization) में Adam और SGD के बीच प्रमाणित ट्रेडऑफ़

समस्या विवरण
यह शोध पत्र गैर-स्थिर स्टोकेस्टिक उद्देश्यों (stochastic objectives) के तहत अडैप्टिव ग्रेडिएंट विधियों, विशेष रूप से Adam के सैद्धांतिक व्यवहार को संबोधित करता है। मानक स्थिर परिवेश (stationary setting) के विपरीत, जहाँ लक्ष्य एक निश्चित मिनिमाइज़र (minimizer) की ओर अभिसरण करना होता है, यह कार्य एक समय-परिवर्तनीय अनुकूलन समस्या पर विचार करता है जहाँ उद्देश्य फलन $G_t(\theta)$ एक विस्थापित वितरण (drifting distribution) $\Pi_t$ के कारण समय के साथ बदलता रहता है। केंद्रीय प्रश्न यह है कि: Adam का अडैप्टिव प्रीकंडीशनिंग (adaptive preconditioning), वैनिला स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) की तुलना में चलते हुए मिनिमाइज़र को ट्रैक करने में कब सुधार करता है, और कब इसका मोमेंटम-आधारित मेमोरी (momentum-based memory) हानिकारक हो जाता है?

यद्यपि अनुभवजन्य साक्ष्य (empirical evidence) यह सुझाव देते हैं कि Adam वितरण परिवर्तन (distribution shifts) के तहत "प्लास्टिसिटी लॉस" (plasticity loss) या अस्थिरता से ग्रस्त हो सकता है, इस प्रकार के विफलता मोडों का एक सटीक सैद्धांतिक लक्षण वर्णन और गैर-स्थिर व्यवस्थाओं में Adam के हाइपरपैरामीटर ( $\beta_1, \beta_2, \epsilon$ ) की विशिष्ट भूमिका का अभाव था।

कार्यप्रणाली और ढांचा
लेखक एक स्टोकेस्टिक प्रेडिक्टेबिलिटी फ्रेमवर्क के भीतर Adam एल्गोरिदम का विश्लेषण करते हैं, जहाँ लक्षित मिनिमाइज़र $\theta^*_t$ , फिल्ट्रेशन $\mathcal{F}_t$ के अनुकूल एक प्रेडिक्टेबल प्रोसेस (predictable process) है। विश्लेषण को दो प्राथमिक व्यवस्थाओं में विभाजित किया गया है:

अडैप्टिव स्ट्रॉन्ग मोनोटोनिसिटी के तहत यूक्लिडियन ट्रैकिंग (Euclidean Tracking under Adaptive Strong Monotonicity): लेखक एक प्रेडिक्टेबल प्रॉक्सी (predictable proxy) के लिए एडम-प्रीकंडीशनड मीन-ग्रेडिएंट ऑपरेटर पर स्ट्रॉन्ग मोनोटोनिसिटी की स्थिति लागू करके परिमित-समय ट्रैकिंग बाउंड्स ( $\|\theta_t - \theta^*_t\|$ ) व्युत्पन्न करते हैं। यह दृष्टिकोण समस्या की प्रेडिक्टेबल ज्योमेट्री को वास्तविक प्रीकंडीशनर के स्टोकेस्टिक उतार-चढ़ाव से अलग करता है।
सामान्य प्रीकंडीशनिंग के तहत प्रोजेक्टेड स्टेशनैरिटी (Projected Stationarity under General Preconditioning): स्ट्रॉन्ग मोनोटोनिसिटी की धारणा बनाए बिना, लेखक औसत प्रोजेक्टेड स्टेशनैरिटी गैप पर हाई-प्रोबेबिलिटी बाउंड्स स्थापित करते हैं। यह गैर-कॉन्वेक्स सेटिंग्स और कंस्ट्रेंड ऑप्टिमाइज़ेशन को सामान्यीकृत करता है, जो सक्रिय बाधाओं (constraints) के मामले में मानक ग्रेडिएंट-नॉर्म गारंटियों में बदल जाता है।

मुख्य तकनीकी नवाचारों में शामिल हैं:

प्रेडिक्टेबल प्रॉक्सी निर्माण: इस तथ्य को संभालने के लिए कि Adam प्रीकंडीशनर $P_{t+1}$ , ताज़ा सैंपल $X_{t+1}$ पर निर्भर करता है (जो इसे नॉन-प्रेडिक्टेबल बनाता है), लेखक सेकंड मोमेंट के कंडीशनल एक्सपेक्टेशन का उपयोग करके एक प्रेडिक्टेबल प्रॉक्सी $\tilde{P}_{t+1}$ का निर्माण करते हैं। यह एक ऐसा ढांचा प्रदान करता है जो ऑप्शनल स्टॉपिंग आर्गुमेंट्स पर निर्भर नहीं करता है।
त्रुटि अपघटन (Error Decomposition): ट्रैकिंग त्रुटि को चार विशिष्ट घटकों में कठोरता से विभाजित किया गया है: इनिशियलाइज़ेशन डिके (initialization decay), ऑब्जेक्टिव ड्रिफ्ट (objective drift), फर्स्ट-मोमेंट ट्रैकिंग एरर (जो $\beta_1$ द्वारा नियंत्रित है), और प्रीकंडीशनर परमटर्बेशन (जो $\beta_2$ और $\epsilon$ द्वारा नियंत्रित है)।
कंसन्ट्रेशन इनइक्वालिटीज (Concentration Inequalities): विश्लेषण हाई-प्रोबेबिलिटी बाउंड्स प्राप्त करने के लिए कंडीशनल $\Psi_\alpha$ -ऑरलिक्स नॉर्म्स (Orlicz norms) और फ्रीडमैन-टाइप मार्टिंगेल इनइक्वालिटीज का उपयोग करता है जो समय क्षितिज (time horizon) पर यूनिफॉर्म रूप से लागू होते हैं।

मुख्य योगदान और परिणाम

परिमित-समय ट्रैकिंग बाउंड्स: यह शोध पत्र Adam के लिए स्पष्ट हाई-प्रोबेबिलिटी बाउंड्स प्रदान करता है जो व्याख्या योग्य पदों में त्रुटि को विभाजित करते हैं। बाउंड्स यह प्रकट करते हैं कि ट्रैकिंग फ्लोर (tracking floor) शोर में कमी (जो मोमेंटम द्वारा प्रदान की जाती है) और पुराने ग्रेडिएंट सूचना से उत्पन्न होने वाले लैग (lag) के बीच एक ट्रेडऑफ़ द्वारा निर्धारित होता है।
नॉइज़-ड्रिफ्ट ट्रेडऑफ़: केंद्रीय सैद्धांतिक निष्कर्ष शोर-प्रधान (noise-dominated) और ड्रिफ्ट-प्रधान (drift-dominated) व्यवस्थाओं के बीच एक तीक्ष्ण ट्रेडऑफ़ है:
- शोर-प्रधान व्यवस्थाएं (Noise-Dominated Regimes): जब स्टोकेस्टिक ग्रेडिएंट नॉइज़ अधिक होती है, तो Adam का फर्स्ट-मोमेंट एवरेजिंग ( $\beta_1$ द्वारा नियंत्रित) और अडैप्टिव प्रीकंडीशनिंग, SGD की तुलना में हाई-प्रोबेबिलिटी ट्रैकिंग फ्लोर को कम कर देता है।
- ड्रिफ्ट-प्रधान व्यवस्थाएं (Drift-Dominated Regimes): जब ऑब्जेक्टिव तेज़ी से ड्रिफ्ट करता है, तो $\beta_1$ द्वारा प्रेरित मेमोरी बायस और $\beta_2$ द्वारा प्रेरित सेकंड-मोमेंट प्रीकंडीशनर में होने वाले व्यवधान, गैर-स्थिरता की लागत को बढ़ा देते हैं। इन व्यवस्थाओं में, वैनिला SGD, जिसमें यह मेमोरी नहीं होती, एक छोटा ट्रैकिंग फ्लोर प्राप्त करता है क्योंकि वह चलते हुए लक्ष्य के प्रति अधिक तेज़ी से अनुकूलित होता है।
हाइपरपैरामीटर लक्षण वर्णन: बाउंड्स Adam के हाइपरपैरामीटर्स की भूमिकाओं को स्पष्ट रूप से रेखांकित करते हैं:
- $\beta_1$ (फर्स्ट मोमेंट): यह एक बायस-वेरिएंस ट्रेडऑफ़ को नियंत्रित करता है। बड़ा $\beta_1$ शोर को दबाता है लेकिन मेमोरी बायस को बढ़ाता है, जिससे तीव्र ड्रिफ्ट के तहत यह हानिकारक हो जाता है।
- $\beta_2$ (सेकंड मोमेंट): यह एक ट्रांजिएंट-फ्लोर ट्रेडऑफ़ को नियंत्रित करता है। बड़ा $\beta_2$ एसिम्प्टोटिक प्रीकंडीशनर परमटर्बेशन फ्लोर को कम करता है लेकिन ट्रांजिएंट "बर्न-इन" समय के क्षय को धीमा कर देता है।
- $\epsilon$ (स्टेबिलाइजेशन): विश्लेषण यह सैद्धांतिक तंत्र प्रदान करता है कि क्यों $\epsilon$ को बढ़ाने से टास्क परिवर्तनों के तहत Adam स्थिर होता है। बड़ा $\epsilon$ अडैप्टिव सेकंड-मोमेंट प्रोसेस की परिवर्तनशीलता को कम करता है, जिससे ड्रिफ्ट के प्रति अनुकूलन की गति धीमी होने की कीमत पर प्रीकंडीशनर परमटर्बेशन टर्म कम हो जाता है।
प्रोजेक्टेड स्टेशनैरिटी गारंटी: लेखक इन अंतर्दृष्टियों को सामान्य नॉन-कॉन्वेक्स, कंस्ट्रेंड सेटिंग्स तक विस्तारित करते हैं, यह सिद्ध करते हुए कि स्ट्रॉन्ग मोनोटोनिसिटी के बिना भी वही गुणात्मक त्रुटि संरचना (ड्रिफ्ट, फर्स्ट-मोमेंट बायस, सेकंड-मोमेंट परमटर्बेशन) बनी रहती है।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह गैर-स्थिर स्टोकेस्टिक उद्देश्यों के तहत Adam का पहला परिमित-समय सैद्धांतिक विश्लेषण प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

अनुभवजन्य अस्थिरता का समाधान: यह इस बात का सैद्धांतिक स्पष्टीकरण देता है कि क्यों वितरण परिवर्तन (जैसे निरंतर शिक्षण/continual learning में) के तहत Adam खराब प्रदर्शन करता है और क्यों विशिष्ट हाइपरपैरामीटर समायोजन (जैसे $\epsilon$ को बढ़ाना) इसे स्थिर करते हैं।
ऑप्टिमाइज़र चयन: यह सटीक स्थितियाँ निर्धारित करता है जिनके तहत अडैप्टिव विधियाँ प्रमाणिक रूप से SGD से बेहतर हैं बनाम कब वे प्रमाणिक रूप से उप-इष्टतम (suboptimal) हैं, जो केवल अनुमानित सलाह से आगे बढ़कर ठोस आधार प्रदान करती हैं।
सिद्धांत और व्यवहार के बीच सेतु: सैद्धांतिक बाउंड्स संख्यात्मक प्रयोगों (जैसे स्ट्रॉन्गली कॉन्वेक्स लीस्ट स्क्वायर्स, MLP रिग्रेशन, फेज रिट्रीवल, और मैट्रिक्स फैक्टराइजेशन) के साथ संरेखित होते हैं, जो पुष्टि करते हैं कि उच्च-ड्रिफ्ट सेटिंग्स में SGD बेहतर प्रदर्शन करता है जबकि उच्च-नॉइज़ सेटिंग्स में Adam उत्कृष्ट है।

लेखक सीमाओं का उल्लेख करते हैं, विशेष रूप से पाथवाइज (pathwise) प्रीकंडीशनर परमटर्बेशन को नियंत्रित करने के लिए बाउंडेड-ग्रेडिएंट धारणाओं पर निर्भरता और इस सेटिंग में Adam के लिए मिनिमैक्स लोअर बाउंड्स का अभाव, जो भविष्य के कार्यों के लिए दिशा सुझाते हैं। हालाँकि, वर्तमान कार्य अडैप्टिव ऑप्टिमाइज़ेशन में "अनुकूलित हों या भूल जाएँ" (adapt or forget) के द्वंद्व को समझने के लिए एक कठोर ढांचा स्थापित करता है।