🤖 machine learning

Why Zeroth-Order Adaptation May Forget Less: A Randomized Shaping Theory

यह शोध पत्र एक रैंडमाइज्ड शेपिंग थ्योरी प्रस्तुत करता है जो यह प्रदर्शित करता है कि ज़ीरोथ-ऑर्डर एडेप्टेशन, अनिसोट्रोपिक घटकों को संकुचित करते हुए आइसोट्रोपिक रिटेंशन कर्वेचर को संरक्षित करके, फर्स्ट-ऑर्डर विधियों की तुलना में फॉरगेटिंग (विस्मृति) को कम कर सकता है, जिससे RISE एल्गोरिदम का जन्म होता है जो बेहतर स्टेबिलिटी-प्लास्टिसिटी ट्रेड-ऑफ के लिए सटीक ग्रेडिएंट्स पर इस कैलिब्रेटेड शेपिंग मैकेनिज्म को लागू करता है।

मूल लेखक: Yao Shu, Jian Mu, Zhongxiang Dai

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yao Shu, Jian Mu, Zhongxiang Dai

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक मास्टर शेफ हैं जिन्होंने वर्षों तक एक विशिष्ट रेसिपी (आपका "पुराना ज्ञान") को सिद्ध करने में बिताया है। अब, एक नया ग्राहक आपसे एक बिल्कुल अलग व्यंजन (एक "नया कार्य") सीखने के लिए कहता है।

कंटीन्यूअल लर्निंग (Continual Learning) की चुनौती यह है: आप नए व्यंजन को कैसे सीखें बिना अपने पुराने व्यंजन को अनजाने में खराब किए? यदि आप नए रेसिपी के अनुकूल होने के लिए अपनी खाना पकाने की शैली को बहुत अधिक बदल देते हैं, तो आप उन गुप्त मसालों को भूल सकते हैं जिन्होंने आपके पुराने व्यंजन को प्रसिद्ध बनाया था। इसे "भूलना" (forgetting) कहा जाता है।

हाल ही में, वैज्ञानिकों ने एक अजीब तरकीब खोजी है: कभी-कभी, केवल परिणाम का "स्वाद चखकर" (एक विधि जिसे ज़ीरो-ऑर्डर या ZO कहा जाता है) नया कार्य सीखना, हर सामग्री को सावधानी से मापने (मानक फर्स्ट-ऑर्डर या FO विधि) की तुलना में कम भूलने का कारण बनता है। लेकिन कोई नहीं जानता था कि क्यों। आमतौर पर, लोग सोचते थे कि ZO केवल FO का एक "शोर भरा" (noisy) या धुंधला संस्करण है।

यह पेपर कहता है: नहीं, यह केवल शोर नहीं है। यह एक विशिष्ट प्रकार का "आकार बदलने वाला" (shape-shifting) है जो आपकी पुरानी यादों की रक्षा करता है।

यहाँ सरल उपमाओं का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: "नाजुक फर्श" (The Fragile Floor)

कल्पना कीजिए कि आपका पुराना ज्ञान एक ऐसे घर के रूप में है जो कुछ ऊबड़-खाबड़, असमान स्थानों (उच्च-वक्रता वाले क्षेत्र) और कुछ सपाट स्थानों वाले फर्श पर बना है।

मानक लर्निंग (FO): जब आप एक नया कार्य सीखते हैं, तो आप एक सीधी रेखा में एक बड़ा कदम उठाते हैं। यदि वह रेखा किसी ऊबड़-खाबड़ स्थान से होकर गुजरती है, तो आप लड़खड़ा जाते हैं, और आपका पुराना घर क्षतिग्रस्त हो जाता है (आप भूल जाते हैं)।
रहस्य: लोगों ने गौर किया कि "स्वाद चखने" वाली विधि (ZO) कम बार लड़खड़ाती है, भले ही यह कम सटीक होने के लिए जानी जाती है।

2. खोज: "रैंडमाइज्ड शेपिंग" (Randomized Shaping)

लेखकों ने महसूस किया कि "स्वाद चखने" वाली विधि (ZO) केवल अनुमान नहीं लगाती; यह वास्तव में उस पथ को पुनर्गठित (reshape) करती है जिस पर आप चलते हैं।

एक पतंग (आपका सीखने का दिशा) पर बहने वाली तेज हवा के रूप में नए कार्य की कल्पना करें।

FO हवा को पतंग को एक सीधी, कठोर रेखा में बहने देता है। यदि वह रेखा एक पेड़ (आपके पुराने ज्ञान का "ऊबड़-खाबड़" हिस्सा) से टकराती है, तो पतंग दुर्घटनाग्रस्त हो जाती है।
ZO पतंग के चारों ओर एक लचीले, रैंडमाइज्ड जाल की तरह कार्य करता है। यह केवल सीधा नहीं चलता; यह सभी दिशाओं में थोड़ा डगमगाता (wobble) रहता है।

जादुई ट्रिक:
पेपर यह सिद्ध करता है कि यह डगमगाहट (randomization) दो विशिष्ट चीजें करती है:

यह "औसत" सुरक्षा बनाए रखती है: यह सुनिश्चित करती है कि आप अनजाने में सपाट, सुरक्षित हिस्सों पर उतना अधिक कदम न रखें जितना कि आवश्यक हो।
यह "ऊबड़-खाबड़" को चिकना करती है: यह विशेष रूप से पथ के खतरनाक, नुकीले किनारों को गोल करने और जोखिम को कम करने का काम करती है।

3. "नॉर्म-मैच्ड" निष्पक्ष मुकाबला (The "Norm-Matched" Fair Fight)

यह साबित करने के लिए कि यह केवल इसलिए नहीं था क्योंकि ZO छोटे, सुरक्षित कदम उठा रहा था, लेखों ने एक "निष्पक्ष लड़ाई" का प्रयोग किया। उन्होंने दोनों विधियों को ठीक उसी आकार के कदम उठाने के लिए मजबूर किया (समान ऊर्जा)।

जब समान आकार के कदम उठाने के लिए मजबूर किया गया, तब भी:

FO अभी भी सीधे ऊबड़-खाबड़ रास्तों में चला गया और चोटिल हो गया।
ZO ने वही आकार का कदम उठाया, लेकिन क्योंकि यह रैंडम डगमगाहट द्वारा "आकार" दिया गया था, इसने सबसे बुरे ऊबड़-खाबड़ हिस्सों से बच लिया।

नियम: ZO केवल तभी मदद करता है जब वह पथ जिसे आपको लेना चाहिए (नया कार्य), आपके पुराने ज्ञान के बहुत ऊबड़-खाबड़ क्षेत्र से होकर गुजरता है। यदि पथ पहले से ही समतल जमीन पर है, तो ZO ज्यादा मदद नहीं करता है। यह एक "जोखिम नियंत्रण" उपकरण है, न कि हर चीज के लिए एक जादुई ढाल।

4. समाधान: RISE (दोनों दुनियाओं का सर्वश्रेष्ठ)

लेखकों ने महसूस किया कि जबकि ऊबड़-खाबड़ हिस्सों से बचने के लिए ZO की "डगमगाहट" बहुत अच्छी है, लेकिन यह थोड़ा अव्यवस्थित और धीमा है क्योंकि यह अनुमान लगाने पर निर्भर करता है।

इसलिए, उन्होंने एक नया एल्गोरिदम बनाया जिसे RISE (रिटेंशन-अवेयर आइसोट्रोपिक शेपिंग) कहा जाता है।

यह कैसे काम करता है: RISE मानक विधि (FO) के सटीक, सीधी रेखा वाले माप का उपयोग यह जानने के लिए करता है कि कहाँ जाना है।
ट्विस्ट: वह कदम उठाने से पहले, यह गणितीय रूप से "ZO डगमगाहट" लागू करता है। यह पूर्ण सीधी रेखा को लेता है और उसे धीरे से "आकार" देता है ताकि ऊबड़-खाबड़ हिस्सों से बचा जा सके, ठीक वैसे ही जैसे ZO विधि ने किया था, लेकिन बिना अनुमान लगाए।

परिणाम:

आपको मानक विधि की गति और सटीकता मिलती है (आप नए कार्य को अच्छी तरह सीखते हैं)।
आपको ZO विधि की सुरक्षा मिलती है (आप पुराना कार्य नहीं भूलते)।

सारांश उपमा

कल्पना कीजिए कि आप ऊँची घास के मैदान (आपका पुराना ज्ञान) के माध्यम से एक भारी बॉक्स (नया कार्य) लेकर चल रहे हैं।

मानक चलना (FO): आप एक सीधी रेखा में चलते हैं। यदि उस दिशा में घास घनी है, तो आप फंस जाते हैं और बॉक्स गिरा देते हैं (भूलना)।
"स्वाद चखने वाला" चलना (ZO): आप अपने पैरों को रैंडम तरीके से घसीटते हुए चलते हैं। यह आपको घास के बीच से रास्ता खोजने में मदद करता है, लेकिन यह धीमा और भद्दा है।
RISE: आप आगे देखते हैं कि आदर्श सीधा रास्ता क्या है, लेकिन आप अपने कदमों में थोड़ा "घसीटना" (shuffle) जोड़ देते हैं ताकि आप बिना लड़खड़ाए घनी घास को धीरे से हटा सकें। आप तेजी से चलते हैं, आप बॉक्स नहीं गिराते, और आप मैदान को भी खराब नहीं करते।

मुख्य बात:
यह पेपर समझाता है कि क्यों "अव्यवस्थित" ज़ीरो-ऑर्डर विधि कभी-कभी बेहतर काम करती है: यह स्वाभाविक रूप से सीखने के पथ के खतरनाक हिस्सों को चिकना कर देती है। उन्होंने इस अंतर्दृष्टि को एक नए उपकरण (RISE) में बदल दिया जो हमें दोनों दुनियाओं का सर्वश्रेष्ठ देता है: मानक लर्निंग की सटीकता और "अव्यवस्थित" विधि की सुरक्षा।

तकनीकी सारांश: ज़ीरोथ-ऑर्डर अनुकूलन कम क्यों भूलता है: एक रैंडमाइज्ड शेपिंग थ्योरी

समस्या विवरण
निरंतर शिक्षण (continual learning) के लिए मॉडलों को पिछले कार्यों से प्राप्त क्षमताओं को मिटाए बिना नए कार्यों के अनुकूल होने की आवश्यकता होती है। जबकि हालिया अनुभवजन्य कार्य (जैसे, ZeroFlow, ZO-FC) यह सुझाव देते हैं कि ज़ीरोथ-ऑर्डर (ZO) अनुकूलन और फॉरवर्ड-पास अनुकूलन, फर्स्ट-ऑर्डर (FO) डिसेंट की तुलना में विस्मृति (forgetting) को अधिक प्रभावी ढंग से कम कर सकते हैं, प्रचलित दृष्टिकोण ZO को केवल FO ग्रेडिएंट के एक शोर वाले अनुमानक (noisy estimator) के रूप में मानता है। यह परिप्रेक्ष्य यह समझाने में विफल रहता है कि ZO बेहतर क्यों बनाए रखता है, क्योंकि अनुमान सटीकता आने वाले ग्रेडिएंट से संबंधित है, जबकि विस्मृति प्रेरित पैरामीटर विस्थापन (parameter displacement) और रिटेंशन कर्वेचर (retention curvature) द्वारा नियंत्रित होती है जिसे वह उजागर करता है। यह शोध पत्र आने वाले सिग्नल और अनुकूलन स्केल को मैच करने के बाद, 'नोइज़ी FO' नैरेटिव से आगे बढ़कर, अनुकूलन के आकार के ज्यामितीय गुणों को समझने और विस्मृति के स्थानीय तंत्र को अलग करने का प्रयास करता है।

कार्यप्रणाली: रैंडमाइज्ड ग्रेडिएंट शेपिंग
लेखक एक ढांचा प्रस्तावित करते हैं जहाँ विस्मृति का विश्लेषण "शेप्ड अडैप्टेशन" (shaped adaptation) के रूप में किया जाता है। विभिन्न विस्थापन ऑपरेटरों $\Delta$ द्वारा प्रेरित क्वाड्रेटिक डैमेज फंक्शनल $Q(\Delta) = \frac{1}{2}\Delta^\top H \Delta$ की तुलना करने के बजाय (जहाँ $H$ रिटेंशन कर्वेचर, जैसे कि ऐतिहासिक लॉस का हेसियन है), वे अनुकूलन प्रक्षेपवक्रों (trajectories) की तुलना करते हैं।

ZO का अंशांकन (Calibration): शोध पत्र व्यावहारिक फाइनाइट-डिफरेंस (finite-difference) ZO अनुमानकों को तीन घटकों में विभाजित करता है:
- रॉ मीन अलाइनमेंट (Raw Mean Alignment): रॉ ZO आकार अपेक्षा (expectation) में FO सिग्नल को सुरक्षित रखता है।
- नॉर्म इन्फ्लेशन (Norm Inflation): रॉ ZO अपेक्षित स्क्वेर्ड अडैप्टेशन नॉर्म को बढ़ा देता है।
- नॉर्म मैचिंग (Norm Matching): एक निष्पक्ष तुलना सुनिश्चित करने के लिए, लेखक एक नॉर्म-मैच्ड ZO आकार $P = \kappa^{-1/2}Z$ पेश करते हैं, जहाँ $Z$ रॉ शेप मैट्रिक्स है और $\kappa$ एक इन्फ्लेशन फैक्टर है। यह सुनिश्चित करता है कि $E[\|Pg\|^2] = \|g\|^2$ हो, जबकि स्पष्ट रूप से एक मीन श्रिंकेज फैक्टर $\sqrt{q/(q+d+1)}$ को प्रेरित करता है।
सैद्धांतिक विश्लेषण: इस नॉर्म-मैच्ड तुलना के तहत, लेखक सटीक शेप्ड रिटेंशन कर्वेचर $\bar{H}_q = E[P^\top H P]$ के लिए एक पहचान (identity) व्युत्पन्न करते हैं। वे सिद्ध करते हैं कि नॉर्म-मैच्ด ZO कर्वेचर को समान रूप से छोटा नहीं करता है, बल्कि आइसोट्रोपिक घटक (औसत कर्वेचर $\bar{\lambda}I$ ) को सुरक्षित रखता है और एनिसोट्रोपिक घटक (मीन से विचलन) को $(1-\tau)$ के कारक से संकुचित करता है, जहाँ $\tau = d/(q+d+1)$ है।
फॉरगेटिंग गैप आइडेंटिटी: इस कर्वेचर पहचान को इनकमिंग ग्रेडिएंट $g$ पर प्रोजेक्ट करके, शोध पत्र एक सटीक FO–ZO क्वाड्रेटिक फॉरगेटिंग गैप व्युत्पन्न करता है। विस्मृति में कमी तभी होती है जब FO दिशा औसत से अधिक रिटेंशन कर्वेचर ( $\lambda > \bar{\lambda}$ ) वाले क्षेत्र की ओर संकेत करती है। इस शासन (regime) में, ZO "कर्वेचर एクセस" (curvature excess) क्षति को एक क्वेरी-निर्भर अंश तक कम कर देता है। इसके विपरीत, यदि FO दिशा लो-कर्वेचर क्षेत्र में है, तो ZO विस्मृति को बढ़ा सकता है, जो इसे एक सार्वभौमिक प्रभुत्व के बजाय एक ज्योमेट्री-डिपेंडेंट रिस्क कंट्रोल के रूप में फ्रेम करता है।

मुख्य योगदान

स्थानीय विस्मृति को शेप्ड अडैप्टेशन के रूप में रूपायित करना: शोध पत्र FO और ZO के बीच तुलना को एक 'शेप्ड अडैप्टेशन' के प्रश्न के रूप में पुनर्गठित करता है, जो स्टेप साइज और प्रक्षेपवक्र जैसे कन्फाउंडर्स को हटाकर, एक मैच किए गए अपेक्षित स्क्वेर्ड अडैप्टेशन नॉर्म के तहत रिटेंशन कर्वेचर को कैसे एक्सपोज़ किया जाता है, इस पर केंद्रित है।
फाइनाइट-डिफरेंस ZO का अंशांकन: यह रॉ मीन अलाइनमेंट, फाइनाइट-स्मूथिंग रेसिडुअल्स, रॉ नॉर्म इन्फ्लेशन और नॉर्म-मैच्ड मीन श्रिंकेज को कठोरता से अलग करता है, जिससे सैद्धांतिक विश्लेषण के लिए एक निष्पक्ष तुलना स्थापित होती है।
सटीक कर्वेचर आइडेंटिटी और फॉरगेटिंग गैप: लेखक सिद्ध करते हैं कि नॉर्म-मैच्ड ZO आइसोट्रोपिक रिटेंशन फ्लोर को सुरक्षित रखता है और एनिसोट्रोपिक घटक को संकुचित करता है। यह एक सटीक पहचान प्रदान करता है जो दिखाती है कि ZO सटीक रूप से तब विस्मृति को कम करता है जब FO दिशा औसत से अधिक रिटेंशन कर्वेचर को पार करती है।
एल्गोरिद्मिक ट्रांसफर (RISE): शोध पत्र RISE (रिटेंशन-अवेयर आइसोट्रोपिक शेपिंग फॉर एक्जैक्ट-ग्रेडिएंट अडैप्टेशन) पेश करता है। RISE, सटीक-ग्रेडिएंट अनुकूलन के लिए कैलिब्रेटेड ZO शेप तंत्र को स्थानांतरित करता है। यह बैकप्रोपैगेशन के माध्यम से सटीक FO ग्रेडिएंट की गणना करता है (फाइनाइट-डिफरेंस स्मूथिंग बायस को हटाते हुए), लेकिन ब्लॉकवाइज (blockwise) रूप में नॉर्म-मैच्ड, रैंडमाइज्ड शेपिंग ऑपरेटर लागू करता है। यह इसे ZO के रिटेंशन-कर्वेचर मिक्सिंग लाभों को प्राप्त करने की अनुमति देता है जबकि सटीक ग्रेडिएंट्स की प्लास्टिसिटी सिग्नल को बनाए रखता है।

परिणाम

सैद्धांतिक सत्यापन: एक क्वाड्रेटिक सैंडबॉक्स में, एम्पिरिकल ऑपरेटर रेसिडुअल्स और डैमेज गैप्स सैद्धांतिक भविष्यवाणियों के साथ संरेखित होते हैं ( $R^2 = 0.9999$ ), जो पुष्टि करता है कि तंत्र ज्यामिति-निर्भर है और फॉरगेटिंग गैप का चिह्न दिशात्मक कर्वेचर एクセस के आधार पर बदलता है।
विज़न कंटीन्युअल लर्निंग: ViT-B/16 बैकबोन का उपयोग करके CIFAR100, ImageNet-R और DomainNet पर, जब RISE को ZO-FC पाइपलाइन पर लागू किया गया (रिप्रेजेंटेशन-साइड फाइनाइट-डिफरेंस ZO को सटीक-ग्रेडिएंट शेपिंग से बदलकर), तो इसने मानक ZO-FC की तुलना में "Last" एक्यूरेसी (प्लास्टिसिटी) में 0.39–1.39 अंक सुधार किया और "Fgt" (विस्मृति) को 0.28–1.72 अंक कम किया। यह दर्शाता है कि सटीक ग्रेडिएंट्स, ZO शेप के स्थिरता लाभों को बनाए रखते हुए, ग्रेडिएंट एस्टीमेशन के कारण खोई हुई प्लास्टिसिटी को पुनः प्राप्त कर सकते हैं।
लैंग्वेज मॉडल कंटीन्युअल लर्निंग: विभिन्न टास्क ऑर्डर्स (SeqLoRA और O-LoRA) पर T5 मॉडल्स पर, RISE ने विस्मृति को काफी कम किया (उदाहरण के लिए, एक SeqLoRA ऑर्डर पर 35.57% से 7.01% तक) जबकि "Last" एक्यूरेसी को FO बेसलाइन के करीब बनाए रखा। यह रॉ ZO के विपरीत है, जो अक्सर खराब प्लास्टिसिटी (कम "Last" स्कोर) की कीमत पर विस्मृति को कम करता है।

महत्व और दावे
शोध पत्र का दावा है कि यह यह समझाने वाला पहला स्केल-नियंत्रित स्थानीय तंत्र प्रदान करता है कि ZO कम क्यों भूलता है, जो "नोइजी FO" स्पष्टीकरण से परे जाता है। यह स्थापित करता है कि ZO का लाभ FO पर एक समान प्रभुत्व नहीं है, बल्कि एक सशर्त सुधार है: ZO एक "ब्लाइंड-ऑप्टिमल" आइसोट्रोपिक एक्सपोजर के रूप में कार्य करता है जो विशिष्ट रिटेंशन ज्योमेट्री अज्ञात होने पर उच्च-कर्वेचर दिशाओं से सुरक्षा प्रदान करता है।

RISE का महत्व इसकी क्षमता में निहित है कि यह स्थिरता तंत्र (रैंडमाइज्ड शेपिंग) को प्लास्टिसिटी तंत्र (सटीक ग्रेडिएंट्स) से अलग कर सकता है। कैलिब्रेटेड ZO शेप को सटीक ग्रेडिएंट्स पर लागू करके, RISE एक स्थिरता-प्लास्टिसिटी ट्रेड-ऑफ प्रदान करता है जहाँ मॉडल फाइनाइट-स्मूथिंग बायस से बचता है, फिर भी उस कर्वेचर-मिक्सिंग गुणों का लाभ उठाता है जो उच्च-कर्वेचर व्यवस्थाओं में रिटेंशन एक्सपोजर को कम करते हैं। शोध पत्र निष्कर्ष निकालता है कि यह तंत्र सबसे अधिक दृश्यमान तब होता है जब FO दिशा में औसत से अधिक रिटेंशन कर्वेचर होता है और जब ब्लॉकवाइज सैंपलिंग ग्लोबल हाई-डायमेंशनल रैंड दिशाओं से जुड़ी वेरिएंस के बिना शेपिंग प्रभाव के स्थिर क्रियान्वयन की अनुमति देती है।

1. समस्या: "नाजुक फर्श" (The Fragile Floor)

2. खोज: "रैंडमाइज्ड शेपिंग" (Randomized Shaping)

3. "नॉर्म-मैच्ड" निष्पक्ष मुकाबला (The "Norm-Matched" Fair Fight)

4. समाधान: RISE (दोनों दुनियाओं का सर्वश्रेष्ठ)

सारांश उपमा

इसी तरह के और पेपर