🤖 machine learning

FOAM: Frequency and Operator Error-Based Adaptive Damping Method for Reducing Staleness-Oriented Error for Shampoo

यह शोध पत्र FOAM प्रस्तुत करता है, जो एक अनुकूली डैम्पिंग विधि (adaptive damping method) है जो शैम्पू ऑप्टिमाइज़र (Shampoo optimizer) में पुराने प्रीकंडीशनर अपडेट (stale preconditioner updates) के कारण होने वाली संख्यात्मक अस्थिरता और प्रदर्शन गिरावट को कम करने के लिए स्टेलनेस-ओरिएंटेड एरर (staleness-oriented error) के आधार पर डैम्पिंग फैक्टर और आइजनडिकंपोजिशन फ्रीक्वेंसी (eigendecomposition frequency) को गतिशील रूप से समायोजित करता है, जिससे मजबूत अभिसरण (robust convergence) बनाए रखते हुए वॉल-क्लॉक ट्रेनिंग समय को कम किया जा सके।

मूल लेखक: Kyunghun Nam, Sumyeong Ahn

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kyunghun Nam, Sumyeong Ahn

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "FOAM" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी तस्वीर: "पुराना हो चुका नक्शा" (Stale Map) की समस्या

कल्पना कीजिए कि आप एक विशाल, धुंधले पहाड़ी क्षेत्र में रास्ता खोजने की कोशिश कर रहे हैं (यह एक बड़े AI मॉडल को ट्रेन करना है)। जल्दी से नीचे पहुँचने के लिए, आपको एक ऐसे नक्शे की ज़रूरत है जो ज़मीन की ढलान को दिखा सके ताकि आपको पता रहे कि अगला कदम कहाँ रखना है।

Shampoo एल्गोरिदम एक बहुत ही समझदार नेविगेटर है। यह केवल आपके पैरों के नीचे की ज़मीन को नहीं देखता; यह पूरे पहाड़ के आकार का एक जटिल, 3D नक्शा बनाने के लिए गणना करता है (जिसे "मैट्रिक्स इनवर्जन" कहा जाता है) ताकि सबसे कुशल कदम उठाए जा सकें। यह इसे नीचे पहुँचने में अविश्वसनीय रूप से तेज़ बनाता है।

हालाँकि, एक पेच है: इस सटीक 3D नक्शे की गणना करना एक सर्वेक्षकों (surveyors) की टीम को नियुक्त करने जैसा है जो हर चोटी पर चढ़कर हर कोण को मापे। इसमें बहुत अधिक समय और ऊर्जा (कंप्यूटेशनल पावर) लगती है। यदि आप यह हर कदम पर करते हैं, तो आपकी यात्रा बहुत धीमी हो जाएगी।

पुराना समाधान (Stale Shampoo): समय बचाने के लिए, विशेषज्ञों ने नक्शे को बार-बार अपडेट न करने का निर्णय लिया। वे एक बार सटीक नक्शा तैयार करते थे, और फिर अगले 30 या 50 कदमों तक उसी "पुराने" (stale) नक्शे का उपयोग करते थे।

अच्छी बात: यह बहुत तेज़ है क्योंकि आप लगातार सर्वेक्षकों को काम पर नहीं लगा रहे हैं।
बुरी बात: जैसे-जैसे आप चलते हैं, पहाड़ बदलता रहता है। नक्शा "पुराना" (stale) हो जाता है। अंततः, नक्शा इतना गलत हो जाता है कि आप किसी खाई में गिर सकते हैं (न्यूमेरिकल इंस्टेबिलिटी) या गोल-गोल घूम सकते हैं (धीमी कन्वर्जेंस)।

पेपर की खोज: "शॉक एब्जॉर्बर" (Shock Absorber)

इस पेपर के लेखकों ने महसूस किया कि समस्या केवल यह नहीं है कि नक्शा पुराना है; बल्कि समस्या यह है कि पुराने नक्शे का उपयोग करने से एक विशिष्ट प्रकार की त्रुटि (error) पैदा होती है जो AI को अस्थिर बना देती है।

उन्होंने एक समाधान खोजा: डैम्पिंग (Damping)।
डैम्पिंग को कार के शॉक एब्जॉर्बर की तरह समझें।

यदि आप एक ऊबड़-खाबड़ सड़क (पुराने नक्शे का उपयोग करना) पर गाड़ी चलाते हैं, तो बिना शॉक एब्जॉर्बर वाली कार उछल-उछल कर अनियंत्रित हो जाएगी और टूट जाएगी।
एक शॉक एब्जॉर्बर (डैम्पिंग) सवारी को सुगम बनाता है, जिससे आप ऊबड़-खाबड़ सड़क पर भी गाड़ी चलाना जारी रख पाते हैं।

अंतर्दृष्टि (Insight): आप एक पुराने नक्शे का उपयोग कर सकते हैं यदि आप अपने शॉक एब्जॉर्बर को सही ढंग से एडजस्ट करते हैं। लेकिन यहाँ एक पेच है:

यदि शॉक एब्जॉर्बर बहुत कमजोर हैं, तो कार दुर्घटनाग्रस्त हो जाएगी (अस्थिरता)।
यदि शॉक एब्जॉर्बर बहुत मजबूत हैं, तो कार इतनी धीमी और सख्त हो जाएगी कि आप कहीं पहुँच ही नहीं पाएंगे (सीखने की दक्षता में कमी)।

समाधान: FOAM (स्मार्ट क्रूज कंट्रोल)

पेपर एक नई विधि प्रस्तावित करता है जिसे FOAM (फ्रीक्वेंसी एंड ऑपरेटर एरर-बेस्ड एडेप्टिव डैम्पिंग मेथड) कहा जाता है।

एक निश्चित शेड्यूल (जैसे "हर 30 स्टेप्स पर नक्शा अपडेट करें") और एक निश्चित शॉक एब्जॉर्बर सेटिंग के बजाय, FOAM एक स्मार्ट क्रूज कंट्रोल सिस्टम की तरह काम करता है जो लगातार सड़क की निगरानी करता है।

यह तीन सरल चरणों में काम करता है:

सेंसर (Error Proxy): FOAM के पास एक सस्ता, तेज़ सेंसर है जो यह जाँचता है कि नक्शा कितना "पुराना" (stale) हो गया है। इसे यह जाँचने के लिए पूरी सर्वे टीम (जो महंगी है) को बुलाने की ज़रूरत नहीं है; यह केवल कुछ संकेतों को देखकर त्रुटि का अनुमान लगा लेता है।
एडजस्टर (Adaptive Damping):
- यदि सेंसर कहता है, "हे, नक्शा बहुत पुराना और खतरनाक होता जा रहा है!", तो FOAM स्वचालित रूप से शॉक एब्जॉर्बर को सख्त कर देता है (डैम्पिंग बढ़ाता है) ताकि कार स्थिर रहे।
- यदि सेंसर कहता है, "सड़क अभी भी चिकनी है," तो FOAM शॉक एब्जॉर्बर को ढीला कर देता है (डैम्पिंग कम करता है) ताकि कार तेज़ चल सके और बेहतर सीख सके।
ट्रिगर (Smart Refresh):
- यदि सड़क बहुत ज़्यादा ऊबड़-खाबड़ हो जाती है और शॉक एब्जॉर्बर उसे संभाल नहीं पाते, तो FOAM जानता है कि अब सर्वेक्षकों को फिर से बुलाने का समय आ गया है। यह केवल तभी पूर्ण मैप अपडेट (Eigendecomposition) को ट्रिगर करता है जब वास्तव में आवश्यक हो।

यह क्यों महत्वपूर्ण है

पेपर दिखाता है कि FOAM पुराने "Stale Shampoo" तरीके की तुलना में दो मुख्य तरीकों से बेहतर है:

यह तेज़ है: क्योंकि यह केवल तभी महंगा नक्शा अपडेट करता है जब सेंसर कहता है कि इसकी वास्तव में आवश्यकता है, यह बहुत सारा समय (वॉल-क्लॉक टाइम) बचाता है। उनके परीक्षणों में, इसने इमेज (ViT) और स्पीच (Conformer) पर मॉडल को प्रशिक्षित करने में लगने वाले समय को काफी कम कर दिया।
यह सुरक्षित है: लगातार डैम्पिंग को एडजस्ट करके, यह AI को न्यूमेरिकल इंस्टेबिलिटी की वजह से क्रैश होने से बचाता है, भले ही पुराने नक्शों का उपयोग किया जा रहा हो।

सारांश उपमा (Summary Analogy)

पुराना तरीका: आप एक टूटे हुए GPS वाली कार चला रहे हैं। आप हर 30 मिनट में नक्शा देखते हैं। कभी-कभी आप खाई में गिर जाते हैं क्योंकि नक्शा बहुत पुराना हो गया था। कभी-कभी आप बहुत धीरे चलते हैं क्योंकि आप हिलने-डुलने से डरते हैं।
FOAM का तरीका: आपके पास एक स्मार्ट सस्पेंशन सिस्टम और एक डैशबोर्ड वार्निंग लाइट वाली कार है।
- डैशबोर्ड तुरंत सड़क की स्थिति की जाँच करता है।
- यदि सड़क ऊबड़-खाबड़ है, तो सस्पेंशन खुद को सख्त कर लेता है ताकि आप सुरक्षित रहें।
- यदि सड़क चिकनी है, तो सस्पेंशन नरम हो जाता है ताकि आप तेज़ी से गाड़ी चला सकें।
- आप केवल तभी रुकते हैं जब डैशबोर्ड की लाइट लाल हो जाती है और नया नक्शा चाहिए होता है।

परिणाम: आप अपने गंतव्य (इष्टतम AI मॉडल) तक तेज़ी से और बिना दुर्घटना के पहुँचते हैं, और इसमें कम ईंधन (कंप्यूटेशनल रिसोर्स) खर्च होता है।

तकनीकी सारांश: शैम्पू (Shampoo) में स्टेलेनेस-ओरिएंटेड एरर को कम करने के लिए FOAM

1. समस्या विवरण

शैम्पू (Shampoo) ऑप्टिमाइज़र को क्रोनेकर-फैक्टर्ड सेकंड-मोमेंट स्टैटिस्टिक्स के माध्यम से लेयर-वाइटइन पैरामीटर सहसंबंधों (within-layer parameter correlations) को कैप्चर करने की अपनी क्षमता के कारण बड़े पैमाने के अनुकूलन बेंचमार्क पर अपने उत्कृष्ट प्रदर्शन के लिए पहचाना जाता है। हालांकि, इसका व्यावहारिक अनुप्रयोग एक महत्वपूर्ण कम्प्यूटेशनल बाधा से बाधित है: क्रोनेकर फैक्टर्स के इनवर्स $p$ -थ रूट्स (inverse $p$ -th roots) की गणना करने की अत्यधिक लागत, जिसके लिए महंगी आइगेनडीकंपोजिशन (EVD) की आवश्यकता होती है।

इसे कम करने के लिए, अभ्यासी आमतौर पर स्टेल शैम्पू (stale Shampoo) का उपयोग करते हैं, जहाँ ये महंगी प्रक्रियाएं हर इटरेशन के बजाय एक निश्चित, कम अंतराल पर की जाती हैं। हालांकि यह कम्प्यूटेशनल दक्षता में सुधार करता है, लेकिन यह स्टेलेनेस (staleness) यानी 'जरातापन' पेश करता है—जो प्रीकंडीशनर्स को अपडेट करने में होने वाला विलंब है। शोध पत्र पहचानता है कि स्टेलेनेस केवल कन्वर्जेंस स्पीड का मुद्दा नहीं है, बल्कि प्रशिक्षण स्थिरता के लिए एक मौलिक खतरा है। विशेष रूप से, स्टेलेनेस-प्रेरित त्रुटियां (errors) संख्यात्मक मजबूती (numerical robustness) को कम करती हैं और प्रशिक्षण में विनाशकारी विचलन (catastrophic divergence) का कारण बन सकती हैं। रिफ्रेश फ्रीक्वेंसी चुनने के मौजूदा ह्यूरिस्टिक रणनीतियों में सैद्धांतिक औचित्य की कमी है और वे अक्सर कम्प्यूटेशनल बचत और संख्यात्मक स्थिरता की आवश्यकता के बीच संतुलन बनाने में विफल रहते हैं।

2. कार्यप्रणाली: FOAM

लेखक FOAM (फ्रीक्वेंसी एंड ऑपरेटर एरर-बेस्ड एडेप्टिव डैम्पिंग मेथड) प्रस्तावित करते हैं, जो स्टेलेनेस-ओरिएंटेड एरर के एक अनुमान के आधार पर डैम्पिंग फैक्टर ( $\epsilon$ ) और आइगेनडीकंपोजिशन फ्रीक्वेंसी दोनों को गतिशील रूप से नियंत्रित करने के लिए डिज़ाइन किया गया एक एडेप्टिव एल्गोरिदम है।

सैद्धांतिक आधार

यह कार्य स्टेलेनेस, कन्वर्जेंस और स्थिरता के बीच एक सैद्धांतिक संबंध स्थापित करता है:

ऑपरेटर गैप (Operator Gap): स्टेलेनेस एक आदर्श फ्रेश प्रीकंडीशनर और उसके स्टेल समकक्ष के बीच एक विसंगति (ऑपरेटर गैप) पैदा करती है। यह दिखाया गया है कि यह गैप डैम्पिंग फैक्टर $\epsilon$ के व्युत्क्रमानुपाती (inversely proportional) और रिफ्रेश पीरियड $f$ के सीधे आनुपातिक (directly proportional) है।
रिग्रेट बाउंड (Regret Bound): डिस्काउंटेड रिग्रेट के सैद्धांतिक विश्लेषण से एक ट्रेड-ऑफ का पता चलता है: जबकि $\epsilon$ को बढ़ाने से स्टेलेनेस-प्रेरित अस्थिरता कम होती है, एक अत्यधिक बड़ा $\epsilon$ उपयोगी प्रीकंडीशनिंग जानकारी को छिपा देता है, जिससे लर्निंग एफिशिएंसी कम हो जाती है।
डैम्पिंग एक स्टेबलाइज़र के रूप में: डैम्पिंग एक महत्वपूर्ण संख्यात्मक स्टेबलाइज़र के रूप में कार्य करती है। पेपर प्रदर्शित करता है कि $\epsilon$ को इनवर्स-रूट मैप की संवेदनशीलता को काउंटर करने के लिए सावधानीपूर्वक कैलिब्रेट किया जाना चाहिए, जो $\epsilon \to 0$ होने पर अत्यधिक संवेदनशील हो जाता है।

एल्गोरिथमिक तंत्र

FOAM एक फीडबैक कंट्रोल लूप के माध्यम से संचालित होता है जो अनावश्यक EVD से बचते हुए स्थिरता बनाए रखता है। क्रोनेकर फैक्टर्स के अपडेट नियम में तीन चरण शामिल हैं:

सेंसिंग (एरर प्रॉक्सी): वास्तविक ऑपरेटर गैप का मूल्यांकन करने के लिए एक फ्रेश EVD की गणना करने के बजाय, FOAM एक कम्प्यूटेशनल रूप से सस्ते एरर प्रॉक्सी ( $h_t$ ) का उपयोग करता है। यह प्रॉक्सी स्टेल आइगेनस्पेस और सांख्यिकी (statistics) के वर्तमान ड्रिफ्ट का उपयोग करके रिलेटिव इनवर्स-रूट ऑपरेटर गैप का अनुमान लगाता है। यह मैट्रिक्स परटर्बेशन थ्योरी से प्राप्त है और विशेष रूप से लो-स्पेक्ट्रम दिशाओं की संवेदनशीलता को लक्षित करता है, जो इनवर्स-रूट मैप द्वारा प्रवर्धन (amplification) के प्रति सबसे अधिक संवेदनशील होते हैं।
एडेप्टिंग (डायनेमिक डैम्पिंग): प्रॉक्सी $h_t$ $h_{t}$ के आधार पर, FOAM डैम्पिंग फैक्टर $\epsilon_t$ $ϵ_{t}$ को गतिशील रूप से समायोजित करता है।
- यदि अनुमानित त्रुटि थ्रेशोल्ड $\tau$ से अधिक हो जाती है, तो ऑपरेटर गैप को दबाने और स्थिरता बहाल करने के लिए $\epsilon_t$ को मल्टीप्लिकेटिव रूप से बढ़ाया जाता है।
- यदि त्रुटि कम है, तो प्रीकंडीशनिंग स्ट्रेंथ को बनाए रखने के लिए $\epsilon_t$ को एक बेस वैल्यू $\epsilon_0$ की ओर ढीला (relax) किया जाता है।
फ्रीक्वेंसी कंट्रोल (ट्रिगर रिफ्रेश): एक अधिकतम डैम्पिंग लिमिट ( $\epsilon_{\max}$ ) लागू की जाती है। जब तक आवश्यक डैम्पिंग इस सीमा से नीचे रहती है, FOAM पुराने स्टैटिस्टिक्स का पुन: उपयोग करता है। हालांकि, यदि त्रुटि इतनी बढ़ जाती है कि आवश्यक डैम्पिंग $\epsilon_{\max}$ से अधिक हो जाएगी, तो FOAM एक फुल EVD रिफ्रेश ट्रिगर करता है, $\epsilon$ को $\epsilon_0$ पर रीसेट करता है, और प्रीकंडीशनर को अपडेट करता है। यह सुनिश्चित करता है कि महंगे अपडेट केवल तभी हों जब डैम्पिंग अकेले स्थिरता बनाए रखने के लिए पर्याप्त न हो।

3. मुख्य योगदान

सैद्धांतिक अंतर्दृष्टि: यह पेपर सैद्धांतिक रूप से यह प्रदर्शित करने वाला पहला कार्य है कि डैम्पिंग विशेष रूप से अनुकूलन में स्टेलेनेस के अंतर्निहित नकारात्मक प्रभावों का मुकाबला करने के लिए एक संख्यात्मक स्टेबलाइज़र के रूप में कार्य करती है। यह स्थापित करता है कि स्टेलेनेस एक साथ कन्वर्जेंस स्पीड को बाधित करती है और संख्यात्मक मजबूती को कम करती है।
एडेप्टिव एल्गोरिदम (FOAM): लेखक एक ऐसा एल्गोरिदम प्रस्तावित करते हैं जो संख्यात्मक स्थिरता बढ़ाने के लिए डैम्पिंग फैक्टर को गतिशील रूप से नियंत्रित करता है। स्टेटिक ह्यूरिस्टिक्स के विपरीत, FOAM स्टेलेनेस बढ़ने पर डैम्पिंग को एडेप्टिव रूप से बढ़ाता है, लेकिन ओवर-डैम्पिंग (सूचना की हानि) के दुष्प्रभावों से बचने के लिए इन मानों को सटीक रूप से मॉड्युलेट करता है।
एरर प्रॉक्सी निर्माण: यह कार्य मैट्रिक्स परटर्बेशन थ्योरी से प्राप्त एक सुलभ एरर प्रॉक्सी पेश करता है जो पूर्ण आइगेनडीकंपोजिशन की आवश्यकता के बिना रिलेटिव इनवर्स-रूट ऑपरेटर गैप का अनुमान लगाता है, जिससे रियल-टाइम स्थिरता निगरानी संभव होती है।

4. प्रयोगात्मक परिणाम

इस फ्रेमवर्क को तीन मोडैलिटीज में बड़े पैमाने के बेंचमार्क पर मान्य किया गया:

विज़न: विजन ट्रांसफार्मर (ViT-small) का उपयोग करके ImageNet-1K क्लासिफिकेशन।
स्पीच: LibriSpeech पर Conformer आर्किटेक्चर का उपयोग करके ऑटोमैटिक स्पीच रिकग्निशन (ASR)।
लैंग्वेज: GPT-2 का उपयोग करके Wikitext-103-v1 पर लैंग्वेज मॉडलिंग।

मुख्य निष्कर्ष:

वॉल-क्लॉक एफिशिएंसी: FOAM मानक स्टेल शैम्पू की तुलना में लगातार महत्वपूर्ण वॉल-क्लॉक स्पीडअप प्राप्त करता है। ViT प्रयोगों में, EVD कॉल्स की फ्रीक्वेंसी लगभग 80–90% कम हो गई (बाएं फैक्टर के लिए ~10% और दाएं फैक्टर के लिए ~5% तक गिर गई) जबकि कन्वर्जेंस को बनाए रखा या सुधारा गया।
कन्वर्जेंस क्वालिटी: FOAM स्टेल बेसलाइन्स की तुलना में कम समय में कम ट्रेनिंग लॉस और उच्च वैलिडेशन एक्यूरेसी (या कम वर्ड एरर रेट) प्राप्त करता है।
मजबूती (Robustness): प्रदर्शन लाभ हाइपरपैरामीटर सेटिंग्स (रिफ्रेश फ्रीक्वेंसी $f$ , थ्रेशोल्ड $\tau$ , और डैम्पिंग बाउंड्स) की एक विस्तृत श्रृंखला में सुसंगत थे, जो दर्शाता है कि यह तरीका किसी एकल ट्यून की गई कॉन्फ़िगरेशन पर निर्भर नहीं है।
एब्लेशन स्टडीज: प्रयोगों ने पुष्टि की कि एडेप्टिव डैम्पिंग और चयनात्मक EVD रिफ्रेश के बीच तालमेल आवश्यक है। रिफ्रेश के बिना केवल एडेप्टिव डैम्पिंग का उपयोग करने से हाई वॉल-क्लॉक टाइम हुआ, जबकि एडेप्टिव डैम्पिंग के बिना रिफ्रेश इंटरवल बढ़ाने से अनमिटिगेटेड स्पेक्ट्रल ड्रिफ्ट के कारण ट्रेनिंग लॉस काफी बढ़ गया।

5. महत्व और दावे

पेपर का दावा है कि FOAM शैम्पू-शैली के तरीकों के श्रेष्ठ ऑप्टिमाइजेशन ट्रेजेक्टरीज और बड़े पैमाने के डीप लर्निंग के लिए आवश्यक व्यावहारिक दक्षता के बीच के अंतर को पाटता है। एरर-ड्रिवन फीडबैक कंट्रोलर के माध्यम से स्पेक्ट्रल सेंसिंग को महंगे रिफ्रेश से अलग करके, FOAM प्रीकंडीशनड ऑप्टिमाइजेशन की कम्प्यूटेशनल बाधा को हल करता है।

लेखक जोर देते हैं कि उनका दृष्टिकोण:

संसाधन दक्षता में सुधार करता है: कन्वर्जेंस को तेज करके और महंगे EVD ऑपरेशंस की फ्रीक्वेंसी को कम करके, यह विधि बड़े मॉडल्स के प्रशिक्षण में कम ऊर्जा खपत और कार्बन फुटप्रिंट में योगदान देती है।
प्रशिक्षण विश्वसनीयता बढ़ाता है: एडेप्टिव डैम्पिंग के माध्यम से कर्वेचर स्टेलेनेस को प्रबंधित करने के लिए एक सैद्धांतिक आधार प्रदान करके, यह विधि संसाधन-गहन प्रशिक्षण रन के दौरान विनाशकारी विचलन के जोखिम को कम करती है, जिससे परिष्कृत ऑप्टिमाइजेशन तकनीकें अधिक सुलभ और स्थिर हो जाती हैं।

कार्य यह निष्कर्ष निकालता है कि FOAM शैम्पू में मैट्रिक्स इनवर्जन से जुड़ी कम्प्यूटेशनल ओवरहेड को काफी कम करते हुए मजबूत कन्वर्जेंस और संख्यात्मक स्थिरता बनाए रखने में सफल रहता है, जो सेकंड-ऑर्डर-जैसे ऑप्टिमाइजेशन मेथड्स को स्केल करने के लिए एक व्यावहारिक समाधान प्रदान करता है।