← नवीनतम पेपर
🤖 machine learning

Cosine-Gated Adam-Decay: Drop-In Staleness-Aware Outer Optimization for Decoupled DiLoCo

यह शोध पत्र कोसाइन-गेटेड एडम-डिके (CGAD) का प्रस्ताव करता है, जो एक ड्रॉप-इन, एज-अवेयर आउटर ऑप्टिमाइज़र है जो एसिंक्रोनस DiLoCo के लिए है, जो स्टेलनेस (staleness) को कम करने के लिए डिके फंक्शन और कोसाइन कटऑफ द्वारा सूडो-ग्रेडिएंट्स को स्केल करता है, जिससे विभिन्न Llama मॉडल स्केल्स में मानक नेस्टरोव और एडम-आधारित बेसलाइन्स की तुलना में बेहतर स्थिरता और अधिकतम विलंब (maximum delay) से स्वतंत्र एक सैद्धांतिक अभिसरण सीमा (theoretical convergence bound) प्राप्त होती है।

मूल लेखक: Vatsal Shah, Jiahao Sun

प्रकाशित 2026-05-12
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Vatsal Shah, Jiahao Sun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप छात्रों की एक विशाल टीम (एक कंप्यूटर मॉडल) को कहानी लिखना सिखाने की कोशिश कर रहे हैं। एक आदर्श दुनिया में, हर कोई एक ही कमरे में मिलकर काम करता है, एक-दूसरे को तुरंत अपडेट चिल्लाकर बताता है। लेकिन वास्तविक दुनिया में, विशेष रूप से विशाल टीमों के साथ, कुछ छात्र धीमे होते हैं, कुछ बहुत दूर होते हैं, और कुछ का बस बुरा दिन चल रहा होता है।

यह असिंक्रोनस ट्रेनिंग (asynchronous training) की समस्या है। "शिक्षक" (केंद्रीय कंप्यूटर) छात्रों से सलाह (ग्रेडिएंट्स) प्राप्त करता है, लेकिन जब तक सलाह पहुँचती है, तब तक वह पुरानी खबर हो सकती है। जिस छात्र ने सलाह दी थी, वह तब तक किताब के किसी दूसरे पन्ने पर आगे बढ़ चुका होता है।

समस्या: "पुराने" (Stale) सलाह का जाल

वर्तमान मानक तरीका इस समस्या को संभालने के लिए एक ऐसे शिक्षक की तरह है जो हर सलाह पर अंधा विश्वास करता है, चाहे वह कितनी भी पुरानी क्यों न हो।

  • परिदृश्य: एक छात्र एक नोट भेजता है, "बाएँ मुड़ें!" जो कि 10 मिनट पहले की स्थिति के आधार पर है।
  • वास्तविकता: छात्र अब सड़क पर 100 मीटर आगे निकल चुका है। यदि शिक्षक उस पुराने नोट के आधार पर बाएँ मुड़ता है, तो पूरी क्लास दीवार से टकरा जाएगी।
  • पेपर का निष्कर्ष: मानक तरीका (जिसे नेस्टरोव मोमेंटम/Nesterov Momentum कहा जाता है) भ्रमित हो जाता है जब सलाह बहुत पुरानी होती है। यह गलत दिशा में "मोमेंटम" (गति) को जमा करता रहता है, जिससे ट्रेनिंग अनियंत्रित हो जाती है, खासकर जैसे-जैसे मॉडल बड़े होते जाते हैं (25 मिलियन से 7 बिलियन पैरामीटर्स तक)।

समाधान: CGAD (कोसाइन-गेटेड एडम-डिके/Cosine-Gated Adam-Decay)

लेखक एक नया तरीका प्रस्तावित करते हैं जिसे CGAD कहा जाता है। इसे एक स्मार्ट फिल्टर या आने वाली सलाह के लिए एक "ट्रैफिक पुलिस" के रूप में समझें।

यह कैसे काम करता है, इसके लिए एक सरल उपमा यहाँ दी गई है:

  1. "ताजगी" की छूट (एक्सपोनेंशियल डिके/Exponential Decay):
    कल्पना कीजिए कि सलाह के साथ एक टाइमस्टैम्प आता है। सलाह जितनी पुरानी होगी, उतनी ही कम मूल्यवान होगी। CGAD सलाह पर उसकी उम्र के आधार पर एक छूट लागू करता है। यदि सलाह 10 मिनट पुरानी है, तो वह आधी मूल्यवान है। यदि यह 20 मिनट पुरानी है, तो इसका मूल्य लगभग शून्य है। यह शिक्षक को पुरानी खबर पर अत्यधिक प्रतिक्रिया देने से रोकता है।

  2. "कठोर कटऑफ" (द कोसाइन गेट/The Cosine Gate):
    यही इस पेपर का मुख्य आकर्षण (secret sauce) है। कभी-कभी, कोई सलाह इतनी पुरानी होती है (जैसे एक छात्र जिसने एक घंटे से कुछ नहीं बोला है) कि वह केवल "कम मूल्यवान" नहीं होती—बल्कि खतरनाक होती है।

  • पुराना तरीका: बहुत पुरानी सलाह को भी थोड़ा सा महत्व मिलता रहता है। समय के साथ, कचरे के ये छोटे-छोटे अंश जमा होते जाते हैं और सिस्टम को भ्रमित कर देते हैं।
  • CGAD का तरीका: इसमें एक "कटऑफ लाइन" होती है। यदि सलाह एक निश्चित बिंदु से अधिक पुरानी है (उदाहरण के लिए, 32 राउंड), तो सिस्टम कहता है, "नहीं, यह बहुत पुरानी है। इसे पूरी तरह से अनदेखा करें।" यह उस मान को शून्य (zero) पर सेट कर देता है।

यह क्यों महत्वपूर्ण है: "स्केल इंश्योरेंस" (Scale Insurance)

पेपर ने तीन आकार के मॉडलों पर इसका परीक्षण किया:

  • छोटा (25 मिलियन): नया तरीका अच्छा काम करता है, लेकिन पुराना तरीका तुरंत क्रैश नहीं होता। यह एक गो-कार्ट चलाने जैसा है; भले ही आप गलत स्टीयरिंग करें, आप बस फिसल सकते हैं।
  • मध्यम (1 बिलियन): पुराना तरीका बुरी तरह क्रैश हो जाता है। नया तरीका सुचारू रूप से चलता है।
  • विशाल (7 बिलियन): यहाँ पेपर का सबसे बड़ा दावा है। जब मॉडल इतना बड़ा होता है, तो "पुरानी सलाह" की समस्या एक आपदा बन जाती है।
    • पुराना तरीका (नेस्टरोव) इतनी बुरी तरह विफल होता है कि मॉडल कुछ भी नहीं सीख पाता (यह रैंडम अनुमान लगाने से भी खराब प्रदर्शन करता है)।
    • "केवल छूट वाला" तरीका (एडम-डिके) ठीक-ठाक काम करता है लेकिन बहुत अप्रत्याशित हो जाता है। एक बार यह काम करेगा, अगली बार विफल हो जाएगा।
    • CGAD एकमात्र ऐसा है जो स्थिर रहता है। "कठोर कटऑफ" (Hard Cutoff) स्केल इंश्योरेंस के रूप में कार्य करता है। यह गारंटी देता है कि भले ही नेटवर्क अव्यवस्थित और धीमा हो, शिक्षक उस खतरनाक रूप से पुरानी सलाह को कभी नहीं सुनेगा जो पूरे प्रोजेक्ट को बर्बाद कर सकती है।

निचोड़ (The Bottom Line)

पेपर का दावा है कि केवल एक "ताजगी फिल्टर" जोड़कर जो सलाह को बहुत पुराना होने पर अनदेखा कर देता है, आप विशाल AI मॉडलों को अव्यवस्थित, धीमे या अविश्वसनीय नेटवर्क पर बिना ट्रेनिंग फेल हुए प्रशिक्षित कर सकते हैं। यह एक नाजुक प्रणाली को एक मजबूत प्रणाली में बदल देता है, यह सुनिश्चित करता है कि जब आप अंततः मॉडल को लॉन्च करें, तो वह वास्तव में काम करे।

संक्षेप में: ऐसी सलाह पर ध्यान न दें जो बहुत पुरानी हो। यदि यह बहुत पुरानी है, तो इसे पूरी तरह से फेंक दें। यह सरल नियम विशाल AI मॉडलों की ट्रेनिंग को क्रैश होने से बचाने के लिए पर्याप्त है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.LG →