🤖 machine learning

HORST: Composing Optimizer Geometries for Sparse Transformer Training

यह शोध पत्र HORST को प्रस्तुत करता है, जो एक मॉड्यूलर ऑप्टिमाइज़र है जो एक हाइपरबोलिक मिरर मैप के माध्यम से एडेप्टिव विधियों की स्थिरता को $L_1$ स्पैरसिटी बायस (sparsity bias) के साथ संयोजित करने के लिए नॉन-कम्यूटेटिव ऑपरेटर स्टेप्स को कंपोज़ करता है, जो विजन और लैंग्वेज टास्क में स्पार्स ट्रांसफार्मर ट्रेनिंग के दौरान AdamW से काफी बेहतर प्रदर्शन करता है।

मूल लेखक: Tom Jacobs, Rohan Jain, Rebekka Burkholz

प्रकाशित 2026-05-21

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tom Jacobs, Rohan Jain, Rebekka Burkholz

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "HORST: Composing Optimizer Geometries for Sparse Transformer Training" पेपर का सरल भाषा और रचनात्मक उपमाओं के साथ अनुवाद दिया गया है।

बड़ी समस्या: "भारी" AI

कल्पना कीजिए कि आपने एक विशाल, अविश्वसनीय रूप से स्मार्ट रोबोट बनाया है (एक Transformer)। यह कहानियाँ लिख सकता है, भाषाओं का अनुवाद कर सकता है और छवियों को पहचान सकता है। हालाँकि, यह रोबोट इतना भारी और विशाल है कि इसे चलाने के लिए एक विशाल गोदाम (विशाल मेमोरी) और एक विशाल पावर प्लांट (विशाल कंप्यूटिंग लागत) की आवश्यकता होती है।

इस रोबोट को व्यावहारिक बनाने के लिए, हम इसकी अतिरिक्त चर्बी को कम करना चाहते हैं। हम अनावश्यक मांसपेशियों और गियर (weights) को हटाना चाहते हैं ताकि यह हल्का और तेज़ बन सके। इसे स्पर्सिफिकेशन (Sparsification) कहा जाता है।

समस्या यह है कि जब हम इस विशिष्ट प्रकार के रोबोट को काटने की कोशिश करते हैं, तो यह अक्सर बिखर जाता है। यह अपनी बुद्धिमत्ता खो देता है। क्यों? क्योंकि जिस "ट्रेनर" का उपयोग हम रोबोट को सिखाने के लिए करते हैं (Optimizer), वह अनजाने में इसे बहुत अधिक संतुलित होने की शिक्षा दे रहा है।

दो ट्रेनर: "इक्वलाइज़र" बनाम "सेलेक्टर"

पेपर का तर्क है कि इन रोबोटों को प्रशिक्षित करने का तरीका एक छिपा हुआ पूर्वाग्रह (bias) पैदा करता है। इसे एक एथलीट को सिखाने वाले दो अलग-अलग कोचों की तरह समझें:

"इक्वलाइज़र" कोच (मानक ऑप्टिमाइज़र जैसे AdamW):
- यह कैसे काम करता है: यह कोच मानता है कि स्थिर और सुरक्षित रहने के लिए, हर मांसपेशी का आकार लगभग एक जैसा होना चाहिए। यदि एक मांसपेशी बहुत बड़ी हो जाती है, तो कोच उसे सिकोड़ देता है; यदि दूसरी बहुत छोटी हो जाती है, तो कोच उसे बढ़ाता है।
- परिणाम: रोबोट का शरीर ऐसा होता है जहाँ हर हिस्सा थोड़ा सक्रिय रहता है। यह बहुत स्थिर है, लेकिन भारी है। इसमें कोई "शून्य" मांसपेशी नहीं होती। आप कुछ भी आसानी से काट नहीं सकते क्योंकि हर हिस्सा थोड़ा-बहुत काम कर रहा है।
- पेपर का शब्द: इसे $L_\infty$ बायस (सब कुछ समान बनाना) कहा जाता है।
"सेलेक्टर" कोच (मिरर डिसेंट / स्पर्सिटी बायस):
- यह कैसे काम करता है: यह कोच विशेषज्ञता (specialization) में विश्वास करता है। वे चाहते हैं कि रोबोट कुछ सुपर-स्ट्रॉन्ग मांसपेशियों को चुने और बाकी सबको पूरी तरह से बंद कर दे। वे रोबोट को अपनी सारी ऊर्जा कुछ ही हिस्सों पर केंद्रित करने के लिए मजबूर करते हैं।
- परिणाम: रोबोट बहुत हल्का और स्पार्स (sparse) हो जाता है। हालाँकि, यदि आप केवल इस कोच का उपयोग करते हैं, तो रोबोट प्रशिक्षण के दौरान अस्थिर हो सकता है या क्रैश हो सकता है क्योंकि यह बहुत आक्रामक है।
- पेपर का शब्द: इसे $L_1$ बायस (द्रव्यमान को केंद्रित करना) कहा जाता है।

टकराव: मानक AI प्रशिक्षण "इक्वलाइज़र" का उपयोग करता है क्योंकि यह स्थिर है। लेकिन AI को छोटा (sparse) बनाने के लिए, हमें "सेलेक्टर" की आवश्यकता है। आप कोच को बस बदल नहीं सकते; "सेलेक्टर" जटिल रोबोट के लिए बहुत जोखिम भरा है, और "इक्वलाइज़र" आपको चर्बी काटने नहीं देगा।

समाधान: "कंपोज्ड" कोच (HORST)

लेखकों ने महसूस किया कि आपको एक कोच चुनने की ज़रूरत नहीं है। आप दोनों का उपयोग करके एक हाइब्रिड ट्रेनिंग रूटीन बना सकते हैं, लेकिन एक बहुत ही विशिष्ट क्रम में।

वे अपने नए तरीके को HORST (Hyperbolic Operator for Robust Sparse Training) कहते हैं।

उपमा: मूर्तिकार और छेनी (Sculptor and the Chisel)
कल्पना कीजिए कि आप संगमरमर के एक विशाल ब्लॉक (न्यूरल नेटवर्क) से एक मूर्ति बना रहे हैं।

चरण 1 (इक्वलाइज़र/Adam): पहले, आप खुरदरे किनारों को चिकना करने के लिए एक चौड़े, सपाट उपकरण का उपयोग करते हैं और यह सुनिश्चित करते हैं कि मूर्ति बिना डगमगाए सीधी खड़ी रहे। यह संरचना को स्थिर रखता है।
चरण 2 (सेलेक्टर/हाइपरबोलिक मिरर): चिकना करने के तुरंत बाद, आप अतिरिक्त पत्थर को हटाने के लिए एक तेज, सटीक छेनी का उपयोग करते हैं, जिससे आकार पतला और स्पार्स हो जाता है।

गुप्त नुस्खा (Secret Sauce): क्रम मायने रखता है!

यदि आप पहले छेनी चलाते हैं और फिर चिकना करते हैं, तो स्मूथिंग टूल उन छेदों को भर देगा जो आपने अभी बनाए थे। स्पर्सिटी गायब हो जाएगी।
यदि आप पहले चिकना करते हैं और फिर छेनी चलाते हैं, तो छेनी स्थिर आकार पर काम करेगी और सफलतापूर्वक अतिरिक्त वजन को हटा देगी।

पेपर गणितीय रूप से सिद्ध करता है कि यह विशिष्ट क्रम (स्थिर चरण $\rightarrow$ स्पर्सिटी चरण) यह सुनिश्चित करता है कि रोबोट स्थिर रहे जबकि वह अविश्वसनीय रूप से हल्का भी बनता जाए।

उन्होंने क्या पाया (परिणाम)

टीम ने इस नए "कंपोज्ड कोच" (HORST) का दो प्रकार के रोबोटों पर परीक्षण किया:

विज़न ट्रांसफॉर्मर: वे रोबोट जो चित्रों को देखते हैं (जैसे बिल्लियों या कारों को पहचानना)।
लैंग्वेज ट्रांसफॉर्मर: वे रोबोट जो टेक्स्ट समझते हैं (जैसे वे जो इस सारांश को लिख रहे हैं)।

परिणाम:

जब उन्होंने रोबोट के वजन को 80% से 90% तक काटने की कोशिश की (उसे बहुत स्पर्स बनाया), तो मानक कोच (AdamW) ने रोबोट का प्रदर्शन बहुत खराब कर दिया। वह देखना या बोलना भूल गया।
HORST कोच ने रोबोट के प्रदर्शन को पूर्ण, भारी संस्करण के लगभग समान बनाए रखा, भले ही अधिकांश वजन काट दिया गया हो।
सरल शब्दों में: HORST ने रोबोट को बिना उसका दिमाग खराब किए छोटा बनाने का तरीका खोज लिया।

सारांश

यह पेपर एक पहेली को हल करता है: "हम AI मॉडल को मूर्ख बनाए बिना छोटा कैसे बना सकते हैं?"

पुराना तरीका: एक स्थिर ट्रेनर का उपयोग करें, लेकिन यह आपको मॉडल को छोटा करने नहीं देगा।
नया तरीका (HORST): एक स्थिर ट्रेनर और एक स्पर्सिटी ट्रेनर को सही क्रम में मिलाएँ।
परिणाम: आपको एक हल्का, कुशल AI मिलता है जो अभी भी पूरी तरह से काम करता है, भले ही आप उसके 90% हिस्से को हटा दें।

लेखकों ने वजन को काटने का नया तरीका (जैसे प्रूनिंग) नहीं बनाया; उन्होंने मॉडल को प्रशिक्षित करने का एक नया तरीका बनाया ताकि वजन स्वाभाविक रूप से कटने के लिए तैयार रहें, बिना प्रक्रिया के दौरान मॉडल के टूटे।

तकनीकी सारांश: HORST: स्पार्स ट्रांसफॉर्मर ट्रेनिंग के लिए ऑप्टिमाइज़र ज्योमेट्री का संयोजन

समस्या विवरण

ट्रांसफॉर्मर मॉडल्स को स्पारसीफाई (sparsifying) करना एक मौलिक चुनौती बनी हुई है। जबकि नेटवर्क स्पारसिफिकेशन (अनावश्यक वेट्स को हटाना) मॉडल कंप्रेशन और कुशल इन्फरेंस के लिए एक आशाजनक मार्ग प्रदान करता है, यह ट्रांसफॉर्मर्स में, विशेष रूप से उच्च स्पार्सिटी स्तरों पर जहाँ कंप्रेशन सबसे अधिक मूल्यवान होता है, प्रदर्शन में महत्वपूर्ण गिरावट का कारण बनता है। इसके विपरीत, कनवल्शनल नेटवर्क अधिक प्रभावी ढंग से स्पारसीफाई होते हैं।

लेखक तर्क देते हैं कि यह विषमता प्रशिक्षण के दौरान उपयोग किए जाने वाले ऑप्टिमाइज़र्स के इम्प्लिसिट बायस (implicit bias) से उत्पन्न होती है। मानक ट्रांसफॉर्मर्स एडमडब्ल्यू (AdamW) जैसे एडेप्टिव ऑप्टिमाइज़र्स पर निर्भर करते हैं, जो $L_\infty$ इम्प्लिसिट बायस प्रदर्शित करते हैं। यह बायस पैरामीटर्स के बीच वेट मैग्नीट्यूड को समान बनाकर स्थिरता को प्राथमिकता देता है, जो एक ऐसी ज्योमेट्री है जो स्पार्सिटी के लिए आवश्यक $L_1$ बायस के बिल्कुल विपरीत है (जिसके लिए पैरामीटर्स के एक छोटे से समूह पर वेट मास को केंद्रित करने और बाकी को शून्य करने की आवश्यकता होती है)। इसके विपरीत, मानक ग्रेडिएंट डिसेंट (जो CNN में उपयोग किया जाता है) $L_2$ बायस प्रेरित करता है, और कोऑर्डिनेट डिसेंट (एक $L_1$ -आधारित स्टीपेस्ट डिसेंट) स्पार्सिटी के लिए सैद्धांतिक रूप से आदर्श है, लेकिन बड़े डीप नेटवर्क्स के लिए कम्प्यूटेशनल रूप से अव्यवहार्य है।

मिरर डिसेंट (जैसे हाइपरबोलिक एंट्रॉपी का उपयोग करके) के माध्यम से स्पार्सिटी प्रेरित करने के मौजूदा प्रयास अक्सर ट्रांसफॉर्मर सेटिंग में विफल हो जाते हैं क्योंकि वे सीधे ग्रेडिएंट को बदल देते हैं, जिससे एडेप्टिव मेथड्स द्वारा प्रदान की जाने वाली स्थिरता खो जाती है। मुख्य समस्या एक ज्यामितीय तनाव है: एडेप्टिव ऑप्टिमाइज़र्स की स्थिरता ( $L_\infty$ ) और स्पार्सिटी की आवश्यकताओं ( $L_1$ ) के बीच संघर्ष होता है।

कार्यप्रणाली (Methodology)

यह शोध पत्र HORST (Hyperbolic Operator for Robust Sparse Training) का प्रस्ताव करता है, जो एक मॉड्यूलर ऑप्टिमाइज़र है जो इन तनावों को नॉन-कम्यूटेटिव फंक्शनल ऑपरेटर्स के रूप में अनुकूलन चरणों को संयोजित करके हल करता है।

1. ऑपरेटर कंपोजिशन फ्रेमवर्क

लेखक अनुकूलन अपडेट को पैरामीटर वेक्टर्स और ग्रेडिएंट्स पर कार्य करने वाले ऑपरेटर्स के रूप में देखते हैं। वे दो अलग-अलग वर्गों के ऑपरेटर्स की पहचान करते हैं:

स्टीपेस्ट डिसेंट ऑपरेटर्स (Steepest Descent Operators): बाउंडेड और स्केल-इनवेरिएंट (जैसे साइन डिसेंट, जो एडम का अनुमान लगाता है)। ये स्थिरता प्रदान करते हैं लेकिन $L_\infty$ बायस प्रेरित करते हैं।
मिरर डिसेंट ऑपरेटर्स (Mirror Descent Operators): लीनियर लेकिन आम तौर पर अनबाउंडेड। विशिष्ट मिरर मैप्स, जैसे कि हाइपरबोलिक एंट्रॉपी मिरर मैप, $L_1$ बायस प्रेरित करते हैं जो स्पार्सिटी को बढ़ावा देते हैं।

2. नॉन-कम्यूटेटिविटी और ऑपरेशन्स का क्रम

एक प्रमुख सैद्धांतिक अंतर्दृष्टि यह है कि ये ऑपरेटर क्लास नॉन-कम्यूटेटिव हैं।

एक मिरर स्टेप के बाद एक स्टीपेस्ट स्टेप ( $S \circ M$ ) लगाने से स्टीपेस्ट ऑपरेटर हावी हो जाता है, जो प्रभावी रूप से स्पार्सिटी बायस को शून्य कर देता है।
एक स्टीपेस्ट स्टेप के बाद एक मिरर स्टेप ( $M \circ S$ ) लगाने से मिरर मैप को साइन-आधारित अपडेट पर कार्य करने की अनुमति मिलती है, जिससे यह स्टीपेस्ट डिसेंट की स्थिरता को सफलतापूर्वक विरासत में लेते हुए $L_1$ स्पार्सिटी बायस को प्रेरित करता है।

3. HORST एल्गोरिदम

HORST एक डिस्क्रीट, व्यावहारिक सेटिंग में $M_R \circ S$ के संयोजन को लागू करता है:

स्टेबल अपडेट: यह पहले एक मानक एडेप्टिव अपडेट (AdamW) करता है, जो आवश्यक स्थिरता और $L_\infty$ -प्रकार का रेगुलराइजेशन प्रदान करता है।
स्पार्सिटी इंडक्शन: इसके बाद यह हाइपरबोलिक एंट्रॉपी मिरर मैप से प्राप्त एक एक्सपोनेंशियल अपडेट लागू करता है। यह स्टेप प्रभावी रूप से वेट्स को पुनर्रचना (reparameterize) करता है ताकि स्पार्सिटी को प्राथमिकता दी जा सके।
डिकपल्ड रेगुलराइजेशन: एल्गोरिदम स्पार्सिटी बायस को और अधिक नियंत्रित करने के लिए डिकपल्ड वेट डिके और एक अतिरिक्त रेगुलराइजेशन टर्म ( $\beta$ ) को शामिल करता है।

अपडेट नियम इस प्रकार परिभाषित है:
$\theta_{k+1/2} = \theta_k - \text{Adam}(g(\theta_k), \eta) - \eta \lambda \theta_k$
$\theta_{k+1} = \theta_{k+1/2} \exp\left( -\alpha \cdot \text{sign}(\theta_{k+1/2}) \cdot \text{Adam}(g(\theta_k), \eta) - \eta \beta \right)$
यहाँ $\alpha$ स्पार्सिटी बायस की सापेक्ष शक्ति को नियंत्रित करता है। $\alpha=0$ सेट करने पर यह मानक AdamW को रिकवर करता है।

मुख्य योगदान

ज्यामितीय द्वैत (Geometric Dichotomy): पेपर स्टीपेस्ट डिसेंट (एक $L_p$ नॉर्म के संबंध में, $p \ge 2$ ) को हाइपरबोलिक एंट्रॉपी मिरर मैप के साथ संयोजित करने को औपचारिक रूप देता है, यह सिद्ध करता है कि संयोजित इटरेट्स $L_1$ -मिनिमाइजेशन समस्या के समाधान की दिशा में अभिसरण (converge) करते हैं, जो प्रभावी रूप से बेस ऑप्टिमाइज़र के $L_\infty$ बायस को ओवरराइट कर देता है।
ऑपरेटर कंपोजिशन: यह ऑप्टिमाइज़र ऑपरेटर्स के संयोजन को एक डिज़ाइन सिद्धांत के रूप में पेश करता है, यह सिद्ध करते हुए कि संयोजन का क्रम महत्वपूर्ण है। विशिष्ट क्रम ( $M \circ S$ ) सिस्टम को एडेप्टिव मेथड्स से स्थिरता विरासत में लेने और उनके इम्प्लिसिट बायस को $L_1$ स्पार्सिटी-प्रमोटिंग बायस के साथ ओवरराइट करने की अनुमति देता है।
सैद्धांतिक गारंटी: लेखक सिद्ध करते हैं (थ्योरम 4.7) कि स्टीपेस्ट डिसेंट को हाइपरबोलिक एंट्रॉपी मिरर मैप के साथ संयोजित करने से इटरेट्स $L_1$ -मिनिमाइजेशन समस्या के समाधान की दिशा में अभिसरण करते हैं।
HORST ऑप्टिमाइज़र: वे HORST का प्रस्ताव करते हैं, जो एक मॉड्यूलर ऑप्टिमाइज़र है जो मानक एडेप्टिव मेथड्स (जैसे AdamW) के साथ सहजता से एकीकृत होता है और इसके लिए किसी अतिरिक्त ग्रेडिएंट मूल्यांकन की आवश्यकता नहीं होती है, केवल एक प्रति-पैरामीटर एक्सपोनेंशियल अपडेट की आवश्यकता होती है।

प्रयोगात्मक परिणाम

लेखक AC/DC (अल्टरनेटिंग कंप्रेस्ड/डीकंप्रेस्ड) स्पारसिफिकेशन पाइपलाइन का उपयोग करके विजन और लैंग्वेज टास्क पर HORST का मूल्यांकन करते हैं।

विज़न ट्रांसफॉर्मर्स (DeiT): ImageNet पर, HORST-AdamW सभी स्पार्सिटी स्तरों (70%, 80%, 90%) पर AdamW बेसलाइन्स से लगातार बेहतर प्रदर्शन करता है। लाभ उच्च स्पार्सिटी (80–90%) पर सबसे अधिक स्पष्ट है, जहाँ AdamW का प्रदर्शन तेजी से गिरता है। उदाहरण के लिए, DeiT-base पर 90% स्पार्सिटी पर, HORST 76.83% सटीकता प्राप्त करता है जबकि AdamW 68.86% प्राप्त करता है।
लैंग्वेज मॉडल्स (GPT-2 Small): SlimPajama-6B पर वन-शॉट लेयरवाइज अनस्ट्रक्चर्ड मैग्नीट्यूड प्रूनिंग में, HORST-AdamW के साथ प्रशिक्षित मॉडल्स प्रूनिंग के बाद AdamW और HAM ऑप्टिमाइज़र की तुलना में काफी कम वैलिडेशन पर्प्लेक्सिटी प्रदर्शित करते हैं। यह अंतर उच्च स्पार्सिटी स्तरों पर बढ़ जाता है।
HAM के साथ तुलना: 90% स्पार्सिटी पर DeiT-small पर HORST, HAM (एक पिछला अल्टरनेटिंग ऑप्टिमाइज़र) की तुलना में काफी बेहतर प्रदर्शन करता है (70.5% बनाम 60.06%)। लेखक इसका श्रेय इसे AdamW अपडेट के साथ एक्सपोनेंशियल अपडेट के संयोजन के रूप में देते हैं, न कि HAM की तरह एक ग्रेडिएंट-आधारित एक्सपोनेंशियल स्टेप के रूप में।
वेट डिस्ट्रीब्यूशन: विज़ुअलाइज़ेशन पुष्टि करते हैं कि HORST एक ऐसा वेट डिस्ट्रीब्यूशन प्रेरित करता है जो शून्य के आसपास तीव्रता से केंद्रित है (जो $L_1$ बायस को दर्शाता है), जबकि AdamW एक व्यापक, लगभग-गौसियन प्रोफाइल बनाए रखता है।

महत्व और दावे

पेपर का दावा है कि ऑप्टिमाइज़र का इम्प्लिसिट बायस स्पार्स ट्रांसफॉर्मर ट्रेनिंग के लिए एक प्राथमिक बाधा है। ऑप्टिमाइज़ेशन स्टेप्स को कंपोजेबल ऑपरेटर्स के रूप में मानकर, लेखक दिखाते हैं कि यह एडेप्टिव ट्रेनिंग स्थिरता को उनके ज्यामितीय बायस से अलग करना संभव है।

HORST का महत्व इस क्षमता में निहित है कि यह:

ट्रांसफॉर्मर्स की उच्च-स्पार्सिटी ट्रेनिंग को सक्षम बनाता है, जो आमतौर पर इस प्रकार के कंप्रेशन से जुड़ी गंभीर प्रदर्शन गिरावट के बिना।
एक सिद्धांत आधारित, मॉड्यूलर फ्रेमवर्क प्रदान करता है जिसका उपयोग ऐसे ऑप्टिमाइज़र्स को डिजाइन करने के लिए किया जा सकता है जो विरोधाभासी ज्यामितीय आवश्यकताओं (स्थिरता बनाम स्पार्सिटी) को एक साथ पूरा कर सकें।
एक व्यावहारिक समाधान प्रदान करता है जिसमें न्यूनतम कम्प्यूटेशनल ओवरहेड की आवश्यकता होती है (कोई अतिरिक्त ग्रेडिएंट मूल्यांकन नहीं) और जो मौजूदा स्पार्स ट्रेनिंग पाइपलाइन्स के साथ आसानी से एकीकृत हो जाता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि स्टीपेस्ट डिसेंट का $L_\infty$ लिमिट और मिरर अपडेट के साथ इसकी अंतःक्रिया एक खुला सैद्धांतिक प्रश्न बना हुआ है, प्रस्तावित फ्रेमवर्क एडेप्टिव ट्रेनिंग स्थिरता और स्पार्स सॉल्यूशन ज्योमेट्री के बीच के अंतर को सफलतापूर्वक पाटता है।