📊 statistics

Hyperparameter Transfer for Dense Associative Memories

यह शोध पत्र डेंस एसोसिएटिव मेमोरीज (Dense Associative Memories) के लिए हाइपरपैरामीटर ट्रांसफर विधियों की कमी को संबोधित करता है, जो साझा भार (shared weights) और अद्वितीय सक्रियण फलनों (unique activation functions) द्वारा जटिल बनाई गई एक कार्य के लिए छोटे से बड़े मॉडलों तक हाइपरपैरामीटरों को सफलतापूर्वक स्केल करने हेतु स्पष्ट सैद्धांतिक नुस्खे व्युत्पन्न करता है, और इन निष्कर्षों को मजबूत अनुभवजन्य सहमति के साथ मान्य करता है।

मूल लेखक: Roi Holtzman, Dmitry Krotov, Boris Hanin

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Roi Holtzman, Dmitry Krotov, Boris Hanin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, जटिल मशीन को चीजें याद रखना सिखाने की कोशिश कर रहे हैं। AI की दुनिया में, इस मशीन को डेंस एसोसिएटिव मेमोरी (Dense Associative Memory - DenseAM) कहा जाता है। इसे एक मानक कंप्यूटर प्रोग्राम के रूप में नहीं, बल्कि पहाड़ियों और घाटियों (एक "ऊर्जा परिदृश्य" या "energy landscape") के रूप में सोचें। मशीन का काम एक गेंद को इन पहाड़ियों से नीचे लुढ़काना है जब तक कि वह एक घाटी में न बस जाए, जो एक स्मृति या सही उत्तर का प्रतिनिधित्व करती है।

समस्या यह है कि ये मशीनें सभी आकारों की होती हैं। आप अपने विचारों का परीक्षण करने के लिए एक छोटे, खिलौने जैसे संस्करण से शुरुआत कर सकते हैं, लेकिन अंततः, आप एक विशाल, औद्योगिक आकार का संस्करण बनाना चाहते हैं। आमतौर पर, जो सेटिंग्स (जिन्हें हाइपरपैरामीटर कहा जाता है) छोटे खिलौने वाले मॉडल के लिए पूरी तरह से काम करती हैं—जैसे कि गेंद कितनी तेजी से लुढ़कती है या पहाड़ कितने ढालू हैं—वे बड़े मॉडल के मामले में बुरी तरह विफल हो जाती हैं। आपको बड़े वाले के लिए सही सेटिंग्स का अनुमान लगाने में वर्षों और लाखों डॉलर खर्च करने पड़ सकते हैं।

यह शोध पत्र एक सार्विवर्सल निर्देश नियमावली (universal instruction manual) की तरह है जो आपको बताता है कि अपने छोटे खिलौना मॉडल के सेटिंग्स को विशाल औद्योगिक मॉडल में कैसे अनुवादित किया जाए, ताकि आपको अनुमान न लगाना पड़े।

यहाँ उनकी खोज का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. "साझा भार" (Shared Weight) की समस्या

अधिकांश मानक AI मॉडल एक बहुमंजिला इमारत की तरह होते हैं जहाँ प्रत्येक मंजिल का अपना अनूठा पेंट और फर्नीचर (weights) होता है। इन मॉडलों में, वैज्ञानिक पहले से ही जानते हैं कि सेटिंग्स को कैसे बढ़ाया जाए।

लेकिन DenseAMs अलग हैं। वे एक दोहराते हुए वॉलपेपर पैटर्न की तरह हैं। नियमों का एक ही सेट (weights) बार-बार लागू किया जाता है, एक ही परत के भीतर और विभिन्न परतों में भी। यह "साझाकरण" गणित को बहुत कठिन बना देता है। यदि आप केवल छोटे संस्करण से सेटिंग्स को अंधे होकर कॉपी करते हैं, तो पूरा सिस्टम क्रैश हो जाता है या अटक जाता है। लेखकों ने "पेंट की मोटाई" और "फर्नीचर के आकार" को समायोजित करने के लिए विशिष्ट गणित का पता लगाया ताकि दोहराता हुआ पैटर्न किसी भी पैमाने पर सुचारू रूप से काम कर सके।

2. "सेंटरिंग" समाधान (भीड़ नियंत्रण)

लेखकों को मिली सबसे बड़ी समस्याओं में से एक यह थी कि ये मॉडल "असंतुलित" होने लगते हैं। कल्पना कीजिए कि लोगों (डेटा) की एक भीड़ है जहाँ हर कोई चिल्ला रहा है। यदि आप केवल औसत शोर को सुनते हैं, तो सबसे तेज़ आवाज बाकी सबको दबा देती है, और सिग्नल खो जाता है।

तकनीकी शब्दों में, "एक्टिवेशन्स" (नेटवर्क के माध्यम से गुजरने वाले सिग्नल) में एक अंतर्निहित पूर्वाग्रह (bias) था, जैसे तराजू के एक तरफ भारी वजन। लेखकों ने पाया कि अगले चरण पर जाने से पहले आपको इन सिग्नलों से औसत को घटाना चाहिए। वे इसे "सेंटरिंग" (centering) कहते हैं।

सेंटरिंग के बिना: मॉडल बड़ा होने पर अस्थिर हो जाता है। यह एक ऐसे सी-सॉ (seesaw) की तरह है जहाँ जैसे-जैसे अधिक लोग जुड़ते हैं, एक तरफ का हिस्सा भारी होता जाता है।
सेंटरिंग के साथ: मॉडल संतुलित रहता है। लेखकों ने दिखाया कि यदि आप डेटा को "सेंटर" करते हैं, तो छोटे मॉडल पर मिले सेटिंग्स बड़े मॉडल पर भी पूरी तरह काम करते हैं।

3. "ऑप्टिमाइज़र" का चुनाव (SGD बनाम Adam)

शोध पत्र ने मशीन के सीखने के दो अलग-अलग तरीकों को भी देखा: SGD (एक विधि जो छोटे, स्थिर कदम उठाती है) और Adam (एक विधि जो अधिक अनुकूलनीय है और मोमेंटम का उपयोग करती है)।

ReLU (एक सामान्य प्रकार का एक्टिवेशन) के लिए: दोनों विधियाँ काम करती थीं, लेकिन केवल तभी जब आप ऊपर बताए गए "सेंटरिंग" ट्रिक का उपयोग करें।
Softmax (संभावनाओं के लिए उपयोग की जाने वाली विधि, जैसे विकल्पों के बीच चयन करना) के लिए: लेखकों को एक आश्चर्यजनक मोड़ मिला। मानक "स्थिर कदमों" वाली विधि (SGD) विशाल होने पर अस्थिर और अराजक हो गई। यह एक विशाल जहाज को एक छोटे पतवार (rudder) से चलाने की कोशिश करने जैसा था; जहाज नियंत्रण से बाहर हो जाता। हालांकि, अनुकूलन विधि (Adam) स्थिर रही। उन्होंने Adam के लिए एक विशिष्ट रेसिपी पाई जो इस ट्रिकी एक्टिवेशन फंक्शन के साथ भी सेटिंग्स को छोटे से बड़े मॉडल में पूरी तरह से स्थानांतरित करने की अनुमति देती है।

4. "आनुपातिक" नियम

लेखकों ने केवल एक अस्पष्ट सुझाव नहीं दिया; उन्होंने एक सटीक रेसिपी तैयार की। उन्होंने पाया कि यदि आप मॉडल, डेटा का आकार और बैच साइज (वह संख्या जो मॉडल एक बार में देखता है) को एक ही समय में बढ़ाते हैं (उनके अनुपातों को स्थिर रखते हुए), तो प्रशिक्षण की गतिशीलता (training dynamics) एक ही, अनुमानित पैटर्न में "कोलैप्स" हो जाती है।

इसे एक ज़ूम लेंस की तरह समझें। यदि आप किसी फोटो को ज़ूम करते हैं, तो पिक्सेल बड़े हो जाते हैं, लेकिन छवि वैसी ही दिखती है। लेखकों ने सिद्ध किया कि यदि आप उनके विशिष्ट सूत्रों का उपयोग करके मॉडल और डेटा को एक साथ स्केल करते हैं, तो प्रशिक्षण प्रक्रिया की "छवि" बिल्कुल वैसी ही दिखती है चाहे आप छोटे मॉडल को देख रहे हों या विशाल मॉडल को।

"रेसिपी" का सारांश

शोध पत्र निर्देशों की एक तालिका (एक कुकिंग रेसिपी की तरह) प्रदान करता है कि मॉडल के आकार के आधार पर "सामग्री" (लर्निंग रेट और इनिशियलाइजेशन स्केल) को कैसे समायोजित किया जाए:

यदि आप इनपुट आकार को दोगुना करते हैं: प्रारंभिक वेट स्केल को एक विशिष्ट कारक के अनुसार समायोजित करें (जैसे आकार के वर्गमूल से विभाजित करना)।
यदि आप हिडन लेयर की चौड़ाई को दोगुना करते हैं: लर्निंग रेट को अलग तरह से समायोजित करें, यह इस पर निर्भर करता है कि आप SGD का उपयोग कर रहे हैं या Adam का।
महत्वपूर्ण कदम: डेटा को हमेशा "सेंटर" करें (औसत हटा दें) ताकि मॉडल असंतुलित न हो।

मुख्य निष्कर्ष

लेखकों ने सफलतापूर्वक Dense Associative Memories के लिए हाइपरपैsetParameter ट्रांसफर के कोड को क्रैक कर लिया है। इससे पहले, इन विशिष्ट AI मॉडलों को स्केल करना एक जुआ था। अब, उनके पास एक गणितीय गारंटी है: यदि आप उनके स्केलिंग नियमों का पालन करते हैं और "सेंटरिंग" ट्रिक का उपयोग करते हैं, तो आप एक छोटा मॉडल प्रशिक्षित कर सकते हैं, सही सेटिंग्स पा सकते हैं, और आत्मविश्वास के साथ उन्हीं सेटिंग्स को एक विशाल मॉडल पर लागू कर सकते हैं, बिना सब कुछ फिर से ट्यून किए। उन्होंने सरल गणितीय समस्याओं से लेकर हस्तलिखित अंकों (MNIST) को पहचानने तक, प्रयोगों के साथ इसकी पुष्टि की, जिससे साबित होता है कि सिद्धांत व्यवहार में भी काम करता है।

तकनीकी सारांश: डेंस एसोसिएटिव मेमोरीज के लिए हाइपरपैरामीटर ट्रांसफर

समस्या विवरण

आधुनिक डीप लर्निंग हाइपरपैरामीटर (HP) ट्रांसफर पर बहुत अधिक निर्भर है, जहाँ छोटे मॉडलों और डेटासेट पर इष्टतम सेटिंग्स (जैसे, इनिशियलाइज़ेशन स्केल्स, लर्निंग रेट्स) की पहचान की जाती है और फिर उन्हें बड़े पैमाने पर स्थानांतरित किया जाता है ताकि अत्यधिक खर्चीले ट्यूनिंग से बचा जा सके। जबकि फीड-फॉरवर्ड नेटवर्क के लिए हाइपरपैरामीटर ट्रांसफर के सैद्धांतिक ढांचे (जैसे, $\mu$ P ह्यूरिस्टिक पर आधारित) मौजूद हैं, वे डेंस एसोसिएटिव मेमोरीज (DenseAMs) के लिए विकसित नहीं किए गए हैं।

DenseAMs मौजूदा ट्रांसफर विधियों के लिए तीन विशिष्ट वास्तुशिल्प (architectural) विशेषताओं के कारण अनूठी चुनौतियाँ पेश करते हैं:

वेट शेयरिंग (Weight Sharing): ऊर्जा फलन (energy function) के लिए आवश्यक है कि वेट्स परतों में और ऑपरेशन्स के भीतर साझा किए जाएं, जो मानक फीड-फॉरवर्ड नेटवर्क के विपरीत है।
रेसिडुअल डायनेमिक्स (Residual Dynamics): ऊर्जा-अवनति (energy-descent) को वर्णित करने वाले डायनेमिकल समीकरण स्वाभाविक रूप से रेसिडुअल कनेक्शनों को కలిగి होते हैं।
स्टीप एक्टिवेशन्स (Steep Activations): बेहतर सूचना भंडारण स्केलिंग लॉज़ प्राप्त करने के लिए, DenseAMs तेजी से पीकिंग करने वाले एक्टिवेशन फंक्शन (जैसे, हाई-पावर ReLU, सॉफ्टमैक्स) का उपयोग करते हैं, जो मानक फीड-फॉरवर्ड आर्किटेक्चर में दुर्लभ हैं।

ये कारक एक जटिल परिदृश्य बनाते जहाँ मानक आयामी विश्लेषण (dimensional analysis) यह अनुमान लगाने में विफल रहता है कि हाइपरपैरामीटर को मॉडल आकार ( $N, K$ ), डेटासेट आकार ( $P$ ), और बैच आकार ( $B$ ) के साथ कैसे स्केल किया जाना चाहिए।

कार्यप्रणाली

लेखक प्रोपोर्शनल स्केलिंग रिजीम के लिए हाइपरपैरामीटर स्केलिंग के स्पष्ट निर्देश (prescriptions) व्युत्पन्न करके DenseAMs के लिए $\mu$ P-प्रकार के HP ट्रांसफर के अध्ययन की शुरुआत करते हैं, जिसे इस प्रकार परिभाषित किया गया है:
$N \to \infty, \quad K = \kappa N, \quad P = \rho N, \quad B = \beta P$
जहाँ $\kappa, \rho, \beta$ स्थिर स्थिरांक (constants) हैं।

मॉडल परिभाषा

अध्ययन एक उथले (shallow) DenseAM अपडेट नियम पर ध्यान केंद्रित करता है जो ऊर्जा परिदृश्य (energy landscape) पर ग्रेडिएंट डिसेंट का एक एकल चरण करता है:
$f(x) = s_2 W^\top \sigma_C [s_1 W g(x) + b] + c$
जहाँ $W \in \mathbb{R}^{K \times N}$ टाइड वेट्स (tied weights) हैं, $g$ एक निश्चित नॉन-लिनियरिटी है, और $\sigma_C$ एक संभावित रूप से सेंटर्ड (centered) एक्टिवेशन फंक्शन है। प्रशिक्षण उद्देश्य एक डिनोइजिंग लॉस है:
$L(W) = \frac{1}{2B} \sum_{\mu=1}^B \| f_W(x_\mu + \epsilon_\mu) - x_\mu \|^2$

प्रमुख तकनीकी संशोधन

लेखक पहचानते हैं कि नॉन-लीनियर एक्टिवेशन्स के साथ DenseAMs के लिए मानक पैरामीट्राइजेशन, एक्टिवेशन के ग्राम मैट्रिक्स में "मीन-इंड्यूस्ड स्पाइक्स" (mean-induced spikes) के कारण विफल हो जाते हैं। इसे संबोधित करने के लिए, वे सेंटरिंग (centering) पेश करते हैं:

सेंटरिंग ऑपरेटर: एक प्रोजेक्शन मैट्रिक्स $C = I_K - \frac{1}{K}\mathbf{1}_K\mathbf{1}_K^\top$ को प्री- और पोस्ट-एक्टिवेशन्स पर लागू किया जाता है।
आवश्यकता: नॉन-लीनियर एक्टिवेशन्स (ReLU, Softmax) के लिए जिनका नॉन-ज़ीरो मीन होता है, यदि सेंटरिंग करने में विफल रहते हैं, तो यह एक्टिवेशन ग्राम मैट्रिक्स ( $S^\top S$ ) में एक रैंक-वन स्पाइक पैदा करता है जो बल्क आइगेनवैल्यूज़ (bulk eigenvalues) से अलग तरह से स्केल करता है। यह मिसमैच संख्यात्मक अस्थिरता (numerical instability) का कारण बनता है और HP ट्रांसफर को रोकता है। सेंटरिंग इस स्पाइक को हटा देती है, जिससे सभी आंतरिक सांख्यिकी (internal statistics) सुसंगत रूप से स्केल होती हैं।

व्युत्पत्ति दृष्टिकोण (Derivation Approach)

लेखक $\mu$ P ह्यूरिस्टिक को अनुकूलित करते हुए तीन वांछितताओं (desiderata) को संतुष्ट करने के लिए एक डायमेंशनल एनालिसिस करते हैं:

स्थिरता (Stability): प्री-एक्टिवेशन्स ( $Z$ ) और आउटपुट्स ( $F$ ) के इनिशियलाइजेशन स्टैटिस्टिक्स (मीन/वेरिएंस) $N, K \to \infty$ होने पर $O(1)$ रहने चाहिए।
अधिकतमता (Maximality): $T$ स्टेप्स के बाद पैरामीटर अपडेट्स ( $\Delta Z, \Delta F$ ) $O(1)$ रहने चाहिए।
संतुलन (Balance): अपडेट्स में योगदान देने वाले विभिन्न पदों (जो टाइड वेट्स $W$ की दो उपस्थिति से उत्पन्न होते हैं) को परिमाण (magnitude) में संतुलित होना चाहिए।

SGD और Adam ऑप्टिमाइज़र दोनों के लिए ग्रेडिएंट्स और परिणामी अपडेट्स का विश्लेषण करके, लेखक इनिशियलाइज़ेशन स्केल्स ( $s_1, s_2$ ) और लर्निंग रेट्स ( $\eta_W, \eta_b, \eta_c$ ) के लिए विशिष्ट स्केलिंग लॉज़ व्युत्पन्न करते हैं।

प्रमुख योगदान और परिणाम

1. स्पष्ट स्केलिंग प्रिस्क्रिप्शन

पेपर विभिन्न एक्टिवेशन फंक्शन और ऑप्टिमाइज़र के लिए स्केलिंग नियमों (तालिका 1) का विवरण देता है। मुख्य निष्कर्षों में शामिल हैं:

लीनियर एक्टिवेशन्स: प्रोपोर्शनल रिजीम में, $s_1 \sim N^{-1/2}$ , $s_2 \sim K^{-1/2}$ , और $\eta_W \sim K$ (SGD के लिए)।
ReLU-टाइप एक्टिवेशन्स: सेंटरिंग महत्वपूर्ण है। बिना सेंटरिंग के, HP ट्रांसफर अस्थिरता के कारण विफल हो जाता है। सेंटरिंग के साथ, लीनियर प्रिस्क्रिप्शन SGD और Adam के लिए मान्य रहते हैं। Adam उच्च-पावर ReLUs ( $p=10$ ) के लिए भी स्थिर रहता है, जबकि SGD बड़े लर्निंग रेट्स पर अस्थिर हो जाता है।
सॉफ्टमैक्स एक्टिवेशन्स:
- SGD अस्थिरता: SGD "रो एम्प्लीफिकेशन फीडबैक" (row amplification feedback) के कारण बड़े स्केल्स पर संख्यात्मक अस्थिरता का सामना करता है, जहाँ बड़े सॉफ्टमैक्स वेट्स वाली पंक्तियाँ (rows) असमान रूप से बड़े अपडेट प्राप्त करती हैं, जिससे लोकलाइजेशन और डाइवर्जेंस होता है। पेपर सॉफ्टमैक्स के लिए कोई स्थिर SGD प्रिस्क्रिप्शन प्रदान नहीं करता है।
- Adam की सफलता: Adam स्केल-इनवेरिएंट है और सेंटर्ड सॉफ्टमैक्स DenseAMs के लिए सफल HP ट्रांसफर प्रदर्शित करता है, जिसमें $s_1 \sim N^{-1/2}$ , $s_2 \sim K^{1/2}$ , और $\eta_W \sim 1$ है।

2. अनुभवजन्य सत्यापन (Empirical Validation)

लेखक इन सैद्धांतिक निष्कर्षों को कई सेटिंग्स में सत्यापित करते हैं:

प्रोपोर्शनल स्केलिंग: आइसोट्रोपिक गौसियन डेटा और MNIST (प्लैकेट डाउनसैंपलिंग के माध्यम से) पर प्रयोगों से पता चलता है कि जब व्युत्पन्न प्रिस्क्रिप्शन का उपयोग किया जाता है, तो ट्रेनिंग डायनेमिक्स (लॉस कर्व्स, इंटरनल फीचर कोवेरिएंस) विभिन्न स्केल्स के बीच कोलैप्स (collapse) हो जाते हैं।
एनिसोट्रोपिक डेटा: प्रिस्क्रिप्शन आइसोट्रोपिक इनपुट मानते हुए भी, एनिसोट्रोपिक और वास्तविक डेटा (MNIST) के लिए आश्चर्यजनक रूप से अच्छा काम करते हैं।
सेंटरिंग बनाम नॉन-सेंटर्ड: अनुभवजन्य परिणाम (चित्र 7, 8, 10, 11, 13) स्पष्ट रूप से दिखाते हैं कि नॉन-सेंटर्ड मॉडल डाइवर्ज या विफल हो जाते हैं, जबकि सेंटर्ड मॉडल सुसंगत डायनेमिक्स और सफल ट्रांसफर प्रदर्शित करते हैं।

3. डायनेमिकल कोलैप्स (Dynamical Collapse)

सरल लॉस ट्रांसफर से परे, पेपर यह प्रदर्शित करता है कि प्रस्तावित पैरामीट्राइजेशन ट्रेनिंग डायनेमिक्स के कोलैप्स की ओर ले जाता है। जब स्केलिंग लॉज़ लागू किए जाते हैं, तो आंतरिक सांख्यिकी, जैसे कि वेट अपडेट्स का RMS और फीचर कोवेरिएंस, विभिन्न मॉडल आकारों ( $N, K$ ) में स्थिर रहते हैं।

महत्व और दावे

पेपर का दावा है कि यह Dense-एसोसिएटिव मेमोरीज के लिए हाइपरपैरामीटर ट्रांसफर के अध्ययन की शुरुआत करने वाला पहला कार्य है। इसका महत्व यहाँ है:

एक अंतर को पाटना: यह हाइपरपैरामीटर ट्रांसफर के सिद्धांत को मानक फीड-फॉरवर्ड नेटवर्क से ऊर्जा-आधारित मॉडलों (टाइड वेट्स और स्टीप एक्टिवेशन्स के साथ) तक विस्तारित करता है।
व्यावहारिक उपयोगिता: यह DenseAMs को स्केल करने के लिए कार्रवाई योग्य, सैद्धांतिक रूप से आधारित नियम प्रदान करता है, जिससे अभ्यासकर्ताओं को महंगे बड़े-स्केल हाइपरपैरामीटर ट्यूनिंग के बिना बड़े-स्केल मॉडल (जैसे, एनर्जी ट्रांसफॉर्मर, NRGPT) प्रशिक्षित करने में सक्षम बनाया जा सकता है।
वास्तुशिल्प अंतर्दृष्टि: यह पहचानता है कि सेंटरिंग नॉन-लीनियर एक्टिवेशन्स वाले DenseAMs की स्थिरता के लिए एक मौलिक आवश्यकता है, जो एक ऐसा सूक्ष्म पहलू है जिसे पहले HP ट्रांसफर के संदर्भ में संबोधित नहीं किया गया था।

लेखक अपने दायरे के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि उनका विश्लेषण व्युत्पत्तियों के लिए आइसोट्रोपिक डेटा मानता है (हालांकि अन्य मामलों में भी अनुभवजन्य रूप से मजबूत है) और गैर-लीनियर DenseAMs के लिए अनंत स्केल पर पूर्ण विश्लेषणात्मक विवरण भविष्य के कार्य का विषय बना हुआ है। वे यह दावा नहीं करते कि उन्होंने सभी आधुनिक आर्किटेक्चर के लिए HP ट्रांसफर को हल कर दिया है, बल्कि विशेष रूप से DenseAM परिवार के लिए।