← नवीनतम पेपर
🤖 machine learning

Hyperparameter Transfer with Mixture-of-Expert Layers

यह शोध पत्र डायनामिकल मीन-फील्ड थ्योरी द्वारा न्यायसंगत, मिक्सचर-ऑफ-एक्सपर्ट्स परतों वाले ट्रांसफॉर्मर मॉडलों के लिए एक नवीन पैरामीट्राइजेशन प्रस्तावित करता है, जो विभिन्न आर्किटेक्चरल आयामों को स्केल करते समय 51M से लेकर 2B से अधिक पैरामीटर्स तक के मॉडलों में विश्वसनीय और लागत प्रभावी हाइपरपैरामीटर ट्रांसफर को सक्षम बनाता है।

मूल लेखक: Tianze Jiang, Blake Bordelon, Cengiz Pehlevan, Boris Hanin

प्रकाशित 2026-05-22
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Tianze Jiang, Blake Bordelon, Cengiz Pehlevan, Boris Hanin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप ज्ञान का एक विशाल पुस्तकालय बना रहे हैं। अतीत में, इस पुस्तकालय को अधिक स्मार्ट बनाने के लिए, आपको अधिक पुस्तकालयाध्यक्षों (librarians) को काम पर रखना पड़ता था और उन्हें बड़े डेस्क देने पड़ते थे। लेकिन यह महंगा और धीमा होता जा रहा था।

यहाँ आता है Mixture-of-Experts (MoE)। एक हर किताब के लिए एक विशाल पुस्तकालयाध्यक्ष रखने के बजाय, आप हजारों छोटे विशेषज्ञों की एक टीम नियुक्त करते हैं। जब कोई प्रश्न आता है, तो एक "रूटर" (एक स्मार्ट रिसेप्शनिस्ट की तरह) केवल उन शीर्ष कुछ विशेषज्ञों से पूछता है जिन्हें उत्तर पता है। यह पुस्तकालय को विशाल बनाता है लेकिन दैनिक कार्य को तेज़ रखता है।

हालाँकि, एक समस्या है: इन पुस्तकालयों को प्रशिक्षित (Training) करना एक बुरा सपना है।

समस्या: "गोल्डिलॉक्स" दुविधा (The "Goldilocks" Dilemma)

इस पुस्तकालय को प्रशिक्षित करने के लिए, आपको इसके "नॉब्स" (hyperparameters) को ट्यून करने की आवश्यकता होती है, जैसे कि विशेषज्ञ कितनी तेज़ी से सीखते हैं (learning rate) या वे शुरुआत में कितना जानते हैं (initialization)।

  • यदि आप इन नॉब्स को एक छोटे पुस्तकालय (100 विशेषज्ञ) के लिए ट्यून करते हैं, तो वे पूरी तरह से काम करते हैं।
  • यदि आप उन्हीं नॉब्स को एक विशाल पुस्तकालय (10,000 विशेषज्ञ) के लिए उपयोग करने की कोशिश करते हैं, तो सिस्टम अक्सर क्रैश हो जाता है या कुछ भी सीख नहीं पाता।
  • आमतौर पर, इस बड़े पुस्तकालय को प्रशिक्षित करने के लिए, आपको नए नॉब्स का अनुमान लगाते हुए बिल्कुल शून्य से शुरुआत करनी पड़ती है, जिसमें कंप्यूटिंग पावर के कई महीने लग जाते हैं।

लेखकों ने यह सवाल पूछा: "क्या हम एक छोटे पुस्तकालय के 'परफेक्ट नॉब्स' को ले सकते हैं और बिना दोबारा अनुमान लगाए, उन्हें एक विशाल पुस्तकालय के अनुकूल बना सकते हैं?"

समाधान: एक नई "स्केलिंग रेसिपी"

यह शोध पत्र एक नया नियम (parameterization) प्रस्तावित करता है जो इन नॉब्स के लिए एक यूनिवर्सल ट्रांसलेटर की तरह काम करता है।

इसे केक बनाने के उदाहरण से समझें।

  • पुराना तरीका: यदि आप 4 लोगों के लिए केक बनाना चाहते हैं, तो आप एक विशिष्ट रेसिपी का उपयोग करते हैं। यदि आप 400 लोगों के लिए एक ही केक बनाना चाहते हैं, तो आप सामग्री को सीधे 100 से गुणा नहीं कर सकते। ऐसा करने पर ओवन बाहर के हिस्से को पका देगा, इससे पहले कि अंदर का हिस्सा पके। आपको एक पूरी नई रेसिपी का अनुमान लगाना होगा।
  • इस पेपर का तरीका: उन्होंने एक गणितीय "जादुई अनुपात" (magic ratio) की खोज की। यदि आप उनकी विशिष्ट रेसिपी के अनुसार सामग्री (नॉब्स) को स्केल करने के नियमों का पालन करते हैं, तो केक चाहे 4 लोगों के लिए हो या 400 लोगों के लिए, वह एकदम सही बनेगा।

उन्होंने यह कैसे किया: "थ्री-लेयर" थ्योरी

यह सिद्ध करने के लिए कि यह काम करता है, लेखकों ने Dynamical Mean-Field Theory (DMFT) नामक एक जटिल गणितीय उपकरण का उपयोग किया।

  • रूपक (Metaphor): कल्पना कीजिए कि एक स्टेडियम प्रशंसकों से भरा हुआ है (न्यूरल नेटवर्क)।
    • स्तर 1: आप पूरी भीड़ को देखते हैं (residual stream)।
    • स्तर 2: आप प्रशंसकों के विशिष्ट समूहों को देखते हैं (experts)।
    • स्तर 3: आप उन समूहों के भीतर व्यक्तिगत प्रशंसकों को देखते हैं (neurons)।
  • लेखकों ने दिखाया कि यदि आप उनके स्केलिंग नियमों का पालन करते हैं, तो व्यक्तिगत प्रशंसक, समूह और पूरी भीड़, सभी पूरी तरह से तालमेल में रहते हैं, चाहे स्टेडियम कितना भी बड़ा क्यों न हो जाए। "शोर" (noise) रद्द हो जाता है, और सिस्टम अनुमानित रूप से व्यवहार करता है।

उन्होंने क्या पाया (परिणाम)

उन्होंने कंप्यूटर मॉडल पर परीक्षण किया जो बहुत छोटे (51 मिलियन पैरामीटर्स) से लेकर अत्यंत विशाल (2 बिलियन पैरामीटर्स) तक थे।

  1. यह काम करता है: उन्होंने एक छोटे मॉडल से "परफेक्ट नॉब्स" लिए और उन्हें विशाल मॉडल पर लागू किया। विशाल मॉडल सुचारू रूप से प्रशिक्षित हुआ और उसने ठीक उतना ही सीखा जितना कि यदि उन्होंने सही सेटिंग्स का अनुमान लगाने में महीनों बिताए होते।
  2. अधिक विशेषज्ञ, न कि बड़े विशेषज्ञ: उन्होंने पाया कि कम विशाल विशेषज्ञों के बजाय अधिक छोटे विशेषज्ञों का होना बेहतर है। यह 10 सुपर-जीनियस विशेषज्ञों की टीम के बजाय 100 सामान्य विशेषज्ञों की टीम होने जैसा है, बशर्ते आपके पास सही स्केलिंग नियम हों।
  3. स्थिरता (Stability): सिस्टम क्रैश नहीं हुआ। "रिसेप्शनिस्ट" (रूटर) ने सभी विशेषज्ञों को काम समान रूप से भेजा, जिससे किसी भी एक विशेषज्ञ के अत्यधिक बोझिल होने या अनदेखा किए जाने की संभावना खत्म हो गई।

मुख्य निष्कर्ष (The Bottom Line)

यह शोध पत्र विशाल, कुशल AI मॉडल बनाने के लिए एक ब्लूप्रिंट प्रदान करता है। अब हमें हर नए, बड़े मॉडल के लिए सही सेटिंग्स का अनुमान लगाने के लिए सुपरकंप्यूटर की आवश्यकता नहीं है; हम एक छोटे मॉडल के सेटिंग्स का उपयोग कर सकते हैं और बस उनकी नई रेसिपी का उपयोग करके उन्हें "स्केल अप" कर सकते हैं। यह अगली पीढ़ी के AI को बनाना सस्ता, तेज़ और अधिक विश्वसनीय बनाता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.LG →