🤖 AI

EUGens: Efficient, Unified, and General Dense Layers

यह शोध पत्र EUGens को प्रस्तुत करता है, जो कुशल, एकीकृत और सामान्य सघन परतों (dense layers) का एक नया वर्ग है जो रैखिक अनुमान जटिलता (linear inference complexity) और कम मापदंडों के साथ पूर्णतः-जुड़े परतों (fully-connected layers) का अनुमान लगाने के लिए रैंडम फीचर्स और इनपुट नॉर्म्स का लाभ उठाते हैं, जबकि बहुपद सक्रियणों (polynomial activations) के निष्पक्ष सन्निकटन और पूर्व-प्रशिक्षित मॉडलों में कुशल अनुकूलन को सक्षम करते हैं, जिसके परिणामस्वरूप विभिन्न कार्यों में अनुमान गति और मेमोरी दक्षता में महत्वपूर्ण सुधार होता है।

मूल लेखक: Sang Min Kim, Byeongchan Kim, Arijit Sehanobish, Somnath Basu Roy Chowdhury, Rahul Kidambi, Dongseok Shim, Avinava Dubey, Snigdha Chaturvedi, Min-hwan Oh, Krzysztof Choromanski

प्रकाशित 2026-02-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sang Min Kim, Byeongchan Kim, Arijit Sehanobish, Somnath Basu Roy Chowdhury, Rahul Kidambi, Dongseok Shim, Avinava Dubey, Snigdha Chaturvedi, Min-hwan Oh, Krzysztof Choromanski

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, उच्च श्रेणी का रेस्तरां (एक न्यूरल नेटवर्क) चला रहे हैं जो हर दिन लाखों ग्राहकों को परोसता है। इसका सबसे महंगा और समय लेने वाला हिस्सा खाना बनाना नहीं है, बल्कि मेन्यू प्लानिंग (मेनू की योजना बनाना) है।

आधुनिक AI में, यह "मेन्यू प्लानिंग" फुली कनेक्टेड फीडफॉरवर्ड लेयर्स (FFLs) द्वारा की जाती है। ये वे लेयर्स हैं जहाँ AI सूचनाओं की एक विशाल मात्रा लेता है, उन्हें नियमों (वेट्स) की एक बड़ी सूची के साथ गुणा करता है, और एक परिणाम देता है। समस्या यह है कि जैसे-जैसे रेस्तरां बढ़ता है, यह मेन्यू प्लानिंग अविश्वसनीय रूप से धीमी हो जाती है और इसके लिए बहुत अधिक स्टोरेज स्पेस की आवश्यकता होती है। यह ऐसा है जैसे हर एक ग्राहक के लिए एक अनूठा, 10,000 पन्नों का रेसिपी बुक लिखने के जरिए उनके लिए एकदम सही भोजन की गणना करने की कोशिश करना।

यह पेपर इस समस्या को हल करने के लिए एक नया किचन टूल पेश करता है जिसे EUGens (एफिशिएंट, यूनिफाइड, एंड जनरल डेंस लेयर्स) कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. "मैजिक फिल्टर" बनाम "हैवी कैलकुलेटर"

पुराना तरीका (स्टैंडर्ड FFLs):
कल्पना कीजिए कि आपके पास एक विशाल कैलकुलेटर है। उत्तर प्राप्त करने के लिए, आपको हर ग्राहक के लिए कीपैड के हर बटन को दबाना पड़ता है। यदि आपके पास 1,000 ग्राहक हैं, तो आप 1,000 बार बटन दबाते हैं। यह क्वाड्रेटिक कॉम्प्लेक्सिटी (quadratic complexity) है—यह बहुत तेज़ी से धीमा होता जाता है।

नया तरीका (EUGens):
EUGens एक मैजिक फिल्टर की तरह काम करते हैं। बटन दबाने के बजाय, यह फिल्टर ग्राहक के ऑर्डर (इनपुट) और शेफ के नियमों (वेट्स) को लेता है और उन्हें सामग्री की एक बहुत छोटी, सरल सूची में बदल देता है।

ट्रिक: यह रैंडम फीचर्स (Random Features) का उपयोग करता है। इसे एक विशेष, पहले से तैयार मसालों के मिश्रण के रूप में सोचें। हर व्यंजन के लिए हर मसाले को शून्य से मापने के बजाय, शेफ इस मिश्रण का उपयोग स्वाद का अनुमान लगाने के लिए करता है।
परिणाम: गणना "हर बटन दबाने" से बदलकर "कुछ कटोरे मिलाने" में बदल जाती है। यह एक धीमी, क्वाड्रेटिक प्रक्रिया को एक तेज़, लीनियर (linear) प्रक्रिया में बदल देता है। यदि आपके पास 1,000 ग्राहक हैं, तो आप बहुत कम काम करते हैं।

2. "शेप शिफ्टर" (विभिन्न विधियों को एकीकृत करना)

इस पेपर से पहले, वैज्ञानिकों के पास AI को तेज़ बनाने के लिए अलग-अलग "जुगाड़" थे, लेकिन वे अलग-अलग कामों के लिए अलग-अलग औजारों की तरह थे: एक टूल गणित की समस्याओं के लिए काम करता था, दूसरा तस्वीरों के लिए, और तीसरा टेक्स्ट के लिए।

EUGens एक स्विस आर्मी नाइफ की तरह हैं। वे "यूनिफाइड" (एकीकृत) हैं। चाहे आप एक रोबोट को देखना (कंप्यूटर विजन) सिखा रहे हों, कंप्यूटर को बोलना (लैंग्वेज मॉडल्स) सिखा रहे हों, या 3D दुनिया बनाने वाले सिस्टम (NeRFs) के साथ काम कर रहे हों, EUGens इन सभी में भारी मेन्यू प्लानिंग को एक ही कुशल टूल के साथ बदल सकते हैं।

3. "मैजिक मिरर" (अनबायस्ड एप्रोक्सिमेशन)

सरलीकरण करने में सबसे बड़ा डर सटीकता खोने का होता है। यदि आप शॉर्टकट का उपयोग करते हैं, तो क्या खाना गलत स्वाद देगा?

पेपर का दावा है कि EUGens अनबायस्ड (unbiased) हैं। कल्पना कीजिए कि एक मैजिक मिरर एक जटिल, हाई-डेफिनिशन इमेज को रिफ्लेक्ट करता है। भले ही वह दर्पण साधारण, लो-रेज़ोल्यूशन टाइल्स से बना हो, फिर भी प्रतिबिंब इतना सटीक होता है कि आप अंतर नहीं कर सकते।
लेखक गणितीय रूप से सिद्ध करते हैं कि EUGens मूल भारी लेयर्स (जैसे ReLU या GELU एक्टिवेशन फंक्शन) के जटिल "स्वादों" की नकल कर सकते हैं, और इसके लिए पूरे सिस्टम को फिर से प्रशिक्षित करने की आवश्यकता नहीं होती है।

4. "इंस्टेंट अपग्रेड" (नॉलेज डिस्टिलेशन)

आमतौर पर, यदि आप किसी रेस्तरां के किचन को अपग्रेड करना चाहते हैं, तो आपको उसे बंद करना पड़ता है, स्टाफ को निकालना पड़ता है और पहले दिन से सबको फिर से प्रशिक्षित करना पड़ता है। इसमें महीनों लग जाते हैं।

यह पेपर एक डिस्टिलेशन तकनीक पेश करता है जो "कॉपी-पेस्ट" अपग्रेड की तरह काम करती है। आप एक मौजूदा, प्री-ट्रेन्ड AI मॉडल (एक पूरी तरह से प्रशिक्षित रेस्तरां) को ले सकते हैं और भारी मेन्यू प्लानर्स को तुरंत EUGens के साथ बदल सकते हैं।
EUGens के पीछे के गणित के कारण, आपको इसे फिर से प्रशिक्षित करने की आवश्यकता नहीं है। आप बस एक सरल फॉर्मूले का उपयोग करके नए सेटिंग्स की गणना कर सकते हैं (बिना बार-बार अनुमान लगाए)। यह मौजूदा मॉडल्स को तुरंत तेज़ करने की अनुमति देता है।

उन्होंने वास्तव में क्या हासिल किया?

इस पेपर ने इस "मैजिक फिल्टर" का तीन विशिष्ट क्षेत्रों में परीक्षण किया:

लैंग्वेज मॉडल्स (LLMs): उन्होंने GPT-2 जैसे मॉडल में भारी लेयर्स को बदला। परिणाम: मॉडल सोचने में 27% तेज़ हो गया और इसने 30% कम मेमोरी का उपयोग किया, जबकि यह अभी भी अच्छा टेक्स्ट लिख रहा था।
इमेज क्लासिफिकेशन (विज़न): उन्होंने इसे उन मॉडल्स पर टेस्ट किया जो फोटो में वस्तुओं की पहचान करते हैं (जैसे ImageNet)। परिणाम: मॉडल्स उतने ही सटीक रहे लेकिन बहुत तेज़ी से चले।
3D सीन रिकंस्ट्रक्शन (NeRFs): उन्होंने 2D तस्वीरों से 3D दुनिया बनाने के लिए इसका उपयोग किया। परिणाम: इन 3D दुनिया को रेंडर करना 24% से 27% तेज़ हो गया, जिससे वास्तविक समय (real-time) में यथार्थवादी दृश्य बनाना संभव हो गया।

सारांश

EUGens को एक रेस कार के भारी, धीमे, कस्टम-बिल्ट इंजन को एक हल्के, हाई-टेक इंजन से बदलने के रूप में सोचें जो उतना ही तेज़ चलता है लेकिन आधा ईंधन खर्च करता है। यह मंजिल को नहीं बदलता है (AI अभी भी वही चीजें सीखता है); यह बस आपको बहुत कम सामान के साथ और बहुत तेज़ी से वहां पहुंचा देता है।

तकनीकी सारांश: EUGens: कुशल, एकीकृत और सामान्य सघन परतें (Efficient, Unified, and General Dense Layers)

समस्या विवरण

आधुनिक मशीन लर्निंग आर्किटेक्चर, विशेष रूप से ट्रांसफॉर्मर्स (जो लार्ज लैंग्वेज मॉडल्स और विजन ट्रांसफॉर्मर्स में उपयोग किए जाते हैं) और इम्पलिसिट न्यूरल रिप्रेजेंटेशन (INRs) जैसे कि न्यूरल रेडिएंस फील्ड्स (NeRF), पूरी तरह से कनेक्टेड फीडफॉरवर्ड लेयर्स (FFLs) पर अत्यधिक निर्भर करते हैं। जबकि ये मॉडल की अभिव्यक्ति (expressivity) के लिए केंद्रीय हैं, FFLs महत्वपूर्ण कम्प्यूटेशनल और पैरामीटर बाधाएं उत्पन्न करते हैं। उनका मानक कार्यान्वयन हिडन लेयर साइज के सापेक्ष समय और स्थान की जटिलता में द्विघाती (quadratic) स्केलिंग लाता है, जो बड़े पैमाने के मॉडल्स को वास्तविक समय और संसाधन-सीमित वातावरणों में तैनात करने में बाधा डालता है। मौजूदा समाधान, जैसे कि डाइमेंशनलिटी रिडक्शन (जॉनसन-लिंडेनस्ट्रॉस ट्रांसफॉर्म), प्रूनिंग, क्वांटाइजेशन, या विशिष्ट कर्नेल मेथड्स, अक्सर सामान्यता का अभाव रखते हैं, विशिष्ट एक्टिवेशन फंक्शन्स तक सीमित हैं, या मनमाने बहुपद (polynomial) एक्टिवेशन्स के लिए निष्पक्ष अनुमान (unbiased approximations) प्रदान करने में विफल रहते हैं।

कार्यप्रणाली: EUGens

लेखक EUGens (कुशल, एकीकृत और सामान्य सघन परतें) का प्रस्ताव करते हैं, जो एक नया सघन लेयर क्लास है जो मानक FFLs का सामान्यीकरण करता है। EUGens, FFL गणनाओं का अनुमान लगाने के लिए रैंडम फीचर्स (RF) का लाभ उठाते हैं और इनपुट नॉर्म्स पर एक सीधा निर्भरता भी पेश करते हैं।

मुख्य तंत्र

मानक FFLs के विपरीत जहाँ आउटपुट $f(Wx)$ होता है, EUGens वेट मैट्रिक्स $W$ और इनपुट वेक्टर $x$ को अलग (disentangle) कर देते हैं। वे दोनों को गैर-रेखीय मैपिंग $f$ और $g$ के माध्यम से निम्न-आयामी (low-dimensional) निरूपणों में परिवर्तित करते हैं, ताकि लेयर का आउटपुट डॉट प्रोडक्ट के रूप में निकाला जा सके:
$\text{EUGen}(W, x) = g(W)^\top f(x)$

इन रूपांतरणों में शामिल हैं:

इनपुट/वेट ऑग्मेंटेशन: इनपुट $x$ को $1 $और$ |x|^2$ के साथ जोड़ना (और इसी तरह वेट्स के लिए)।
रैंडम प्रोजेक्शन: इन ऑगमेंटेड वेक्टर्स पर रैंडम मैट्रिसेस $G^i_j$ का अनुप्रयोग।
गैर-रेखीय मैपिंग: इन प्रोजेक्शंस के हाडामाड (Hadamard) उत्पादों के परिणामों पर एलिमेंट-वाइज फंक्शन $\Psi$ और $\Phi$ का अनुप्रयोग।
ऑर्डर $k$ : लेयर का "ऑर्डर" अभिव्यक्ति को नियंत्रित करता है, जो डिग्री $k$ के बहुपद एक्टिवेशन फंक्शन्स का अनुमान लगाने की अनुमति देता है।

सैद्धांतिक आधार

निष्पक्ष अनुमान (Unbiased Approximation): पेपर सिद्ध करता है (थ्योरम 3.1) कि EUGens मनमाने बहुपद एक्टिवेशन फंक्शन्स के साथ FFLs का एक निष्पक्ष अनुमान (unbiased estimation) प्रदान करते हैं। यह प्रोजेक्शन मैट्रिसेस के एंट्रीज को विशिष्ट शून्य-माध्य (zero-mean) वितरणों से सैंपल करके प्राप्त किया जाता है।
निरंतर फलनों (Continuous Functions) का सामान्यीकरण: बर्नस्टीन थ्योरम (Bernstein Theorem) का लाभ उठाते हुए, लेखक इन परिणामों को सामान्य निरंतर एक्टिवेशन फंक्शन्स के लिए FFLs को अनुमानित करने के लिए विस्तारित करते हैं (थ्योरम 3.4), क्योंकि किसी बंद अंतराल (closed interval) पर किसी भी निरंतर फलन को बहुपदों द्वारा अनुमानित किया जा सकता है।
कंसन्ट्रेशन बाउंड्स (Concentration Bounds): सैद्धांतिक विश्लेषण (थ्योरम 3.2 और 3.3) कंसन्ट्रेशन परिणाम प्रदान करता है, जो दर्शाता है कि रैंडम फीचर्स की संख्या $m$ के साथ अनुमान का वेरिएंस कम हो जाता है, और माध्य से बड़े विचलन की संभावना तेजी से (exponentially) कम होती है।
जटिलता में कमी: वेट्स और इनपुट्स को अलग करके, इन्फरेंस जटिलता $O(d^2 + dl)$ से घटकर रैखिक $O(mdk^2 + ml)$ (या विशिष्ट अनुकूलन के साथ $O(mdk + ml) $) हो जाती है, जहाँ$ m \ll d$ है।

व्यावहारिक संवर्द्धन

क्वासी-मोंटे कार्लो (QMC): लेखक अनुमान में वेरिएंस को और कम करने के लिए संरचित रैंडम मैट्रिसेस (जैसे, गॉसियन ऑर्थोगोनल मैट्रिसेस) को शामिल करते हैं।
एनालिटिक डिस्टिलेशन (Analytic Distillation): एक लेयर-वार नॉलेज ट्रांसफर तकनीक प्रस्तावित की गई है जो बैकप्रोपैगेशन को बायपास करती है। एक पूर्व-प्रशिक्षित लेयर के इनपुट/आउटपुट को स्टोर करके, EUGen पैरामीटर्स को मूल लेयर की नकल करने के लिए विश्लेषणात्मक रूप से (क्लोज्ड-फॉर्म सॉल्यूशन) अनुकूलित किया जा सकता है, जिससे पूर्व-प्रशिक्षित मॉडल्स में "जीरो-शॉट" एकीकरण सक्षम होता है।

मुख्य योगदान

EUGens का प्रस्ताव: एक नया सघन लेयर क्लास जो रैंडम फीचर्स और इनपुट नॉर्म डिपेंडेंस का उपयोग करके मौजूदा कुशल विस्तारों को एकीकृत करता है और FFLs का सामान्यीकरण करता है।
सैद्धांतिक गारंटी: मनमाने बहुपद एक्टिवेशन फंक्शन्स के साथ FFLs का अनुमान लगाने वाले पहले निष्पक्ष एल्गोरिदम, जो कठोर कंसन्ट्रेशन बाउंड्स के साथ आते हैं।
अनुभवजन्य श्रेष्ठता (Empirical Superiority): प्रदर्शित किया गया कि EUGens, लो-रैंक और SNNK जैसे बेसलाइन्स की तुलना में कम मीन स्क्वेर्ड एरर (MSE) के साथ मानक एक्टिवेशन्स (ReLU, GeLU, Softplus) का सटीक अनुमान लगाते हैं।
व्यापक एकीकरण: ट्रांसफॉर्मर्स (LLMs, ViTs) और INRs (NeRF, iSDF, Mip-NeRF 360) सहित विविध आर्किटेक्चर में सफल एकीकरण।
डिस्टिलेशन फ्रेमवर्क: पूर्व-प्रशिक्षित मॉडल्स में बिना पुनः प्रशिक्षण के FFLs को बदलने का एक तरीका, जो पूर्ण मॉडल पुनर्निर्माण के ओवरहेड के बिना स्पीडअप प्राप्त करता है।

प्रयोगात्मक परिणाम

लेखकों ने कई कार्यों में EUGens का मूल्यांकन किया, जिसमें इन्फरेंस स्पीड और मेमोरी दक्षता में महत्वपूर्ण लाभ दर्ज किए गए:

लैंग्वेज मॉडलिंग (GPT-2): OpenWebText पर प्री-ट्रेनिंग में, EUGens ने काफी कम पैरामीटर्स का उपयोग करते हुए वैलिडेशन लॉस के मामले में वैनिला GPT-2 के तुलनीय प्रदर्शन हासिल किया। FFLs को EUGens से बदलने से प्रदर्शन में न्यूनतम कमी के साथ पर्याप्त पैरामीटर कमी संभव हुई।
इमेज क्लासिफिकेशन (ViT): ImageNet और Places365 पर, EUGen-आधारित ViTs ने वैनिला ViTs की सटीकता के बराबर प्रदर्शन किया, जबकि इन्फरेंस पैरामीटर्स को लगभग 30% कम कर दिया (उदाहरण के लिए, 6 लेयर्स को बदलना)।
3D सीन रिकंस्ट्रक्शन (NeRF और iSDF):
- NeRF: रिकंस्ट्रक्शन क्वालिटी (PSNR) में लगभग कोई नुकसान किए बिना, 24% इन्फरेंस टाइम में कमी और 30% मॉडल साइज में कमी हासिल की।
- Mip-NeRF 360: 27% इन्फरेंस स्पीड में वृद्धि हासिल की।
- iSDF: मानक MLP-आधारित iSDF की तुलना में 22.6% तेज़ इन्फरेंस और 5% तेज़ ट्रेनिंग हासिल की।
डिस्टिलेशन: एनालिटिक डिस्टिलेशन दृष्टिकोण ने बिना बैकप्रोपैगेशन के मूल NeRF मॉडल्स की गुणवत्ता को सफलतापूर्वक प्राप्त किया और इन्फरेंस स्पीड को 26% तक सुधारा।

महत्व और दावे

पेपर का दावा है कि EUGens वास्तविक दुनिया के परिदृश्यों में बड़े पैमाने के न्यूरल नेटवर्क के स्केलेबल परिनियोजन (deployment) की दिशा में एक महत्वपूर्ण कदम हैं। FFLs की कम्प्यूटेशनल जटिलता को द्विघाती से रैखिक समय में कम करके और पैरामीटर काउंट को काफी कम करके, EUGens मूल मॉडल्स की अभिव्यक्ति शक्ति से समझौता किए बिना तेज़ इन्फरेंस और कम मेमोरी उपयोग को सक्षम करते हैं।

लेखक इस बात पर जोर देते हैं कि EUGens अन्य दक्षता तकनीकों (जैसे प्रूनिंग या स्पारस सैंपलिंग) के ऑर्थोगोनल (orthogonal) हैं और उन्हें उनके साथ जोड़ा जा सकता है। इसके अलावा, पूर्व-प्रशिक्षित मॉडल्स में बिना पुनः प्रशिक्षण के EUGens को डिस्टिल करने की क्षमता मौजूदा प्रोडक्शन सिस्टमों में कुशल लेयर्स को अपनाने की एक बड़ी बाधा को दूर करती है। यह कार्य उन अनुप्रयोगों के लिए कुशल न्यूरल नेटवर्क के महत्व को रेखांकित करता है जहाँ वास्तविक समय का प्रदर्शन और संसाधन संबंधी बाधाएं महत्वपूर्ण हैं।