🤖 machine learning

Sphere Retraction Normalizations

यह शोध पत्र यह प्रदर्शित करके जियोडेसिक नॉर्मलाइजेशन (Geodesic Normalization) का सामान्यीकरण करता है कि गोलाकार अवशेष धाराओं (spherical residual streams) के सभी रिट्रैक्शन मैप्स (retraction maps) एक एकल स्केलर पैरामीटर में सिमट जाते हैं जो घूर्णन कोण (rotation angle) को नियंत्रित करता है, जिससे प्रस्तावित $p$ -SpheretNorm परिवार का जन्म होता है जो यह पहचानकर nanoGPT पर मौजूदा विधियों से बेहतर प्रदर्शन करता है कि एक्सपोनेंशियल मैप (exponential map) केवल एक सीमांत मामला (limiting case) है न कि इष्टतम विकल्प।

मूल लेखक: Jie Zhang, Cheng-Fang Su, Yi-Jui Huang, Min-Te Sun

प्रकाशित 2026-08-05

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jie Zhang, Cheng-Fang Su, Yi-Jui Huang, Min-Te Sun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप लेगो ब्रिक्स (LEGO bricks) से एक गगनचुंबी इमारत बनाने की कोशिश कर रहे हैं, लेकिन हर बार जब आप एक नया तल (floor) जोड़ते हैं, तो पूरा टॉवर डगमगाने, मुड़ने या ढहने लगता है। यह उन वैज्ञानिकों के लिए दैनिक संघर्ष है जो "डीप न्यूरल नेटवर्क" (deep neural networks) बना रहे हैं—वे सुपर-स्मार्ट कंप्यूटर दिमाग जो चैटबॉट्स से लेकर इमेज जनरेटर तक सब कुछ संचालित करते हैं। ये नेटवर्क परतों (layers) से बने होते हैं जो एक के ऊपर एक रखी गई होती हैं, जैसे किसी इमारत में मंजिलें होती हैं। उन्हें काम करने के लायक बनाने के लिए, इंजीनियर एक विशेष ट्रिक का उपयोग करते हैं जिसे "रेसिडुअल कनेक्शन" (residual connection) कहा जाता है, जो एक स्लाइड की तरह है जो सूचना को एक मंजिल से अगली मंजिल तक कूदने की अनुमति देता है, जिससे टॉवर को बहुत अधिक अस्थिर होने से रोका जा सके।

लंबे समय तक, इन टावरों को स्थिर रखने का सबसे अच्छा तरीका "लेयरनॉर्म" (LayerNorm) नामक एक विधि थी, जो एक सख्त आर्किटेक्ट की तरह कार्य करती है, लगातार ईंटों के आकार की जांच करती है ताकि वे बहुत बड़ी या बहुत छोटी न हो जाएं। लेकिन यहाँ तक कि इस सख्त आर्किटेक्ट में भी खामियां हैं: कभी-कभी टॉवर बहुत ऊंचा हो जाता है और ऊपरी मंजिलें सीखना बंद कर देती हैं, या निचली मंजिलें बहुत अधिक उत्साहित हो जाती हैं और पूरी संरचना हिलने लगती है। हाल ही में, "जियोडेसिक नॉर्मलाइजेशन" (Geodesic Normalization या GeoNorm) नामक एक नए विचार ने इसे ठीक करने की कोशिश की, जो यह कल्पना करता है कि टॉवर समतल जमीन पर नहीं, बल्कि एक विशाल, अदृश्य गोले (sphere) की सतह पर बना है। इस गोले पर, सूचना सबसे छोटे संभव पथ पर चलती है, जैसे पृथ्वी के ऊपर से उड़ता हुआ विमान, जो डेटा के आकार को पूरी तरह से स्थिर रखता है। यह एक शानदार विचार था, लेकिन जिन वैज्ञानिकों ने इसे बनाया, उन्होंने उस पथ को खींचने के लिए एक बहुत ही विशिष्ट, जटिल गणितीय उपकरण का उपयोग किया, यह मानते हुए कि यही एकमात्र तरीका है।

यह शोध पत्र, जिसका शीर्षक "स्फीयर रिट्रैक्शन नॉर्मलाइजेशन" (Sphere Retraction Normalizations) है, एक सरल लेकिन क्रांतिकारी प्रश्न पूछता है: "क्या वह विशिष्ट उपकरण गोले पर चलने का एकमात्र तरीका है, या वहां अन्य, बेहतर पथ भी हैं?" लेखकों, जी सांग (Jie Zhang), चेंग-फैंग सु (Cheng-Fang Su) और उनकी टीम ने गोले को एक कठोर, एकल-पथ वाले ट्रैक के रूप में देखने के बजाय, वक्र सतह (curved surface) पर चलने के तरीकों के पूरे परिवार को देखने का निर्णय लिया। उन्होंने खोजा कि जिस जटिल उपकरण (exponential map) का हर कोई उपयोग कर रहा था, वह वास्तव में एक स्पेक्ट्रम का केवल एक चरम छोर है। बीच का रास्ता तलाशते हुए, उन्होंने दो नए, सरल तरीके खोजे जो टॉवर को स्थिर रखने में उतने ही अच्छे हैं, लेकिन गणना करने में बहुत आसान हैं।

टीम ने तीन नई विधियाँ पेश कीं, जिन्हें वे सामूहिक रूप से "स्फीरेटॉर्म्स" (SpheretNorms) कहते हैं। गोले को एक विशाल ग्लोब के रूप में और सूचना को एक यात्री के रूप में सोचें। पुराना तरीका (GeoNorm) उस यात्री की तरह था जिसे एक बहुत ही विशिष्ट, घुमावदार सड़क का पालन करना पड़ता था जिसके लिए जटिल नेविगेशन उपकरणों की आवश्यकता होती थी। लेखरों ने दिखाया कि आप वास्तव में एक शॉर्टकट ले सकते हैं। उन्होंने दो नए "रिट्रैक्शंस" (गोले पर चलने के गणितीय शॉर्टकट) खोजे: एक जिसे Proj-SpheretNorm कहा जाता है, जो सीधे जमीन पर एक छाया (shadow) प्रोजेक्ट करने और फिर सतह पर वापस कदम रखने जैसा है, और दूसरा Cay-SpheretNorm, जो यात्री को अगले स्थान तक घुमाने के लिए एक चतुर ज्यामितीय ट्रिक का उपयोग करता है।

अपने विचारों को सिद्ध करने के लिए, शोधकर्ताओं ने केवल कागज पर गणित नहीं किया; उन्होंने "nanoGPT" नामक एक लोकप्रिय, हल्के AI मॉडल का उपयोग करके डिजिटल टावर बनाए। उन्होंने टेक्स्ट के दो विशाल डेटासेट्स पर इनका परीक्षण किया: OpenWebText और FineWeb-Edu। उन्होंने 12 परतों से लेकर 36 परतों तक की विभिन्न ऊंचाइयों वाले मॉडल बनाए, और लगभग 6.55 बिलियन टोकन (एक टोकन टेक्स्ट का एक हिस्सा है, जैसे एक शब्द या शब्द का हिस्सा) पर इन्हें प्रशिक्षित किया।

परिणाम आश्चर्यजनक थे। जबकि पुराना "GeoNorm" तरीका अच्छा था, लेकिन वह सर्वश्रेष्ठ नहीं था। वास्तव में, लेखकों ने पाया कि "परफेक्ट" पथ उस चरम छोर पर नहीं है जहाँ पुराना तरीका रहता है, बल्कि स्पेक्ट्रम के बीच में कहीं है। उन्होंने p-SpheretNorm नामक एक लचीला परिवार बनाया, जहाँ एक संख्या, p, यह नियंत्रित करती है कि यात्री कैसे चलता है।

जब p = 1 होता है, तो आपको "शैडो प्रोजेक्शन" विधि (Proj-SpheretNorm) मिलती है।
जब p = 2 होता है, तो आपको "ज्यामितीय ट्रिक" विधि (Cay-SpheretNorm) मिलती है।
जब p बहुत बड़ा हो जाता है, तो आप पुराने GeoNorm विधि को प्राप्त करते हैं।
जब p बहुत छोटा हो जाता है, तो आप मानक, समतल-जमीन वाली विधि प्राप्त करते हैं।

उनके प्रयोगों में, Proj-SpheretNorm (जहाँ p = 1 है) विजेता बनकर उभरा। मध्यम और बड़े मॉडलों पर, इसने सबसे कम ट्रेनिंग और वैलिडेशन लॉस हासिल किया, जिसने न केवल पुराने GeoNorm बल्कि Pre-LN, Peri-LN, और Keel जैसे अन्य लोकप्रिय तरीकों को भी पीछे छोड़ दिया। उदाहरण के लिए, FineWeb-Edu डेटासेट के साथ 24-लेयर मॉडल पर, इस नए तरीके ने 16.81 की वैलिडेशन पर्प्लेक्सिटी (एक स्कोर जहाँ कम होना बेहतर है) प्राप्त की, जबकि पिछले सर्वश्रेष्ठ तरीके (Peri-LN) की स्कोर 19.09 थी। OpenWebText डेटासेट पर भी इसने प्रतिस्पर्धा को समान रूप से पछाड़ दिया।

शायद सबसे महत्वपूर्ण बात यह है कि नए तरीके अविश्वसनीय रूप से स्थिर थे। कुछ परीक्षणों में, पुराने तरीके जैसे Pre-LN और Keel पूरी तरह से विफल हो गए, जहाँ उनके वैलिडेशन स्कोर 111.70 या 2081.50 जैसे नंबरों तक पहुंच गए, जिसका अर्थ है कि AI ने सीखना बंद कर दिया और रैंडम अनुमान लगाने लगा। इसके विपरीत, तीनों नए SpheretNorm तरीकों ने हर सेटिंग में, यहाँ तक कि सबसे गहरे 36-लेयर मॉडल में भी, सुचारू रूप से कन्वर्जेंस (convergence) दिखाया।

लेखकों ने इन मॉडलों का "डाउनस्ट्रीम टास्क" (downstream tasks) पर भी परीक्षण किया, जो कि AI को एक श्रृंखला में क्विज़ देने जैसा है ताकि देखा जा सके कि वह वास्तव में कितना स्मार्ट है। उन्होंने पढ़ने की समझ, तर्क पहेलियों और विज्ञान के प्रश्नों को कवर करने वाले 11 अलग-अलग बेंचमार्क का उपयोग किया। 1-SpheretNorm मॉडल (p=1 वाला संस्करण) ने FineWeb-Edu ट्रेनिंग डेटा पर 12 में से 11 मेट्रिक्स पर और OpenWebText डेटा पर 12 में से 10 मेट्रिक्स पर उच्चतम स्कोर किया। इसने विशेष रूप से "पर्प्लेक्सिटी" परीक्षणों में चमक दिखाई, जहाँ इसने LAMBADA डेटासेट पर कन्फ्यूजन स्कोर को 59.55 (सर्वश्रेष्ठ बेसलाइन) से घटाकर 46.74 कर दिया, जो एक बहुत बड़ा सुधार है।

शोध पत्र यह निष्कर्ष निकालता है कि GeoNorm में उपयोग किया जाने वाला एक्सपोनेंशियल मैप (exponential map) गोलाकार गति का "होली ग्रेल" (holy grail) नहीं है; यह केवल एक स्पेक्ट्रम का एक छोर है। स्पेक्ट्रम के उस अलग बिंदु को चुनकर (विशेष रूप से p=1), हम जटिल गणनाओं की आवश्यकता के बिना गहरे, अधिक स्थिर और अधिक सटीक AI मॉडल बना सकते हैं। लेखक सुझाव देते हैं कि यह न्यूरल नेटवर्क में परतों को जोड़ने के बारे में सोचने के एक नए तरीके को खोलता है, जो कठोर, एकल-पथ समाधानों से हटकर ज्यामितीय विकल्पों के एक लचीले परिवार की ओर बढ़ता है। हालांकि वे उल्लेख करते हैं कि ये तरीके हर प्रकार के AI आर्किटेक्चर (जैसे कि जिन्हें विशिष्ट सिमेट्री बनाए रखने की आवश्यकता होती है) के लिए काम नहीं कर सकते हैं, लेकिन उन्होंने सफलतापूर्वक दिखाया है कि हाइपरस्फीयर (hypersphere) पर, बेहतर पथों की एक पूरी दुनिया खोजे जाने के लिए प्रतीक्षा कर रही है।

तकनीकी सारांश: स्फीयर रिट्रैक्शन नॉर्मलाइजेशन (Sphere Retraction Normalizations)

समस्या विवरण
डीप न्यूरल नेटवर्क को स्थिरता के साथ प्रशिक्षित करना एक महत्वपूर्ण चुनौती बनी हुई है। मौजूदा पद्धतियां, जो मुख्य रूप से रेसिडुअल कनेक्शन और नॉर्मलाइजेशन (जैसे ट्रांसफॉर्मर्स में Pre-LN और Post-LN) पर निर्भर करती हैं, अंतर्निहित सीमाओं को प्रदर्शित करती हैं। Pre-LN आर्किटेक्चर "गहराई के अभिशाप" (curse of depth) से ग्रस्त होते हैं, जहाँ गहरे स्तर सीखने में घटते योगदान देते हैं, और अनबाउंडेड रेसिडुअल स्ट्रीम्स की अनुमति देते हैं जो विशाल एक्टिवेशन को संचित करते हैं, जिससे अटेंशन सिंक्स (attention sinks) उत्पन्न होते हैं। इसके विपरीत, Post-LN आर्किटेक्चर इनिशियलाइजेशन के पास बड़े ग्रेडिएंट्स का सामना करते हैं, जिसके लिए सावधानीपूर्वक लर्निंग-रेट वॉर्म-अप शेड्यूल्स की आवश्यकता होती है जो ऑप्टिमाइज़ेशन को धीमा कर देते हैं। जबकि GeoNorm जैसा हालिया कार्य रिमानियन ज्योमेट्री (Riemannian geometry) के माध्यम से हिडन स्टेट्स को एक हाइपरस्फीयर पर सीमित करके प्रशिक्षण को स्थिर करने का प्रयास करता है, यह पूरी तरह से अपडेट के लिए एक्सपोनेंशियल मैप (exponential map) पर निर्भर करता है। लेखक तर्क देते हैं कि एक्सपोनेंशियल मैप व्यापक रिट्रैक्शन मैप्स (retraction maps) के परिवार का केवल एक सदस्य है, जिससे यह प्रश्न उठता है कि क्या हाइपरस्फीयर पर वैकल्पिक रिट्रैक्शन बेहतर प्रदर्शन या स्थिरता प्रदान कर सकते हैं।

कार्यप्रणाली (Methodology)
यह शोध पत्र हाइपरस्फीयर पर रिट्रैक्शन मैप्स पर आधारित एक एकीकृत फ्रेमवर्क प्रस्तावित करता है, जिसे स्फीयर रिट्रैक्शन नॉर्मलाइजेशन (SpheretNorms) कहा जाता है।

एकीकृत ढांचा (Unified Framework): लेखक मानक रेसिडुअल कनेक्शन (RC) और GeoNorm को एक ही कम्प्यूटेशनल स्केलेटन के भीतर पुनर्गठित करते हैं जो एक मैनिफोल्ड $\mathcal{M}$ पर परिभाषित है। अपडेट नियम को इस प्रकार एब्स्ट्रैक्ट किया गया है:
$h_l = R_{h_{l-1}}\left[ \alpha_l \cdot \text{proj}_{T_{h_{l-1}}\mathcal{M}}(F_l(h_{l-1})) \right]$
जहाँ $R$ एक रिट्रैक्शन मैप है। जबकि GeoNorm हाइपरस्फीयर ( $S^{d-1}$ ) और एक्सपोनेंशियल मैप का चयन करता है, यह ढांचा अन्य रिट्रैक्शन्स की अनुमति देता है।
विशिष्ट इंस्टेंशिएशन्स (Specific Instantiations):
- Proj-SpheretNorm: यह फ्रेमवर्क को मेट्रिक प्रोजेक्शन रिट्रैक्शन (जिसे ग्नोमोनिक रिट्रैक्शन भी कहा जाता है) का उपयोग करके इंस्टेंशिएट करता है। इसमें वर्तमान अवस्था और अपडेट के वेक्टर योग को हाइपरस्फीयर पर लाने के लिए नॉर्मलाइज़ करना शामिल है।
- Cay-SpheretNorm: यह केली रिट्रैक्शन (स्टेरियोग्राफिक रिट्रैक्शन) का उपयोग करता है, जो वर्तमान अवस्था और अपडेट वेक्टर द्वारा उत्पन्न स्क्यू-सिमेट्रिक मैट्रिक्स के केली ट्रांसफॉर्म से प्राप्त होता है। यह एक क्लोज्ड-फॉर्म अलब्रािक अपडेट प्रदान करता है।
सामान्यीकरण (p-SpheretNorm): लेखक देखते हैं कि Proj-SpheretNorm और Cay-SpheretNorm दोनों एक प्लेनर-रोटेशन संरचना साझा करते हैं जहाँ अपडेट मैग्नीट्यूड को रोटेशन एंगल में परिवर्तित किया जाता है। वे एक एक-पैरामीटर परिवार, p-SpheretNorm पेश करते हैं, जो रोटेशन एंगल $\theta_l = p \arctan(\beta_l / p)$ द्वारा परिभाषित है, जहाँ $\beta_l$ एक नॉर्मलाइज्ड स्टेप साइज है।
- $p=1$ होने पर यह Proj-SpheretNorm को रिकवर करता है।
- $p=2$ होने पर यह Cay-SpheretNorm को रिकवर करता है।
- $p \to \infty$ होने पर यह GeoNorm की ओर अभिसरित (converge) होता है (एक्सपोनेंशियल मैप)।
- $p \to 0^+$ होने पर यह आइडेंटिटी मैपिंग की ओर अभिसरित होता है।
- महत्वपूर्ण रूप से, परिमित $p$ के लिए, रोटेशन एंगल संतृप्त (saturate) हो जाता है, जिससे एक्सपोनेंशियल मैप के विपरीत अनबाउंडेड ग्रोथ को रोका जा सकता है।
कार्यान्वयन विवरण (Implementation Details): स्थिरता सुनिश्चित करने के लिए, लेखक लर्न करने योग्य स्टेप साइज $\alpha_l$ के लिए एक डिके फैक्टर $\lambda_l = 1/\sqrt{l}$ का उपयोग करते हैं और हिडन स्टेट रेडियस को इनिशियलाइज़ करने के लिए पहले लेयर में एक संशोधित ScaleNorm लागू करते हैं।

मुख्य योगदान

सैद्धांतिक एकीकरण: यह शोध पत्र यूलिडियन रेसिडुअल कनेक्शन और GeoNorm को रिट्रैक्शन-आधारित अपडेट के रूप में एकीकृत करता है, यह प्रदर्शित करते हुए कि GeoNorm एक्सपोनेंशियल मैप द्वारा संचालित एक विशिष्ट रिमानियन रेसिडुअल कनेक्शन का एक मामला है।
नवीन नॉर्मलाइजेशन लेयर्स: यह दो नए, नॉर्म-प्रिजर्विंग नॉर्मलाइजेशन लेयर्स (Proj-SpheretNorm और Cay-SpheretNorm) पेश करता है जो पूरी तरह से अलब्रािक ऑपरेशन्स पर निर्भर हैं, जिससे एक्सपोनेंशियल मैप के लिए आवश्यक ट्रिगोनोमेट्रिक फंक्शन्स की कम्प्यूटेशनल लागत से बचा जा सकता है।
पैरामेट्रिक परिवार: यह विधियों को p-SpheretNorm में सामान्यीकृत करता है, जो एक सिंगल-पैरामीटर परिवार है जो आइडेंटिटी मैप, अलब्रािक रिट्रैक्शन्स और एक्सपोनेंशियल मैप के बीच के अंतर को पाटता है। लेखक सिद्ध करते हैं कि इस परिवार के सभी सदस्य समान फर्स्ट-ऑर्डर टेंगेंट डायनेमिक्स के साथ दूसरे क्रम के सेकंड-ऑर्डर रिट्रैक्शन्स हैं।
अनुभवजन्य श्रेष्ठता (Empirical Superiority): nanoGPT (36 लेयर्स तक, 6.55B टोकन्स) पर व्यापक प्रयोगों से पता चलता है कि 1-SpheretNorm (जो $p=1$ के अनुरूप है) OpenWebText और FineWeb-Edu डेटासेट्स पर Pre-LN, Pre-DyT, Peri-LN, Keel और GeoNorm की तुलना में सबसे कम प्री-ट्रेनिंग और वैलिडेशन लॉस और उच्चतम ज़ीरो-शॉट सटीकता प्राप्त करता है। विशेष रूप से, 1-SpheretNorm उन सेटिंग्स में भी कन्वर्ज होता है जहाँ Pre-LN और Keel डाइवर्ज (diverge) हो जाते हैं।

परिणाम

प्री-ट्रेनिंग: मीडियम (24 लेयर्स) और लार्ज (36 लेयर्स) मॉडल्स पर, 1-SpheretNorm ने सर्वश्रेष्ठ वैलिडेशन परप्लेक्सिटी प्राप्त की। उदाहरण के लिए, 24 लेयर्स पर FineWeb-Edu पर, इसने वैलिडेशन परप्लेक्सिटी को 19.09 (Peri-LN) से घटाकर 16.81 कर दिया।
स्थिरता: Pre-LN (जो मीडियम स्केल पर OpenWebText पर डाइवर्ज हुआ) और Keel (जो स्मॉल स्केल पर FineWeb-Edu पर डाइवर्ज हुआ) के विपरीत, सभी SpheretNorm वेरिएंट्स सभी परीक्षण की गई सेटिंग्स में कन्वर्ज हुए।
डाउनस्ट्रीम टास्क: FineWeb-Edu पर प्रशिक्षित लार्ज-साइज़ मॉडल्स पर, SpheretNorm वेरिएंट्स ने 12 में से 11 मेट्रिक्स में सर्वश्रेष्ठ स्कोर प्राप्त किया; OpenWebText पर, उन्होंने 12 में से 10 मेट्रिक्स में सर्वश्रेष्ठ स्कोर प्राप्त किया। लाभ्स सबसे अधिक परप्लेक्सिटी मेट्रिक्स (जैसे LAMBADA और WikiText-2) में स्पष्ट थे, जहाँ 1-SpheretNorm ने GeoNorm और अन्य बेसलाइन्स को काफी पीछे छोड़ दिया।
पैरामीटर संवेदनशीलता: परिणाम संकेत देते हैं कि इष्टतम प्रदर्शन परिमित $p$ (विशेष रूप से $p=1$ ) पर प्राप्त होता है, जो यह सुझाव देता है कि एक्सपोनेंशियल मैप (जब $p \to \infty$ ) गोलाकार रेसिडुअल स्ट्रीम्स के लिए पसंदीदा रिट्रैक्शन नहीं है, बल्कि केवल एक स्पेक्ट्रम का एक छोर है।

महत्व और दावे
शोध पत्र का दावा है कि हाइपरस्फीयर पर डीप कनेक्शन के लिए रिट्रैक्शन मैप का चुनाव एक महत्वपूर्ण डिज़ाइन विकल्प है। एक्सपोनेंशियल मैप से आगे बढ़कर अलब्रािक रिट्रैक्शन्स (विशेष रूप से मेट्रिक प्रोजेक्शन) का उपयोग करके, लेखक यह प्रदर्शित करते हैं कि बेहतर प्रदर्शन के साथ नॉर्म प्रिजर्वेशन और ट्रेनिंग स्थिरता प्राप्त करना संभव है। यह कार्य सुझाव देता है कि "एक्सपोनेंशियल मैप" हाइपरस्फीयर पर स्थिर डीप लर्निंग के लिए एक मौलिक आवश्यकता नहीं है, बल्कि एक व्यापक स्पेक्ट्रम में एक विशिष्ट बिंदु है। वे निष्कर्ष निकालते हैं कि डीप कनेक्शन तंत्रों को डिजाइन करना ग्राफ थ्योरी, ऑप्टिमाइज़ेशन और डायनेमिकल सिस्टम्स के चौराहे पर एक गणितीय समस्या है, और सूचना प्रसार (information propagation) और जैकोबियन कंडीशनिंग के बीच इष्टतम ट्रेड-ऑफ की पहचान करना भविष्य के कार्य के लिए एक खुला विषय बना हुआ है। वे स्पेशलाइज्ड आर्किटेक्चर (जैसे इक्विवेरिएंट न्यूरल नेटवर्क) के संबंध में सीमाओं और वर्तमान दायरे से परे बड़े पैमाने के मॉडल्स पर मूल्यांकन की आवश्यकता को स्वीकार करते हैं।

तकनीकी सारांश: स्फीयर रिट्रैक्शन नॉर्मलाइजेशन (Sphere Retraction Normalizations)

इसी तरह के और पेपर