🤖 machine learning

Representational Capacity: Geometric Limits on Feature Representation in Transformer Language Models

यह शोध पत्र नियर-ऑर्थोगोनल (निकट-लंबवत) फीचर दिशाओं की ज्यामितीय सीमाओं का विश्लेषण करके ट्रांसफॉर्मर लैंग्वेज मॉडल्स की रिप्रजेंटेशनल कैपेसिटी (प्रतिनिधित्व क्षमता) का अनुमान लगाने के लिए एक फ्रेमवर्क प्रस्तावित करता है, जो यह प्रकट करता है कि क्षमता ऑर्थोगोनैलिटी बाधाओं के प्रति घातीय रूप से संवेदनशील है और एक समायोजित सूत्र पेश करता है जो पारंपरिक सीमाओं की तुलना में भविष्यवाणी सटीकता में महत्वपूर्ण सुधार करता है।

मूल लेखक: Alexander Guha

प्रकाशित 2026-06-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alexander Guha

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र (paper) का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

मुख्य प्रश्न: एक मस्तिष्क कितनी चीज़ें रख सकता है?

कल्पना कीजिए कि आपके पास एक विशाल, खाली गोदाम है (यह AI मॉडल का "मस्तिष्क" या लेटेंट स्पेस (latent space) है)। गोदाम का आकार इसके आयामों ( $d_{model}$ ) द्वारा निर्धारित होता है।

लंबे समय तक, लोगों ने सोचा: "यदि मेरे पास 4,000 शेल्फ वाला एक गोदाम है, तो मैं केवल 4,000 अलग-अलग वस्तुएं ही रख सकता हूँ।" यदि एक वस्तु "बिल्ली" है और दूसरी "कुत्ता," तो उन्हें पूरी तरह से अलग, बिना छुए हुए शेल्फ पर होना चाहिए।

लेकिन यह शोध पत्र तर्क देता है कि AI मॉडल बहुत अधिक स्मार्ट हैं। वे सुपरपोजिशन (Superposition) नामक एक ट्रिक का उपयोग करते हैं। "बिल्ली" को एक शेल्फ पर और "कुत्ते" को दूसरे शेल्फ पर रखने के बजाय, वे उन्हें इस तरह व्यवस्थित करते हैं कि वे लगभग अलग शेल्फ पर हों, लेकिन थोड़ा ओवरलैप (overlap) करते हों। यह एक लाइब्रेरी में किताबों को इस तरह सटाकर रखने जैसा है कि वे एक-दूसरे की ओर झुकी हुई हों, फिर भी आप उन्हें पहचान सकें।

यह पेपर पूछता है: हम वास्तव में इस गोदाम में कितनी वस्तुएं रख सकते हैं इससे पहले कि वे आपस में टकराने लगें और एक गड़बड़ी बन जाएं?

मुख्य खोज: "झुकाव" की सीमा (The "Leaning" Limit)

लेखकों ने पाया कि इन "झुकी हुई" वस्तुओं के काम करने के लिए, उन्हें बहुत अधिक नहीं झुकना चाहिए। उन्हें लगभग सीधा खड़ा (ऑर्थोगोनल/orthogonal) होना चाहिए। यदि वे बहुत अधिक झुकते हैं, तो AI भ्रमित हो जाता है।

उन्होंने इस "झुकाव" की सीमा को मापा, जिसे वे $\epsilon$ (एप्सिलॉन) कहते हैं।

कम $\epsilon$ (सख्त): वस्तुएं लगभग बिल्कुल सीधी खड़ी हैं। वे बहुत बड़ी संख्या में वस्तुएं पैक कर सकती हैं, लेकिन उन्हें बहुत सावधान रहना होगा ताकि वे टकरा न जाएं।
उच्च $\epsilon$ (ढीला): वस्तुएं इधर-उधर झुकी हुई हैं। वे बहुत अधिक वस्तुएं पैक नहीं कर सकतीं बिना उनके आपस में टकराए।

आश्चर्य: शोधकर्ताओं ने दर्जनों AI मॉडलों का अध्ययन किया और पाया कि वे दो स्पष्ट समूहों में आते हैं:

"मेसी" (गड़बड़) समूह: इन मॉडलों में उच्च $\epsilon$ है। उनकी "किताबें" इतनी अधिक झुकी हुई हैं कि वे सुपरपोजिशन ट्रिक का प्रभावी ढंग से उपयोग नहीं कर रहे हैं।
"व्यवस्थित" समूह: इन मॉडलों में बहुत कम $\epsilon$ है। वे अपनी "किताबों" को लगभग बिल्कुल सीधा रखते हैं, जिससे वे एक छोटे स्थान में लाखों अवधारणाओं (concepts) को पैक कर पाते हैं।

पुराना गणित गलत था

पहले, वैज्ञानिक यह अनुमान लगाने के लिए एक प्रसिद्ध गणितीय नियम (जॉन्सन-लिंडेनस्ट्रास लेम्मा - Johnson-Lindenstrauss lemma) का उपयोग करते थे कि कितनी वस्तुएं फिट हो सकती हैं। यह नियम इस बात पर आधारित था कि यदि आप वस्तुओं को बस एक कमरे में फेंक देते हैं तो वे कैसे व्यवहार करती हैं।

यह पेपर कहता है: "प्रशिक्षित (trained) AI के लिए यह गणित पूरी तरह से गलत है।"

पुराना गणित: भविष्यवाणी करता था कि 4,000 शेल्फ वाले गोदाम में केवल 8 से 300 अलग-अलग वस्तुएं ही आ सकती हैं।
वास्तविकता: उसी मॉडल में 32,000 शब्द (इसका शब्दावली/vocabulary) और लाखों अन्य अवधारणाएं होती हैं।

पुराना गणित विफल रहा क्योंकि इसने माना कि वस्तुओं को बेतरतीब ढंग से रखा गया है। लेकिन AI मॉडल ऑप्टिमाइज़र (optimizers) के रूप में प्रशिक्षित होते हैं। वे केवल चीज़ों को अंदर नहीं फेंकते; वे उन्हें यथासंभव अधिक फिट करने के लिए सावधानीपूर्वक व्यवस्थित करते हैं, जैसे कि एक मास्टर टेट्रिस (Tetris) खिलाड़ी।

नया फॉर्मूला: यह अनुपात (Ratio) के बारे में है

लेखकों ने गणित को ठीक करने के लिए एक नया फॉर्मूला बनाया। उन्होंने पाया कि आप कितनी चीज़ें फिट कर सकते हैं, यह केवल वस्तुओं की संख्या पर नहीं, बल्कि वस्तुओं और गोदाम के आकार के अनुपात (ratio) पर निर्भर करता है।

इसे इस तरह सोचें:

यदि आपके पास एक छोटा कमरा है, तो आप कुछ ही लोगों को करीब खड़े होकर फिट कर सकते हैं।
यदि आपके पास एक विशाल स्टेडियम है, तो आप एक विशाल भीड़ को फिट कर सकते हैं, लेकिन घनत्व (प्रति वर्ग फुट लोग) कुल संख्या से अधिक महत्वपूर्ण है।

उनका नया फॉर्मूला दिखाता है कि प्रशिक्षित मॉडल पुराने रैंडम गणित की तुलना में कई गुना अधिक (orders of magnitude more) वस्तुएं पैक कर सकते हैं।

ट्रेड-ऑफ: स्थिरता बनाम क्षमता (Stability vs. Capacity)

बड़े मॉडलों (जिनमें अधिक "शेल्फ" हैं) के बारे में यहाँ सबसे दिलचस्प खोज है:

आप सोच सकते हैं कि बड़े मॉडल थोड़ा अधिक झुककर ( $\epsilon$ बढ़ाकर) अधिक से अधिक चीज़ों को पैक करने की कोशिश करेंगे। लेकिन पेपर ने इसके विपरीत पाया।

बड़े मॉडल वास्तव में अधिक सीधे खड़े होते हैं।

वे अपनी वस्तुओं को बहुत सख्ती से अलग रखने का विकल्प चुनते हैं (कम $\epsilon$ ), भले ही यह तकनीकी रूप से उन वस्तुओं की कुल संख्या को कम करता है जिन्हें वे फिट कर सकते थे।

क्यों? लेखक सुझाव देते हैं कि यह क्षमता (Capacity) (आप कितनी चीज़ें स्टोर कर सकते हैं) और स्थिरता (Stability) (आप उन्हें कितनी विश्वसनीयता से ढूंढ सकते हैं) के बीच का एक समझौता है।
यदि आप बहुत अधिक झुकते हैं, तो आप अधिक चीज़ें स्टोर कर सकते हैं, लेकिन आपको उनके आपस में टकराने का जोखिम उठाना पड़ता है जब AI उनका उपयोग करने की कोशिश करता है। बड़े मॉडल कच्ची क्षमता (raw capacity) के बजाय टकराने से बचने (not crashing) को प्राथमिकता देते हैं।

संक्षेप में (Summary in a Nutshell)

गोदाम: AI मॉडल अवधारणाओं को एक बहु-आयामी स्थान (multi-dimensional space) में दिशाओं के रूप में संग्रहीत करते हैं।
ट्रिक: वे इन अवधारणाओं को "लगभग-ऑर्थोगोनल" (लगभग सीधा, लेकिन थोड़ा झुका हुआ) बनाकर पैक करते हैं।
सीमा: वे कितना झुक सकते हैं, इसकी एक सख्त सीमा है इससे पहले कि वे भ्रमित हो जाएं। इस सीमा को $\epsilon$ कहा जाता है।
वर्ग: कुछ मॉडल मेसी (गड़बड़) हैं (उच्च $\epsilon$ ), लेकिन सर्वश्रेष्ठ मॉडल बहुत व्यवस्थित हैं (कम $\epsilon$ )।
गणित का सुधार: पुराने गणित ने कहा कि वे केवल कुछ ही चीज़ें रख सकते हैं। नया गणित (जो उनके वास्तविक प्रशिक्षण पर आधारित है) कहता है कि वे लाखों चीज़ें रख सकते हैं।
सबक: जैसे-जैसे मॉडल बड़े होते हैं, वे गोदाम को पूरी तरह भरने की कोशिश नहीं करते। इसके बजाय, वे यह सुनिश्चित करने के लिए कि वे भ्रमित न हों, अपनी चीज़ों को बहुत व्यवस्थित रखते हैं, जिससे वे कच्ची क्षमता के बजाय स्थिरता को महत्व देते हैं।

तकनीकी सारांश: ट्रांसफॉर्मर लैंग्वेज मॉडल्स में रिप्रजेंटेशनल कैपेसिटी (प्रतिनिधित्व क्षमता)

समस्या विवरण (Problem Statement)

यह शोध पत्र ट्रांसफॉर्मर-आधारित लैंग्वेज मॉडल्स के भीतर फीचर रिप्रेजेंटेशन (विशेषता प्रतिनिधित्व) की ज्यामितीय सीमाओं को समझने में मौजूद एक मौलिक अंतराल को संबोधित करता है। जबकि मॉडल डायमेंशन ( $d_{model}$ ) एक प्राथमिक हाइपरपैरामीटर है जो पैरामीटर काउंट और लेटेंट स्पेस के आकार को नियंत्रित करता है, यह विशिष्ट भूमिका कि यह अधिकतम प्रतिनिधित्व योग्य फीचर्स की संख्या को कैसे निर्धारित करता है, अभी भी कम खोजी गई है।

मौजूदा सिद्धांत, विशेष रूप से लीनियर रिप्रेजेंटेशन हाइपोथीसिस (फीचर्स लेटेंट स्पेस में दिशाओं के रूप में मौजूद होते हैं) और सुपरपोजिशन हाइपोथीसिस (मॉडल लगभग-ऑर्थोगोनल दिशाओं का उपयोग करके आयामों से अधिक अवधारणाओं का प्रतिनिधित्व करते हैं), यह सुझाव देते हैं कि प्रतिनिधित्व योग्य फीचर्स की संख्या लेटेंट स्पेस की ज्यामिति द्वारा सीमित होती है। हालांकि, मानक सैद्धांतिक सीमाएं, जैसे कि जॉनसन-लिंडेनस्ट्रॉस (JL) लेम्मा, रैंडम प्रोजेक्शन की धारणाओं पर निर्भर करती हैं। शोध पत्र का तर्क है कि ये मानक सीमाएं 'ट्रेन्ड' (प्रशिक्षित) रिप्रेजेंटेशन्स की पैकिंग दक्षता को बहुत कम आंकती हैं, और यह समझाने में विफल रहती हैं कि हजारों आयामों वाले मॉडल कैसे दसियों हजार या लाखों की शब्दावली (vocabulary) और फीचर सेट्स को सपोर्ट कर सकते हैं।

कार्यप्रणाली (Methodology)

1. एम्बेडिंग्स के माध्यम से स्वीकृत विचलन ( $\epsilon$ ) का अनुमान लगाना

लेखक पूरे लेटेंट स्पेस के निकट-ऑर्थोगोनैलिटी (near-orthogonality) संबंधी बाधाओं के लिए एक मापने योग्य प्रॉक्सी के रूप में एम्बेडिंग मैट्रिक्स का उपयोग करने का प्रस्ताव देते हैं।

तर्क: इनिशियलाइजेशन (आरंभ) के समय, रैंडम वेट्स ऑर्थोगोनल वन-हॉट टोकन वेक्टर्स को $R^{d_{model}}$ में मैप करते हैं, जिसके परिणामस्वरूप हाई-डायमेंशनल ज्योमेट्री के कारण लगभग-ऑर्थोगोनल एम्बेडिंग्स प्राप्त होते हैं। ट्रेनिंग इस संरचना को बनाए रखते हुए अर्थपूर्ण लेक्सिकल और सिमेंटिक संबंधों के अनुरूप कोसाइन सिमिलैरिटी डिस्ट्रीब्यूशन में एक "राइट टेल" (right tail) विकसित करती है।
मेट्रिक परिभाषा: लेखक $\epsilon$ (पूर्ण ऑर्थोगोनैलिटी से स्वीकृत विचलन) को परिभाषित करते हैं, जो आकस्मिक समानता और अर्थपूर्ण संबंधों के बीच की सीमा है। वे इसे एम्बेडिंग मैट्रिक्स के पेयरवाइज कोसाइन सिमिलैरिटी डिस्ट्रीब्यूशन के $\mu + 2\sigma$ के रूप में एक ह्यूरिस्टिक (अनुमानित) तरीके से अनुमानित करते हैं, जहाँ $\mu$ और $\sigma$ क्रमशः माध्य (mean) और मानक विचलन (standard deviation) हैं।
वर्गीकरण: इस मेट्रिक को दर्जनों ओपन-सोर्स मॉडल्स पर लागू किया गया है ताकि उन्हें उनकी निकट-ऑर्थोगोनैलिटी के पालन के आधार पर वर्गीकृत किया जा सके।

2. एक समायोजित क्षमता सूत्र (Adjusted Capacity Formula) का व्युत्पन्न करना

शोध पत्र मानक JL लेम्मा की आलोचना करता है, जो यह प्रतिपादित करता है कि $k$ निकट-ऑर्थोगोनल वेक्टर्स की संख्या $k \leq \exp(d \cdot \epsilon^2 / C)$ के रूप में स्केल करती है।

अनुभवजन्य विफलता (Empirical Failure): मानक फॉर्मूला (यहाँ तक कि अनुभवजन्य रूप से कड़े किए गए कांस्टेंट्स के साथ भी) को Llama 2 7B जैसे प्रशिक्षित मॉडल्स पर लागू करने से क्षमता अनुमान (जैसे, ~277 दिशाएं) वास्तविक वोकैबुलरी साइज (32,000) से कई गुना कम प्राप्त होता है।
ऑप्टिमाइजेशन सिमुलेशन: ऑप्टिमाइज्ड वेक्टर्स की पैकिंग दक्षता को समझने के लिए, लेखक रैंडम यूनिट वेक्टर्स को इनिशियलाइज करते हैं और ग्रैम मैट्रिक्स के ऑफ-डायगोनल एलिमेंट्स पर एक हाई-एक्सपोनेंट पेनल्टी को मिनिमाइज करते हैं (जो ग्रेडिएंट डिसेंट का अनुकरण करता है)।
फॉर्मूला एडजस्टमेंट: सिमुलेशन डेटा को फिट करके, लेखक एक संशोधित संबंध निकालते हैं जहाँ क्षमता केवल कच्चे काउंट $k$ के बजाय वेक्टर्स और डायमेंशन्स के अनुपात ( $k/d$ ) पर निर्भर करती है। नया संबंध है:
$\epsilon = \sqrt{\frac{C \cdot \ln(k/d)}{d}} \implies k \leq d \cdot \exp\left(\frac{d \cdot \epsilon^2}{C}\right)$
यह सिंगल-पैरामीटर संशोधन मानक JL बाउंड की तुलना में प्रेडिक्शन एरर को दो ऑर्डर ऑफ मैग्नीट्यूड कम कर देता है।

3. रिप्रजेंटेशनल कैपेसिटी (प्रतिनिधित्व क्षमता) को परिभाषित करना

एम्बेडिंग्स से अनुमानित $\epsilon$ और समायोजित सूत्र को जोड़कर, शोध पत्र रिप्रजेंटेशनल कैपेसिटी को एम्बेडिंग्स, अनएम्बेडिंग्स और फीचर्स के लिए उपलब्ध विशिष्ट निकट-ऑर्थोगोनल दिशाओं की मात्रात्मक ऊपरी सीमा के रूप में परिभाषित करता है।

मुख्य परिणाम (Key Results)

1. दो अलग-अलग मॉडल वर्ग

दर्जनों मॉडल्स के विश्लेषण से $\epsilon$ के आधार पर दो वर्गों में विभाजन का पता चलता है:

क्लास 1 (हाई $\epsilon$ ): कम $d_{model}$ और व्यापक सिमिलैरिटी डिस्ट्रीब्यूशन ( $\epsilon > 0.2$ ) वाले मॉडल्स। इन मॉडल्स में एम्बेडिंग स्तर पर निकट-ऑर्थोगोनल संरचना की कमी होती है और ये सुपरपोजिशन का उसी तरह उपयोग नहीं करते हैं। इनमें से कई मॉडल्स टाइड (tied) एम्बेडिंग/अनएम्बेडिंग मैट्रिक्स का उपयोग करते हैं।
क्लास 2 (लो $\epsilon$ ): उच्च $d_{model}$ और शून्य के पास क्लस्टर्ड टाइट डिस्ट्रीब्यूशन ( $\epsilon < 0.1$ ) वाले मॉडल्स। ये मॉडल्स सख्त निकट-ऑर्थोगोनल बाधाओं को बनाए रखते हैं, जो सक्रिय सुपरपोजिशन के उपयोग के अनुरूप है।

2. क्षमता अनुमान और संवेदनशीलता (Capacity Estimates and Sensitivity)

परिमाण (Magnitude): क्लास 2 मॉडल्स के लिए, रिप्रजेंटेशनल कैपेसिटी $\sim 10^5$ से $\sim 10^{10}-10^{11}$ तक फैली हुई है। उदाहरण के लिए, Llama 2 7B ( $d_{model}=4096, \epsilon=0.0645$ ) का अनुमानित क्षमता लगभग 40 मिलियन दिशाएं है, जो इसकी वोकैबुलरी और स्पार्स ऑटोएनकोडर्स (SAEs) के माध्यम से निकाले गए लाखों फीचर्स को आसानी से समाहित करती है।
संवेदनशीलता: क्षमता $\epsilon$ के प्रति एक्सपोनेंशियल रूप से संवेदनशील है। विचलन के लिए स्वीकार्य सहनशीलता में मामूली वृद्धि (जैसे, 0.05 से 0.09) क्षमता में छह-ऑर्डर-ऑफ-मैग्निट्यूड की छलांग लगा सकती है, जिससे $\epsilon$ , $d_{model}$ की तुलना में अधिक प्रभावी लीवर बन जाता है।
स्केलिंग ट्रेंड्स: क्लास 2 के भीतर, बड़े मॉडल्स कच्चे क्षमता (raw capacity) को अधिकतम करने के बजाय टाइट ऑर्थोगोनैलिटी कंस्ट्रेंट्स (कम $\epsilon$ ) को प्राथमिकता देते हैं। यह सुझाव देता है कि एक ट्रेड-ऑफ है जहाँ बड़े मॉडल्स रॉ ज्योमेट्रिक रूम के बजाय आंतरिक स्थिरता और विश्वसनीय फीचर रिट्रीवल को प्राथमिकता देते हैं।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि यह ट्रांसफॉर्मर में फीचर रिप्रेजेंटेशन की ज्यामितीय सीमाओं का अनुमान लगाने के लिए पहला मात्रात्मक ढांचा प्रदान करता है। इसके मुख्य योगदान हैं:

सैद्धांतिक सीमाओं का अनुभवजन्य सुधार: यह प्रदर्शित करता है कि मानक ज्यामितीय सीमाएं (JL लेम्मा) प्रशिक्षित मॉडल्स के लिए अपर्याप्त हैं और एक अनुभवजन्य रूप से समायोजित सूत्र प्रदान करता है जो देखी गई पैकिंग दक्षता के साथ संरेखित होता है।
एक साझा संसाधन का परिमाणीकरण: यह "रिप्रजेंटेशनल कैपेसिटी" को एक सीमित ज्यामितीय संसाधन के रूप में परिभाषित करता है जो एम्बेडिंग्स, अनएम्बेडिंग्स और फीचर्स द्वारा साझा किया जाता है, और जो ओवरलैप के प्रति मॉडल की सहनशीलता ( $\epsilon$ ) द्वारा नियंत्रित होता है।
डायग्नोस्टिक इनसाइट: यह ढांचा प्रकट करता है कि सभी मॉडल्स सुपरपोजिशन का समान रूप से उपयोग नहीं करते हैं; हाई- $\epsilon$ और लो- $\epsilon$ मॉडल्स के बीच का अंतर लेटेंट स्पेस को व्यवस्थित करने के तरीके में मौलिक संरचनात्मक अंतर का सुझाव देता है।
डिज़ाइन निहितार्थ: लेखक सुझाव देते हैं कि $d_{model}$ का चयन, जो वर्तमान में अक्सर ह्यूरिस्टिक (जैसे 2 की घात) होता है, सैद्धांतिक रूप से क्षमता लक्ष्यों द्वारा निर्देशित किया जा सकता है। वे एक संभावित "सीलिंग" (छत) की परिकल्पना करते हैं, जिसके बाद ज्यामितिक स्थान बढ़ाने से घटते प्रतिफल (diminishing returns) मिलते हैं, और बड़े मॉडल्स स्थिरता बनाए रखने के लिए स्वाभाविक रूप से टाइट ऑर्थोगोनैलिटी की ओर बढ़ सकते हैं।

सीमाएं और सावधानियां (Limitations and Caveats)

शोध पत्र स्पष्ट रूप से कुछ सीमाओं को नोट करता है:

परिकल्पित सामान्यीकरण (Hypothetical Generalization): यह धारणा कि एम्बेडिंग ज्योमेट्री व्यापक लेटेंट स्पेस (मध्यवर्ती फीचर्स सहित) को दर्शाती है, एक प्रेरित परिकल्पना है, कोई सिद्ध तथ्य नहीं।
ह्यूरिस्टिक थ्रेशोल्ड: $\epsilon$ के लिए $\mu + 2\sigma$ थ्रेशोल्ड एक ह्यूरिस्टिक है। चूंकि क्षमता $\epsilon^2$ के प्रति एक्सपोनेंशियल रूप से संवेदनशील है, इसलिए पूर्ण क्षमता मान अविश्वसनीय हैं, हालांकि मॉडल्स के बीच सापेक्ष तुलना सूचनात्मक बनी रहती है।
ज्यामितीय बनाम कम्प्यूटेशनल: व्युत्पन्न क्षमता 'ज्यामितिक संभावना' की एक सीमा है, न कि 'कम्प्यूटेशनल उपयोग' की। यह इस बात का लेखा-जोखा नहीं लेती कि मॉडल का आर्किटेक्चर (डेप्थ, अटेंशन हेड्स) उपलब्ध दिशाओं की अधिकतम संख्या को प्रभावी ढंग से सीख या प्रोसेस कर सकता है या नहीं।
डेटा की कमी: बड़े मॉडल्स द्वारा टाइट ऑर्थोगोनैलिटी को प्राथमिकता देने का अवलोकन $d_{model} > 6000$ वाले सीमित डेटा पॉइंट्स पर आधारित है।