💻 computer science

Scale Determines Whether Language Models Organize Representation Geometry for Prediction

यह शोध पत्र Subspace PGA को प्रस्तुत करता है जिससे यह पता चलता है कि जबकि भाषा मॉडल की प्रतिनिधित्व ज्यामिति (representation geometry) भविष्यवाणी के लिए व्यवस्थित होती है, छोटे मॉडल बाद की परतों में इस संरेखण (alignment) को खो देते हैं जो प्रमुख दिशाओं द्वारा छिपा हुआ एक क्षमता संबंधी समझौता (capacity trade-off) है, जबकि बड़े मॉडल प्रशिक्षण के दौरान इसे बनाए रखते हैं।

मूल लेखक: Weilun Xu

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Weilun Xu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: भाषा मॉडल अंतरिक्ष (Space) में कैसे "सोचते" हैं

कल्पना कीजिए कि एक भाषा मॉडल (जैसे वे जो निबंध लिखते हैं या आपसे चैट करते हैं) एक विशाल, बहु-मंजिला पुस्तकालय है। हर बार जब मॉडल एक शब्द पढ़ता है, तो वह एक "बुकमार्क" (एक प्रतिनिधित्व/representation) बनाता है और उसे पुस्तकालय की एक विशिष्ट अलमारी में, एक विशिष्ट कमरे (एक लेयर) में रखता है।

यह पेपर एक सरल प्रश्न पूछता है: ये बुकमार्क कैसे व्यवस्थित हैं?

लंबे समय तक, वैज्ञानिक अलमारियों के आकार को देखते रहे (क्या वे भीड़भाड़ वाली हैं? क्या वे खाली हैं?)। यह पेपर कुछ अलग पूछता है: क्या अलमारियाँ इस तरह व्यवस्थित हैं कि वे मॉडल को अगला शब्द अनुमान लगाने में मदद कर सकें?

लेखकों ने पाया कि उत्तर पूरी तरह से पुस्तकालय के आकार (मॉडल के स्केल) पर निर्भर करता है।

टूल: "प्रेडिक्शन कंपास" (Subspace PGA)

इसका उत्तर देने के लिए, लेखकों ने Subspace PGA नामक एक नया मापने वाला उपकरण बनाया।

सोचिए कि मॉडल का अंतिम लक्ष्य एक "टारगेट ज़ोन" (unembedding matrix, या $W_U$ ) है। यह वह विशिष्ट दिशा है जिसकी ओर मॉडल को सही ढंग से अगले शब्द का अनुमान लगाने के लिए इशारा करना चाहिए।

परीक्षण: लेखक पुस्तकालय के बीच के हिस्से से "बुकमार्क" लेते हैं और पूछते हैं: "यदि हम केवल उन दिशाओं को देखें जो टारगेट ज़ोन की ओर इशारा करती हैं, तो क्या बुकमार्क एक-दूसरे के सापेक्ष अभी भी अर्थपूर्ण रहते हैं?"
स्कोर (Z-score):
- उच्च सकारात्मक स्कोर (High Positive Score): बुकमार्क पूरी तरह से व्यवस्थित हैं। यदि आप अन्य सभी दिशाओं को अनदेखा भी कर दें, तो भी टारगेट ज़ोन की ओर इशारा करने वाली दिशाएं मानचित्र को थामे रखती हैं। पुस्तकालय अनुमान लगाने के लिए व्यवस्थित है।
- शून्य या नकारात्मक स्कोर (Zero or Negative Score): बुकमार्क बिखरे हुए हैं। टारगेट ज़ोन की ओर इशारा करने वाली दिशाएं किसी भी अन्य दिशा की तरह ही रैंडम (यादृच्छिक) हैं। पुस्तकालय ने अनुमान लगाने के लिए अपनी व्यवस्था खो दी है।

खोज: आकार मायने रखता है

शोधकर्ताओं ने विभिन्न आकारों के पुस्तकालयों का परीक्षण किया (70-मिलियन-पैरामीटर वाले छोटे मॉडल से लेकर 6.9-बिलियन-पैरामीटर वाले बड़े मॉडल तक)। उन्होंने दो बहुत अलग व्यवहार पाए:

1. बड़े पुस्तकालय (बड़े मॉडल)

"सीधा रास्ता" (The Direct Route)
बड़े मॉडलों (जैसे Pythia-1B और उससे बड़े) में, संगठन नीचे की मंजिल से लेकर ऊपर तक सुसंगत रहता है।

उपमा: एक विशाल हाईवे सिस्टम की कल्पना करें। आप चाहे कौन सा भी एग्जिट लें, सड़क के संकेत हमेशा स्पष्ट होते हैं और सीधे गंतव्य की ओर इशारा करते हैं। "टारगेट ज़ोन" की दिशाएं हमेशा सबसे महत्वपूर्ण होती हैं।
परिणाम: ज्यामिति (geometry) भविष्यवाणी के लिए पूरी यात्रा के दौरान व्यवस्थित रहती है।

2. छोटे पुस्तकालय (छोटे मॉडल)

"डेतूर/घुमावदार रास्ता" (The Detour)
छोटे मॉडलों (जैसे Pythia-410M और उससे छोटे) में, ऊपरी मंजिलों (बाद की लेयर्स) के पास कुछ अजीब होता है।

उपमा: एक छोटे, भीड़भाड़ वाले शहर की कल्पना करें। जैसे-जैसे आप निकास के करीब पहुँचते हैं, मुख्य सड़क एक विशाल, धीमी गति से चलने वाले ट्रक (एक "प्रमुख दिशा" या dominant direction of variance) द्वारा अवरुद्ध हो जाती है। यह ट्रक टारगेट ज़ोन की ओर नहीं जा रहा है; यह कहीं और जा रहा है।
समस्या: क्योंकि शहर छोटा है, वहां "टारगेट ज़ोन" वाली सड़क और "ट्रक" वाली सड़क, दोनों के लिए पर्याप्त जगह नहीं है। ट्रक पूरी सड़क पर कब्जा कर लेता है। टारगेट ज़ोन की ओर इशारा करने वाले संकेत एक तरफ धकेल दिए जाते हैं और अदृश्य हो जाते हैं।
ट्विस्ट: बिल्कुल आखिरी निकास (अंतिम लेयर) से पहले, मॉडल अचानक उस ट्रक को हटा देता है और संकेतों को वापस लगा देता है। अंतिम उत्तर अभी भी सही होता है, लेकिन वहां तक पहुँचने का रास्ता एक डेतूर (घुमावदार रास्ता) था।

सरल भाषा में मुख्य निष्कर्ष

1. "मास्किंग" प्रभाव (The Masking Effect)
पेपर का तर्क है कि छोटे मॉडल अनुमान लगाना भूल नहीं रहे हैं। जानकारी अभी भी वहीं है, लेकिन वह उस एक विशाल "ट्रक" दिशा द्वारा मास्क (छिपा दी गई) है।

प्रमाण: यदि आप कृत्रिम रूप से उस एक प्रमुख दिशा (ट्रक) को हटा देते हैं, तो छोटे मॉडल अचानक फिर से पूर्ण संगठन दिखाते हैं, ठीक बड़े मॉडलों की तरह। संरचना कभी नष्ट नहीं हुई थी; यह बस ढकी हुई थी।

2. लॉस कर्व्स झूठ बोलते हैं (Loss Curves Lie)
आमतौर पर, हम मॉडल को उसके "लॉस" (वह कितनी गलतियाँ करता है) से आंकते हैं।

आश्चर्य: छोटे मॉडल (डेतूर के साथ) और बड़े मॉडल (सीधे रास्ते के साथ), दोनों का एरर रेट (गलती की दर) समान कम होता है। दोनों अगले शब्द का समान रूप से सटीक अनुमान लगाते हैं।
सबक: आप केवल इसके एरर रेट को देखकर यह नहीं बता सकते कि मॉडल "व्यवस्थित" है या "डेतूर" पर है। एक मॉडल सटीक भविष्यवाणियां कर सकता है जबकि उसकी आंतरिक ज्यामिति पूरी तरह से बिखरी हुई हो सकती है।

3. पुराने टूल्स चूक गए
वैज्ञानिकों ने पहले ऐसे टूल्स का उपयोग किया जो डेटा के "आकार" (जैसे कि बुकमार्क कितने फैले हुए हैं) को मापते थे।

विफलता: इन पुराने टूल्स ने कहा कि छोटे और बड़े मॉडल एक जैसे दिखते हैं। वे यह नहीं देख सके कि छोटे मॉडल एक डेतूर ले रहे हैं। नया "प्रेडिक्शन कंपास" (Subspace PGA) ही इस अंतर को पकड़ने वाला पहला टूल है।

सारांश उपमा

कल्पना कीजिए कि दो शेफ एक ही सूप बना रहे हैं।

बड़ा शेफ (बड़ा मॉडल): शुरुआत से अंत तक सभी सामग्रियों को लेबल किए हुए कटोरे में व्यवस्थित रखता है। जब परोसने का समय आता है, तो सूप तैयार होता है।
छोटा शेफ (छोटा मॉडल): लेबल वाले कटोरों के साथ शुरुआत करता है। लेकिन आधे रास्ते में, वे सब कुछ एक विशाल, अराजक बर्तन में डाल देते हैं क्योंकि उनका किचन इतना छोटा है कि कटोरों को अलग रखना संभव नहीं है। वे इसे इधर-उधर मिलाते हैं (डेतूर)। हालांकि, परोसने से ठीक पहले, वे जादू से उस अराजकता से एकदम सही सूप निकाल लेते हैं और परोसते हैं।

परिणाम: दोनों शेफ स्वादिष्ट सूप (लो लॉस) परोसते हैं।
अंतर: बड़े शेफ का किचन पूरे समय काम के लिए व्यवस्थित था। छोटे शेफ का किचन प्रक्रिया के अधिकांश भाग के लिए अराजक और अव्यवस्थित था, जिसे उसने बिल्कुल आखिरी क्षण में ठीक किया।

निष्कर्ष: मॉडल का आकार न केवल यह निर्धारित करता है कि वह कितनी अच्छी तरह भविष्यवाणी करता है, बल्कि यह भी कि वह ऐसा करने के लिए अपनी आंतरिक दुनिया को कैसे व्यवस्थित करता है। छोटे मॉडल एक अराजक डेतूर लेते हैं; बड़े मॉडल एक सीधा रास्ता लेते हैं।

तकनीकी सारांश: स्केल यह निर्धारित करता है कि क्या भाषा मॉडल भविष्यवाणी के लिए प्रतिनिधित्व ज्यामिति (Representation Geometry) को व्यवस्थित करते हैं

समस्या विवरण

भाषा मॉडलों (LMs) में, एक प्रतिनिधित्व की अर्थ संबंधी सामग्री (semantic content) उसके प्रतिनिधित्व स्थान की ज्यामिति द्वारा निर्धारित होती है—विशेष रूपकर, बिंदुओं के बीच की दूरियों द्वारा, न कि उनके पूर्ण सक्रियणों (absolute activations) द्वारा। जबकि मौजूदा उपकरण इस ज्यामिति के आकार (जैसे रैंक, स्पेक्ट्रल डिके, क्रॉस-मॉडल अभिसरण) का लक्षण वर्णन करते हैं, वे इस कार्यात्मक प्रश्न को संबोधित नहीं करते हैं: यह ज्यामिति किस लिए व्यवस्थित है?

सैद्धांतिक ढांचे सुझाव देते हैं कि प्रतिनिधित्व मॉडल के प्रेडिक्टिव टास्क (predictive task) के इर्द-गिर्द व्यवस्थित होने चाहिए, विशेष रूप से अनएम्बेडिंग मैट्रिक्स $W_U$ के माध्यम से जो हिडन स्टेट्स को अगले-टोकन वितरण (next-token distribution) में मैप करता है। हालांकि, यह एक अनुभवजन्य प्रश्न बना हुआ है कि क्या मध्यवर्ती परतें (intermediate layers) अपनी दूरी संरचनाओं को इस रीडआउट सबस्पेस (readout subspace) के साथ संरेखित करती हैं। वर्तमान मेट्रिक्स, जैसे कि लॉग लेंस (Logit Lens - जो व्यक्तिगत बिंदुओं की डिकोडेबिलिटी का परीक्षण करता है) या स्पेक्ट्रल मेट्रिक्स (जो मैनिफोल्ड के आकार का वर्णन करते हैं), यह पकड़ने में विफल रहते हैं कि दूरियों की ज्यामितीय व्यवस्था कार्यात्मक रूप से भविष्यवाणी की ओर उन्मुख है या नहीं। इसके अलावा, यह अज्ञात है कि क्या यह संगठन सभी परतों और मॉडल स्केल्स में समान रूप से बना रहता है।

कार्यप्रणाली: सबस्पेस PGA

लेखक सबस्पेस प्रेडिक्टिव-जियोमेट्रिक एलाइनमेंट (Subspace PGA) पेश करते हैं, जो एक ऐसा मीट्रिक है जिसे इस बात को मापने के लिए डिज़ाइन किया गया है कि किसी परत की दूरी संरचना मॉडल के प्रेडिक्टिव रीडआउट के साथ कितनी संरेखित है।

रीडआउट सबस्पेस परिभाषा: अनएम्बेडिंग मैट्रिक्स $W_U$ को सिंगुलर वैल्यू डिकंपोजिशन (SVD) के माध्यम से विघटित किया जाता है। शीर्ष- $k$ राइट सिंगुलर वेक्टर्स रीडआउट सबस्पेस ( $V_k$ ) को परिभाषित करते हैं, जो उन दिशाओं का प्रतिनिधित्व करते हैं जिन्हें $W_U$ भविष्यवाणियां उत्पन्न करने के लिए हिडन स्पेस में सबसे अधिक बढ़ाता है।
दूरी संरक्षण (Distance Preservation): एक दिए गए लेयर $\ell$ के लिए, लेखक पूर्ण $d$ -आयामी स्थान ( $d_{full}$ ) और प्रोजेक्टेड रीडआउट सबस्पेस ( $d_{proj}$ ) में पेयरवाइज कोसाइन दूरियां (pairwise cosine distances) की गणना करते हैं।
नल डिस्ट्रीब्यूशन (Null Distribution): रीडआउट के विशिष्ट योगदान को अलग करने के लिए, लेखक $d_{full}$ और $d_{proj}$ के बीच स्पीयरमैन सहसंबंध (Spearman correlation) की तुलना एक नल डिस्ट्रीब्यूशन से करते हैं। यह नल डिस्ट्रीब्यूशन तब उत्पन्न होता है जब उन्हीं हिडन स्टेट्स को ग्रासमैनियन (Grassmannian) से समान रूप से सैंपल किए गए 100 रैंडम $k$ -आयामी सबस्पेस पर प्रोजेक्ट किया जाता है।
Z-स्कोर गणना: सबस्पेस PGA को ज़ेड-स्कोर के रूप में परिभाषित किया गया है:
$PGA(\ell) = \frac{\rho_{readout} - \mu_{null}}{\sigma_{null}}$
एक उच्च सकारात्मक $z$ इंगित करता है कि ज्यामिति भविष्यवाणी के लिए व्यवस्थित है (रीडआउट रैंडम सबस्पेस की तुलना में अधिक संरचना को संरक्षित करता है)। $z \approx 0$ का अर्थ है कोई विशेष संरेखण नहीं, और $z < 0$ का अर्थ है कि रीडआउट रैंडम सबस्पेस की तुलना में दूरी संरचना के साथ कम संरेखित है।
एनिसोट्रॉपी सुधार (Anisotropy Correction): डोमिनेंट वेरिएंस दिशा (जो कोसाइन सिमिलरिटी को बढ़ा देती है) को मेट्रिक को भ्रमित करने से रोकने के लिए, लेखक माध्य-सेंटरिंग (mean-centering) के बाद CCR-1 (लीडिंग प्रिंसिपल कंपोनेंट को हटाना) लागू करते हैं, और फिर दूरियों की गणना करते हैं।

मुख्य परिणाम

अध्ययन सात Pythia मॉडलों (70M से 6.9B पैरामीटर्स) और तीन क्रॉस-फैमिली मॉडलों (OLMo, Phi, Gemma) का मूल्यांकन करता है।

1. स्केल-डिपेंडेंट ऑर्गनाइजेशन (Scale-Dependent Organization)

बड़े मॉडल ( $d \ge 2048$ ): ये मॉडल सभी मध्यवर्ती परतों में मजबूत प्रेडिक्टिव ऑर्गनाइजेशन बनाए रखते हैं। $z$ -स्कोर महत्वपूर्ण रूप से सकारात्मक रहते हैं (मिड-लेयर्स में $z=9–24$ तक चरम पर), जो यह दर्शाता है कि दूरी संरचना लगातार रीडआउट सबस्पेस के साथ संरेखित है।
छोटे मॉडल ( $d \le 1024$ ): ये मॉडल एक "डिटूर" (detour) शासन प्रदर्शित करते हैं। हालांकि वे प्रशिक्षण के शुरुआती चरणों और शुरुआती परतों में प्रेडिक्टिव ऑर्गनाइजेशन स्थापित करते हैं, वे धीरे-धीरे लेट-बट-फाइनल लेयर्स (जैसे Pythia-410M में लेयर्स 20–23) में इस संरेखण को खो देते हैं। इन "कोलैप्स ज़ोन" में, $z$ -स्कोर काफी गिर जाते हैं (उदाहरण के लिए, $-32$ तक), जो यह दर्शाता है कि दूरी संरचना रीडआउट के साथ मिसअलाइन्ड हो जाती है, भले ही मॉडल का वैलिडेशन लॉस बेहतर होना जारी रहे।
रिकवरी (Recovery): छोटे मॉडलों में, अंतिम परत संरेखण को पुनः प्राप्त कर लेती है, आउटपुट से पहले ज्यामिति को वापस रीडआउट सबस्पेस में प्रोजेक्ट करती है।

2. तंत्र: क्षमता ट्रेड-ऑफ और मास्किंग (Mechanism: Capacity Trade-off and Masking)

छोटे मॉडलों में ऑर्गनाइजेशन का नुकसान प्रेडिक्टिव सूचना का विनाश नहीं है, बल्कि क्षमता संबंधी बाधाओं के कारण होने वाला एक मास्किंग (masking) प्रभाव है।

डोमिनेंट डायरेक्शन माइग्रेशन: छोटे मॉडलों की अंतिम परतों में, रेसिडुअल स्ट्रीम (PC1) में सबसे बड़े वेरिएंस की दिशा, रीडआउट सबस्पेस से हटकर "डार्क" दिशाओं (जो $W_U$ के लंबवत/ऑर्थोगोनल हैं) की ओर घूम जाती है।
मास्किंग: क्योंकि डोमिनेंट वेरिएंस दिशा अधिकांश दूरी संरचना को वहन करती है, रैंडम सबस्पेस (जो इस वेरिएंस के एक अंश को कैप्चर करते हैं) रीडआउट सबस्पेस के समान या उससे बेहतर तरीके से दूरी संरचना को संरक्षित कर सकते हैं। इससे $z$ -स्कोर गिर जाता है।
पुनर्स्थापना (Restoration): शीर्ष कुछ प्रिंसिपल कंपोनेंट्स को हटाने (CCR-5 या CCR-10) से $d \ge 768$ वाले सभी मॉडलों की परतों में सकारात्मक $z$ -स्कोर बहाल हो जाता है। यह पुष्टि करता है कि प्रेडिक्टिव संरचना बरकरार थी लेकिन कुछ डोमिनेंट, प्रेडिक्शन-अप्रासंगिक दिशाओं द्वारा अस्पष्ट (obscured) कर दी गई थी।

3. स्पेक्ट्रल मेट्रिक्स और लॉस से स्वतंत्रता

स्पेक्ट्रल अंधापन (Spectral Blindness): मानक स्पेक्ट्रल मेट्रिक्स (RankMe, $\alpha$ -ReQ, आइसोट्रॉपी, कंडीशन नंबर) इस अंतर का पता लगाने में विफल रहते हैं। छोटे मॉडलों के कोलैप्स ज़ोन में, स्पेक्ट्रल मेट्रिक्स स्थिर या फ्लैट रहते हैं जबकि सबस्पेस PGA 40 स्टैंडर्ड डेवििएशन से अधिक विस्थापित हो जाता है।
लॉस असंवेदनशीलता (Loss Insensitivity): वैलिडेशन लॉस कर्व्स छोटे और बड़े मॉडलों के बीच लगभग समान होते हैं, जो मध्यवर्ती परतों में होने वाले ज्यामितीय पुनर्गठन को पकड़ने में विफल रहते हैं।

4. क्रॉस-आर्किटेक्चर अभिसरण (Cross-Architecture Convergence)

रीडआउट सबस्पेस क्रॉस-आर्किटेक्चर अभिसरण संरचना को केंद्रित करता है। विभिन्न मॉडलों (जैसे Pythia बनाम OLMo) की तुलना करने पर, पेयरवाइज दूरियों का स्पीयरमैन सहसंबंध पूर्ण स्पेस या रैंडम सबस्पेस की तुलना में 100-आयामी रीडआउट सबस्पेस में अधिक होता है। यह सुझाव देता है कि विभिन्न मॉडलों के बीच जो ज्यामितीय रूप से सहमत है, वह विशेष रूप से प्रेडिक्टिव फंक्शन से जुड़ा हुआ है।

5. डाउनस्ट्रीम उपयोगिता (Downstream Utility)

बड़े मॉडलों में, उच्च सबस्पेस PGA $z$ -स्कोर वाली परतें डाउनस्ट्रीम टास्क (AG News) पर लीनियर प्रोब्स के लिए उच्च सटीकता भी प्रदान करती हैं। छोटे मॉडलों में, प्रोब सटीकता "कोलैप्स ज़ोन" में भी उच्च बनी रहती है जहाँ $z$ नकारात्मक है, जो आगे यह सिद्ध करता है कि अंतर्निहित फीचर्स संरक्षित हैं लेकिन केवल मिसअलाइन्ड हैं।

महत्व और दावे

पेपर का दावा है कि स्केल न केवल यह निर्धारित करता है कि मॉडल कितनी अच्छी तरह भविष्यवाणी करता है, बल्कि यह भी कि उसकी प्रतिनिधित्व ज्यामिति इसे करने के लिए कैसे व्यवस्थित है।

दो ज्यामितीय शासन (Two Geometric Regimes): लेखक दो शासन की पहचान करते हैं: एक "डायरेक्ट" शासन (बड़े मॉडल) जहाँ ज्यामिति भविष्यवाणी के साथ संरेखित रहती है, और एक "डिटूर" शासन (छोटे मॉडल) जहाँ लेट लेयर्स अस्थायी रूप से प्रेडिक्शन-अप्रासंगिक दिशाओं के माध्यम से कंप्यूटेशन को रूट करती हैं और फिर आउटपुट पर सुधार करती हैं।
कार्यात्मक अभिविन्यास (Functional Orientation): अध्ययन प्रतिनिधित्व ज्यामिति के आकार के लक्षण वर्णन से हटकर उसके कार्यात्मक अभिविन्यास को समझने की ओर स्थानांतरित होता है। यह प्रदर्शित करता है कि ज्यामिति अत्यधिक संरचित हो सकती है फिर भी कार्यात्मक रूप से मिसअलाइन्ड हो सकती है।
वर्तमान मेट्रिक्स की सीमाएं: यह कार्य रेखांकित करता है कि लॉस कर्व्स और स्पेक्ट्रल मेट्रिक्स मध्यवर्ती प्रतिनिधित्वों के कार्यात्मक संगठन को निदान करने के लिए अपर्याप्त हैं। सबस्पेस PGA इस घटना का पता लगाने के लिए एक टास्क-फ्री, डाइमेंशनलिटी-मैच्ड मीट्रिक प्रदान करता है।
क्षमता बनाम आर्किटेक्चर: इस घटना को आर्किटेक्चरल विशिष्टताओं के बजाय प्रतिनिधित्व क्षमता (चौड़ाई) के कारण माना जाता है, क्योंकि यह आयाम कम होने पर विभिन्न मॉडल परिवारों में देखा गया है।

लेखक निष्कर्ष निकालते हैं कि छोटे मॉडलों में "डिटूर" क्षमता की कमी के कारण होने वाला एक साइड इफेक्ट है, जो प्रेडिक्शन-अलाइन दिशाओं और इंटरमीडिएट कंप्यूटेशन दिशाओं के बीच टकराव को मजबूर करता है, न कि यह एक स्पष्ट रूप से सीखा गया रूटिंग स्ट्रैटेजी है। यह अंतर मानक ट्रेनिंग सिग्नल्स के लिए अदृश्य है लेकिन भाषा मॉडलों के आंतरिक तंत्र को समझने के लिए महत्वपूर्ण है।