कल्पना कीजिए कि आप शुद्ध विचार से बने एक विशाल, अदृश्य बादल के आकार को समझने की कोशिश कर रहे हैं। यह आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया है, विशेष रूप से एक लार्ज लैंग्वेज मॉडल (LLM) के "मस्तिष्क" की। ये मॉडल केवल शब्द संग्रहीत नहीं करते; वे अपने द्वारा पढ़े गए प्रत्येक वाक्य को एक जटिल, बहु-आयामी मानचित्र (map) में बदल देते हैं। इन मानचित्रों की जटिलता को समझने के लिए, वैज्ञानिक इंट्रिन्सिक डाइमेंशनैलिटी (Intrinsic Dimensionality - ID) नामक उपकरण का उपयोग करते हैं। ID को इस तरह समझें कि यह मापने का एक तरीका है कि डेटा कितना "फैला हुआ" या "भीड़भाड़ वाला" है। यदि विचारों का एक समूह बहुत सरल है, तो वे एक साथ एक छोटे, सपाट घेरे में सिमटे हो सकते हैं (कम ID)। यदि वे अत्यंत जटिल और विविध हैं, तो वे एक विस्तृत, उच्च-आयामी जंगल की तरह फैल सकते हैं (उच्च ID)। वैज्ञानिक ID का उपयोग यह अनुमान लगाने के लिए करना पसंद करते हैं कि कोई मॉडल कितना स्मार्ट है या कोई कार्य कितना कठिन है, यह मानते हुए कि एक उच्च संख्या एक समृद्ध, अधिक जटिल संरचना का संकेत देती है। लेकिन यहाँ एक पेंच है: क्या होगा यदि वह संख्या विचारों के बारे में कुछ भी नहीं बता रही है, बल्कि केवल इस बारे में बता रही है कि हमने उन्हें कैसे गिना है?

यह पहेली अरवा ओसमान, मार्को बारोनी और यूरी मैकोको ने अपने शोध पत्र, "लोकल एंड ग्लोबल रेजीम्स ऑफ ज्योमेट्रिक कॉम्प्लेक्सिटी इन लैंग्वेज मॉडल रिप्रेजेंटेशन्स" में सुलझाई है। उन्होंने खोजा कि एक भाषा मॉडल के मस्तिष्क की "जटिलता स्कोर" (ID) एक निश्चित सत्य नहीं है। इसके बजाय, यह इस बात पर निर्भर करता है कि आप उसे कितने अलग-अलग शब्द खिलाते हैं बनाम आप उन्हें कितनी बार दोहराते हैं—यह एक स्विच की तरह बदल जाता है। उन्होंने पाया कि यदि आपके पास अद्वितीय शब्दों की एक छोटी भीड़ है, तो मॉडल आश्चर्यजनक रूप से जटिल दिखता है। लेकिन यदि आपके पास अद्वितीय शब्दों की एक विशाल भीड़ है, तो मॉडल और भी अधिक जटिल दिखता है—लेकिन एक पूरी तरह से अलग कारण से। सबसे आश्चर्यजनक बात? यदि आप दो प्रकार के शब्दों (जैसे "संज्ञा" और "पूर्वसर्ग") की तुलना करते हैं बिना यह नियंत्रित किए कि प्रत्येक समूह में कितने अद्वितीय शब्द हैं, तो आप उल्टा उत्तर प्राप्त कर सकते हैं। वास्तव में, जो "जटिलता" हम देखते हैं, वह केवल शब्दावली के आकार के कारण उत्पन्न एक दृष्टि भ्रम (optical illusion) हो सकती है, न कि शब्दों की वास्तविक कठिनाई।

द ग्रेट वोकैबुलरी स्विचिरो (The Great Vocabulary Switcheroo)

इसे समझने के लिए, आइए भाषा मॉडल के मस्तिष्क की कल्पना एक विशाल, जादुई डांस फ्लोर के रूप में करें। हर बार जब मॉडल एक शब्द देखता है, तो वह उस शब्द को एक मुद्रा (pose) बनाने के लिए डांस फ्लोर पर एक नर्तक भेजता है। यदि मॉडल "बिल्ली" शब्द को एक हज़ार बार देखता है, तो वह एक हज़ार "बिल्ली" नर्तक भेजता है। भले ही वे सभी "बिल्ली" के नर्तक हों, वे वाक्य के आधार पर थोड़ा अलग तरीके से मुद्रा बना सकते हैं (जैसे, "बिल्ली सोती है" बनाम "बिल्ली कूदती है")।

शोधकर्ताओं ने यह जानना चाहा: अद्वितीय शब्दों की संख्या (lexical diversity) इस डांस फ्लोर के आकार को कैसे बदलती है?

उन्होंने 10,000 नमूनों के एक डेटासेट का उपयोग करके एक बड़ा प्रयोग किया। उन्होंने 11 अलग-अलग परिदृश्य बनाए। एक परिदृश्य में, उन्होंने केवल 1 अद्वितीय संज्ञा (जैसे "बिल्ली") का उपयोग किया जिसे 10,000 बार दोहराया गया। दूसरे परिदृश्य में, उन्होंने 10,000 अद्वितीय संज्ञाओं (जैसे "बिल्ली," "कुत्ता," "हाथी," आदि) का उपयोग किया, जिसमें प्रत्येक शब्द केवल एक बार आया। फिर उन्होंने GRIDE नामक एक विशेष पैमाने का उपयोग करके नर्तकों की मुद्राओं की "इंट्रिन्सिक डाइमेंशनैलिटी" (ID) को मापा।

दो शासन: स्थानीय बनाम वैश्विक (The Two Regimes: The Local vs. The Global)

परिणाम चौंकाने वाले थे। अद्वितीय शब्दों की संख्या और जटिलता स्कोर के बीच का संबंध माप के पैमाने के आधार पर बदल गया।

1. स्थानीय शासन (The "Crowded Room" Effect - भीड़भाड़ वाला कमरा)
जब शोधकर्ताओं ने एक छोटा माप पैमाना (एक समय में केवल कुछ पड़ोसियों को देखना) उपयोग किया और उनके पास कम लेक्सिकल डाइवर्सिटी (कम अद्वितीय शब्द, बहुत अधिक दोहराव) थी, तो कुछ अजीब हुआ। उनके पास जितने कम अद्वितीय शब्द थे, जटिलता स्कोर उतना ही अधिक था।

• उपमा: कल्पना कीजिए कि एक डांस फ्लोर पर केवल एक प्रकार के नर्तक हैं (मान लीजिए, "बिल्लियाँ")। यदि आपके पास 10,000 बिल्लियाँ हैं, तो वे सब एक साथ घनीभूत हैं। लेकिन क्योंकि वे इतनी अधिक हैं, उन्हें एक-दूसरे से टकराने से बचने के लिए हर सूक्ष्म और बारीक तरीके से अलग मुद्रा खोजने के लिए मजबूर होना पड़ता है। किसी भी अकेली बिल्ली के आसपास का "स्थानीय" क्षेत्र विविधताओं से भरा हुआ है। पैमाना इस घने, भीड़भाड़ वाले बदलाव को देखता है और कहता है, "वाह, यह एक बहुत ही जटिल, उच्च-आयामी स्थान है!"
• परिणाम: कम अद्वितीय शब्द = उच्च ID (इस विशिष्ट स्थानीय दृश्य में)।

2. वैश्विक शासन (The "Massive Parade" Effect - विशाल परेड)
जब उन्होंने एक बड़े माप पैमाने पर स्विच किया या अद्वितीय शब्दों की संख्या बढ़ाई, तो नियम बदल गया। अब, अधिक अद्वितीय शब्दों के होने से उच्च जटिलता स्कोर मिला।

• उपमा: अब कल्पना कीजिए कि 10,000 अलग-अलग प्रकार के नर्तकों (बिल्लियाँ, कुत्ते, हाथी, अंतरिक्ष यात्री, आदि) की एक परेड है। प्रत्येक प्रकार का अपना विशिष्ट स्थान है। किसी भी एकल नर्तक के आसपास का "स्थानीय" क्षेत्र खाली है क्योंकि पास में कोई अन्य "बिल्ली" नहीं है जो उन्हें भीड़भाड़ दे सके। इसके बजाय, पैमाना पूरी परेड को देखता है और देखता है कि नर्तक संभावनाओं के पूरे ब्रह्मांड में फैले हुए हैं। स्थान बहुत बड़ा है क्योंकि वहाँ बहुत सारे अलग-अलग प्रकार की चीजें हैं।
• परिणाम: अधिक अद्वितीय शब्द = उच्च ID (इस वैश्विक दृश्य में)।

जादुई स्विच पॉइंट (The Magic Switch Point)

सबसे रोमांचक हिस्सा यह है कि लेखकों ने केवल यह देखा नहीं कि यह बदलाव कहाँ होता है; उन्होंने सटीक भविष्यवाणी भी की कि यह कहाँ होगा।

उन्होंने एक सरल, सटीक सूत्र निकाला जहाँ नियम "कम शब्द = उच्च ID" से बदलकर "अधिक शब्द = उच्च ID" हो जाता है। यह स्विच तब होता है जब अद्वितीय शब्दों की संख्या ($n$) कुल नमूनों ($N$) को माप पैमाने ($k$) से विभाजित करने के बराबर होती है।

• सूत्र: $n = N / k$
• इसका अर्थ: यदि आप 128 नर्तकों के एक पड़ोस ($k=128$) को देख रहे हैं और आपके पास 10,000 कुल नमूने ($N=10,000$) हैं, तो स्विच तब होता है जब आपके पास ठीक 78 अद्वितीय शब्द ($10,000 / 128 \approx 78$) होते हैं।
• प्रमाण: उन्होंने इसका परीक्षण दो अलग-अलग विशाल AI मॉडल (Qwen3-8B और Meta-Llama-3-8B) पर किया और पाया कि स्विच हर बार इसी अनुमानित संख्या पर हुआ। यह कोई अनुमान नहीं था; यह इस बात पर आधारित एक गणितीय निश्चितता थी कि डेटा कैसे व्यवस्थित है।

यह क्यों महत्वपूर्ण है (और हम गलत क्यों थे)

यह खोज उन वैज्ञानिकों के लिए एक बड़ी चेतावनी है जो इन उपकरणों का उपयोग करते हैं। यह शोध पत्र दिखाता है कि यदि आप समूहों के बीच तुलना करते समय यह नियंत्रित नहीं करते कि उनमें कितने अद्वितीय शब्द हैं, तो आप पूरी तरह से उल्टा उत्तर प्राप्त कर सकते हैं।

"संज्ञा बनाम पूर्वसर्ग" का जाल (The "Noun vs. Preposition" Trap):
लेखकों ने एक क्लासिक उदाहरण दिखाया। एक प्राकृतिक पाठ में, "संज्ञाएं" (जैसे कुत्ता, घर, विचार) हजारों अद्वितीय शब्द होती हैं, जबकि "पूर्वसर्ग" (जैसे में, पर, में/at) केवल कुछ दर्जन होते हैं।

• मानक दृष्टिकोण: यदि आप केवल संज्ञाओं बनाम पूर्वसर्गों की जटिलता को मापते हैं, तो संज्ञाएं बहुत अधिक जटिल, उच्च-आयामी स्थान में रहती हुई दिखाई देंगी। आप सोच सकते हैं, "संज्ञाएं कितनी समृद्ध और विविध हैं!"
• वास्तविकता: लेखकों ने दोनों समूहों को इस तरह मिलाया कि दोनों में ठीक 25 अद्वितीय शब्द हों। अचानक, परिणाम उलट गया! पूर्वसर्ग अब संज्ञाओं की तुलना में अधिक जटिल दिखाई देने लगे।
• सबक: मूल अंतर इसलिए नहीं था क्योंकि संज्ञाएं "बेहतर" या "अधिक जटिल" थीं। यह एक आर्टिफैक्ट (एक त्रुटि) था जो इस तथ्य के कारण हुआ कि संज्ञाओं में हजारों अद्वितीय प्रकार थे और पूर्वसर्गों में केवल कुछ ही थे। मापन उपकरण केवल अद्वितीय शब्दों की गिनती के प्रति प्रतिक्रिया दे रहा था, न कि शब्दों की प्रकृति के प्रति।

निष्कर्ष (The Takeaway)

यह शोध पत्र हमें सिखाता है कि जब हम एक AI के मस्तिष्क के "आकार" को देखते हैं, तो हमें बहुत सावधान रहना चाहिए कि हम वास्तव में क्या माप रहे हैं।

• यदि आप दोहराए जाने वाले शब्दों के एक छोटे समूह को देख रहे हैं, तो जटिलता स्कोर आपको बताता है कि मॉडल उस एक शब्द के लिए विभिन्न संदर्भों में अपनी मुद्रा को कितनी विविधता देता है।
• यदि आप अद्वितीय शब्दों के एक विशाल समूह को देख रहे हैं, तो जटिलता स्कोर आपको बताता कि पूरी शब्दावली कितनी फैली हुई है।

ये दो अलग-अलग चीजें हैं। आप यह जाने बिना सीधे उनकी तुलना नहीं कर सकते कि आप दो अलग-अलग शासन (regimes) को माप रहे हैं। लेखों ने यह बताने के लिए एक सटीक गणितीय नियम पाया कि आप किस शासन में हैं। यह एक याद दिलाने वाला उदाहरण है कि AI की दुनिया में, कभी-कभी सबसे "जटिल" दिखने वाले नंबर केवल इस बात का प्रतिबिंब होते हैं कि हमने प्रयोग को कैसे सेट किया है, न कि मशीन के मन का कोई गहरा रहस्य। मॉडल की ज्यामिति का "सत्य" पूरी तरह से उस पैमाने पर निर्भर करता है जिस पर आप देखना चुनते हैं।