🤖 machine learning

Inferring the Size of Large Language Models From Popular Text Memorization

यह शोध पत्र एक ब्लैक-बॉक्स पद्धति प्रस्तुत करता है जो लोकप्रिय ग्रंथों की उनकी स्मृति सटीकता (memorization accuracy) का विश्लेषण करके बड़े भाषा मॉडलों के पैरामीटर गणनाओं पर रूढ़िवादी निचली सीमाएं (conservative lower bounds) निकालता है, जिससे मॉडल आकारों की रैंकिंग सक्षम होती है और बंद-भार वाले सिस्टम (closed-weight systems) के लिए भी छिपी हुई उद्योग स्केलिंग रणनीतियों का खुलासा होता है।

मूल लेखक: Ivica Nikolic

प्रकाशित 2026-05-29

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ivica Nikolic

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कमरे में कदम रखते हैं जहाँ कई लोग एलिस इन वंडरलैंड या बाइबल जैसी प्रसिद्ध कहानियाँ सुना रहे हैं। आप उन्हें देख नहीं सकते, आप उनसे यह नहीं पूछ सकते कि उनके मस्तिष्क का आकार कितना बड़ा है, और आप उनकी नोट्स पर भी नज़र नहीं डाल सकते। आप केवल यह सुन सकते हैं कि वे वाक्य के बीच में रुकने पर आगे क्या कहते हैं।

यह ठीक वही समस्या है जिसका सामना शोधकर्ताओं ने आधुनिक एआई मॉडल (लार्ज लैंग्वेज मॉडल्स) के साथ किया। बड़ी टेक कंपनियाँ इन शक्तिशाली एआई को बनाती हैं लेकिन उनके "ब्लूप्रिंट" (खाके) गुप्त रखती हैं। वे आपको यह नहीं बताएंगी कि उनके एआई में कितने "न्यूरॉन्स" (पैरामीटर्स) हैं, जो किसी मॉडल की बुद्धिमत्ता या उसकी लागत को मापने का मानक तरीका है।

यह शोध पत्र एक चतुर "ब्लैक-बॉक्स" जासूसी पद्धति पेश करता है जिससे इन गुप्त एआई मस्तिष्क के आकार का अनुमान लगाया जा सके, और वह भी केवल यह सुनकर कि वे वाक्यों को कितनी अच्छी तरह से पूरा करते हैं।

मुख्य विचार: "मेमोरी टेस्ट" (स्मृति परीक्षण)

शोधकर्ताओं ने महसूस किया कि लगभग हर बड़ा एआई इंटरनेट के एक ही विशाल ढेर पर प्रशिक्षित है। इसका अर्थ है कि उन सभी ने एक ही लोकप्रिय किताबें, धार्मिक ग्रंथ और प्रसिद्ध दस्तावेज़ पढ़े हैं।

इसे एक मेमोरी कॉन्टेस्ट (स्मृति प्रतियोगिता) की तरह समझें। यदि आप किसी व्यक्ति को एक ऐसे वाक्य को पूरा करने के लिए कहते हैं जिसे उसने याद किया हुआ है, तो एक बड़े मस्तिष्क वाला व्यक्ति (अधिक पैरामीटर्स वाला) छोटे मस्तिष्क वाले व्यक्ति की तुलना में इसे अधिक बार सही ढंग से कर पाएगा।

उन्होंने इसे इस प्रकार परखा:

37 प्रसिद्ध, सार्वजनिक डोमेन वाली रचनाओं (जैसे हैमलेट, बाइबल और अमेरिकी संविधान) को चुना।
उन्हें हजारों छोटे-छोटे टुकड़ों में काट दिया।
विभिन्न एआई मॉडल से उन टुकड़ों में अगला शब्द अनुमान लगाने के लिए कहा।

उन्होंने एक स्पष्ट पैटर्न पाया: एआई जितना बड़ा होगा, वह इन प्रसिद्ध कहानियों में अगले शब्द का अनुमान लगाने में उतना ही बेहतर होगा। भले ही अन्य कारक (जैसे कि एआई को कैसे सिखाया गया) मायने रखते हों, लेकिन सफलता का सबसे बड़ा चालक मस्तिष्क का आकार था।

दो जासूसी उपकरण

इन "मेमोरी स्कोर" को आकार के अनुमान में बदलने के लिए, टीम ने दो अलग-अलग उपकरण बनाए:

1. "स्केलिंग लॉ" (एक मानचित्र)
कल्पना कीजिए कि आपके पास ज्ञात लोगों (ओपन-सोर्स एआई) का एक समूह है जिनके मस्तिष्क के आकार आप जानते हैं। आप उनके ज्ञात आकार के विरुद्ध उनके मेमोरी स्कोर को प्लॉट करते हैं और बिंदुओं को जोड़ने वाली एक चिकनी वक्र रेखा (कर्व) खींचते हैं। यह एक सीढ़ी की तरह दिखता है: जैसे-जैसे स्कोर ऊपर जाता है, आकार तेजी से (एक्सपोनेंशियल रूप से) बढ़ता है।

यह कैसे काम करता है: जब कोई गुप्त एआई परीक्षण देता है, तो आप देखते हैं कि वह सीढ़ी पर कहाँ आता है। यदि उसका स्कोर 100-बिलियन पैरामीटर वाले मॉडल जैसा है, तो आप अनुमान लगाते हैं कि वह लगभग उस आकार का है।
सावधानी: क्योंकि गुप्त एआई का निर्माण अलग तरह से हो सकता है (जैसे कि "मिक्सचर ऑफ एक्सपर्ट्स" मॉडल जहाँ एक समय में केवल मस्तिष्क का एक हिस्सा सक्रिय होता है), शोधकर्ताओं ने बहुत रूढ़िवादी होने का निर्णय लिया। वे सटीक आकार का अनुमान नहीं लगाते; वे एक न्यूनतम आधार (मिनिमम फ्लोर) का अनुमान लगाते हैं। वे कहते हैं, "यह एआई कम से कम इतना बड़ा है।"

2. "हेड-टू-हेड" टेस्ट (एक दौड़)
कभी-कभी, आपको सटीक संख्या की आवश्यकता नहीं होती; आपको बस यह जानने की आवश्यकता होती है कि कौन बड़ा है।

यह कैसे काम करता है: शोधकर्ता एक ही मेमोरी टेस्ट पर दो गुप्त एआई को एक-दूसरे के विरुद्ध खड़ा करते हैं। वे यह देखने के लिए एक सांख्यिकीय "दौड़" का उपयोग करते हैं कि क्या एक एआई दूसरे की तुलना में वाक्यों को पूरा करने में लगातार बेहतर है।
परिणाम: यदि एआई A दौड़ में एआई B को हरा देता है, तो वे आत्मविश्वास से कह सकते हैं, "एआई A निश्चित रूप से एआई B से बड़ा है," भले ही उन्हें सटीक संख्या का पता न हो।

उन्होंने क्या खोजा

टीम ने अपने तरीके का परीक्षण 19 ओपन-सोर्स मॉडल (जहाँ वे उत्तर जानते थे) पर किया और वे 95% बार सही रहे। फिर, उन्होंने अपना ध्यान OpenAI, Google, Anthropic और Alibaba जैसी कंपनियों के "गुप्त" मॉडलों पर केंद्रित किया।

यहाँ उद्योग की छिपी हुई रणनीतियों के बारे में उनके "जासूसी कार्य" ने क्या खुलासा किया:

"बिग ब्रेन" रणनीति (Google और Anthropic): ये कंपनियाँ विशाल पैरामीटर काउंट वाले मॉडल बनाने की ओर अग्रसर दिख रही हैं। उदाहरण के लिए, उनके शीर्ष-स्तरीय मॉडलों ने सैकड़ों अरबों पैरामीटर्स होने के संकेत दिए, जो बताता है कि वे प्रत्येक नई पीढ़ी के साथ बड़े होते जा रहे हैं।
"एफिशिएंसी" (दक्षता) रणनीति (OpenAI और Alibaba): आश्चर्यजनक रूप से, शोधकर्ताओं ने पाया कि OpenAI के नए मॉडल (जैसे GPT-4o और GPT-5 वेरिएंट) कच्चे पैरामीटर काउंट के मामले में अपने पुराने संस्करणों की तुलना में महत्वपूर्ण रूप से बड़े नहीं लग रहे हैं। वे एक "साइज़ सीलिंग" (आकार की सीमा) तक पहुँचते हुए प्रतीत होते हैं। मस्तिष्क को बड़ा बनाने के बजाय, वे बेहतर प्रशिक्षण या स्मार्ट एल्गोरिदम के माध्यम से मौजूदा मस्तिष्क को अधिक स्मार्ट बना रहे हैं।
पदानुक्रम की जाँच: इस पद्धति ने उत्पादों के आंतरिक रैंकिंग की सही पहचान की। उदाहरण के लिए, इसने बिना पहले से बताए सही ढंग से अनुमान लगाया कि Anthropic का "Opus" मॉडल, "Sonnet" से बड़ा है, जो "Haiku" से बड़ा है।

सीमाएँ (बारीक विवरण)

यह शोध पत्र इस बारे में बहुत ईमानदार है कि यह क्या नहीं कर सकता:

यह एक निचली सीमा (लोअर बाउंड) है: यह पद्धति सुरक्षित रहने के लिए डिज़ाइन की गई है। यह आपको बताएगी कि एआई कम से कम X आकार का है, लेकिन वास्तविक आकार इससे बहुत बड़ा हो सकता है। यह ऐसा ही है जैसे कहना, "यह बॉक्स कम से कम 10 पाउंड का है," जबकि वास्तव में यह 50 पाउंड का हो सकता है।
"MoE" की समस्या: कुछ आधुनिक एआई "मिक्सचर ऑफ एक्सपर्ट्स" आर्किटेक्चर का उपयोग करते हैं। कल्पना कीजिए कि एक पुस्तकालय है जहाँ पूरे स्टाफ के बजाय केवल कुछ विशिष्ट पुस्तकालयाध्यक्षों (लाइब्रेरियन) को प्रश्न का उत्तर देने के लिए बुलाया जाता है। क्योंकि शोधकर्ता यह नहीं देख सकते कि कुल कितने लाइब्रेरियन हैं बनाम कितने सक्रिय हैं, वे इन मॉडलों के लिए सटीक कुल संख्या प्राप्त नहीं कर सकते, केवल एक रूढ़िवादी न्यूनतम प्राप्त कर सकते हैं।
धोखाधड़ी नहीं: यह पद्धति मानती है कि एआई उन्हें धोखा देने की कोशिश नहीं कर रहा है। यदि कोई कंपनी जानबूझकर अपने एआई को प्रसिद्ध पुस्तकों को भूलने के लिए प्रोग्राम करती है ताकि वह अपने आकार को छिपा सके, तो यह पद्धति विफल हो जाएगी।

निष्कर्ष

यह शोध पत्र यह सिद्ध करता है कि आपको यह जानने के लिए कि उनका एआई कितना बड़ा है, कंपनी के गुप्त ब्लूप्रिंट की आवश्यकता नहीं है। केवल यह परीक्षण करके कि एक एआई प्रसिद्ध कहानियों को कितनी अच्छी तरह याद रखता है, आप एक विश्वसनीय "न्यूनतम आकार" का अनुमान लगा सकते हैं और यह उजागर कर सकते हैं कि कोई कंपनी अपने मॉडलों को बड़ा बनाकर विकसित कर रही है या उन्हें स्मार्ट बनाकर। यह एआई के "ब्लैक बॉक्स" को कुछ ऐसा बनाता है जिसके अंदर हम झाँक सकते हैं, भले ही हम सब कुछ न देख सकें।

तकनीकी सारांश: लोकप्रिय पाठ स्मृति (Text Memorization) से लार्ज लैंग्वेज मॉडल्स के आकार का अनुमान लगाना

1. समस्या का निरूपण (Problem Formulation)

एक लार्ज लैंग्वेज मॉडल (LLM) का कुल पैरामीटर काउंट ( $|f|$ ) क्षमताओं, लागत और प्रदर्शन तुलनाओं की व्याख्या करने के लिए एक प्राथमिक मीट्रिक है। हालाँकि, प्रमुख टेक कंपनियों (जैसे, OpenAI, Google, Anthropic) द्वारा विकसित सबसे उन्नत क्लोज्ड-वेट (closed-weight) मॉडल्स के लिए, यह मीट्रिक लगभग हमेशा गुप्त रखा जाता है। यह अपारदर्शिता क्लोज्ड और ओपन मॉडल्स की तुलना करने में अस्पष्टता पैदा करती है और API मूल्य निर्धारण (pricing) और लेटेंसी (latency) के आर्थिक चालकों को छिपा देती है।

यह शोध पत्र सख्त ब्लैक-बॉक्स बाधाओं (एक्सेस केवल प्रॉम्प्ट सबमिट करने और टेक्स्ट आउटपुट देखने तक सीमित है, बिना लॉजिट्स, वेट्स या हिडन स्टेट्स के एक्सेस के) के तहत दो विशिष्ट अनुमान समस्याओं को संबोधित करता है:

पूर्ण आकार अनुमान (Absolute Size Inference): एक अज्ञात मॉडल $f$ के पैरामीटर काउंट $|f|$ का अनुमान लगाना।
सापेक्ष आकार अनुमान (Relative Size Inference): यह निर्धारित करना कि क्या $|f| > (1 + \tau)|g|$ है, जहाँ $\tau > 0$ एक थ्रेशोल्ड है, जिससे यह स्थापित होता है कि क्या एक मॉडल दूसरे की तुलना में काफी बड़ा है।

मुख्य चुनौती ट्रेनिंग डेटा वितरण, इंस्ट्रक्शन ट्यूनिंग और आर्किटेक्चरल विकल्पों जैसे भ्रमित करने वाले चरों (confounding variables) से मॉडल के आकार के सिग्नल को अलग करना है, जो टेक्स्ट जनरेशन की गुणवत्ता को भी प्रभावित करते हैं।

2. कार्यप्रणाली (Methodology)

प्रस्तावित दृष्टिकोण इस अवलोकन पर आधारित है कि लोकप्रिय, व्यापक रूप से प्रसारित टेक्स्ट (जैसे, शास्त्रीय साहित्य, धार्मिक ग्रंथ, मौलिक दस्तावेज़) लगभग हर बड़े पैमाने के प्रीट्रेनिंग कॉर्पस में मौजूद होते हैं। लेखक परिकल्पना करते हैं कि इन स्मृतित (memorized) टेक्स्ट्स में अगले टोकन की सटीक भविष्यवाणी करने की मॉडल की क्षमता मौलिक रूप से उसके कुल पैरामीटर काउंट द्वारा सीमित होती है।

डेटा संग्रह और सिग्नल निष्कर्षण:

स्रोत टेक्स्ट (Source Texts): 37 लोकप्रिय पब्लिक-डोमेन टेक्स्ट्स (जैसे, Alice in Wonderland, The Bible) और 4 अस्पष्ट बेसलाइन टेक्स्ट्स का एक विविध सेट उपयोग किया गया है।
सटीकता मीट्रिक्स (Accuracy Metrics): एक मॉडल $M$ , टेक्स्ट $T$ , और प्रिफिक्स लेंथ $l$ के लिए, लेखक रॉ एक्यूरेसी ( $\hat{\alpha}_r$ ) और लिफ्टेड एक्यूरेसी ( $\hat{\alpha}_l = \hat{\alpha}_r - \hat{\beta}$ ) की गणना करते हैं, जहाँ $\hat{\beta}$ अस्पष्ट टेक्स्ट्स पर बेसलाइन एक्यूरेसी है।
एक्यूरेसी प्रोफाइल: कई प्रिफिक्स लेंथ और टेक्स्ट्स को सैंपल करके, यह विधि प्रत्येक मॉडल के लिए एक उच्च-आयामी एक्यूरेसी प्रोफाइल वेक्टर ( $A_{T,L}(M) \in \mathbb{R}^{2KL}$ ) बनाती है, जो विभिन्न संदर्भों में प्रदर्शन को एकत्रित करती है।

अनुमान ढांचा (Inference Framework):
यह शोध पत्र इन एक्यूरेसी प्रोफाइल्स को साइज एस्टीमेट्स में बदलने के लिए दो पूरक विधियाँ पेश करता है:

स्केलिंग-लॉ एस्टीमेटर (Absolute Inference):
- PCA प्रोजेक्शन: ज्ञात ओपन-वेट मॉडल्स के एक्यूरेसी प्रोफाइल्स से एक आयामी लेटेंट साइज इंडेक्स ( $z_M$ ) निकालने के लिए प्रिंसिपल कंपोनेंट एनालिसिस (PCA) लागू किया जाता है। यह इंडेक्स प्रदर्शन में डोमिनेंट वेरिएंस को कैप्चर करता है, जिसे पैरामीटर काउंट द्वारा संचालित माना जाता है।
- एक्सपोनेंशियल स्केलिंग: न्यूरल स्केलिंग लॉ के आधार पर, लेटेंट इंडेक्स $z$ और पैरामीटर काउंट $\theta$ के बीच संबंध को एक्सपोनेंशियल के रूप में मॉडल किया जाता है: $\hat{\theta}(z) = A \cdot e^{B \cdot z}$ । इस कर्व को ज्ञात आकार वाले ओपन-वेट मॉडल्स का उपयोग करके कैलिब्रेट किया जाता है।
- कंजर्वेटिव बाउंड (रूढ़िवादी सीमा): क्लोज्ड मॉडल्स के लिए, अनुमान इस कर्व से प्राप्त किया जाता है लेकिन क्रॉस-वैलिडेशन एरर मार्जिन के आधार पर इसे 0.5 के फैक्टर से एडजस्ट किया जाता है ताकि एक कंजर्वेटिव लोअर बाउंड प्राप्त हो सके।
पेयरवाइज स्टैटिस्टिकल टेस्ट (Relative Inference):
- ब्लॉक्ड साइन-परम्यूटेशन टेस्ट: दो मॉडल्स $f$ और $g$ की तुलना करने के लिए, यह विधि उनके एक्यूरेसी प्रोफाइल्स के अंतर की गणना करती है। क्योंकि एक ही टेक्स्ट के भीतर माप सह-संबंधित (correlated) होते हैं, इसलिए टेस्ट प्रत्येक स्रोत टेक्स्ट को एक "ब्लॉक" के रूप में मानता है।
- हाइपोथीसिस टेस्टिंग: एक वन-साइडेड ब्लॉक्ड साइन-परम्यूटेशन टेस्ट यह मूल्यांकन करता है कि क्या एक्यूरेसी का अंतर व्यवस्थित रूप से एक मॉडल के पक्ष में दूसरे मॉडल की तुलना में अधिक है। नल हाइपोथीसिस ( $H_0$ ) यह मानती है कि कोई व्यवस्थित लाभ नहीं है। $H_0$ का रिजेक्शन यह संकेत देता है कि बेहतर मॉडल संभवतः बड़ा है।
- थ्रेशोल्डिंग: टेस्ट यह निर्धारित करता है कि क्या $|f| > (1+\tau)|g|$ है, जिसमें एक कंट्रोल्ड फाल्स पॉजिटिव रेट का उपयोग किया जाता है।

दायरा और सीमाएं (Scope and Limitations):
यह विधि मानक इंटरनेट-स्केल कॉर्पस पर प्रशिक्षित सामान्य-उद्देश्य वाले मॉडल्स को मानती है। इसे विशेष रूप से उन मॉडल्स को बाहर रखने के लिए डिज़ाइन किया गया है जिनमें स्पेशलाइज्ड फाइन-ट्यूनिंग (जैसे, कोड-ओनली मॉडल्स) के कारण कैटास्ट्रोफिक फॉरगेटिंग होती है या जो रणनीतिक इवेजन (जैसे, सार्वजनिक टेक्स्ट का जानबूझकर अनलर्निंग) का उपयोग करते हैं। मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) आर्किटेक्चर के लिए, यह विधि कुल पैरामीटर काउंट का एक कंजर्वेटिव लोअर बाउंड प्रदान करती है, क्योंकि इन्फरेंस के दौरान सक्रिय पैरामीटर्स कुल का एक हिस्सा होते हैं।

3. मुख्य योगदान (Key Contributions)

मेमोराइजेशन-आधारित साइज सिग्नल: यह शोध पत्र प्रदर्शित करता है कि लोकप्रिय टेक्स्ट्स पर नेक्स्ट-टोकन एक्यूरेसी को एकत्रित करने से एक मजबूत, उच्च-आयामी सिग्नल प्राप्त होता है जो मॉडल के आकार के साथ दृढ़ता से सह-संबंधित है, भले ही आंतरिक मॉडल एक्सेस उपलब्ध न हो।
ड्यूल लोअर-बाउंड फ्रेमवर्क: यह PCA-ड्रिवन स्केलिंग-लॉ एस्टीमेटर और एक कठोर पेयरवाइज स्टैटिस्टिकल टेस्ट को संयोजित करने वाला एक दोहरा-विधि दृष्टिकोण प्रस्तावित करता है। किसी भी टारगेट मॉडल के लिए अंतिम अनुमान इन दोनों विधियों द्वारा उत्पादित बाउंड्स का अधिकतम (maximum) होता है।
वैलिडेशन और एप्लीकेशन: इस फ्रेमवर्क को 19 ओपन-वेट डेंस मॉडल्स (एब्सोल्यूट एस्टीमेशन के लिए $R^2 = 0.95$ और रिलेटिव टेस्टिंग के लिए ~90% प्रिसिजन/रिकॉल प्राप्त करते हुए), 16 ओपन-वेट MoE मॉडल्स, और 21 लोकप्रिय क्लोज्ड-वेट मॉडल्स पर मान्य किया गया है।

4. परिणाम (Results)

ओपन-वेट डेंस मॉडल्स: स्केलिंग-लॉ एस्टीमेटर ने कैलिब्रेशन सेट पर $R^2 = 0.9504$ और लीव-वन-आउट क्रॉस-वैलिडेशन में $0.9387$ प्राप्त किया। सभी भविष्यवाणियां एक फैक्टर-ऑफ-टू एरर बैंड के भीतर थीं।
ओपन-वेट MoE मॉडल्स: फ्रेमवर्क ने सभी 16 मूल्यांकित MoE मॉडल्स के लिए वैध लोअर बाउंड्स सफलतापूर्वक स्थापित किए। हालांकि, "टाइटनेस" (बाउंड और वास्तविक आकार का अनुपात) काफी भिन्न था (उदाहरण के लिए, WizardLM-2-8x22b के लिए 86% बनाम Mimo-v2-pro के लिए 11%), लेकिन बाउंड्स लगातार कंजर्वेटिव थे (कभी भी वास्तविक आकार से अधिक नहीं हुए)।
क्लोज्ड-वेट मॉडल्स: एंथ्रोपिक, गूगल, ओपनएआई और अलीबाबा के 21 मॉडल्स पर लागू होने पर, फ्रेमवर्क ने:
- आंतरिक प्रोडक्ट पदानुक्रमों को सही ढंग से रिकवर किया (जैसे, एंथ्रोपिक के लिए Opus > Sonnet > Haiku)।
- उद्योग की अलग-अलग स्केलिंग रणनीतियों को उजागर किया:
  - गूगल और एंथ्रोपिक: महत्वपूर्ण जेनरेशनल स्केलिंग दिखाई, जिसमें फ्लैगशिप मॉडल्स (जैसे, Claude Opus 4.6 433B पर, Gemini 3 Flash 405B पर) के लिए लोअर बाउंड 400B पैरामीटर्स से अधिक था।
  - ओपनएआई और अलीबाबा: सख्त पैरामीटर सीलिंग के तहत काम किया। फ्लैगशिप मॉडल्स जैसे GPT-4o और Qwen3.6-Max 110B के पास बाउंड थे, जो सुझाव देते हैं कि प्रदर्शन में सुधार भारी पैरामीटर विस्तार के बजाय एल्गोरिदम ऑप्टिमाइजेशन या डेटा क्वालिटी द्वारा संचालित है।
- छोटे वेरिएंट्स के लिए विशिष्ट बाउंड्स की पहचान की (जैसे, GPT-5.4-nano 2B पर, Claude Haiku 4.5 49B पर)।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि यह क्लोज्ड LLMs के छिपे हुए डिजाइन विकल्पों की जांच करने के लिए पहला व्यवस्थित, ब्लैक-बॉक्स पद्धति प्रदान करता है। यह प्रदर्शित करके कि मॉडल का आकार पब्लिक-डोमेन टेक्स्ट के मेमोराइजेशन में एक पता लगाने योग्य "फिंगरप्रिंट" छोड़ता है, लेखक दिखाते हैं कि:

पारदर्शिता: वेट्स या लॉजिट्स तक पहुंच के बिना मॉडल के आकार का कंजर्वेटिव लोअर बाउंड अनुमानित करना संभव है।
रणनीतिक अंतर्दृष्टि: यह विधि दर्शाती है कि उद्योग एक जैसा (monolithic) नहीं है; कुछ प्रदाता आक्रामक रूप से पैरामीटर्स को स्केल कर रहे हैं, जबकि अन्य पैरामीटर सीलिंग तक पहुँच गए प्रतीत होते हैं, और क्षमता सुधार के लिए अन्य लीवर्स पर निर्भर हैं।
मजबूती (Robustness): जब तक मेमोराइजेशन सिग्नल को जानबूझकर दबाया नहीं जाता, यह दृष्टिकोण सामान्य-उद्देश्य वाले मॉडल्स के लिए ट्रेनिंग डेटा और आर्किटेक्चर के बदलावों के प्रति मजबूत है।

लेखक विनम्र रहते हुए स्वीकार करते हैं कि बाउंड्स निर्माण के आधार पर कंजर्वेटिव हैं और MoE आर्किटेक्चर या रणनीतिक इवेजन वाले मॉडल्स के लिए सटीक पैरामीटर काउंट को रिकवर करना एक खुला विषय बना हुआ है। यह कार्य आंतरिक मेट्रिक्स को बदलने का दावा नहीं करता है बल्कि आधुनिक AI विकास के "ब्लैक बॉक्स" के लिए एक कठोर बाहरी प्रोब (external probe) प्रदान करता है।