🤖 AI

On the Smallness of the Large Language Models Scaling Exponents

यह शोध पत्र तर्क देता है कि वर्तमान लार्ज लैंग्वेज मॉडल स्केलिंग एक्सपोनेंट्स (scaling exponents) एक अस्थिर ऊर्जा शासन का संकेत देते हैं, जो गैर-शून्य लॉस लिमिट्स (non-zero loss limits) के "पेडस्टल प्रभाव" (pedestal effect) को ध्यान में रखने के बाद भी बना रहता है, और साथ ही इन एक्सपोनेंट्स पर डेटा स्मूथनेस (data smoothness) के प्रभाव पर चर्चा करने के लिए फ्लूइड टर्बुलेंस (fluid turbulence) से सादृश्य प्रस्तुत करता है।

मूल लेखक: Sauro Succi, Peter V. Coveney, Alex Hansen

प्रकाशित 2026-06-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sauro Succi, Peter V. Coveney, Alex Hansen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "On the Smallness of the Large Language Models" शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

बड़ी तस्वीर: "बड़ा ही बेहतर है" की समस्या

कल्पित कीजिए कि आप एक रोबोट को पूरी तरह से बोलना सिखाने की कोशिश कर रहे हैं। एआई (AI) की दुनिया में वर्तमान नियम यह है: "रोबोट जितना बड़ा होगा, वह उतना ही बेहतर बोलेगा।" यह विचार, जिसे "नो-वॉल" (no-wall) खोज कहा जाता है, यह सुझाव देता है कि यदि आप बस अधिक डेटा और अधिक कंप्यूटर शक्ति जोड़ते रहते हैं, तो रोबोट हमेशा स्मार्ट होता जाएगा।

हालाँकि, इस शोध पत्र के लेखक तर्क देते हैं कि यह रणनीति अस्थिर (unsustainable) है। उनका कहना है कि हम ऊर्जा की खपत की दीवार से टकरा रहे हैं, भले ही हम अभी बुद्धिमत्ता की दीवार से न टकराए हों।

मुख्य समस्या: घटता हुआ प्रतिफल (Diminishing Returns)

यह शोध पत्र यह समझाने के लिए एक सरल गणितीय अवधारणा का उपयोग करता है कि यह एक समस्या क्यों है। कल्पना कीजिए कि आप एक बहुत ही गंदी खिड़की को साफ करने की कोशिश कर रहे हैं।

लक्ष्य: खिड़की को पूरी तरह से साफ करना (शून्य त्रुटि)।
वर्तमान वास्तविकता: खिड़की को केवल आधा कम गंदा करने के लिए, आपको दोगुना प्रयास करने की आवश्यकता नहीं है। आपको 1,000 गुना अधिक प्रयास की आवश्यकता है।

लेखक बताते हैं कि वर्तमान लार्ज लैंग्वेज मॉडल्स (LLMs) में एक "स्केलिंग एक्सपोनेंट" (एक संख्या जो मापती है कि वे कितनी तेजी से बेहतर होते हैं) बहुत छोटा (लगभग 0.05 से 0.1) है।

उपमा: यदि आप AI के प्रदर्शन में थोड़ा सा सुधार करना चाहते हैं, तो आपको इसे ढेर सारा नया डेटा खिलाना होगा और भारी मात्रा में बिजली जलानी होगी। यह एक पहाड़ी पर पत्थर को धकेलने जैसा है जो ऊपर जाने के साथ-साथ और भी खड़ी होती जाती है। शोध पत्र का तर्क है कि यह ऊर्जा संसाधनों के लिए एक मृत अंत (dead end) है।

"पेडस्टल" रक्षा: हम बस इंतज़ार क्यों नहीं कर सकते?

कुछ आलोचक कहते हैं, "चिंता न करें! हमें वास्तव में AI को पूर्ण (शून्य त्रुटि) होने की आवश्यकता नहीं है। हमें बस इतना 'अच्छा' चाहिए कि वह बकवास करना बंद कर दे। हम प्रशिक्षण तब रोक देते हैं जब वह नीचे पहुँच जाता है।"

लेखक इसे "पेडस्टल प्रभाव" (Pedestal Effect) कहते हैं। वे एक फर्श (पेडस्टल) की कल्पना करते हैं जिससे AI की त्रुटियाँ, चाहे आप उसे कितना भी डेटा दे दें, कभी नीचे नहीं जा सकतीं।

शोध पत्र का खंडन: भले ही हम यह स्वीकार कर लें कि हमें पूर्णता की आवश्यकता नहीं है, फिर भी गणित काम नहीं करता है। लेखक दिखाते हैं कि क्योंकि "फर्श" शुरुआती बिंदु के सापेक्ष बहुत ऊँचा है, इसलिए "पर्याप्त अच्छा" वाला क्षेत्र इतनी जल्दी प्राप्त हो जाता है कि छोटा स्केलिंग एक्सपोनेंट अभी भी लागू होता है।
रूपक: कल्पना कीजिए कि आप एक बाथटब भरने की कोशिश कर रहे हैं। आप तर्क देते हैं, "मुझे इसे ऊपर तक भरने की आवश्यकता नहीं है; मुझे बस इसमें कुछ इंच पानी चाहिए।" लेखक कहते हैं, "भले ही आपका लक्ष्य इतना कम हो, लेकिन नल इतना धीरे टपक रहा है कि उन कुछ इंचों को पाने में आपको लाखों साल लग जाएंगे, और इससे पहले कि आप वहां तक पहुँचें, आपकी पानी (ऊर्जा) खत्म हो जाएगी।"

संख्याएँ इतनी छोटी क्यों हैं? (डेटा की "खुरदरापन")

शोध पत्र पूछता है: AI इतनी धीरे क्यों बेहतर हो रहा है?

वे AI प्रशिक्षण की तुलना द्रव विक्षोभ (fluid turbulence) से करते हैं (जैसे नदी में घूमता हुआ पानी या उठता हुआ धुआं)।

चिकना बनाम खुरदरा: यदि आप एक चिकपे, अनुमानित पैटर्न (जैसे एक सीधी रेखा) को सीखने की कोशिश कर रहे हैं, तो आप तेजी से सीखते हैं। लेकिन वास्तविक दुनिया का डेटा (भाषा, चित्र, जटिल प्रणालियाँ) "खुरदरा" और अराजक है, जैसे एक तूफानी समुद्र।
फ्रैक्टल संबंध: लेखक भौतिकी से एक उपमा का उपयोग करते हैं। एक तूफान में, ऊर्जा समान रूप से नहीं फैली होती है; यह छोटे, अराजक भंवरों में केंद्रित होती है। तूफान को समझने के लिए, आपको उन छोटे भंवरों को देखना होगा।
परिणाम: क्योंकि डेटा "खुरदरा" और अराजक है, इसलिए AI को पैटर्न खोजने के लिए बहुत अधिक मेहनत करनी पड़ती है। शोध पत्र सुझाव देता है कि डेटा का "खुरदरापन" स्केलिंग एक्सपोनेंट को बहुत कम रखने के लिए मजबूर करता है।

"हिडन मैप" (छिपा हुआ मानचित्र) सिद्धांत

शोध पत्र शर्मा और कपलान (SK) के एक सिद्धांत का संदर्भ देता है जो बताता है कि सीखने की गति डेटा के इंट्रिन्सिक डायमेंशन (Intrinsic Dimension) पर निर्भर करती है।

उपमा: एक पुस्तकालय की कल्पना करें।
- एम्बेडिंग स्पेस (Embedding Space) (पुस्तकालय का आकार) बहुत बड़ा है—शायद लाखों अलमारियाँ।
- इंट्रिन्सिक डायमेंशन (Intrinsic Dimension) (वास्तविक कहानी वाले वास्तविक पुस्तकों की संख्या) बहुत छोटी है, लेकिन फिर भी बहुत बड़ी है।
समस्या: भले ही LLMs उस विशाल पुस्तकालय में छिपी हुई "वास्तविक कहानी" (डेटा का संपीड़न) खोजने में अद्भुत हैं, लेकिन "वास्तविक कहानी" अभी भी बहुत जटिल (बहुत अधिक आयामों वाली) है, जिसे AI दुनिया की ऊर्जा आपूर्ति जलाए बिना कुशलतापूर्वक सीख नहीं सकता।

निष्कर्ष: "बड़ा" के पीछे भागना बंद करें

लेखक निष्कर्ष निकालते हैं कि "बड़ा ही बेहतर है" वाला दृष्टिकोण ऊर्जा के जलने (burnout) का नुस्खा है।

निर्णय: AI चाहे कितना भी स्मार्ट क्यों न हो जाए, यदि डेटा जटिल और "खुरदरा" है, तो इसे थोड़ा और स्मार्ट बनाने के लिए आवश्यक ऊर्जा हमेशा बहुत अधिक होगी।
सुझाया गया मार्ग: केवल बड़े, मूर्ख मॉडल बनाने के बजाय जो अधिक बिजली खाते हैं, हमें वापस मौलिक भौतिकी-जागरूक मॉडलों (जिन्हें "वर्ल्ड मॉडल्स" कहा जाता है) की ओर जाने की आवश्यकता है। ये वे प्रणालियाँ हैं जो समझते हैं कि दुनिया कैसे काम करती है (जैसे गुरुत्वाकर्षण या कार्य-कारण संबंध) न कि केवल एक विशाल डेटाबेस में पैटर्न को याद करती हैं।

संक्षेप में: हम एक जटिल पहेली को हल करने के लिए उसमें अधिक से अधिक लोगों को झोंकने की कोशिश कर रहे हैं, लेकिन पहेली इतनी कठिन है कि पहेली सुलझाने से पहले ही हमारे पास कॉफी (ऊर्जा) खत्म हो रही है। हमें रणनीति बदलने की जरूरत है, न कि केवल और अधिक कार्यकर्ता जोड़ने की।

समस्या विवरण
यह शोध पत्र लार्ज लैंग्वेज मॉडल (LLM) के विकास के वर्तमान प्रक्षेपवक्र (trajectory) की स्थिरता को संबोधित करता है, जो "नो-वॉल" (no-wall) निष्कर्ष से प्रेरित है: यह अवलोकन कि मॉडल के आकार और डेटा की मात्रा बढ़ने के साथ LLM का प्रदर्शन निरंतर बेहतर होता रहता है। हालांकि इसने "बड़ा ही बेहतर है" (bigger is better) के मंत्र को जन्म दिया है, लेखक तर्क देते हैं कि इस सुधार को नियंत्रित करने वाले स्केलिंग घातांक (scaling exponents) खतरनाक रूप से छोटे हैं (आमतौर पर $\alpha \approx 0.05 \div 0.10$ )। व्यावहारिक रूप से, 0.1 का घातांक यह दर्शाता है कि लॉस फंक्शन (loss function) को आधा करने के लिए $2^{10} = 1024$ गुना अधिक कम्प्यूटेशनल संसाधनों की आवश्यकता होगी। लेखकों का तर्क है कि "घटते प्रतिफल" (diminishing returns) का यह युग ऊर्जा खपत के संबंध में वर्तमान स्केलिंग रणनीति को अस्थिर बनाता है, चाहे लॉस फंक्शन को एक सख्त संख्यात्मक त्रुटि के रूप में देखा जाए या एक अनुभवजन्य मीट्रिक के रूप में।

कार्यप्रणाली और सैद्धांतिक ढांचा
लेखक LLM स्केलिंग घातांकों की समझ की आलोचना करने और उन्हें परिष्कृत करने के लिए स्केलिंग लॉ, संख्यात्मक विश्लेषण सादृश्य (numerical analysis analogies), और फ्लूइड डायनामिक्स (fluid dynamics) के फेनोमेनोलॉजिकल मॉडलों के संयोजन के माध्यम से एक सैद्धांतिक विश्लेषण का उपयोग करते हैं।

"पेडस्टल इफेक्ट" (Pedestal Effect) की खंडन: शोध पत्र पहले एक प्रति-तर्क को संबोधित करता है जो यह सुझाव देता है कि छोटे स्केलिंग घातांक एक संख्यात्मक पूर्वाग्रह (numerical bias) हैं जो एक गैर-शून्य "पेडस्टल" (डेटा आकार $N \to \infty$ होने पर लॉस फंक्शन की एक गैर-शून्य सीमा) को अनदेखा करने के कारण उत्पन्न होते हैं। लॉस फंक्शन को $L(x) = L_0 + (L_1 - L_0)x^\alpha$ (जहाँ $x=1/N$ ) के रूप में मॉडल करके, लेखक एक "रनिंग स्केलिंग एक्सपोनेंट" व्युत्पन्न करते हैं। वे प्रदर्शित करते हैं कि एक छोटे पेडस्टल के साथ भी, "उच्च" स्केलिंग व्यवस्था (जैसे चिंचिला स्केलिंग जहाँ $\alpha \approx 1/3$ ) से "निम्न" व्यवस्था ( $\alpha \approx 0.05 \div 0.1$ ) में संक्रमण आधुनिक LLMs द्वारा उपयोग किए जाने वाले डेटासेट आकारों से बहुत नीचे होता है। इस प्रकार, पेडस्टल प्रभाव देखे गए निम्न घातांकों की व्याख्या तो करता है, लेकिन अंतर्निहित अस्थिरता को हल नहीं करता है।
सैद्धांतिक निचली सीमा (शर्मा-कपलान मॉडल): लेखक प्रस्तावित शर्मा और कपलान (SK) के सैद्धांतिक ढांचे को अपनाते हैं, जो यह प्रतिपादित करता है कि स्केलिंग घातांक डेटा मैनिफोल्ड के आंतरिक आयाम ( $d$ ) द्वारा सीमित होते हैं: $\alpha \sim 4/d$ । यह संबंध बताता है कि LLMs $d$ -आयामी फीचर स्पेस में एडेप्टिव ग्रिड रिफाइनमेंट विधियों की तरह कार्य करते हैं, जहाँ $d$ , एम्बेडिंग डायमेंशन $D$ की तुलना में काफी छोटा है।
फ्लुइड टर्बुलेंस (Fluid Turbulence) के साथ सादृश्य: इन घातांकों के परिमाण को समझाने के लिए, शोध पत्र फ्लुइड टर्बुलेंस के फेनोमेनोलॉजी के साथ एक सादृश्य प्रस्तुत करता है।
- स्मूथनेस बनाम रफनेस (Smoothness vs. Roughness): लेखक स्केलिंग घातांक को लक्षित सिग्नल की स्मूथनेस (हर्स्ट एक्सपोनेंट $h$ ) से जोड़ते हैं। स्मूथ सिग्नल्स के लिए, $h=1$ होता है, लेकिन टर्बुलेंस जैसी नॉन-स्मूथ प्रक्रियाओं के लिए, $h < 1$ होता है।
- फ्रैक्टल डायमेंशन: कोलमोगोरोव के 1941 (K41) सिद्धांत और मल्टीफ्रैक्टल मॉडलों का उपयोग करते हुए, वे दिखाते हैं कि टर्बुलेंट फ्लो के लिए, सिग्नल की रफनेस और ऊर्जा अपव्यय (energy dissipation) की फ्रैक्टल प्रकृति के कारण प्रभावी स्केलिंग घातांक और कम हो जाता है।
- LLMs के लिए निहितार्थ: शोध पत्र तर्क देता है कि कई जटिल प्रणालियाँ (और संभवतः वह डेटा जिसे LLMs प्रोसेस करते हैं) नॉन-स्मूथ हैं। यह "रफनेस" प्रभावी रूप से आंतरिक आयाम को $1/h$ के कारक से बढ़ा देती है, जिससे और भी छोटे स्केलिंग घातांक ( $\alpha \sim 4h/d$ ) प्राप्त होते हैं।

मुख्य योगदान और परिणाम

अस्थिरता का सत्यापन: लेखक पुष्टि करते हैं कि छोटे स्केलिंग घातांक ( $\alpha < 0.1$ ) केवल अर्ली स्टॉपिंग या संख्यात्मक पूर्वाग्रह (पेडस्टल इफेक्ट) के आर्टिफैक्ट नहीं हैं, बल्कि वर्तमान LLM आर्किटेक्चर के स्केलिंग की दक्षता में एक मौलिक सीमा को दर्शाते हैं।
पेडस्टल इफेक्ट का परिमाणीकरण: विश्लेषणात्मक व्युत्पत्ति और ग्राफिकल प्रतिनिधित्व (चित्र 1 और 2) के माध्यम से, शोध पत्र दिखाता है कि "पेडस्टल" (गैर-शून्य लॉस लिमिट) वास्तविक डेटासेट आकारों के लिए स्केलिंग व्यवहार पर हावी रहता है, जो उच्च स्केलिंग घातांकों (जैसे चिंचिला $\alpha \approx 1/3$ ) की किसी भी क्षमता को प्रभावी रूप से छिपा देता है।
डायमेंशनल कंप्रेशन लिमिट्स: यह स्वीकार करते हुए कि LLMs उच्च-आयामी एम्बेडिंग स्पेस ( $D \sim$ हजारों) को आंतरिक मैनिफोल्ड्स ( $d \sim 100$ ) तक कंप्रेस करने में सक्षम हैं, लेखक गणना करते हैं कि किसी भी ऐसे डेटासेट के लिए जिसका आंतरिक आयाम $d > 40$ है, स्केलिंग घातांक अनिवार्य रूप से 0.1 से नीचे गिर जाएगा।
डेटा रफनेस का प्रभाव: शोध पत्र स्थापित करता है कि नॉन-स्मूथ डेटा (जो $h < 1$ द्वारा अभिलक्षित है) समस्या को और गंभीर बना देता है, जिससे स्मूथ डेटा की तुलना में और भी कम स्केलिंग घातांक और अधिक संसाधन अक्षमता उत्पन्न होती है।

महत्व और निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि "नो-वॉल" उत्साह से प्रेरित "बड़ा ही बेहतर है" की रणनीति "एनर्जी बर्नआउट का एक निश्चित नुस्खा" है। लेखक दावा करते हैं कि वर्तमान स्केलिंग व्यवस्था उन डेटासेट्स के लिए गणितीय रूप से अस्थिर है जिनका आंतरिक आयाम 40 से अधिक है, जो कि अधिकांश जटिल वास्तविक दुनिया के अनुप्रयोगों के लिए एक संभावित स्थिति है।

इस कार्य का महत्व केवल मॉडल के आकार को बढ़ाने से हटकर "भौतिक अंतर्दृष्टि और विश्व मॉडल (world models) के अनुपालन" की खोज की ओर ध्यान केंद्रित करने में निहित है। लेखक सुझाव देते हैं कि आगे का मार्ग पैरामीटर्स और डेटा वॉल्यूम के शुद्ध शारीरिक बल (muscular leverage) से दूर जाकर, मौलिक, भौतिकी-जागरूक AI मॉडल (जिन्हें "वर्ल्ड मॉडल्स" कहा जाता है) की ओर बढ़ने की आवश्यकता है, जो जटिल डेटा के आंतरिक आयाम और रफनेस को बिना अस्थिर स्केलिंग कानूनों पर निर्भर हुए बेहतर ढंग से संभाल सकें।