💬 NLP

Superposition Yields Robust Neural Scaling

यह शोध पत्र प्रस्तावित करता है कि रिप्रेजेंटेशन सुपरपोजिशन (representation superposition), जहाँ मॉडल अपने आयामों (dimensions) की अनुमति से अधिक विशेषताओं को एनकोड करते हैं, न्यूरल स्केलिंग लॉज़ (neural scaling laws) का मौलिक चालक है, जिसके कारण वर्तमान बड़े भाषा मॉडलों में देखे गए मजबूत सुपरपोजिशन रिजीम के तहत लॉस (loss), मॉडल के आकार के व्युत्क्रमानुपाती (inversely) रूप से स्केल होता है।

मूल लेखक: Yizhou Liu, Ziming Liu, Jeff Gore

प्रकाशित 2026-08-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yizhou Liu, Ziming Liu, Jeff Gore

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप कहानियों के एक विशाल पुस्तकालय को एक छोटे से बैकपैक में फिट करने की कोशिश कर रहे हैं। यह आर्टिफिशियल इंटेलिजेंस (AI) के लिए दैनिक चुनौती है, विशेष रूप से उन विशाल "लार्ज लैंग्वेज मॉडल्स" (LLMs) के लिए जो कोड लिखते हैं, सवालों के जवाब देते हैं और हमसे चैट करते हैं। ये मॉडल शब्दों को नंबरों (वेक्टर्स) में बदलकर और उन्हें एक विशिष्ट आकार के छिपे हुए "बैकपैक" में स्टोर करके काम करते हैं। लंबे समय तक, वैज्ञानिकों ने एक अजीब पैटर्न देखा: यदि आप बैकपैक को बड़ा करते हैं, तो AI अधिक स्मार्ट हो जाता है, और उसकी गलतियाँ एक बहुत ही अनुमानित तरीके से कम होती हैं। यह एक जादुई नियम की तरह है जहाँ मस्तिष्क का आकार दोगुना करने से त्रुटियाँ एक विशिष्ट मात्रा में कम हो जाती हैं। लेकिन वास्तव में कोई नहीं जानता था कि यह जादुई नियम क्यों मौजूद था। क्या यह सिर्फ इसलिए था क्योंकि बड़े बैग में अधिक किताबें आ सकती थीं? या क्या बैग के अंदर कोई चतुर ट्रिक चल रही थी जिससे किताबें भौतिकी की अनुमति से कहीं बेहतर तरीके से फिट हो रही थीं? यह प्रश्न आधुनिक कंप्यूटर विज्ञान के केंद्र में स्थित है, जो यह समझने की कोशिश कर रहा है कि मशीनें सोचना कैसे सीखती हैं।

MIT के शोधकर्ताओं की एक टीम ने इस रहस्य की जांच करने के लिए एक सरल "टॉय मॉडल" (toy model)—एक छोटा, कम जटिल AI संस्करण—बनाने का निर्णय लिया—यह देखने के लिए कि क्या होता है जब आप बहुत कम जगह में बहुत सारे फीचर्स को भरने की कोशिश करते हैं। उन्होंने पाया कि असली राज केवल एक बड़ा बैग होना नहीं है; बल्कि यह है कि AI जानकारी को कैसे सिकोड़ता है। वे इसे "सुपरपोजिशन" (superposition) कहते हैं। कल्पना कीजिए कि आप एक बॉक्स में 100 अलग-अलग रंग की मार्बल्स (कंचे) डालने की कोशिश कर रहे हैं जिसमें केवल 10 के लिए जगह है। एक "कमजोर" (weak) सेटअप में, आप 90 अतिरिक्त मार्बल्स को बस फेंक देंगे और केवल 10 सबसे महत्वपूर्ण को रखेंगे। लेकिन एक "मजबूत" (strong) सेटअप में, AI उन मार्बल्स को एक-दूसरे के ऊपर थोड़ा ओवरलैप करते हुए स्टैक करना सीख जाता है, ताकि वे सभी फिट हो सकें। शोधकर्ताओं ने पाया कि जब AI इस "स्टैकिंग" ट्रिक (सुपरपोजिशन) का उपयोग करता है, तो बढ़ने के साथ स्मार्ट होने का जादुई नियम अविश्वसनीय रूप से मजबूत और विश्वसनीय हो जाता है, चाहे वह किसी भी प्रकार का डेटा सीख रहा हो।

शोध पत्र, जिसका शीर्षक "सुपरपोजिशन यील्ड्स रोबस्ट न्यूरल स्केलिंग" (Superposition Yields Robust Neural Scaling) है, यह सुझाव देता है कि यह ओवरलैपिंग ट्रिक ही मुख्य कारण है कि बड़े AI मॉडल बहुत बेहतर प्रदर्शन क्यों करते हैं। टीम ने अपने टॉय मॉडल का उपयोग दो अलग-अलग परिदृश्यों का परीक्षण करने के लिए किया। पहले, उन्होंने एक "कमजोर सुपरपोजिशन" (weak superposition) शासन (regime) को देखा, जहाँ AI को बहुत अधिक भीड़भाड़ होने के कारण अधिकांश डेटा को अनदेखा करने के लिए मजबूर किया जाता है। इस मामले में, उन्होंने पाया कि AI केवल तभी एक अनुमानित पावर-लॉ (power-law) के तरीके से स्मार्ट होता है जब डेटा स्वयं पहले से ही एक विशिष्ट, दुर्लभ पैटर्न में व्यवस्थित हो (जैसे कि अंग्रेजी में सामान्य शब्द एक विशिष्ट आवृत्ति का पालन करते हैं)। यदि डेटा अव्यवस्थित या रैंडम है, तो जादुic नियम टूट जाता है।

हालाँकि, कहानी नाटकीय रूप से बदल जाती है जब उन्होंने "सुपरपोजिशन" का डायल घुमाया। अपने प्रशिक्षण में एक सेटिंग को एडजस्ट करके (जिसे "वेट डिके" (weight decay) कहा जाता है), उन्होंने AI को सभी फीचर्स को दर्शाने के लिए प्रोत्साहित किया, भले ही इसका मतलब यह हो कि उन्हें थोड़ा ओवरलैप होना पड़े। इस "मजबूत सुपरपोजलेशन" (strong superposition) शासन में, AI अविश्वसनीय रूप से कुशल हो गया। शोधकर्ताओं ने देखा कि त्रुटि दर (error rate) एक स्थिर, अनुमानित पावर-लॉ में गिरती है, क्योंकि ये ओवरलैपिंग वेक्टर्स कैसे फिट होते हैं इसकी ज्यामिति (geometry) ऐसी है। यह एक जिग्सॉ पहेली की तरह है जहाँ टुकड़े थोड़े से दबे हुए या सिकुड़े हुए हैं; जैसे-जैसे आप पहेली बोर्ड में अधिक स्थान जोड़ते हैं, टुकड़े एक आदर्श फिट में बैठ जाते हैं, और "अंतराल" (त्रुटियाँ) लगभग 1 विभाजित मॉडल की चौड़ाई की दर से कम होते जाते हैं।

यह साबित करने के लिए कि यह केवल उनके टॉय मॉडल का एक विचित्र पहलू नहीं था, टीम ने वास्तविक दुनिया के, ओपन-सोर्स लार्ज लैंग्वेज मॉडल्स (जैसे OPT, GPT-2, Qwen, और Pythia) को देखा। उन्होंने "लैंग्वेज मॉडल हेड" (language model head) को मापा—AI का वह हिस्सा जो यह तय करता है कि अगला शब्द कौन सा होगा—और पाया कि ये वास्तविक मॉडल वास्तव में इसी "मजबूत सुपरपोजिशन" मोड में काम कर रहे हैं। विभिन्न शब्दों का प्रतिनिधित्व करने वाले वेक्टर्स इस तरह ओवरलैप हो रहे हैं जो उनके टॉय मॉडल के भविष्यवाणियों से पूरी तरह मेल खाते हैं। डेटा ने दिखाया कि इन वास्तविक मॉडल्स के लिए, त्रुटि दर मॉडल की चौड़ाई के व्युत्क्रमानुपाती (inversely) स्केल होती है, जिसका घातांक (exponent) 1 के बहुत करीब है। यह प्रसिद्ध "चिंचिला" (Chinchilla) स्केलिंग कानूनों के अनुरूप है, जो सुझाव देते हैं कि इष्टतम प्रदर्शन के लिए मॉडल के आकार और डेटा के आकार को एक विशिष्ट तरीके से संतुलित करने की आवश्यकता होती है।

शोध पत्र स्पष्ट रूप से इस विचार को खारिज करता है कि जादुिक स्केलिंग कानून केवल इसलिए है क्योंकि AI बिना किसी हस्तक्षेप के अधिक विशिष्ट फीचर्स सीख रहा है। वे दिखाते हैं कि यदि AI सुपरपोजिशन का उपयोग नहीं करता है (यानी "कमजोर" शासन), तो स्केलिंग कानून नाजुक है और पूरी तरह से डेटा के विशिष्ट वितरण पर निर्भर करता है। इसके बजाय, वे तर्क देते हैं कि आज के दिग्गजों में दिखने वाला मजबूत, सार्वभौमिक स्केलिंग, AI की उन अधिक फीचर्स को दर्शाने की क्षमता का सीधा परिणाम है जो उनके आयामों (dimensions) से अधिक हैं, और यह तब संभव होता है जब वे ज्यामितीय रूप से ओवरलैप होते हैं। हालांकि वे यह दावा नहीं करते कि उन्होंने AI के हर रहस्य को सुलझा लिया है, लेकिन उनके सिमुलेशन और माप दृढ़ता से संकेत देते हैं कि यह ज्यामितीय "स्टैकिंग" ही मुख्य चालक है कि क्यों बड़े मॉडल इतने अच्छा काम करते हैं। वे यहाँ तक संकेत देते हैं कि यदि हम भविष्य के प्रशिक्षण में सुपरपोजिशन को अधिक जानबूझकर प्रोत्साहित कर सकें, तो हम छोटे मॉडल्स को बड़े मॉडल्स की तरह प्रदर्शन करने के योग्य बना सकते हैं, हालाँकि वे चेतावनी देते हैं कि इससे AI को समझना (interpret) कठिन हो सकता है। अंततः, यह शोध पत्र AI की एक ऐसी तस्वीर पेश करता है जो केवल डेटा के लिए एक बड़ा बर्तन नहीं है, बल्कि एक चतुर जादूगर है जो गेंदों को इतना धुंधला करके उछालने (juggle) में माहिर है कि वे फिट हो सकें, भले ही उसके पास उतने हाथ न हों।

तकनीकी सारांश: सुपरपोजिशन सुदृढ़ न्यूरल स्केलिंग प्रदान करता है

समस्या विवरण

यह एक स्थापित तथ्य है कि बड़े लार्ज लैंग्वेज मॉडल्स (LLMs) लगातार कम लॉस (loss) और बेहतर प्रदर्शन प्राप्त करते हैं, जिसे "न्यूरल स्केलिंग लॉज़" के रूप में वर्णित किया गया है, जहाँ मॉडल के आकार के साथ लॉस एक पावर लॉ (power law) के रूप में घटता है। हालाँकि, इस स्केलिंग लॉ का मौलिक मूल अभी भी अस्पष्ट है। जबकि विभिन्न स्पष्टीकरण मौजूद हैं—बेहतर फंक्शन एप्रोक्सिमेशन से लेकर उन्नत कौशल सीखने तक—कई स्पष्टीकरण डेटा डिस्ट्रीब्यूशन या अनंत डेटा सीमाओं के बारे में धारणाओं पर निर्भर करते हैं जो वास्तविक LLMs के व्यवहार को पूरी तरह से कैप्चर नहीं कर पाते हैं। विशेष रूप से, रिप्रेजेंटेशन सुपरपोजिशन (representation superposition)—वह घटना जहाँ एक मॉडल अपने हिडन डायमेंशन की अनुमति से अधिक फीचर्स को बिना किसी हस्तक्षेप के प्रदर्शित करता है—की भूमिका का अध्ययन नहीं किया गया है कि वह इन स्केलिंग लॉज़ का चालक (driver) है। लेखक यह जांचते हैं कि सुपरपोजिशन की डिग्री, मॉडल डायमेंशन (चौड़ाई) के साथ लॉस के स्केलिंग को कैसे प्रभावित करती है और किन परिस्थितियों में यह स्केलिंग एक पावर लॉ का पालन करती है।

कार्यप्रणाली (Methodology)

लेखक अन्य LLM घटकों जैसे ट्रांसफॉर्मर लेयर्स से रिप्रेजेंटेशन लर्निंग के प्रभावों को अलग करने के लिए एंथ्रोपिक के सुपरपोजिशन फ्रेमवर्क (एक ऑटोएन्कोडर) पर आधारित एक टॉय मॉडल (toy model) का उपयोग करते हैं।

टॉय मॉडल आर्किटेक्चर:
- इनपुट: एक वेक्टर $x \in \mathbb{R}^n$ जो $n$ एटॉमिक फीचर्स का प्रतिनिधित्व करता है। प्रत्येक फीचर $i$ को आवृत्ति (frequency) $p_i$ के साथ सक्रिय किया जाता है और स्ट्रेंथ $v_i \sim U(0, 2)$ के साथ।
- मैकेनिज्म: मॉडल एक वेट मैट्रिक्स $W \in \mathbb{R}^{n \times m}$ सीखता है (जहाँ $m \ll n$ ) जो डेटा को $h = W^T x$ में एम्बेड करता है, और एक बायस वेक्टर $b$ जो आउटपुट $y = \text{ReLU}(Wh + b)$ को रिकंस्ट्रक्ट करता है।
- लॉस (Loss): रिकंस्ट्रक्टेड आउटपुट और ओरिजिनल इनपुट के बीच मीन स्क्वेर्ड एरर (MSE) के रूप में परिभाषित है: $L = \langle \|y - x\|^2 \rangle$ ।
सुपरपोजिशन को नियंत्रित करना:
- सुपरपोजिशन की डिग्री को ट्रेनिंग के दौरान एक डिकपल्ड वेट डिके (decoupled weight decay) टर्म ( $\gamma$ ) का उपयोग करके व्यवस्थित रूप से ट्यून किया जाता है।
- कमजोर सुपरपोजिशन (Weak Superposition): पॉजिटिव वेट डिके ( $\gamma > 0$ ) के साथ प्राप्त किया जाता है। मॉडल केवल सबसे अधिक बार आने वाले फीचर्स को पूरी तरह से प्रदर्शित करता है (ऑर्थोगोनल बेसिस), बाकी को अनदेखा कर देता है।
- मजबूत सुपरपोजिशन (Strong Superposition): नेगेटिव वेट डिके ( $\gamma < 0$ ) के साथ प्राप्त किया जाता है। मॉडल डायमेंशन $m$ से कहीं अधिक फीचर्स को एक साथ प्रदर्शित करता है, जिससे रिप्रेजेंटेशन वेक्टर्स ओवरलैप होते हैं। ReLU नॉन-लिनियैरिटी और नेगेटिव बायस मॉडल को इन ओवरलैप्स से होने वाले इंटरफेरेंस (हस्तक्षेप) को रद्द करने की अनुमति देते हैं।
प्रायोगिक सेटअप:
- लेखक मॉडल डायमेंशन $m$ , डेटा डायमेंशन $n$ , और फीचर फ्रीक्वेंसी डिस्ट्रीब्यूशन (जो $\alpha$ में एक्सपोनेंट द्वारा नियंत्रित होता है: $p_i \propto 1/i^\alpha$ ) को बदलते हैं।
- वे दोनों कमजोर और मजबूत सुपरपोजिशन रिजीम में लॉस के स्केलिंग ( $L \propto 1/m^{\alpha_m}$ ) का विश्लेषण करते हैं।
- LLM वैलिडेशन: वे लैंग्वेज मॉडल हेड वेट्स के ओवरलैप को मापने और टॉय मॉडल के अनुमानों के विरुद्ध एम्पिरिकल लॉस स्केलिंग की तुलना करने के लिए ओपन-सोर्स LLMs (OPT, GPT-2, Qwen, Pythia) का विश्लेषण करते हैं।

मुख्य योगदान और परिणाम

1. कमजोर सुपरपोजिशन रिजीम: "पावर लॉ इन, पावर लॉ आउट"

कमजोर सुपरपोजिशन रिजीम में, मॉडल कम बार आने वाले फीचर्स को अनदेखा कर देता है। लॉस उन अन-रिप्रेजेंटेड फीचर्स की फ्रीक्वेंसी के योग से डोमिनेट होता है।

निष्कर्ष: लॉस मॉडल के आकार के साथ पावर लॉ का पालन केवल तभी करता है जब अंतर्निहित फीचर फ्रीक्वेंसी स्वयं एक पावर लॉ का पालन करती हैं।
एक्सपोनेंट: यदि फीचर फ्रीक्वेंसी $p_i \propto 1/i^\alpha$ (जहाँ $\alpha > 1$ ) के रूप में घटती है, तो लॉस $L \propto 1/m^{\alpha-1}$ के रूप में स्केल होता है।
निहितार्थ: इस रिजीम में, स्केलिंग एक्सपोनेंट डेटा डिस्ट्रीब्यूशन के विशिष्ट गुणों के प्रति अत्यधिक संवेदनशील है।

2. मजबूत सुपरपोजिशन रिजीम: सुदृढ़ ज्यामितीय स्केलिंग (Robust Geometric Scaling)

मजबूत सुपरपोजिशन रिजीम में, मॉडल कई फीचर्स को एक साथ प्रदर्शित करता है, और जानकारी को एनकोड करने के लिए ज्यामितीय ओवरलैप्स पर निर्भर करता है।

निष्कर्ष: लॉस मॉडल डायमेंशन के व्युत्क्रमानुपाती ( $L \propto 1/m$ ) स्केल होता है, जो उन व्यापक श्रेणियों में भी प्रभावी है जो पावर लॉ नहीं हैं।
मैकेनिज्म: यह मजबूती रिप्रेजेंटेशन वेक्टर्स की ज्यामिति (geometry) से उत्पन्न होती है। उच्च आयामों में, रैंडम वेक्टर्स (या वेक्टर्स जिन्हें इंटरफेरेंस को कम करने के लिए प्रशिक्षित किया गया है) के स्क्वेर्ड ओवरलैप्स $1/m$ के रूप में स्केल होते हैं। लेखक दिखाते हैं कि समान फ्रीक्वेंसी के लिए, रिप्रेजेंटेशन वेक्टर्स आइसोट्रोपिक हो जाते हैं, और स्क्यूड (skewed) फ्रीक्वेंसी के लिए, सबसे महत्वपूर्ण फीचर्स एक "इक्वल एंगल टाइट फ्रेम" (ETF)-जैसी संरचना बनाते हैं, जो दोनों ही $1/m$ स्केलिंग की ओर ले जाते हैं।
एक्सपोनेंट: इवन फ्रीक्वेंसी के लिए मॉडल एक्सपोनेंट $\alpha_m$ मजबूती से 1 के करीब रहता है। अत्यधिक स्क्यूड फ्रीक्वेंसी के लिए, $\alpha_m$ बढ़ सकता है (अप hingga $2(\alpha-1)$ ), लेकिन ज्यामितीय बाधाओं के कारण $1/m$ स्केलिंग एक प्रमुख बेसलाइन बनी रहती है।

3. वास्तविक LLMs पर वैलिडेशन

लेखक पुष्टि करते हैं कि ओपन-सोर्स LLMs मजबूत सुपरपोजिशन रिजीम में काम करते हैं:

साक्ष्य: लैंग्वेज मॉडल हेड वेट्स के रो नॉर्म्स (row norms) सभी टोकन्स के लिए गैर-शून्य हैं (वोकैबुलरी साइज $n \gg m$ ), और नॉर्मलाइज्ड वेट वेक्टर्स के मीन स्क्वेर्ड ओवरलैप्स $1/m$ के रूप में स्केल होते हैं।
स्केलिंग लॉ: मॉडल डायमेंशन के विरुद्ध LLM लॉस का एम्पिरिकल फिटिंग एक एक्सपोनेंट $\alpha_m \approx 0.91 \pm 0.04$ देता है, जो $\alpha_m \approx 1$ के सैद्धांतिक पूर्वानुमान के अनुरूप है।
संगति: यह निष्कर्ष चिनचिला (Chinchilla) स्केलिंग लॉ के साथ संरेखित है, जहाँ कुल पैरामीटर्स ( $N$ ) के साथ लॉस स्केलिंग को विड्थ स्केलिंग ( $\alpha_m \approx 1$ ) और $N \propto m^{2.52}$ के संबंध के संयोजन से प्राप्त किया जा सकता है।

महत्व और दावे

यह पेपर रिप्रेजेंटेशन सुपरपोजिशन को न्यूरल स्केलिंग लॉ के केंद्रीय चालक के रूप में पहचानता है।

मैकेनिस्टिक स्पष्टीकरण: यह एक ज्यामितीय स्पष्टीकरण प्रदान करता है कि क्यों लॉस मॉडल आकार के साथ पावर लॉ के रूप में स्केल होता है, और इस स्केलिंग की मजबूती का श्रेय केवल डेटा डिस्ट्रीब्यूशन गुणों के बजाय उच्च-आयामी वेक्टर्स के इंटरफेरेंस गुणों को देता है।
रिजीम अंतर: यह स्पष्ट करता है कि पिछले सैद्धांतिक कार्य अक्सर अप्रत्यक्ष रूप से कमजोर सुपरपोजिशन रिजीम (जहाँ स्केलिंग डेटा डिस्ट्रीब्यूशन पर निर्भर करती है) को मान लेते थे, जबकि वास्तविक LLMs मजबूत सुपरपोजिशन रिजीम में काम करते हैं।
व्यावहारिक अंतर्दृष्टि: परिणाम बताते हैं कि "वन ओवर विड्थ" ( $1/m$ ) स्केलिंग मजबूत सुपरपोजिशन रिजीम में रिप्रेजेंटेशन-लिमिटेड सिस्टम्स का एक मौलिक गुण है। यह समझने के लिए एक सैद्धांतिक आधार प्रदान करता है कि क्यों मॉडल की चौड़ाई बढ़ाने से प्रदर्शन में निरंतर और अनुमानित सुधार मिलता है, भले ही डेटा डिस्ट्रीब्यूशन भिन्न हो।
सीमाएँ: लेखक नोट करते हैं कि उनका विश्लेषण रिप्रेजेंटेशन लॉस पर केंद्रित है और वे टॉय मॉडल को सभी कॉन्फ़िगरेशन के लिए कठोरता से हल नहीं करते हैं। वे स्वीकार करते हैं कि ट्रांसफॉर्मर लेयर्स में पार्सिंग लॉस और डेटासेट के आकार के साथ स्केलिंग संबंधित लेकिन अलग विषय हैं। वे यह भी चेतावनी देते हैं कि सुपरपोजिशन को बढ़ावा देना मैकेनिस्टिक इंटरप्रिटेबिलिटी और AI सुरक्षा को जटिल बना सकता है।

संक्षेप में, यह पेपर तर्क देता है कि LLMs में स्केलिंग लॉ की सफलता केवल एक सांख्यिकीय आर्टिफैक्ट नहीं है, बल्कि सुपरपोजिशन की ज्यामितीय दक्षता का परिणाम है, जो मॉडल को सीमित डायमेंशन के भीतर विशाल फीचर स्पेस को अनुमानित एरर डिके (error decay) के साथ प्रदर्शित करने की अनुमति देता है।