💻 computer science

Predictable Emergence: An Empirical Analysis of Whether Sharp Capability Jumps Follow from Smooth Per-Token Scaling Laws

यह शोध पत्र यह प्रदर्शित करता है कि बहु-अंकों वाले पूर्णांक योग (multi-digit integer addition) में देखे गए सटीक-मिलान सटीकता (exact-match accuracy) के तीव्र "उभरते" (emergent) उछाल मॉडल की क्षमता में वास्तविक विच्छिन्नता (discontinuities) नहीं हैं, बल्कि वे प्रति-टोकन सटीकता में सहज, पावर-लॉ सुधारों के परिणामस्वरूप होने वाले पूरी तरह से पूर्वानुमेय आर्टिफैक्ट्स हैं, जो सभी अंकों के सही होने की अनिवार्यता की गैर-रैखिकता (nonlinearity) के कारण संचित होते हैं।

मूल लेखक: Alexander Memming

प्रकाशित 2026-07-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alexander Memming

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जादू का शो देख रहे हैं जहाँ जादूगर टोपी जितनी बड़ी होती जाती है, टोपी से खरगोश निकालने में उतना ही बेहतर होता जाता है। वर्षों से, वैज्ञानिकों ने देखा है कि जब वे AI दिमाग (जिन्हें "ट्रांसफॉर्मर" कहा जाता है) को बड़ा करते हैं और उन्हें अधिक डेटा खिलाते हैं, तो वे बहुत ही अनुमानित और सुचारू तरीके से स्मार्ट होते जाते हैं। यह एक कार के इंजन की तरह है जो हर बार एक नया सिलेंडर जोड़ने पर थोड़ा अधिक शक्तिशाली हो जाता है; सुधार स्थिर है और एक स्पष्ट गणितीय नियम का पालन करता है। लेकिन फिर, लोगों ने कुछ अजीब नोटिस किया: कभी-कभी, ये AI मॉडल अचानक "जाग" जाते हैं और रातों-रात एक बिल्कुल नया कौशल सीख लेते हैं। एक दिन वे साधारण गणित नहीं कर पाते, और अगले दिन, आकार में थोड़ी सी वृद्धि के साथ, वे जटिल समस्याओं को पूरी तरह से हल करने लगते हैं। इस अचानक उछाल को "इमर्जेंस" (emergence) कहा जाता है, और यह डरावना है क्योंकि यदि कौशल अचानक प्रकट होते हैं, तो हम यह अनुमान नहीं लगा सकते कि कोई AI कब अचानक खतरनाक या अविश्वसनीय रूप से स्मार्ट हो जाएगा।

बड़ा सवाल यह है: क्या ये कौशल वास्तव में शून्य से पैदा हो रहे हैं, या यह केवल हमारे मापने के तरीके के कारण उत्पन्न हुआ एक भ्रम है? इसे एक छात्र द्वारा परीक्षा देने के रूप में देखें। यदि आप उन्हें इस आधार पर ग्रेड देते हैं कि "क्या उन्होंने हर एक प्रश्न सही किया?" (एक पास/फेल ग्रेड), तो वे लंबे समय तक पूरी तरह से असफल दिख सकते हैं, और फिर अचानक पास हो सकते हैं। लेकिन यदि आप देखते हैं कि "उन्होंने औसतन कितने प्रश्न सही किए?" (एक स्मूथ स्कोर), तो आप देख पाएंगे कि वे वास्तव में धीरे-धीरे सुधार कर रहे थे। यह शोध पत्र पूछता है: क्या "अचानक उछाल" वास्तविक है, या यह केवल उस परीक्षण का एक छल है जिसका हम उपयोग कर रहे हैं?

महान गणितीय जादू का खेल

एक शोधकर्ता, अलेक्जेंडर मेमिंग ने इस रहस्य की जांच करने के लिए एक बहुत ही विशिष्ट, नियंत्रित प्रयोग का उपयोग करके निर्णय लिया। उन्होंने कोई नया AI मॉडल प्रशिक्षित नहीं किया; इसके बजाय, उन्होंने मौजूदा, सार्वजनिक AI मॉडलों (जिन्हें Pythia और OPT कहा जाता है) का उपयोग किया जो बहुत छोटे से लेकर काफी बड़े तक थे। उन्होंने उनसे एक सरल कार्य करने को कहा: दो बड़ी संख्याओं को जोड़ना। पेच यह था कि वह ठीक से नियंत्रित कर सकते थे कि उत्तर कितना लंबा होना चाहिए (1 अंक से लेकर 6 अंक तक)।

जब उन्होंने "स्मूथ" तरीके से मापने (यह जाँचने कि उन्होंने प्रत्येक व्यक्तिगत अंक को कितनी बार सही अनुमान लगाया) का उपयोग करके AI के प्रदर्शन को देखा, तो परिणाम उबाऊ रूप से अनुमानित थे। जैसे-जैसे मॉडल बड़े होते गए, वे प्रत्येक अंक का अनुमान लगाने में थोड़े बेहतर होते गए, जो एक सुचारू, कोमल वक्र (curve) का पालन कर रहा था। वहां कोई अचानक उछाल नहीं था। यह एक धावक को मील दर मील धीरे-धीरे तेज होते देखने जैसा था।

हालांकि, जब उन्होंने "शार्प" तरीके से मापने (यह जाँचने कि क्या पूरा उत्तर सटीक है) का उपयोग किया, तो कहानी पूरी तरह बदल गई। छोटे उत्तरों के लिए, AI ठीक था। लेकिन लंबे उत्तरों के लिए, AI लंबे समय तक बुरी तरह विफल होता हुआ दिखाई दिया, और फिर—पूफ—वह अचानक पूर्ण स्कोर प्राप्त करने लगा। यह बिल्कुल उसी प्रसिद्ध "इमर्जेंस" उछाल जैसा लग रहा था जिसके बारे में सभी चर्चा कर रहे थे।

गुप्त सामग्री: एक सरल सूत्र

मेमिंग को समझ आया कि यह "उछाल" कोई जादू नहीं था; यह केवल गणित था। उन्होंने इस रहस्य को समझाने के लिए एक सरल मॉडल बनाया। कल्पना कीजिए कि आप 6-अंकों वाला पासवर्ड अनुमान लगाने की कोशिश कर रहे हैं। यदि आपके पास किसी भी एकल अंक को सही ढंग से पहचानने की 90% संभावना है, तो यह बहुत अच्छा लगता है। लेकिन यदि आपको जीतने के लिए सभी छह अंकों को सही होना आवश्यक है, तो आपकी संभावनाएं गिरकर लगभग 53% रह जाती हैं। यदि प्रति अंक आपकी संभावना केवल 50% है, तो पूरे पासवर्ड को सही होने की आपकी संभावना लगभग शून्य है।

यह शोध पत्र दिखाता है कि जैसे-जैसे AI मॉडल बड़े होते हैं, उनका "प्रति-अंक" सटीकता धीरे-धीरे 50% से बढ़कर 90% हो जाती है। क्योंकि परीक्षण के लिए हर अंक को सही होना आवश्यक है, इसलिए अंतिम स्कोर लंबे समय तक शून्य के करीब रहता है, और फिर एक बार जब प्रति-अंक सटीकता पर्याप्त उच्च हो जाती है, तो यह बहुत तेजी से 100% की ओर बढ़ जाता है। यह नहीं है कि AI ने अचानक कोई नई सुपरपावर सीख ली है; यह बस इतना है कि "सब-या-कुछ-नहीं" वाला परीक्षण एक धीमी, स्थिर सुधार को एक अचानक विस्फोट जैसा दिखाता है।

भविष्य की भविष्यवाणी करना

सबसे शानदार बात यह है कि मेमिंग ने साबित किया कि आप इन "उछालों" को होने से पहले ही भविष्यवाणी कर सकते हैं। उन्होंने सबसे छोटे AI मॉडलों को लिया (जो अभी भी लंबे गणितीय समस्याओं में विफल हो रहे थे) और एकल अंकों पर उनके धीमे, सुचारू सुधार को मापा। एक सरल सूत्र का उपयोग करते हुए जो उत्तर में अंकों की संख्या को ध्यान में रखता है, वह सटीक रूप से भविष्यवाणी करने में सक्षम थे कि बड़े मॉडल कब अचानक परीक्षण पास करना शुरू करेंगे। उनकी भविष्यवाणियां अविश्वसनीय रूप से सटीक थीं, जिन्होंने त्रुटि के बहुत कम मार्जिन के भीतर "उछाल" के बिंदु का अनुमान लगाया।

उन्होंने यह भी जांचा कि क्या कोई छिपा हुआ "सुपर-पावर" व्यवहार था जिसे गणित नहीं समझा सका। उन्होंने यह देखने के लिए संकेत खोजे कि क्या उछाल के क्षण में AI कुछ अतिरिक्त-विशेष कर रहा था, लेकिन उन्हें कुछ नहीं मिला। "इमर्जेंस" पूरी तरह से छोटे हिस्सों के जुड़कर एक बड़े परिणाम में बदलने के सुचारू सुधार द्वारा समझाया गया था।

निर्णय

तो, इसका क्या अर्थ है? बड़ी संख्याओं को जोड़ने के विशिष्ट कार्य के लिए, यह शोध पत्र सुझाव देता है कि AI क्षमता में दिखने वाले डरावने "अचानक उछाल" संभवतः मापने के तरीके से उत्पन्न एक भ्रम हैं। AI कोई नई लाइट बल्ब नहीं जला रहा है; यह बस एक डिमर स्विच को धीरे-धीरे घुमा रहा है, और हमारा "पास/फेल" परीक्षण इसे ऐसा दिखाता है जैसे रोशनी अचानक चालू हो गई हो।

इसका मतलब यह नहीं है कि AI कभी भी अचानक आश्चर्य नहीं देगा, लेकिन यह हमें एक शक्तिशाली उपकरण देता है: यदि हम छोटे हिस्सों की सुचारू, स्थिर प्रगति को माप सकते हैं, तो हम भविष्यवाणी कर सकते हैं कि बड़े, डरावने उछाल कब होंगे। यह एक रहस्य को गणित की समस्या में बदल देता है, यह दिखाते हुए कि कम से कम अभी के लिए, AI का भविष्य हमारी सोच से कहीं अधिक अनुमानित है।

तकनीकी सारांश: बहु-अंक अंकगणित में पूर्वानुमानित उद्भव (Predictable Emergence)

समस्या विवरण
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) के अध्ययन में एक केंद्रीय तनाव को संबोधित करता है: स्मूथ न्यूरल स्केलिंग लॉज़ (smooth neural scaling laws) और रिपोर्ट की गई "उभरती" (emergent) क्षमताओं के बीच का अंतर। जबकि प्रीट्रेनिंग लॉस मॉडल के आकार ( $N$ ), डेटा ( $D$ ), और कंप्यूट ( $C$ ) के सापेक्ष एक अनुमानित पावर लॉ का पालन करता है, अभ्यासकर्ता अक्सर देखते हैं कि डाउनस्ट्रीम क्षमताएं (जैसे, बहु-अंक अंकगणित, निर्देश पालन) विशिष्ट स्केल थ्रेशोल्ड पर लगभग शून्य से उच्च प्रदर्शन तक अचानक उछलती हुई प्रतीत होती हैं। मुख्य प्रश्न यह है कि क्या ये तीव्र उछाल वास्तविक, मीट्रिक-अपरिवर्तनीय (metric-invariant) घटनाएं हैं जो एक नई क्षमता का संकेत देती हैं, या क्या ये निरंतर सुधार (underlying smooth improvements) पर लागू असंतत मूल्यांकन मेट्रिक्स (जैसे, सटीक-मिलान सटीकता) के कारण उत्पन्न होने वाले आर्टिफैक्ट्स हैं।

कार्यप्रणाली
लेखक इस प्रश्न के एक परीक्षण योग्य संस्करण का परीक्षण करने के लिए एक संकीर्ण, पूर्णतः नियंत्रित, इन्फरेंस-ओनली अनुभवजन्य अध्ययन आयोजित करते हैं: क्या प्रति-टोकन सटीकता के स्मूथ स्केलिंग से "उभरते" सटीक-मिलान (exact-match) उछाल के स्थान और आकार का मात्रात्मक रूप से पहले से पूर्वानुमान लगाया जा सकता है?

कार्य: बहु-अंक पूर्णांक जोड़ (multi-digit integer addition)। इस कार्य को इसलिए चुना गया क्योंकि यह उद्भव (emergence) का एक मानक उदाहरण है और महत्वपूर्ण रूप से, इसका उत्तर की लंबाई ( $L$ ) एक सटीक रूप से नियंत्रणीय पैरामीटर है जो मेट्रिक की नॉन-लिनियरिटी को निर्धारित करती है।
मॉडल: अध्ययन तीन मॉडल परिवारों के सार्वजनिक, रिलीज़ किए गए चेकपॉइंट्स का उपयोग करता है जिसमें कोई प्रशिक्षण या फाइन-ट्यूनिंग नहीं की गई है:
- Pythia: 70M से 12B पैरामीटर्स तक के 8 आकार (The Pile पर प्रशिक्षित)।
- Pythia-deduped: उपरोक्त का एक डिडुप्लिकेटेड वेरिएंट।
- OPT: 125M से 6.7B पैरामीटर्स तक के 5 आकार (अलग आर्किटेक्चर/ट्रेनिंग पाइपलाइन)।
मेट्रिक्स:
- स्मूथ मेट्रिक्स: प्रति-टोकन डिजिट सटीकता ( $p$ ), प्रति-टोकन क्रॉस-एन्ट्रॉपी (NLL), ब्रायर स्कोर (Brier score), और नॉर्मलाइज्ड एडिट डिस्टेंस। ये सही प्रिफिक्स पर टीचर फोर्सिंग के तहत मापे जाते हैं।
- असंतत मेट्रिक: सटीक-मिलान सटीकता (Exact-match accuracy - EM), जहाँ आउटपुट स्ट्रिंग का पूरा हिस्सा लक्ष्य से मेल खाना चाहिए।
कंपोजिशनल मॉडल: लेखक एक ऐसा मॉडल प्रस्तावित करते हैं जहाँ सटीक-मिलान सटीकता $L$ $L$ टोकन के सही होने की प्रायिकता है।
- स्वतंत्र मॉडल (Independent Model): यह मानता है कि प्रति-टोकन त्रुटियां स्वतंत्र हैं, जो भविष्यवाणी करता है कि $EM \approx p^L$ ।
- सहसंबंध-सुधारित मॉडल (Correlation-Corrected Model): टोकन त्रुटियों के बीच कमजोर सकारात्मक सहसंबंध (जैसे, एक मॉडल या तो पूरे नंबर को सही पाता है या कैरी चेन के कारण कई अंकों में विफल हो जाता है) को समायोजित करने के लिए एक एकल पैरामीटर $\rho$ पेश करता है। यह एक प्रभावी लंबाई $L_{eff} = 1 + (L-1)(1-\rho)$ देता है, जो भविष्यवाणी करता है कि $EM \approx p^{L_{eff}}$ ।
पूर्वानुमान प्रोटोकॉल (Forecasting Protocol): प्रति-टोकन स्केलिंग लॉ को केवल चार सबसे छोटे मॉडलों ( $N \le 1B$ ) का उपयोग करके फिट किया जाता है। इस फिट का उपयोग बड़े, होल्ड-आउट मॉडल्स के सटीक-मिलान कर्व्स और उद्भव थ्रेशोल्ड का अनुमान लगाने के लिए किया जाता है।

मुख्य परिणाम

स्मूथ अंडरलाइंग स्केलिंग: प्रति-टोकन डिजिट सटीकता स्केल के साथ स्मूथली और मोनोटोनली बढ़ती है (Pythia के लिए 70M पर 0.47 से 12B पर 0.91 तक), जो एक स्पष्ट पावर लॉ $\alpha \approx 0.36$ का पालन करती है। निरंतर मेट्रिक्स (NLL, Brier, edit distance) में कोई उछाल नहीं देखा गया।
उछालों का मात्रात्मक पूर्वानुमान: सिंगल फिटेड कोरिलेशन पैरामीटर ( $\rho = 0.17$ $ρ = 0.17$ ) वाला कंपोजिशनल मॉडल $6 \times 8$ $6 \times 8$ ग्रिड के सटीक-मिलान कर्व्स (6 लंबाई और 8 मॉडल आकार केAcross) को $R^2$ $R^{2}$ के 0.999 और मीडियन एब्सोल्यूट एरर 0.004 के साथ सफलतापूर्वक पुनरुत्पादित करता है।
- मूल स्वतंत्र मॉडल ( $\rho=0$ ) $R^2 = 0.98$ प्राप्त करता है लेकिन व्यवस्थित रूप से कम भविष्यवाणी करता है, जिससे पुष्टि होती है कि कमजोर सकारात्मक सहसंबंध ही प्राथमिक सुधार की आवश्यकता है।
डेटा कोलैप्स: जब सभी डेटा पॉइंट्स को रिस्केल्ड कोऑर्डिनेट $u = L_{eff} \cdot (-\ln p)$ के विरुद्ध प्लॉट किया जाता है, तो सभी लंबाई, मॉडल आकार और मॉडल परिवारों के डेटा पॉइंट्स एक एकल मास्टर कर्व $EM = e^{-u}$ पर कोलैप्स हो जाते हैं (कोलैप्स RMSE $\le 0.013$ )। यह प्रदर्शित करता है कि "उद्भव" कर्व्स का परिवार लंबाई द्वारा पुनर्रूपित (reparameterized) किया गया एक एकल स्मूथ लॉ है।
सफल पूर्वानुमान: $\le 1B$ मॉडल्स पर प्रति-टोकन लॉ को फिट करना बड़े मॉडल्स के होल्ड-आउट जंप्स का सफलतापूर्वक पूर्वानुमान लगाता है। अनुमानित उद्भव थ्रेशोल्ड, सटीक-मिलान सटीकता में 0.01 के मीन एब्सोल्यूट एरर और थ्रेशोल्ड लोकेशन में 0.01 dex के भीतर देखे गए थ्रेशोल्ड से मेल खाते हैं।
फ़ालसीफिकेशन टेस्ट (Falsification Test): अध्ययन "सुपर-कंपोजिशनल" व्यवहार (जहाँ थ्रेशोल्ड के पास $p^{L_{eff}}$ से तेज़ सटीक-मिलान बढ़ता है) का कोई प्रमाण नहीं पाता है, न ही निरंतर मेट्रिक्स में कोई उछाल मिलता है। यह सुझाव देता है कि अध्ययन की गई स्केल रेंज के भीतर कोई वास्तविक, मीट्रिक-इनवेरिएंट क्षमता परिवर्तन नहीं होता है।

महत्व और दावे
यह शोध पत्र दावा करता है कि यह 70M–12B पैरामीटर रेंज के भीतर बहु-अंक अंकगणित के मामले में उद्भव (emergence) बहस का मात्रात्मक समाधान प्रदान करता है।

उद्भव की प्रकृति: लेखक निष्कर्ष निकालते हैं कि इस कार्य के लिए, "उद्भव" एक थ्रेशोल्ड पर दिखने वाली नई क्षमता नहीं है, बल्कि एक लंबाई- $L$ नॉन-लिनियरिटी (सटीक-मिलान मेट्रिक) के माध्यम से देखा गया एक स्मूथ प्रति-टोकन स्केलिंग लॉ है।
पूर्वानुमान क्षमता: तीव्र उछाल का पहले से ही पूर्वानुमान लगाया जा सकता है। अध्ययन एक रेसिपी प्रदान करता है: सब-थ्रेशोल्ड मॉडल्स पर प्रति-यूनिट मेट्रिक्स को मापें, स्केलिंग लॉ को फिट करें, उप-निर्णयों (sub-decisions) की संख्या ( $L$ ) और एक एकल सहसंबंध ( $\rho$ ) का अनुमान लगाएं, और एक्सट्रपलेशन करें।
दायरा: लेखक स्पष्ट रूप से कहते हैं कि वे सभी कार्यों (जैसे, ओपन-एंडेड रीजनिंग या इंस्ट्रक्शन फॉलोइंग जो सरल मैप को स्वीकार नहीं कर सकते) के लिए उद्भव बहस को हल करने का दावा नहीं करते हैं। हालांकि, वे तर्क देते हैं कि उन कार्यों के लिए जो स्मूथली सुधरने वाले ज्ञात संख्या में उप-निर्णयों (sub-decisions) पर आधारित 'ऑल-ऑर-नथिंग' सफलता द्वारा स्कोर किए जाते हैं, यह घटना एक एक्सट्रपलेशन समस्या है, न कि एक अनुमान लगाने का खेल।

अध्ययन इस बात पर जोर देता है कि उद्भव का "भ्रम" (mirage) मेट्रिक के चुनाव से पैदा होता है, और निरंतर, उच्च-रिज़ॉल्यूशन मेट्रिक्स क्षमता सुधार की अंतर्निहित सहजता (smoothness) को प्रकट करते हैं।

इसी तरह के और पेपर