A Limit Theory of Foundation Models: A Mathematical Approach to Understanding Emergent Intelligence and Scaling Laws

तकनीकी सारांश: फाउंडेशन मॉडल्स का एक सीमा सिद्धांत (A Limit Theory of Foundation Models)

शीर्षक: फाउंडेशन मॉडल्स का एक सीमा सिद्धांत: उभरती हुई बुद्धिमत्ता और स्केलिंग लॉज़ को समझने के लिए एक गणितीय दृष्टिकोण
लेखक: जुन शू, जुनक्सियोंग जिया, डेयू मेंग, ज़ोंगबेन ज़ू (शीआन जियाओतोंग यूनिवर्सिटी)

1. समस्या विवरण

आधुनिक आर्टिफिशियल इंटेलिजेंस फाउंडेशन मॉडल्स द्वारा संचालित है जो उभरती हुई बुद्धिमत्ता (emergent intelligence) प्रदर्शित करते हैं—ऐसी क्षमताएं जो मॉडल के पैमाने में वृद्धि के साथ अचानक प्रकट होती हैं और जिन्हें छोटे मॉडल्स के आधार पर अनुमानित नहीं किया जा सकता है। जबकि उद्योग स्केलिंग लॉज़ (डेटा आकार $N$, मॉडल आकार $P$, और प्रशिक्षण चरणों $K$ के आधार पर प्रदर्शन की भविष्यवाणी करना) पर निर्भर है, इस बात की व्याख्या करने के लिए एक कठोर गणितीय ढांचे का अभाव है कि ये घटनाएं क्यों होती हैं। विशेष रूप से, समुदाय के पास परिमित-पैरामीटर (finite-parameter) आर्किटेक्चर और "बुद्धिमत्ता" को परिभाषित करने वाली अनंत-आयामी सीमाओं (infinite-dimensional limits) के बीच एक सैद्धांतिक सेतु की कमी है।

2. कार्यप्रणाली (Methodology)

लेखक सीमा सिद्धांत (Limit Theory) और नॉनलीन लिप्सचिट्ज़ ऑपरेटर थ्योरी (Nonlinear Lipschitz Operator Theory) पर आधारित एक नया गणितीय ढांचा प्रस्तावित करते हैं। मुख्य दृष्टिकोण में शामिल हैं:

• बुद्धिमत्ता को एक सीमा के रूप में औपचारिक रूप देना: वे एक प्रदर्शन फलन $E(N, P, K)$ को परिभाषित करते हैं और यह प्रतिपादित करते हैं कि उभरती हुई बुद्धिमत्ता $\lim_{N,P,K \to \infty} E(N, P, K)$ की सीमा का अस्तित्व है। बुद्धिमत्ता को परिमित से प्रभावी रूप से अनंत ज्ञान और आर्किटेक्चर की ओर एक संक्रमण के रूप में देखा जाता है।
• लिमिट आर्किटेक्चर (The Limit Architecture): वे गहरे न्यूरल नेटवर्क को कार्यात्मक ब्लॉकों $\{T_i\}$ के एक अनंत संयोजन के रूप में मॉडल करते हैं। "लिमिट आर्किटेक्चर" को एक अभिसारी ऑपरेटर (convergent operator) $T^* = \lim_{L \to \infty} \prod_{i=1}^L T_i$ के रूप में परिभाषित किया गया है।
• त्रुटि अपघटन (Error Decomposition): स्केलिंग लॉज़ प्राप्त करने के लिए, वे कुल त्रुटि को तीन अलग-अलग घटकों में विभाजित करते हैं:
  1. वेट (ऑप्टिमाइज़ेशन) त्रुटि: परिमित प्रशिक्षण चरणों $K$ के कारण विसंगति।
  2. आर्किटेक्चर त्रुटि: परिमित पैरामीटर्स $P$ और अनंत-पैरामीटर सीमा के बीच विसंगति।
  3. सैंपल (सांख्यिकीय) त्रुटि: परिमित डेटा $N$ और अनंत-डेटा सीमा के बीच विसंगति।
• गणितीय उपकरण: वे इन अनंत-आयामी प्रणालियों की स्थिरता और अभिसरण का विश्लेषण करने के लिए लिप्सचिट्ज़ डुअल ऑपरेटरों (Lipschitz dual operators), कॉम्पैक्ट ऑपरेटरों के स्पेक्ट्रल सिद्धांत (spectral theory of compact operators), और कवरिंग नंबर्स (covering numbers) का उपयोग करते हैं।

3. प्रमुख योगदान

• उद्भव (Emergence) के लिए आवश्यक और पर्याप्त स्थितियां: वे सिद्ध करते हैं कि एक स्थिर सीमा आर्किटेक्चर के अस्तित्व के लिए, बुनियादी ब्लॉकों को एक "कंडेंसिंग प्रॉपर्टी" (condensing property) को संतुष्ट करना चाहिए। विशेष रूप रूप से, ऑपरेटरों का लिप्सचिट्ज़ स्थिरांक (Lipschitz constant) सभी $i > K$ के लिए $\text{Lip}(T_i) \leq 1$ होना चाहिए, और अनुक्रम को एक प्रोजेक्शन ऑपरेटर $T$ की ओर अभिसरित होना चाहिए।
• स्केलिंग लॉज़ का व्युत्पत्ति: वे तीन त्रुटि घटकों के अभिसरण दरों के लिए स्पष्ट गणितीय सीमाएं प्रदान करते हैं:
  • प्रशिक्षण चरण ($K$): एक एक्सपोनेंशियल लॉ (exponential law) का पालन करता है।
  • मॉडल आकार ($P$): एक एक्सपोनेंशियल लॉ का पालन करता है (जब $\text{Lip}(T) < 1$ हो)।
  • डेटा आकार ($N$): एक पावर लॉ (power law) का पालन करता है (जो सांख्यिकीय शिक्षण सिद्धांत के अनुरूप है)।
• आर्किटेक्चरल स्थिरता मानदंड: वे नेटवर्क स्थिरता का मूल्यांकन करने के लिए एक मीट्रिक के रूप में $\text{Lip}(T)$ स्थिरांक पेश करते हैं। वे गणितीय रूप से प्रदर्शित करते हैं कि क्यों Pre-LayerNorm (GPT-2 में उपयोग किया गया) Post-LayerNorm (GPT-1 में उपयोग किया गया) की तुलना में सैद्धांतिक रूप से श्रेष्ठ और अधिक स्थिर है।

4. परिणाम और अनुभवजन्य सत्यापन (Empirical Validation)

• आर्किटेक्चरल तुलना: GPT-1 बनाम GPT-2 आर्किटेक्चर पर अनुभवजन्य परीक्षणों ने दिखाया कि GPT-2 (Pre-LayerNorm) बढ़ती गहराई के साथ स्थिर $\text{Lip}(T)$ मान और कम प्रशिक्षण हानि बनाए रखता है, जबकि GPT-1 संख्यात्मक अस्थिरता और प्रदर्शन पतन (performance collapse) का शिकार होता है।
• कंडेंसिंग प्रॉपर्टी: अत्याधुनिक मॉडल्स (Llama-3.1, Qwen-2, और DeepSeek-MoE) का विश्लेषण करके, लेखकों ने पाया कि गहरी परतों में मध्यवर्ती प्रतिनिधित्व (intermediate representations) में न्यूनतम मौलिक परिवर्तन होता है। यह पुष्टि करता है कि परतें प्रोजेक्शन ऑपरेटरों की तरह व्यवहार करती हैं, जो एक "फिक्स्ड पॉइंट" या लिमिट आर्किटेक्चर का अनुमान लगाती हैं।
• स्केलिंग लॉ संरेखण: व्युत्पन्न सीमाएं $\text{Error} \lesssim \beta^K + (\text{Lip}(T))^P + N^{-1/2}$ बड़े पैमाने पर मॉडल प्रशिक्षण में देखे गए अनुभवजन्य रुझानों के साथ मेल खाती हैं।

5. महत्व

यह शोध पत्र AI में "More is Different" सिद्धांत के लिए पहले कठोर गणितीय औचित्य में से एक प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

1. सैद्धांतिक आधार: यह उभरती हुई बुद्धिमत्ता के अध्ययन को अनुभवजन्य अवलोकन से औपचारिक सीमा सिद्धांत (formal limit theory) की ओर ले जाता है।
2. डिज़ाइन मार्गदर्शन: यह उन आर्किटेक्चरल विकल्पों (जैसे Pre-LayerNorm और वेट डिके) के लिए एक गणितीय तर्क प्रदान करता है जिनका उपयोग वर्तमान में अंतर्ज्ञान (intuition) द्वारा किया जाता है लेकिन जिनके पास औपचारिक प्रमाण की कमी है।
3. पूर्वानुमान शक्ति: यह समझने के लिए एक एकीकृत ढांचा प्रदान करता है कि डेटा, कंप्यूट और आर्किटेक्चर मिलकर फाउंडेशन मॉडल्स के प्रदर्शन पथ को कैसे निर्धारित करते हैं, जो भविष्य के AI विकास में अधिक कुशल संसाधन आवंटन का मार्गदर्शन कर सकता है।