📊 statistics

Scaling Laws from Sequential Feature Recovery: A Solvable Hierarchical Model

यह शोध पत्र प्रदर्शित करता है कि मल्टी-लेयर नेटवर्क में सुचारू स्केलिंग लॉ (smooth scaling laws) लेटेंट कंपोजिशनल फीचर्स (latent compositional features) की एक क्रमिक, परत-वार रिकवरी से उत्पन्न होते हैं, जहाँ एक प्रस्तावित स्पेक्ट्रल एल्गोरिदम छोटे सैंपल साइज पर मजबूत फीचर्स का पता लगाकर और फिर प्रगतिशील रूप से कमजोर फीचर्स को रिकवर करके बेहतर प्रदर्शन प्राप्त करता है, जिससे स्पष्ट पावर-लॉ एरर डिके (power-law error decay) प्राप्त होता है।

मूल लेखक: Arie Wortsman-Zurich, Hugo Tabanelli, Yatin Dandi, Florent Krzakala, Bruno Loureiro

प्रकाशित 2026-05-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Arie Wortsman-Zurich, Hugo Tabanelli, Yatin Dandi, Florent Krzakala, Bruno Loureiro

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक बहुत ही जटिल वस्तु, जैसे कि एक विशिष्ट प्रकार के पेड़ को पहचानना सिखाने की कोशिश कर रहे हैं। उस पेड़ में हजारों पत्तियां, शाखाएं और बनावट (textures) हैं। यदि आप रोबोट पर केवल दस लाख रैंडम तस्वीरें फेंक देते हैं, तो वह अंततः सीख तो जाएगा, लेकिन यह अक्षम और अव्यवस्थित होगा।

यह शोध पत्र प्रस्तावित करता है कि डीप न्यूरल नेटवर्क (जैसे कि आधुनिक AI को शक्ति देने वाले नेटवर्क) एक सरल चरणों के पदानुक्रम (hierarchy) में जटिल कार्यों को तोड़कर कुशलतापूर्वक कैसे सीखते हैं। यह समझाता है कि क्यों इन नेटवर्कों में अधिक डेटा जोड़ने से प्रदर्शन में एक सहज, अनुमानित सुधार होता है, जिसे "स्केलिंग लॉ" (scaling law) कहा जाता है।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: जटिलता का एक टॉवर

कल्पना कीजिए कि नेटवर्क जिसे सीखने की कोशिश कर रहा है वह "लक्ष्य" लेगो ब्रिक्स (Lego bricks) से बना एक विशाल, जटिल टॉवर है।

इनपुट (Input): कच्चा डेटा (जैसे कि एक फोटो) फर्श पर बिखरी हुई ढीली ईंटों का ढेर है।
लक्ष्य (Target): बना हुआ टॉवर एक बहुत ही उच्च-स्तरीय संरचना है।
चुनौती: यदि आप ढीली ईंटों से एक साथ पूरा टॉवर बनाने की कोशिश करते हैं, तो यह अविश्वसनीय रूप से कठिन है। इसके लिए भारी मात्रा में डेटा (समय और प्रयास) की आवश्यकता होती है ताकि पूरी तस्वीर को समझा जा सके।

2. समाधान: "पदानुक्रमित" निर्माण दल (The "Hierarchical" Construction Crew)

लेखक सुझाव देते हैं कि स्मार्ट नेटवर्क टॉवर को एक साथ नहीं बनाते हैं। इसके बजाय, वे एक पदानुक्रमित (hierarchical) दृष्टिकोण का उपयोग करते हैं, जैसे कि अलग-अलग विशेषज्ञ टीमों वाला एक निर्माण दल:

लेयर 1 (फाउंडेशन टीम): यह टीम ढीली ईंटों को देखती है और उन्हें छोटे, सरल आकारों में समूहित करती है (जैसे कि "लाल वर्ग" या "नीला त्रिकोण")।
लेयर 2 (असेंबली टीम): यह टीम उन छोटे आकारों को लेती है और उन्हें बड़ी संरचनाओं में जोड़ती है (जैसे कि "एक खिड़की" या "एक दरवाजा")।
आउटपुट (Output): अंत में, नेटवर्क पूरे टॉवर को पहचानने के लिए इन बड़ी संरचनाओं को जोड़ता है।

शोध पत्र सिद्ध करता है कि यदि नेटवर्क इस तरह से बनाया गया है, तो यह एक "उथले" (shallow) नेटवर्क की तुलना में बहुत तेज़ी से और कम डेटा के साथ कार्य को सीख सकता है, जो ढीली ईंटों से सीधे पूरे टॉवर का अनुमान लगाने की कोशिश करता है।

3. गुप्त मंत्र: महत्व का "पावर लॉ" (The "Power Law" of Importance)

यहाँ सबसे दिलचस्प हिस्सा है। सभी "फीचर्स" (Lego shapes) समान रूप से महत्वपूर्ण नहीं होते हैं।

कुछ फीचर्स मजबूत होते हैं (जैसे टॉवर के मुख्य स्तंभ)।
कुछ फीचर्स कमजोर होते हैं (जैसे छोटी सजावटी बेलें)।

शोध पत्र एक ऐसी स्थिति का मॉडल करता है जहाँ ये फीचर्स एक पावर लॉ (Power Law) का पालन करते हैं। इसका मतलब है कि कुछ बहुत मजबूत फीचर्स हैं, और फिर बहुत सारे, बहुत सारे कमजोर फीचर्स की एक लंबी पूंछ (tail) है। प्रत्येक फीचर की ताकत सुचारू रूप से घटती है, जैसे कि एक स्लाइड।

4. सीखने की प्रक्रिया: खोजों का एक "कैस्केड" (A "Cascade" of Discoveries)

शोध पत्र की मुख्य खोज यह है कि जैसे-जैसे आप इसे अधिक डेटा देते हैं, नेटवर्क इन फीचर्स को समय के साथ कैसे सीखता है। यह सब कुछ एक साथ नहीं सीखता है। यह एक अनुक्रमिक कैस्केड (sequential cascade) में होता है:

चरण 1 (आसान जीत): जब नेटवर्क के पास बहुत कम डेटा होता है, तो यह केवल सबसे मजबूत फीचर्स को पहचान सकता है (मुख्य स्तंभ)। यह कमजोर चीजों को अनदेखा कर देता है क्योंकि "शोर" (रैंडम भ्रम) उन्हें दबा देता है।
चरण 2 (मध्यम स्तर): जैसे-जैसे आप अधिक डेटा जोड़ते हैं, नेटवर्क मध्यम-मजबूती वाले फीचर्स को देखने के लिए पर्याप्त स्पष्ट हो जाता है। स्तंभ पहले से ही सीखे जा चुके हैं, इसलिए नेटवर्क दीवारें बनाना शुरू कर देता है।
चरण 3 (बारीक विवरण): केवल तभी जब आपके पास बहुत अधिक डेटा होता है, नेटवर्क के पास अंततः सबसे कमजोर फीचर्स (छोटी बेलें) को देखने के लिए पर्याप्त स्पष्टता होती है।

उपमा: एक शोर भरे कमरे में बातचीत सुनने की कोशिश करने की कल्पना करें।

कम वॉल्यूम के साथ (कम डेटा), आप केवल सबसे तेज़ आवाज़ (सबसे मजबूत फीचर) सुन सकते हैं।
जैसे-जैसे आप वॉल्यूम बढ़ाते हैं (डेटा जोड़ते हैं), आप दूसरी सबसे तेज़ आवाज़, फिर तीसरी आवाज़ सुनने लगते हैं।
आप एक साथ सभी को नहीं सुनते; आप उन्हें एक-एक करके, सबसे तेज़ से सबसे धीमे क्रम में सुनते हैं।

5. परिणाम: सुचारू स्केलिंग लॉ (Smooth Scaling Laws)

यह क्यों मायने रखता है?

पुराना दृष्टिकोण: हमें लगा कि नेटवर्क इसलिए सुचारू रूप से सुधार कर रहा था क्योंकि वे बस अधिक डेटा का "औसत" निकाल रहे थे।
नया दृष्टिकोण (यह शोध पत्र): सुचारू सुधार जो हम AI स्केलिंग लॉ में देखते हैं, वास्तव में कई तेज उछालों (sharp jumps) का योग है।

हर बार जब नेटवर्क एक थ्रेशोल्ड (सीमा) को पार करता है और एक नए फीचर को समझने के लिए "क्लिक" करता है, तो एरर रेट थोड़ा कम हो जाता है। क्योंकि हजारों फीचर्स हैं जिनकी ताकत थोड़ी अलग-अलग है, ये हजारों छोटे "क्लिक" एक के बाद एक होते हैं। जब आप उन सभी को जोड़ देते हैं, तो वे एक सुचारू, वक्र रेखा (smooth, curved line) बनाते हैं (एक पावर लॉ) जो यह दिखाता है कि नेटवर्क लगातार सुधर रहा है।

6. "स्पेक्ट्रल" टूल (The "Spectral" Tool)

इसे सिद्ध करने के लिए, लेखकों ने स्पेक्ट्रल एल्गोरिदम (spectral algorithm) नामक एक गणितीय उपकरण का उपयोग किया।

इसे एक रेडियो ट्यूनर की तरह समझें। नेटवर्क विभिन्न "फ्रीक्वेंसी" (फीचर्स) को ट्यून करता है।
शोध पत्र सिद्ध करता है कि नेटवर्क सबसे पहले सबसे मजबूत फ्रीक्वेंसी को ट्यून करता है। यह कमजोर फ्रीक्वेंसी में तब तक ट्यून नहीं कर सकता जब तक कि "स्टैटिक" (शोर) कम न हो जाए, जिसके लिए अधिक डेटा की आवश्यकता होती है।

सारांश

शोध पत्र तर्क देता है कि स्केलिंग लॉ (नियम कि "अधिक डेटा = बेहतर AI") कोई जादू नहीं है। वे एक डीप नेटवर्क द्वारा एक जटिल कार्य को निम्नलिखित तरीके से सीखने का स्वाभाविक परिणाम हैं:

इसे परतों में तोड़ना।
सबसे महत्वपूर्ण हिस्सों को पहले सीखना।
अधिक डेटा उपलब्ध होने पर धीरे-धीरे कम महत्वपूर्ण हिस्सों को सीखना।

यह एक भाषा सीखने वाले छात्र की तरह है: वे सबसे सामान्य शब्द पहले सीखते हैं (मजबूत फीचर्स), फिर कम सामान्य शब्द (मध्यम फीचर्स), और अंत में अत्यंत दुर्लभ शब्दावली (कमजोर फीचर्स)। समय के साथ उनकी दक्षता का सुचारू वक्र इन व्यक्तिगत सीखने के मील के पत्थरों का योग मात्र है।

तकनीकी सारांश: क्रमिक विशेषता पुनर्प्राप्ति से स्केलिंग लॉ (Scaling Laws)

समस्या विवरण
न्यूरल नेटवर्क की अनुभवजन्य सफलता के बावजूद, स्केलिंग लॉ की उत्पत्ति को समझाने वाला एक भविष्य कहनेवाला सिद्धांत—विशेष रूप से यह कि डेटा, कंप्यूट या मॉडल आकार के साथ प्रदर्शन कैसे पावर-लॉ (power law) के रूप में सुधरता है—अभी भी मायावी बना हुआ है। मौजूदा गणितीय सिद्धांत अक्सर रैखिकीकृत (linearized), कर्नेल, या रैंडम-फीचर मॉडलों पर निर्भर करते हैं जहाँ प्रतिनिधित्व (representation) को पूर्व-निर्धारित किया जाता है, जिसे केवल उस निश्चित प्रतिनिधित्व के स्पेक्ट्रम द्वारा नियंत्रित किया जाता है। इसके विपरीत, अनुभवजन्य अवलोकन बताते हैं कि सीखना (learning) सुचारू नहीं होता है; प्रशिक्षण में पठार (plateaus) और विशेषताओं का क्रमिक उद्भव (sequential emergence) देखा जा सकता है। यह शोध पत्र इन घटनाओं के मिलन बिंदु को संबोधित करता है: क्या सुचारू स्केलिंग लॉ एक निश्चित स्पेक्ट्रल बायस (spectral bias) से नहीं, बल्कि गहरे, पदानुक्रमित (hierarchical) मॉडलों में प्रासंगिक विशेषताओं की प्रगतिशील, क्रमिक खोज से उत्पन्न हो सकते हैं? लेखक एक उच्च-आयामी शिक्षण कार्य की जांच करते हैं जहाँ लक्ष्य फलन (target function) गैर-रेखीय रूपांतरणों का एक संयोजन है, जिसके लिए विषम (anisotropic), पावर-लॉ वितरित शक्ति वाली गुप्त विशेषताओं की पुनर्प्राप्ति आवश्यक है।

कार्यप्रणाली
लेखक एक शिक्षक-छात्र प्रतिमान (teacher-student paradigm) को शामिल करते हुए एक गणितीय रूप से सुलभ, उच्च-आयामी पर्यवेक्षित शिक्षण परिवेश प्रस्तावित करते हैं।

मॉडल: लक्ष्य फलन $f^\star$ परतों का एक संयोजन है। इनपुट $x \in \mathbb{R}^d$ को डिग्री- $q$ हर्मिट टेंसर (Hermite tensors) के उच्च-आयामी स्थान में ऊपर उठाया जाता है। एक प्रथम परत इनपुट को $d_1$ गुप्त दिशाओं पर प्रोजेक्ट करती है जो वेट वेक्टर्स $A^{(1)}$ द्वारा परिभाषित होती हैं। एक दूसरी परत इन प्रोजेक्शन को एक पावर-लॉ भारित योग (वेट्स $\lambda_i \propto i^{-\gamma}$ ) के माध्यम से संयोजित करती है और एक नॉन-लिनियैरिटी $g$ लागू करती है।
एल्गोरिदम: सामान्य ग्रेडिएंट डिसेंट के बजाय, लेखक एक लेयर-वाइज स्पेक्ट्रल एल्गोरिदम का विश्लेषण करते हैं। यह विधि इनपुट फीचर्स और लेबल्स का उपयोग करके एक अनुभवजन्य मोमेंट मैट्रिक्स $\hat{C}$ का निर्माण करती है। $\hat{C}$ के शीर्ष आइजनवेक्टर्स (eigenvectors) का उपयोग पहली परत की गुप्त दिशाओं का अनुमान लगाने के लिए किया जाता है। एक बार जब ये रिकवर हो जाते हैं, तो दूसरी परत का अनुमान निम्न-आयामी गुप्त स्थान (latent space) में लगाया जाता है, जिसके बाद एक स्केलर रीडआउट (scalar readout) होता है।
विश्लेषणात्मक उपकरण: यह विश्लेषण रैंडम मैट्रिक्स थ्योरी और रेज़ोलवेंट-आधारित परटर्बेशन (resolvent-based perturbation) तर्कों पर अत्यधिक निर्भर है। मानक आइजनवेक्टर परटर्बेशन बाउंड्स (जैसे डेविस-काहान) अपर्याप्त हैं क्योंकि पावर-लॉ स्पाइक्स के बीच के स्पेक्ट्रल गैप्स फीचर इंडेक्स बढ़ने के साथ कम होते जाते हैं। इससे निपटने के लिए, लेखक व्यक्तिगत आइजनवेक्टर रिकवरी के लिए तीक्ष्ण ऊपरी और निचली सीमाएं प्राप्त करने हेतु रेज़ोलवेंट के न्यूमैन विस्तार (Neumann expansion) का उपयोग करते हैं। वे पूरे गाऊसी समतुल्यता न्यूनीकरण (Gaussian equivalence reductions) का सहारा लिए बिना, उत्पाद सूत्रों और गाऊसी इंटीग्रेशन बाय पार्ट्स सहित वीनर केओस (Wiener chaos) के उपकरणों का भी उपयोग करते हैं।

मुख्य योगदान और परिणाम

तीक्ष्ण रिकवरी थ्रेशोल्ड (Sharp Recovery Thresholds): यह शोध पत्र व्यक्तिगत गुप्त दिशाओं की रिकवरी के लिए तीक्ष्ण सैंपल-कॉम्प्लेक्सिटी थ्रेशोल्ड सिद्ध करता है। एक विशिष्ट दिशा $k$ (जिसकी शक्ति $a_k \propto k^{-\gamma}$ है) केवल तभी पता लगाने योग्य होती है जब सैंपल का आकार $n$ थ्रेशोल्ड से अधिक हो जाता है जो $d^q / a_k^2$ के समानुपाती है। इस थ्रेशोल्ड के नीचे, दिशा शोर (noise bulk) में छिपी रहती है; इसके ऊपर, दिशा उच्च प्रायिकता के साथ रिकवर हो जाती है।
क्रमिक विशेषता शिक्षण (Sequential Feature Learning): विश्लेषण यह प्रदर्शित करता है कि स्पेक्ट्रल एल्गोरिदम विशेषताओं को क्रमिक रूप से रिकवर करता है: मजबूत फीचर्स (छोटा $k$ ) छोटे सैंपल साइज पर सीखे जाते हैं, जबकि कमजोर फीचर्स के लिए काफी अधिक डेटा की आवश्यकता होती है। यह तीक्ष्ण संक्रमणों का एक "कैस्केड" (cascade) बनाता है।
स्केलिंग लॉ का उद्भव: लेखक दिखाते हैं कि इन क्रमिक, तीक्षूर्ण संक्रमणों का सामूहिक प्रभाव प्रेडिक्शन एरर (Mean Squared Error) में एक सुचारू पावर-लॉ क्षय (decay) प्रदान करता है। विशेष रूप से, एक्सपोनेंट $\gamma$ वाले पावर-लॉ स्पेक्ट्रम के लिए, जनरलाइजेशन एरर $MSE(n) \asymp (n/d^q)^{-1 + 1/(2\gamma)}$ के रूप में स्केल करता है। यह एक ऐसा तंत्र प्रदान करता है जहाँ सुचारू स्केलिंग लॉ, असतत (discrete) फीचर-लर्निंग घटनाओं के संचय से उत्पन्न होते हैं।
डेप्थ एडवांटेज (Depth Advantage): पदानुक्रमित स्पेक्ट्रल विधि कंपोजिशनल संरचना का लाभ उठाकर डिग्री- $q$ गुप्त प्रतिनिधित्व को $n \sim d^q$ के सैंपल स्केल पर रिकवर करती है, जबकि उथले (shallow), गैर-अनुकूली कर्नेल विधियों को इसी कार्य को हल करने के लिए $n \sim d^{2q}$ की आवश्यकता होगी।
संख्यात्मक सत्यापन: प्रयोग अनुमानित क्रमिक रिकवरी, तीक्ष्ण स्पर्शोन्मुख (asymptotic) थ्रेशोल्ड के परिमित-आकार स्मूथिंग (finite-size smoothing), और पदानुक्रमित स्पेक्ट्रल विधि एवं गैर-पदानुक्रमित कर्नेल बेसलाइन के बीच प्रदर्शन के अंतर की पुष्टि करते हैं।

महत्व
यह शोध पत्र डीप लर्निंग में स्केलिंग लॉ के उद्भव के लिए एक सरल, व्याख्यात्मक तंत्र प्रदान करने का दावा करता है। यह तर्क देता है कि पावर-लॉ लर्निंग कर्व केवल एक निश्चित कर्नेल स्पेक्ट्रम से विरासत में मिले गुण नहीं हैं, बल्कि गहराई के माध्यम से प्रस्तुतियों (representations) के प्रगतिशील संगठन द्वारा उत्पन्न किए जा सकते हैं। पदानुक्रम (जो मध्यवर्ती प्रस्तुतियों को उजागर करता है) को विषमता (anisotropy - जो घटकों की रिकवरी को विभिन्न सैंपल साइज में फैला देता है) के साथ जोड़कर, यह मॉडल दिखाता है कि कैसे गहरे लर्नर्स गुप्त विशेषताओं को क्रमिक रूप से रिकवर कर सकते हैं, जिससे तीक्ष्ण स्पेक्ट्रल संक्रमणों को सुचारू स्केलिंग लॉ में बदला जा सके। यह कार्य सुझाव देता है कि डीप लर्निंग में स्केलिंग लॉ एक स्थिर प्रतिनिधित्व के गुणों के बजाय फीचर डिस्कवरी की गतिशील प्रक्रिया को दर्शा सकते हैं।