🤖 machine learning

Characterizing Learning in Deep Neural Networks using Tractable Algorithmic Complexity Analysis

यह शोध पत्र क्वांटाइज्ड ब्लॉक डिकंपोजिशन (QuBD) पद्धति को प्रस्तुत करता है, जो डीप न्यूरल नेटवर्क वेट्स की कोलमोगोरोव-चैटिन-सोलोमोनल जटिलता का अनुमान लगाने के लिए एक स्केलेबल एल्गोरिदम है, जो यह प्रकट करता है कि लर्निंग के दौरान एल्गोरिद्मिक जटिलता घटती है, जनरलाइजेशन के साथ सह-संबंध रखती है, और प्रभावी मॉडल क्वांटाइजेशन के लिए महत्वपूर्ण बिट-प्लेन की पहचान करती है।

मूल लेखक: Pedram Bakhtiarifard, Sophia N. Wilson, Mahmoud Afifi, Jonathan Wenshøj, Raghavendra Selvan

प्रकाशित 2026-05-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Pedram Bakhtiarifard, Sophia N. Wilson, Mahmoud Afifi, Jonathan Wenshøj, Raghavendra Selvan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: सीखना एक सूटकेस पैक करने जैसा है

कल्पना कीजिए कि आपके पास एक विशाल, अस्त-व्यस्त सूटकेस है जो बेतरतीब ढंग से फेंके गए कपड़ों, मोजों और जूतों से भरा हुआ है। यह एक नया प्रशिक्षित डीप न्यूरल नेटवर्क (DNN) है जो अभी-अभी सीखना शुरू हुआ है। इसमें सभी "पैरामीटर्स" (वेट्स) तो हैं, लेकिन वे केवल रैंडम शोर (noise) हैं। यह बिखरा हुआ है, बहुत जगह घेरता है, और इसे समझना कठिन है।

जैसे-जैसे नेटवर्क "सीखता" है (डेटा पर प्रशिक्षण लेता है), यह इस सूटकेस को व्यवस्थित करना शुरू कर देता है। यह शर्ट को तह करता है, मोजों को रोल करता है, और जूतों को करीने से सजाता है। यह पैटर्न ढूंढ लेता है। कंप्यूटर विज्ञान की दुनिया में, इस संगठन को स्ट्रक्चर (संरचना) कहा जाता है।

इस शोध पत्र की मुख्य परिकल्पना "लर्निंग एज कम्प्रेशन" (सीखना एक संपीड़न के रूप में) है। विचार यह है कि जैसे-जैसे एक मॉडल सीखता है, वह न केवल स्मार्ट होता है; बल्कि वह वास्तव में सरल और अधिक व्यवस्थित भी होता जाता है। यदि आप अपने सूटकेस को अच्छी तरह से व्यवस्थित कर सकते हैं, तो आप उसे एक छोटे बैग में फिट कर सकते हैं। यही कारण है कि हम बाद में AI मॉडल्स को कंप्रेस (संकुचित) कर सकते हैं ताकि वे तेज़ी से चल सकें और कम ऊर्जा का उपयोग करें।

समस्या: "बिखराव" (Messiness) को मापना कठिन है

वैज्ञानिक लंबे समय से यह मापना चाहते थे कि एक न्यूरल नेटवर्क वास्तव में कितना व्यवस्थित है। वे एक अवधारणा का उपयोग करते हैं जिसे कोलमोगोरोव कॉम्प्लेक्सिटी (Kolmogorov Complexity) या KCS कॉम्प्लेक्सिटी कहा जाता है।

उपमा: KCS कॉम्प्लेक्सिटी को किसी विशिष्ट वस्तु को फिर से बनाने के लिए आवश्यक सबसे छोटे निर्देश मैनुअल (instruction manual) की लंबाई के रूप में सोचें।
- कपड़ों के रैंडम ढेर का मैनुअल लंबा होगा: "एक लाल मोजा यहाँ रखें, एक नीला जूता वहाँ रखें..." (उच्च जटिलता)।
- एक जैसी सफेद शर्टों के करीने से रखे गए ढेर का मैनुअल छोटा होगा: "50 सफेद शर्ट तह करें और उन्हें एक के ऊपर एक रखें" (कम जटिलता)।

चुनौती: आधुनिक AI मॉडल्स जैसी बड़ी और जटिल वस्तुओं के लिए इस "सबसे छोटे मैनुअल" की गणना करना गणितीय रूप से असंभव है। मौजूदा उपकरण (जिन्हें CTM और BDM कहा जाता है) ऐसे हैं जैसे किसी पूरे शहर की जटिलता को केवल एक ईंट को देखकर मापने की कोशिश करना। वे छोटी, सरल चीजों (जैसे बाइनरी कोड) के लिए तो काम करते हैं, लेकिन जब आप आधुनिक AI के भीतर के विशाल, फ्लोटिंग-पॉइंट नंबरों पर इनका उपयोग करने की कोशिश करते हैं, तो ये विफल हो जाते हैं।

समाधान: QuBD (एक "बिट-प्लेन" ट्रांसलेटर)

लेखकों ने एक नई विधि पेश की है जिसे QuBD (क्वांटाइज्ड ब्लॉक डिकंपोजिशन) कहा जाता है।

यह कैसे काम करता है (रूपक):
कल्पना कीजिए कि आपके पास एक हाई-रिज़ॉल्यूशन डिजिटल फोटो (AI वेट्स) है।

क्वांटाइजेशन (Quantization): सबसे पहले, QuBD रंगों को एक विशिष्ट पैलेट तक राउंड करके फोटो को सरल बनाता है (जैसे किसी फोटो को पिक्सेल आर्ट स्टाइल में बदलना)। यह डेटा को प्रबंधनीय बनाता है।
बिट-प्लेन डिकंपोजिशन (Bit-Plane Decomposition): पूरी फोटो को एक साथ देखने के बजाय, QuBD इमेज को प्याज की तरह परत दर परत अलग करता है।
- लेयर 1 (सबसे महत्वपूर्ण बिट): यह इमेज का "कंकाल" (skeleton) है। यह बड़े आकार और मुख्य संरचनाओं को रखता है।
- लेयर 2, 3, आदि: ये बारीक विवरण, शेडिंग और सूक्ष्म शोर (noise) हैं।
जादू: QuBD प्रत्येक परत की "बिखराव" (जटिलता) को अलग से मापता है और उन्हें जोड़ देता है।

यह बेहतर क्यों है?
पुराने तरीके पूरी फोटो को तुरंत ब्लैक एंड व्हाइट (बाइनरी) में बदलने की कोशिश करते थे, जिससे बहुत सारा विवरण खो जाता था। QuBD एक-एक करके परतों को देखता है। शोध पत्र गणितीय रूप से सिद्ध करता है कि यह इस बात का कहीं अधिक सटीक माप देता है कि डेटा वास्तव में कितना "व्यवस्थित" है।

उन्होंने क्या खोजा: सीखने की यात्रा

इस नए "लेयर-पीलिंग" टूल का उपयोग करके, लेखकों ने देखा कि AI मॉडल सीखते समय कैसे बदलते हैं। यहाँ उन्होंने जो पाया वह है:

1. सीखना जटिलता को कम करता है
जैसे-जैसे एक मॉडल प्रशिक्षित होता है, उसका "सूटकेस" व्यवस्थित होता जाता है। जटिलता का स्कोर नीचे जाता है।

उपमा: मॉडल एक रैंडम नंबरों के अराजक ढेर के साथ शुरू होता है। जैसे-जैसे वह सीखता है, उसे एहसास होता है, "ओह, मुझे हर एक रैंडम नंबर याद रखने की ज़रूरत नहीं है; मुझे बस पैटर्न याद रखने की ज़रूरत है।" निर्देश मैनुअल छोटा हो जाता है।

2. ओवरफिटिंग इसे फिर से बिखरा हुआ बना देती है
यदि कोई मॉडल बहुत लंबे समय तक प्रशिक्षित होता है, तो वह पैटर्न सीखने के बजाय प्रशिक्षण डेटा को रटने लगता है। इसे ओवरफिटिंग (Overfitting) कहा जाता है।

उपमा: मॉडल कपड़े तह करना बंद कर देता है और हर एक मोजे को एक विशिष्ट कोने में ठूसना शुरू कर देता है ताकि उसे याद रखा जा सके। सूटकेस फिर से बिखरा हुआ हो जाता है, और जटिलता का स्कोर ऊपर जाता है।

3. "ग्रोकिंग" (Grokking) की घटना
कभी-कभी, एक मॉडल ऐसा लगता है जैसे वह फँसा हुआ है, सीखने में विफल हो रहा है, और फिर अचानक उसे सब समझ आ जाता है (इसे ग्रोकिंग कहा जाता है)।

उपमा: मॉडल संघर्ष कर रहा है, और जटिलता उच्च बनी हुई है। अचानक, उसे एक "अहा!" क्षण मिलता है, जटिलता तेजी से गिर जाती है, और वह समस्या को पूरी तरह से हल करने लगता है। QuBD टूल ने ठीक उसी समय जटिलता में गिरावट को ट्रैक किया जब मॉडल ने सामान्यीकरण (generalizing) करना शुरू किया।

4. "महत्वपूर्ण" परतें (Important Layers)
लेखकों ने पाया कि "कंकाल" वाली परतों (सबसे महत्वपूर्ण बिट्स) में लगभग सारा उपयोगी जानकारी होती है। "बारीक विवरण" वाली परतें (सबसे कम महत्वपूर्ण बिट्स) अक्सर केवल रैंडम शोर होती हैं।

उपमा: यदि आप यात्रा के लिए पैकिंग कर रहे हैं, तो कपड़े (मुख्य संरचना) मायने रखते हैं। आपकी जेब में पड़ा हुआ लिंट (लो-बिट्स) मायने नहीं रखता।
व्यावहारिक उपयोग: यह इंजीनियरों को बताता है कि वे प्रदर्शन खोए बिना मॉडल को कंप्रेस करने के लिए "लो बिट" परतों को सुरक्षित रूप से हटा सकते हैं। यह एक डायग्नोस्टिक टूल के रूप में कार्य करता है कि मॉडल को कितना कंप्रेस किया जा सकता है।

सारांश

इस शोध पत्र ने एक नया रूलर (QuBD) बनाया जो यह मापता है कि एक AI कितना "व्यवस्थित" है। उन्होंने सिद्ध किया कि:

सीखना = व्यवस्थित करना: जैसे-जैसे AI सीखता है, वह सरल और अधिक कंप्रेसेबल (संकुचित करने योग्य) होता जाता है।
ओवरफिटिंग = अराजकता: यदि यह बहुत अधिक सीखता है, तो यह फिर से बिखरा हुआ हो जाता है।
"बड़े बिट्स" मायने रखते हैं: सबसे महत्वपूर्ण जानकारी डेटा की ऊपरी परतों में होती है, जिससे हम जगह बचाने के लिए बाकी हिस्सों को सुरक्षित रूप से हटा सकते हैं।

यह हमें यह समझने का एक नया तरीका देता है कि डीप लर्निंग वास्तव में कैसे काम करती है, न कि केवल सटीकता (accuracy) स्कोर को देखकर, बल्कि डेटा की मौलिक संरचना को देखकर।

तकनीकी सारांश: ट्रैक्टेबल एल्गोरिद्मिक कॉम्प्लेक्सिटी विश्लेषण का उपयोग करके डीप न्यूरल नेटवर्क में लर्निंग का लक्षण वर्णन करना

समस्या विवरण

बड़े पैमाने के डीप न्यूरल नेटवर्क्स (DNNs) को प्रशिक्षित करना तेजी से संसाधन-गहन होता जा रहा है, जिससे प्रूनिंग (pruning), नॉलेज डिस्टिलेशन (knowledge distillation) और क्वांटाइजेशन (quantization) जैसी मॉडल संपीड़न (compression) तकनीकों की आवश्यकता बढ़ रही है। "लर्निंग ऐज़ कंप्रेशन" (learning as compression) परिकल्पना यह मानती है कि प्रशिक्षण नेटवर्क के वेट्स (weights) में संरचनात्मक संगठन प्रेरित करता है, जिससे संपीड़न संभव हो पाता है। जबकि कोलमोगोरोव-चैइटिन-सोलोमनॉफ (KCS) कॉम्प्लेक्सिटी, संरचना को मापने के लिए सैद्धांतिक मीट्रिक है, यह गैर-गणना योग्य (non-computable) है। कोडिंग थ्योरम मेथड (CTM) और ब्लॉक डीकंपोजिशन मेथड (BDM) पर आधारित मौजूदा अनुमान छोटे बाइनरी ऑब्जेक्ट्स तक सीमित हैं और आधुनिक DNNs के लिए विफल रहते हैं, जिनमें बड़े, गैर-बाइनरी (फ्लोटिंग-पॉइंट) वेट टेंसर शामिल होते हैं। इसके अलावा, मौजूदा विधियाँ अक्सर बाइनराइजेशन (binarization) पर निर्भर करती हैं, जो कि लॉसफुल (lossy) हो सकता है और सार्थक संरचनात्मक जानकारी को अस्पष्ट कर सकता है।

कार्यप्रणाली: क्वांटाइज्ड ब्लॉक डीकंपोजिशन (QuBD)

स्केलेबिलिटी और परिशुद्धता की सीमाओं को संबोधित करने के लिए, लेखक क्वांटाइज्ड ब्लॉक डीकंपोजिशन (QuBD) विधि पेश करते हैं। यह दृष्टिकोण निम्नलिखित पाइपलाइन के माध्यम से किसी भी $k$ -ary ऑब्जेक्ट के लिए एल्गोरिद्मिक कॉम्प्लेक्सिटी अनुमान का विस्तार करता है:

क्वांटाइजेशन (Quantization): नेटवर्क वेट्स $W \in \mathbb{R}^d$ को एक एफ़ाइन यूनिफॉर्म क्वांटाइज़र का उपयोग करके एक परिमित वर्णमाला $\Sigma_q$ में मैप किया जाता है, जिसके परिणामस्वरूप पूर्णांक कोड $W^{(q)}$ प्राप्त होते हैं।
बिट-प्लेन डीकंपोजिशन (Bit-Plane Decomposition): प्रत्येक क्वांटाइज्ड वेट को $q$ बिट-प्लेन में इसके बाइनरी एक्सपेंशन के माध्यम से डीकंपोज किया जाता है। $l$ -वा वास्तविक बिट-प्लेन $\beta_l$ , सभी $d$ प्रतीकों के $l$ -वें बिट को एकत्र करता है।
एग्रीगेशन (Aggregation): KCS कॉम्प्लेक्सिटी का अनुमान छोटे बाइनरी ब्लॉक्स के लिए पूर्व-निर्धारित CTM टेबल्स के माध्यम से प्रति-बिट-प्लेन CTM अनुमानों को एकत्रित करके लगाया जाता है। कुल कॉम्प्लेक्सिटी $C_{QuBD}(W) = \sum_{l=0}^{q-1} C(\beta_l)$ के रूप में गणना की जाती है, जहाँ $C(\beta_l)$ को छोटे बाइनरी ब्लॉक्स के लिए पूर्व-निर्धारित CTM टेबल्स से प्राप्त किया जाता है।

सैद्धांतिक लाभ:
पेपर प्रमाण प्रदान करता है कि QuBD, बाइनराइजेशन-आधारित विधियों की तुलना में वास्तविक KCS कॉम्प्लेक्सिटी के सापेक्ष एक सख्त (tighter) एस्टिमेशन गैप प्रदान करता है।

रेसिडुअल डीकंपोजिशन (थ्योरम 3.1): पेपर यह औपचारिक रूप से स्थापित करता है कि अपने क्वांटाइज्ड प्रीफिक्स $y_q$ से किसी ऑब्जेक्ट का अनुमान लगाने में $R_q$ (जो विसर्जित किए गए लोअर बिट्स में निहित है) की रेसिडुअल जानकारी छूट जाती है।
बिट-प्लेन रेसिडुअल लॉस (थ्योरम 3.2): यह सिद्ध किया गया है कि बिट-प्लेन जोड़ने से रेसिडुअल लॉस कम हो जाता है। विशेष रूप से, कई बिट-प्लेन रखने से एक-बिट बाइनराइजेशन की तुलना में सख्त रूप से छोटा रेसिडुअल प्राप्त होता, बशर्ते कि बिट-प्लेन समान न हों।
सैचुरेशन विश्लेषण (Saturation Analysis): लेखक सीमित CTM टेबल्स के "सैचुरेशन" का विश्लेषण करते हैं। वे दिखाते हैं कि जबकि सीरियलाइजेशन (सभी बिट्स को फ्लैट करना) ब्लॉक्स की भारी मात्रा के कारण CTM टेबल्स को जल्दी संतृप्त (saturate) कर देता है, बिट-प्लेन डीकंपोजिशन प्लेन्स के माध्यम से स्वतंत्र रूप से स्थानीय संरचनाओं का मूल्यांकन करके सपोर्ट को प्रभावी ढंग से स्केल करता है, जिससे बड़े स्तरों पर भी सूचनात्मक अनुमान बना रहता है।

मुख्य परिणाम

QuBD का उपयोग करते हुए, लेखक सरल फीडफॉरवर्ड नेटवर्क से परे DNNs में लर्निंग डायनेमिक्स के पहले स्केलेबल एम्पिरिकल लक्षण वर्णन (empirical characterization) प्रदान करते हैं:

प्रशिक्षण के दौरान कॉम्प्लेक्सिटी में कमी: जैसे-जैसे मॉडल सीखते हैं, उनके वेट्स की एल्गोरिद्मिक कॉम्प्लेक्सिटी कम होती जाती है। यह मल्टी-लेयर पर्सेप्ट्रॉन्स (MLPs) और विजन ट्रांसफॉर्मर्स (ViTs) में देखा गया है, जहाँ कॉम्प्लेक्सिटी में कमी बेहतर टेस्ट एक्यूरेसी के साथ सह-संबंधित (correlate) है।
ओवरफिटिंग और कॉम्प्लेक्सिटी: ओवरफिटिंग के दौरान, एल्गोरिद्मिक कॉम्प्लेक्सिटी बढ़ जाती है। यह सुझाव देता है कि मेमोरीज़ेशन (memorization) ऐसी संरचना पेश करता है जो एल्गोरिद्मिक रूप से जटिल (कम कंप्रेसिबल) होती है, जो कि जनरलाइजेशन के दौरान देखी गई सरलीकरण के विपरीत है।
ग्रोकिंग (Grokking) घटना: "ग्रोकिंग" प्रयोगों में (जहाँ मॉडल ओवरफिटिंग की लंबी अवधि के बाद अच्छी तरह से जनरलाइज करते हैं), QuBD कॉम्प्लेक्सिटी हाई-वैलिडेशन-लॉस चरण के दौरान उच्च बनी रहती है और केवल तभी महत्वपूर्ण रूप से घटती है जब वैलिडेशन लॉस शून्य हो जाता है, जो विलंबित जनरलाइजेशन को ट्रैक करती है।
बिट-प्लेन सूचना वितरण: एल्गोरिद्मिक सूचना समान रूप से वितरित नहीं होती है। सबसे महत्वपूर्ण बिट-प्लेन (MSB) सबसे बड़ा कॉम्प्लेक्सिटी रिडक्शन प्रदर्शित करते हैं (उच्च संरचना का संकेत), जबकि निचले बिट-प्लेन अक्सर 100% के करीब कॉम्प्लेक्सिटी रेश्यो दिखाते हैं (रैंडम)।
कंप्रेशन के लिए डायग्नोस्टिक: MSBs में एल्गोरिद्मिक सूचना का संकेंद्रण पोस्ट-ट्रेनिंग क्वांटाइजेशन (PTQ) प्रदर्शन के साथ सह-संबंधित है। मॉडल न्यूनतम एक्यूरेसी लॉस के साथ 4-6 बिट्स तक क्वांटाइज किए जा सकते हैं, क्योंकि निचले बिट-प्लेन में नगण्य एल्गोरिद्मिक सूचना होती है। QuBD कॉम्प्लेक्सिटी एक व्यावहारिक डायग्नोस्टिक के रूप में कार्य करती है जिससे इष्टतम क्वांटाइजेशन स्तर निर्धारित किया जा सकता है और उन लेयर्स की पहचान की जा सकती है जो प्रूनिंग के लिए उपयुक्त हैं।

महत्व और दावे

पेपर का दावा है कि यह बड़े, गैर-बाइनरी ऑब्जेक्ट्स जैसे DNN वेट्स के लिए स्केलेबल, ट्रैक्टेबल KCS कॉम्प्लेक्सिटी अनुमान का पहला उदाहरण प्रदान करता है। इसका महत्व इस प्रकार है:

"लर्निंग ऐज़ कंप्रेशन" को क्रियान्वित करना: यह अनुभवजन्य साक्ष्य प्रदान करता है कि प्रशिक्षण वेट्स में संरचना प्रेरित करता है, जिसे एल्गोरिद्मिक कॉम्प्लेक्सिटी के माध्यम से मापा जा सकता है, जो इस परिकल्पना का समर्थन करता है कि लर्निंग संपीड़न की एक प्रक्रिया है।
सैद्धांतिक श्रेष्ठता: यह स्थापित करता है कि बिट-प्लेन डीकंपोजिशन, बाइनराइजेशन के बजाय KCS कॉम्प्लेक्सिटी के लिए एक सख्त बाउंड प्रदान करता है, जो DNNs के पिछले एल्गोरिद्मिक सूचना अनुप्रयोगों की एक मौलिक सीमा को संबोधित करता है।
व्यावहारिक उपयोगिता: यह प्रदर्शित करता है कि एल्गोरिद्मिक कॉम्प्लेक्सिटी विश्लेषण, प्रदर्शन हानि की आवश्यकता के बिना, मॉडल कंप्रेशन के लिए एक डायग्नोस्टिक टूल के रूप में कार्य कर सकता है, जो रेडंडेंट कैपेसिटी (जैसे, निचले बिट-प्लेन या विशिष्ट लेयर्स) की पहचान करता है।

लेखक निष्कर्ष निकालते हैं कि एल्गोरिद्मिक सूचना सिद्धांत डीप लर्निंग तंत्रों को समझाने के लिए एक शक्तिशाली प्रतिमान (paradigm) प्रदान करता है, जो जनरलाइजेशन परफॉरमेंस और ग्रोकिंग जैसी घटनाओं के साथ संरेखित होने वाले लर्निंग डायनेमिक्स को कैरेक्टराइज़ करने के लिए एक ठोस विधि प्रदान करता है।