🤖 machine learning

Breaking chains with trees: Deep learning with $\mathcal{O}(\log N)$ parallel time complexity

यह शोध पत्र पदानुक्रमित ब्लॉक-स्थानीय शिक्षण (Hierarchical Block-Local Learning - HBLL) को प्रस्तुत करता है, जो एक नवीन ढांचा है जो डीप न्यूरल नेटवर्क को पदानुक्रमित रूप से जुड़े ब्लॉकों में विभाजित करता है जिन्हें स्थानीय उद्देश्यों के माध्यम से प्रशिक्षित किया जाता है ताकि अनुक्रमिक बैकप्रॉपैगेशन को समाप्त किया जा सके, जिससे विजन और लैंग्वेज कार्यों पर प्रतिस्पर्धी प्रदर्शन बनाए रखते हुए $\mathcal{O}(\log N)$ समानांतर समय जटिलता प्राप्त की जा सके।

मूल लेखक: Neeraj Mohan Sushma, Aditya Nagarsekar, Cabrel Teguemne Fokam, Robin Schiewer, Amit Kumar Pal, Anand Subramoney, David Kappel

प्रकाशित 2026-06-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Neeraj Mohan Sushma, Aditya Nagarsekar, Cabrel Teguemne Fokam, Robin Schiewer, Amit Kumar Pal, Anand Subramoney, David Kappel

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप 1,000 लोगों की एक विशाल टीम को एक जटिल पहेली हल करना सिखाने की कोशिश कर रहे हैं।

पुराना तरीका (Backpropagation): "टेलीफोन गेम" की बाधा
वर्तमान में, अधिकांश AI मॉडल को "बैकप्रोपैगेशन" नामक विधि का उपयोग करके प्रशिक्षित किया जाता है। इसे "टेलीफोन" के खेल की तरह समझें जो उल्टा खेला जा रहा है।

टीम पहेली को शुरू से अंत तक हल करती है (फॉरवर्ड पास)।
उन्हें पता चलता है कि उन्होंने बिल्कुल अंत में एक गलती की है।
उन्हें फिर सुधार को पीछे की ओर, एक-एक करके, वापस शुरुआत तक फुसफुसाकर बताना होता है (बैकवर्ड पास)।
समस्या: कोई भी अपनी रणनीति तब तक नहीं बदल सकता जब तक कि उससे पहले वाला व्यक्ति सुधार को फुसफुसाकर बताने का काम पूरा न कर ले। यदि आपके पास 1,000 लोग हैं, तो वह "फुसफुसाहट" बहुत लंबा समय लेती है। इसे "लॉकिंग" (Locking) कहा जाता है। इसका मतलब है कि आप अधिक कंप्यूटर जोड़कर गति नहीं बढ़ा सकते क्योंकि हर कोई अपने बगल वाले व्यक्ति का इंतज़ार कर रहा है। यह कार के इंजन को ठीक करने जैसा भी है जबकि कार अभी चल रही है; आपको एक हिस्सा ठीक करने के लिए पूरी कार के काम करने के तरीके को सटीक रूप से जानना होगा।

नया तरीका (HBLL): "मैनेजर्स का पेड़" (Tree of Managers)
यह पेपर एक नई विधि पेश करता है जिसे Hierarchical Block-Local Learning (HBLL) कहा जाता है। एक लंबी लाइन में खड़े होकर फुसफुसाने के बजाय, कल्पना करें कि आपने टीम को एक पिरामिड के रूप में प्रबंधकों (Managers) में व्यवस्थित किया है।

संरचना: 1,000 श्रमिकों की एक एकल रेखा के बजाय, आपके पास एक पेड़ (Tree) है। नीचे छोटे दल (Teams) हैं। उनके ऊपर, मैनेजर हैं जो दो टीमों की देखरेख करते हैं। उनके ऊपर, मैनेजर हैं जो उन मैनेजर्स की देखरेख करते हैं, और इसी तरह, जब तक आप शीर्ष पर पहुँचते हैं जहाँ CEO है।
प्रशिक्षण: जब कोई गलती होती है, तो CEO को पूरी गहराई तक फुसफुसाने की आवश्यकता नहीं होती।
- CEO शीर्ष स्तर के दो प्रबंधकों को बताता है कि क्या गलत हुआ।
- वे दो मैनेजर अपने चार उप-प्रबंधकों को बताते हैं।
- वे आठ उप-प्रबंधकों को बताते हैं।
- जादू: क्योंकि जानकारी पेड़ के माध्यम से नीचे की ओर विभाजित होती है, इसलिए संदेश बहुत तेज़ी से नीचे पहुँच जाता है। यदि आपके पास 1,000 परतें (Layers) हैं, तो संदेश को केवल लगभग 10 चरणों (Logarithmic time) में नीचे पहुँचना होगा, बजाय 1,000 चरणों के।
स्थानीय शिक्षण (Local Learning): प्रत्येक छोटा दल (या "ब्लॉक") केवल अपने तत्काल पड़ोसियों की चिंता करता है। उन्हें अपना काम करने के लिए पूरी कंपनी के रहस्यों को जानने की आवश्यकता नहीं है। उन्हें बस यह सुनिश्चित करने की आवश्यकता है कि पहेली का उनका स्थानीय हिस्सा ऊपर और नीचे के हिस्सों के साथ फिट बैठता है।

यह क्यों महत्वपूर्ण है ("जंजीरें तोड़ने" का उदाहरण)
पेपर का दावा है कि यह तरीका प्रतीक्षा करने की "जंजीरों" को तोड़ देता है।

गति: क्योंकि "फुसफुसाहट" एक लाइन के बजाय एक पेड़ के माध्यम से यात्रा करती है, इसलिए प्रशिक्षण का समय मॉडल के बड़े होने के साथ बहुत धीरे-धीरे बढ़ता है। पेपर का दावा है कि यह गहरे नेटवर्क को O(log N) समय में प्रशिक्षित कर सकता है, जिसका अर्थ है कि यदि आप नेटवर्क का आकार दोगुना करते हैं, तो प्रशिक्षण का समय दोगुना नहीं होता; बल्कि इसमें केवल थोड़ा सा ही समय जुड़ता है।
कोई "वेट ट्रांसपोर्ट" (Weight Transport) नहीं: पुराने तरीके में, "बैकवर्ड फुसफुसाहट" को ठीक उन्हीं तारों (Wires) का उपयोग करना पड़ता है जिनका उपयोग "फॉरवर्ड थिंकिंग" के लिए किया जाता है। HBLL को इस पूर्ण समरूपता (Symmetry) की आवश्यकता नहीं है। यह एक सड़क को ठीक करने के समान है बिना उसी रास्ते पर वापस चले जिससे आप वहां पहुंचे थे।

उन्होंने क्या परीक्षण किया
लेखकों ने इस "मैनेजर्स के पेड़" वाले दृष्टिकोण का कई कठिन कार्यों पर परीक्षण किया:

अंकों को पहचानना (MNIST): उन्होंने दिखाया कि यह बहुत गहरे नेटवर्क पर भी काम करता है जहाँ पुराना तरीका (Backpropagation) कुछ भी उपयोगी सीखने में विफल रहा था।
वस्तुओं को पहचानना (CIFAR-10 & 100): उन्होंने इसका उपयोग "विज़न ट्रांसफॉर्मर्स" (AI जो चित्रों को देखता है) पर किया। यह मानक पद्धति के समान ही प्रदर्शन करता है, भले ही चित्र के कुछ हिस्से गायब हों या लेबल शोर (Noisy) वाले हों।
टेक्स्ट लिखना (WikiText-103): उन्होंने एक AI को वाक्य में अगले शब्द की भविष्यवाणी करना सिखाने के लिए इसका उपयोग किया। इसने अच्छा काम किया, जो साबित करता है कि यह विधि भाषा के लिए भी काम करती है।
समय अनुक्रम (RNNs): उन्होंने इसे समय के साथ होने वाले कार्यों (जैसे वाक्य को शब्द-दर-शब्द पढ़ना) के लिए अनुकूलित किया। उन्होंने इन मॉडलों को समानांतर (Parallel) में प्रशिक्षित करने का तरीका पाया (पेड़ की तरह), लेकिन उपयोग करते समय उन्हें क्रमिक (Sequential) रूप से चलाया (सामान्य वाक्य की तरह)।

छिपी हुई महाशक्ति: लचीला अनुमान (Flexible Inference)
इस पेड़ जैसी संरचना का एक शानदार दुष्प्रभाव यह है कि AI अप्रत्यक्ष रूप से कई "सब-नेटवर्क्स" सीख लेता है।

कल्पना कीजिए कि AI के पास कठिन पहेलियों के लिए एक "फुल पाथ" (Full Path - सभी 1,000 परतों का उपयोग करना) है।
लेकिन आसान पहेलियों के लिए, इसके पास "शॉर्ट पाथ" (Short Paths - केवल शीर्ष कुछ परतों का उपयोग करना) भी है।
इसका मतलब है कि आप एक ही प्रशिक्षित मॉडल का उपयोग एक त्वरित, सरल काम या एक गहरे, जटिल काम के लिए बिना पुन: प्रशिक्षित (Retraining) किए कर सकते हैं। यह एक स्विस आर्मी नाइफ की तरह है जहाँ आप कार्य के आधार पर केवल पेचकश (Screwdriver) निकाल सकते हैं या पूरे उपकरण का उपयोग कर सकते हैं।

सारांश में
यह पेपर AI को प्रशिक्षित करने का एक तरीका प्रस्तावित करता है जो लोगों को लाइन में प्रतीक्षा करने से रोकता है। एक पदानुक्रमित पेड़ (Hierarchical Tree) में सीखने की प्रक्रिया को व्यवस्थित करके, जहाँ स्थानीय दल अपनी छोटी समस्याओं को स्वयं ठीक करते हैं, AI बहुत तेज़ी से समानांतर में सीख सकता है। यह मानक पद्धति के तुलनीय परिणाम प्राप्त करता है लेकिन "लॉकिंग" की बाधा को हटा देता है, जिससे विशाल मॉडलों को अधिक कुशलता से प्रशिक्षित करना संभव हो जाता है।

तकनीकी सारांश: ट्रीज़ के साथ चेन्स को तोड़ना (HBLL)

समस्या विवरण

आधुनिक डीप न्यूरल नेटवर्क (DNNs) एरर बैकप्रोपैगेशन (BP) पर निर्भर करते हैं, एक ऐसा प्रतिमान (paradically) जो दो मौलिक सीमाएँ पेश करता है:

लॉकिंग समस्या (The Locking Problem): लेयर-वार अपडेट पूरी तरह से परस्पर निर्भर होते हैं। किसी भी पैरामीटर को अपडेट करने से पहले एक पूर्ण फॉरवर्ड पास और उसके बाद एक पूर्ण बैकवर्ड पास की आवश्यकता होती है, जो परतों के बीच समानांतर प्रशिक्षण (parallel training) को रोकता है और हार्डवेयर उपयोग को सीमित करता है।
वेट ट्रांसपोर्ट समस्या (The Weight Transport Problem): सटीक ग्रेडिएंट गणना के लिए सममित (symmetric) फॉरवर्ड और बैकवर्ड पथों की आवश्यकता होती है, जो जैविक रूप से अवास्तविक है और हार्डवेयर में कार्यान्वित करने के लिए कम्प्यूटेशनल रूप से महंगी है।

ये बाधाएं $N$ परतों वाले नेटवर्क के प्रशिक्षण के लिए $O(N)$ की क्रमिक समय जटिलता (sequential time complexity) का परिणाम देती हैं, जो बड़े पैमाने के मॉडलों के लिए स्केलेबिलिटी, मेमोरी दक्षता और संचार ओवरहेड के लिए बाधा उत्पन्न करती है। हालांकि वैश्विक त्रुटि प्रसार (global error propagation) को शिथिल करने के लिए स्थानीय शिक्षण विधियों (local learning methods) का प्रस्ताव दिया गया है, लेकिन वे ऐतिहासिक रूप से बड़े नेटवर्क आकार या ट्रांसफॉर्मर और रिकरेंट न्यूरल नेटवर्क (RNNs) जैसे जटिल आर्किटेक्चर तक स्केल करने में संघर्ष करते रहे हैं।

कार्यप्रणाली: हायरार्किकल ब्लॉक-लोकल लर्निंग (HBLL)

लेखक हायरार्किकल ब्लॉक-लोकल लर्निंग (HBLL) का प्रस्ताव करते हैं, जो डीप नेटवर्क को पदानुक्रमित रूप से जुड़े ब्लॉकों में विभाजित करता है जिन्हें स्थानीय उद्देश्यों (local objectives) के माध्यम से प्रशिक्षित किया जाता है जो वेरिएशनल सिद्धांतों से प्राप्त होते हैं, जिससे पूर्ण एंड-टू-एंड बैकप्रोपैगेशन की आवश्यकता समाप्त हो जाती है।

सैद्धांतिक आधार

यह दृष्टिकोण एक DNN में ऑपरेशन्स की श्रृंखला ( $x \to z_1 \to \dots \to z_{N-1} \to y$ ) को एक फर्स्ट-ऑर्डर मार्कोव चेन के रूप में पुनर्व्याख्या करता है। $O(N)$ क्रमिक निर्भरता को दूर करने के लिए, लेखक मध्यवर्ती निरूपणों (intermediate representations) पर पोस्टीरियर वितरण के ऊपर एक ट्री-स्ट्रक्चर्ड फैक्टराइजेशन पेश करते हैं।

डिवाइड-एंड-कंवर (Divide-and-Conquer): कई पदानुक्रम स्तरों (जैसे, $z_{N/2}$ , $z_{N/4}$ ) पर मध्यवर्ती चर पेश करके, श्रृंखला को छोटे उप-समस्याओं में विभाजित किया जाता है।
प्रमेय 1 (Theorem 1): लेखक सिद्ध करते हैं कि मध्यवर्ती निरूपणों पर पोस्टीरियर वितरण एक समतुल्य ट्री-स्ट्रक्चर्ड डिकंपोजिशन को स्वीकार करता है। यह कम्प्यूटेशनल पाथ को $O(N)$ से घटाकर $O(\log N)$ कर देता है, जिससे डीप नेटवर्क को प्रशिक्षित करने के लिए पहला समानांतर एल्गोरिदम सक्षम होता है।

वेरिएशनल लर्निंग फ्रेमवर्क

HBLL स्थानीय शिक्षण उद्देश्यों को परिभाषित करने के लिए एक वेरिएशनल फॉर्मूलेशन का उपयोग करता है:

उद्देश्य (Objective): ग्लोबल लॉग-लाइक्लीहुड लॉस को एक सहायक लॉस (auxiliary loss) द्वारा प्रतिस्थापित किया जाता है जिसमें एक वेरिएशनल वितरण $q$ (जो ट्री संरचना द्वारा परिभाषित है) और वास्तविक पोस्टीरियर के बीच कुलबैक-लीब्लर (KL) डाइवर्जेंस शामिल है।
स्थानीय अपडेट (Local Updates): वेरिएशनल लॉस में एक्सपेक्टेशन को प्रत्येक ब्लॉक से जुड़े स्थानीय पदों में विभाजित किया जाता है। प्रत्येक ब्लॉक अपने वेरिएशनल कंडिशनल डिस्ट्रीब्यूशन $q(z_n | \text{parents})$ को फॉरवर्ड मॉडल $p(z_n | z_{n-1})$ के साथ संरेखित करना सीखता है।
कार्यान्वयन (Implementation): मोंटे कार्लो सैंपलिंग और एक्सपोनेंशियल फैमिली डिस्ट्रीब्यूशन्स के अनुमानों का उपयोग करते हुए, ग्रेडिएंट्स की गणना ग्लोबल ग्रेडिएंट प्रोपगेशन के बिना स्थानीय सांख्यिकी (माध्य और विचरण) का उपयोग करके की जाती है।
एल्गोरिदम: प्रशिक्षण एक ही पदानुक्रम गहराई पर ब्लॉकों में समानांतर रूप से चलता है। यह प्रक्रिया रूट (सबसे गहरे स्तर) से लीव्स (पत्तियों) तक नीचे की ओर चलती है, जिसमें प्रत्येक चरण $O(\log N)$ समानांतर समय लेता है।

रिकरेंट आर्किटेक्चर में विस्तार (HBLL-RNN)

फ्रेमवर्क को अनुक्रमिक मॉडलों (sequential models) में विस्तारित किया गया है जहाँ पदानुक्रम को समय सूचकांकों (time indices) पर व्याख्यायित किया गया है।

कारणता (Causality): कारणता सुनिश्चित करने के लिए, सबसे निचली-गहराई वाली सेल केवल पिछले हिडन स्टेट और वर्तमान इनपुट का उपभोग करती है।
कंसिस्टेंसी करेक्शन (Consistency Correction): ट्री-आधारित प्रशिक्षण (जहाँ नोड्स "साफ" पूर्ववर्तियों को देखते हैं) और ऑटोरेग्रेसिव रोलआउट (जहाँ त्रुटियां बढ़ती हैं) के बीच एक्सपोज़र बायस मिसमैच को संबोधित करने के लिए, लेखक एक समानांतर कंसिस्टेंसी स्टेज पेश करते हैं। यह प्रशिक्षण के दौरान पूर्ण क्रमिक रोलआउट की आवश्यकता के बिना, स्व-जनित पूर्ववर्तियों का उपयोग करके रिकरेंट सेल के स्टेट्स को पुन: परिष्कृत करता है।

मुख्य योगदान

HBLL फ्रेमवर्क: डीप न्यूरल नेटवर्क को प्रशिक्षित करने के लिए एक नवीन विधि जो उन्हें पदानुक्रमित रूप से व्यवस्थित ब्लॉकों में विभाजित करती है जिन्हें स्थानीय उद्देश्यों के साथ अनुकूलित किया जाता है, जिससे पूर्ण एंड-टू-एंड बैकप्रोपैगेशन की आवश्यकता समाप्त हो जाती है।
$O(\log N)$ समानांतर जटिलता: डीप नेटवर्क को प्रशिक्षित करने के लिए $O(\log N)$ समानांतर समय जटिलता के साथ सक्षम होने वाला पहला एल्गोरिदम, जो मानक बैकप्रोपैगेशन की $O(N)$ जटिलता में सुधार करता है।
संभाव्यता व्याख्या (Probabilistic Interpretation): वेरिएशनल सिद्धांतों से प्राप्त एक सिद्धांतिक संभाव्यता ढांचा जो प्रभावी सूचना प्रसार बनाए रखते हुए वितरित और समानांतर प्रशिक्षण को सक्षम बनाता है।
लचीला अनुमान (Flexible Inference): यह विधि विभिन्न पदानुक्रमित पथों (विभिन्न प्रभावी गहराई और कम्प्यूटेशनल बजट) के अनुरूप उप-नेटवर्कों के एक परिवार को स्पष्ट रूप से परिभाषित करती है।
रिकरेंट विस्तार: HBLL-RNN का फॉर्मूलेशन, जो बैकप्रोपैगेशन थ्रू टाइम (BPTT) से बचने के लिए अनुक्रमिक मॉडलों को प्रशिक्षित करने के लिए एक पदानुक्रमित स्थानीय-शिक्षण दृष्टिकोण है।

प्रयोगात्मक परिणाम

लेखकों ने विजन क्लासिफिकेशन, ऑटोरेग्रेसिव लैंग्वेज मॉडलिंग और रिकरेंट सीक्वेंस मॉडलिंग कार्यों पर HBLL का मूल्यांकन किया, और इसकी तुलना मानक बैकप्रोपैगेशन (BP) और कॉन्ट्रास्टिव फॉरवर्ड-फॉरवर्ड (CFF+M) बेसलाइन से की।

MNIST (MLP): HBLL ने गहराई 2, 3 और 4 में प्रतिस्पर्धी सटीकता प्राप्त की। विशेष रूप से, गहराई 4 पर, जबकि BP का प्रदर्शन लगभग चांस लेवल तक गिर गया, HBLL ने उच्च सटीकता (97.09% बनाम BP के लिए 11.32%) बनाए रखी, जो गहरे पदानुक्रमित मॉडलों को प्रभावी ढंग से प्रशिक्षित करने की इसकी क्षमता को प्रदर्शित करता है।
CIFAR-10 और CIFAR-100 (Vision Transformers):
- HBLL ने CIFAR-10 (87.30% बनाम BP का 88.98%) और CIFAR-100 (86.09% बनाम BP का 85.96%) पर प्रतिस्पर्धी प्रदर्शन किया।
- मजबूती (Robustness): HBLL ने BP की तुलना में मिसिंग डेटा और लेबल नॉइज़ के प्रति बेहतर मजबूती दिखाई।
- सब-नेटवर्क्स: पदानुक्रम के माध्यम से छोटे पथ (कम ट्रांसफॉर्मर ब्लॉक्स) पूर्ण-गहराई वाले बेसलाइन के साथ प्रतिस्पर्धी बने रहे, जो लचीले अनुमान क्षमता को प्रमाणित करता है।
WikiText-103 (Language Modeling): HBLL ने ऑटोरेग्रेसिव लैंग्वेज मॉडलिंग कार्य पर प्रतिस्पर्धी परप्लेक्सिटी (22.22 बनाम BP का 18.17) प्राप्त की, जो पूर्ण ग्रेडिएंट प्रोपगेशन के बिना अनुक्रमिक मॉडलिंग में इसकी प्रयोज्यता को प्रदर्शित करती है।
Sequential MNIST (RNNs): HBLL-RNN, अनुक्रमिक और परम्यूटेड-सिक्वेंशियल MNIST पर BPTT के साथ प्रतिस्पर्धी रहा। ट्री रीडआउट गहराई के बावजूद स्थिर रहा, जबकि तैनात अनुक्रमिक श्रृंखला बड़ी गहराइयों पर अपेक्षित गिरावट दिखाती है। HBLL-RNN ने गहराई 8 पर BPTT की तुलना में प्रशिक्षण समय में 3.6x तक की तेजी हासिल की।

महत्व और दावे

पेपर का दावा है कि HBLL डीप लर्निंग को स्केलेबल और समानांतर बनाने की दिशा में एक महत्वपूर्ण कदम है। बैकप्रोपैगेशन की क्रमिक निर्भरता को तोड़कर, HBLL लॉकिंग समस्या को संबोधित करता है और इंटर-लेयर डिपेंडेंसी को कम करता है, जिससे कुशल वितरित प्रशिक्षण सक्षम होता है।

लेखक इस बात पर जोर देते हैं कि HBLL डीप नेटवर्क को प्रशिक्षित करने के लिए $O(\log N)$ समानांतर समय जटिलता प्राप्त करने वाला पहला एल्गोरिदम है। वे तर्क देते हैं कि यह विधि एक सिद्धांतिक रूप से आधारित, संभाव्यता आधारित विकल्प प्रदान करती है जो आधुनिक आर्किटेक्चर (ट्रांसफॉर्मर, RNN) और जटिल कार्यों (विजन, लैंग्वेज) तक स्केल करती है। बहुत बड़े पैमाने पर पूर्ण बैकप्रोपैगेटेड मॉडलों के साथ प्रदर्शन अंतराल को स्वीकार करते हुए, लेखक HBLL को एक व्यवहार्य दृष्टिकोण के रूप में प्रस्तुत करते हैं जो कम्प्यूटेशनल दक्षता और मॉडल प्रदर्शन के बीच एक ट्रेड-ऑफ प्रदान करता है, साथ ही अंतर्निहित मजबूती और लचीली अनुमान क्षमताएं भी प्रदान करता है।