🤖 machine learning

Augmented Lagrangian Predictive Coding

यह शोध पत्र ऑगमेंटेड लैग्रेंजियन प्रेडिक्टिव कोडिंग (PC-ALM) को प्रस्तुत करता है, जो एक स्थानीय-लर्निंग एल्गोरिदम है जो सटीक बैकप्रोपैगेशन-तुल्य ग्रेडिएंट्स और गहरे नेटवर्क में "बैलिस्टिक" क्रेडिट प्रोपेगेशन प्राप्त करने के लिए लेयर-लोकल लैग्रेंज मल्टीप्लायर्स में बाधा त्रुटियों (constraint errors) को संचित करता है, जिससे यह गहरे और संकीर्ण आर्किटेक्चर में मानक प्रेडिक्टिव कोडिंग की प्रदर्शन सीमाओं को दूर करता है।

मूल लेखक: Jeffrey Seely, Julian Gould

प्रकाशित 2026-06-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jeffrey Seely, Julian Gould

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Augmented Lagrangian Predictive Coding" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

बड़ी तस्वीर: बिना बॉस के एक टीम को सिखाना

कल्पना कीजिए कि आप एक बड़ी टीम (एक न्यूरल नेटवर्क) को एक पहेली सुलझाने के लिए सिखाने की कोशिश कर रहे हैं।

पुराना तरीका (Backpropagation):
मानक AI ट्रेनिंग में, बिल्कुल अंत में एक "बॉस" होता है जो अंतिम गलती देखता है। बॉस उस गलती को पूरी चेन के माध्यम से काम करने वाले हर व्यक्ति तक चिल्लाकर वापस भेजता है, और हर किसी को ठीक-ठीक बताता है कि उन्होंने कितनी गलती की। यह तेज़ और सटीक है, लेकिन इसके लिए कमांड की एक आदर्श, वैश्विक (global) श्रृंखला की आवश्यकता होती है। प्रकृति में (जैसे मानव मस्तिष्क में), इस तरह के "वैश्विक चिल्लाने" की कल्पना करना कठिन है।

"प्रेडिक्टिव कोडिंग" का तरीका (PC):
सीखने की प्रक्रिया को अधिक "लोकल" (मस्तिष्क की तरह) बनाने के लिए, शोधकर्ताओं ने प्रेडिक्टिव कोडिंग (PC) का उपयोग किया। एक "बॉस" के चिल्लाने के बजाय, हर कार्यकर्ता बस यह अनुमान लगाता है कि उसके बगल वाला व्यक्ति क्या कहेगा। यदि अनुमान गलत है, तो वे खुद को उसके अनुसार ढाल लेते हैं। वे तब तक आगे-पीछे तालमेल बिठाते रहते हैं जब तक कि सभी सहमत न हो जाएं।

समस्या: बहुत गहरी टीमों (गहरे नेटवर्क) में, यह "सहमति" की प्रक्रिया धीमी होती है। गलती का "क्रेडिट" (श्रेय) जैसे-जैसे चेन के माध्यम से यात्रा करता है, वह खो जाता है या कमज़ोर पड़ जाता है। लाइन के शुरुआत में मौजूद कार्यकर्ताओं को स्पष्ट संकेत नहीं मिल पाता कि उन्होंने क्या गलत किया, इसलिए वे ठीक से सीख नहीं पाते।

नया समाधान: PC-ALM (द "मेमोरी कीपर")

लेखक एक नया तरीका पेश करते हैं जिसे Augmented Lagrangian Predictive Coding (PC-ALM) कहा जाता है। वे "बिना बॉस वाले" लोकल प्रेडिक्टिव कोडिंग के स्टाइल को बनाए रखते हैं, लेकिन "खोए हुए क्रेडिट" की समस्या को ठीक करने के लिए एक चतुर ट्रिक जोड़ते हैं।

उपमा: स्कोरकीपर के साथ रिले रेस

कल्पना कीजिए कि एक रिले रेस चल रही है जहाँ धावक (लेयर्स) एक लाइन में एक दूसरे को बैटन (सूचना) पास कर रहे हैं।

मानक प्रेडिक्टिव कोडिंग (PC):
धावक अपने सामने वाले व्यक्ति के साथ तालमेल बिठाने की कोशिश करते हैं। यदि धावक 5 बहुत तेज़ है, तो धावक 4 धीमा हो जाता है। लेकिन यदि दौड़ बहुत लंबी है, तो धावक 1 (शुरुआत में) को पता ही नहीं चलता कि धावक 5 ने गलती की है। "एरर सिग्नल" (गलती का संकेत) एक लंबी लाइन में फुसफुसाहट की तरह धीरे-धीरे फीका पड़ता जाता है।
PC-ALM अपग्रेड:
लेखक हर धावक को एक व्यक्तिगत स्कोरकीपर (लैग्रेंज मल्टीप्लायर) देते हैं।

स्कोरकीपर का काम: जैसे-जैसे धावक एक-दूसरे के साथ तालमेल बिठाते हैं, स्कोरकीपर गलतियों पर नज़र रखता है। यदि धावक 5 थोड़ा अलग है, तो स्कोरकीपर केवल "ओह" नहीं कहता। वे उस गलती को याद रखते हैं और एक "ऋण" (debt) या "दबाव" का संकेत लेकर चलते हैं।
जादू: यह स्कोरकीपर उस गलती की अपनी "याद" को धावक के अगले प्रयास में जोड़ देता है। यह ऐसा है जैसे धावक को अतीत से एक हल्का सा धक्का मिलता है कि, "हे, तुमने पहले एक गलती की थी, इसलिए अब थोड़ा और सुधार करो।"

जब आप इसका उपयोग करते हैं तो क्या होता है?

लेखक दावा करते हैं कि जब आप इस "स्कोरकीपर" सिस्टम का उपयोग करते हैं, तो तीन मुख्य चीजें होती हैं:

1. यह "बॉस" जितना ही अच्छा हो जाता है (Backpropagation)
सरल, सीधी रेखा वाले नेटवर्क में, लेखक गणितीय रूप से सिद्ध करते हैं कि यह स्थानीय प्रणाली अंततः वैश्विक "बॉस" पद्धति के समान ही सटीक निर्देशों की गणना करती है। स्थानीय कार्यकर्ता अंततः अपनी गलतियों को सुधारने का सही तरीका सीख जाते हैं, भले ही उनके पास कोई केंद्रीय कमांडर न हो।

2. यह "डीप एंड नैरो" (गहरी और संकीर्ण) समस्या को ठीक करता है
पिछले स्थानीय तरीके तब विफल हो गए जब नेटवर्क बहुत गहरा (कई लेयर्स) और संकीर्ण (प्रति लेयर कम कार्यकर्ता) था। सिग्नल खो जाता था।

परिणाम: PC-ALM इन कठिन, गहरे और संकीर्ण नेटवर्क में पूरी तरह से काम करता है। यह मानक "बॉस" पद्धति के प्रदर्शन से मेल खाता है, जबकि पुराना स्थानीय तरीका विफल हो जाता है।

3. "बैलिस्टिक" बनाम "डिफ्यूसिव" क्रेडिट
यह इस बात का एक फैंसी तरीका है कि एरर सिग्नल कैसे यात्रा करता है।

पुराना तरीका (Diffusive): कल्पना कीजिए कि पानी में स्याही की एक बूंद डाली जाती है। यह धीरे-धीरे फैलती है और धुंधली हो जाती है। पुराने प्रेडिक्टिव कोडिंग में ऐसा ही होता था; एरर सिग्नल धीरे-धीरे फैलता था और कमजोर हो जाता था।
नया तरीका (Ballistic): कल्पना कीजिए कि एक गोली चलाई जा रही है। यह तेज़ी से और सीधे चलती है, और लक्ष्य से पूरी ताकत से टकराती है। PC-ALM एरर सिग्नल को एक गोली की तरह चलाता है। "स्कोरकीपर्स" यह सुनिश्चित करते हैं कि सिग्नल नेटवर्क के अंतिम हिस्से तक जितनी मजबूती से पहुँचता है, उतनी ही मजबूती से पहले लेयर तक पहुँचे।

ट्रेड-ऑफ (समझौता)

क्या इसमें कोई कमी है?

मेमोरी: आपको हर लेयर के लिए थोड़ी अतिरिक्त जानकारी (स्कोरकीपर की मेमोरी) स्टोर करनी होगी। यह नेटवर्क के सक्रिय हिस्सों के लिए आवश्यक मेमोरी को दोगुना कर देता है, लेकिन लेखक कहते हैं कि इसके लिए आवश्यक कंप्यूटर पावर बहुत कम है।
गति: काम करने वालों को "सहमत" होने (इन्फरेंस) के लिए कुछ कदम लेने पड़ते हैं, लेकिन लेखक दिखाते हैं कि चरणों की एक विशिष्ट संख्या के साथ, यह मानक पद्धति के समान ही प्रदर्शन करता है।

सारांश

यह पेपर AI को प्रशिक्षित करने का एक नया तरीका प्रस्तुत करता है जो जैविक मस्तिष्क के काम करने के तरीके (केवल स्थानीय अपडेट) के अधिक करीब है, लेकिन यह वर्तमान मानक (Backpropagation) जितना ही प्रभावी है। प्रत्येक लेयर में "गलतियों की याद" (लैग्रेंज मल्टीप्लायर्स) जोड़कर, यह सिस्टम सुनिश्चित करता है कि गलतियाँ नेटवर्क के अंत से शुरू तक स्पष्ट रूप से और तेज़ी से संचारित हों, जिससे गहरे नेटवर्क के विफल होने की समस्या हल हो जाती है।

तकनीकी सारांश: ऑगमेंटेड लैग्रेंजियन प्रेडिक्टिव कोडिंग (PC-ALM)

1. समस्या विवरण

आधुनिक डीप लर्निंग बैकप्रोपैगेशन (BP) पर निर्भर करता है, जो एक वैश्विक एल्गोरिदम है जिसके लिए त्रुटि चरों (error variables) के एक साथ निर्माण और एक सटीक रूप से समन्वित बैकवर्ड पास की आवश्यकता होती है। यह तंत्र जैविक रूप से अकल्पनीय है, क्योंकि जैविक सर्किट ऐसे वैश्विक सिंक्रोनाइज़ेशन को लागू नहीं कर सकते हैं। फलस्वरूप, शोध ने स्थानीय शिक्षण विकल्पों (local learning alternatives), विशेष रूप से प्रेडिक्टिव कोडिंग (PC) पर ध्यान केंद्रित किया है।

PC नेटवर्क में, शिक्षण को एक स्थानीय ऊर्जा फलन (परतों के बीच वर्ग त्रुटियों का योग) को कम करने के रूप में फ्रेम किया जाता है। जबकि PC सक्रियणों (activations) और भार (weights) को अपडेट करने के लिए एक परत-स्थानीय गतिशील प्रणाली प्रदान करता है, यह एक गंभीर सीमा से ग्रस्त है: गहरे या संकीर्ण नेटवर्क में, नेटवर्क के माध्यम से प्रसारित होने वाले क्रेडिट सिग्नल (gradients) अक्सर वास्तविक BP ग्रेडिएंट्स के साथ गलत संरेखित (misaligned) होते हैं। यह मिसअलाइनमेंट BP की तुलना में महत्वपूर्ण प्रदर्शन गिरावट का कारण बनता है, विशेष रूप से गहरे संकीर्ण (deep narrow) शासन में। इसके अतिरिक्त, मानक PC परत बाधाओं के द्विघात दंड न्यूनीकरण (quadratic penalty relaxation) पर निर्भर करता है, जिसका अर्थ है कि इसकी साम्यावस्था (equilibrium state) आवश्यक रूप से सटीक BP ग्रेडिएंट्स प्रदान नहीं करती है।

2. कार्यप्रणाली: PC-ALM

लेखक ऑगमेंटेड लैग्रेंजियन (AL) और मेथड ऑफ मल्टीप्लायर्स (MM) के संदर्भ में PC को पुनर्गठित करते हुए ऑगमेंटेड लैग्रेंजियन प्रेडिक्टिव कोडिंग (PC-ALM) पेश करते हैं।

मुख्य सूत्र (Core Formulation)

मानक PC ऊर्जा (एक द्विघात दंड न्यूनीकरण) को कम करने के बजाय, PC-ALM मूल बाधित अनुकूलन समस्या के ऑगमेंटेड लैग्रेंजियन को अनुकूलित करता है:
$\mathcal{L}_\rho(h, \theta, \lambda) = \frac{1}{2}\|y - W_L h_{L-1}\|^2 + \sum_{i=1}^{L-1} \lambda_i^\top (h_i - \sigma(W_i h_{i-1})) + \frac{\rho}{2} \sum_{i=1}^{L-1} \|h_i - \sigma(W_i h_{i-1})\|^2$
यहाँ, $\lambda_i$ परत निरंतरता बाधाओं $h_i = \sigma(W_i h_{i-1})$ से जुड़े लैग्रेंज मल्टीप्लायर्स (dual variables) हैं।

एल्गोरिद्मिक मैकेनिक्स

PC-ALM मानक परिमित-अनुमान (finite-inference) PC के समान ही अनुमान बजट (steps $T$ की संख्या) के साथ कार्य करता है, लेकिन एक ड्यूल एसेंट लूप (dual ascent loop) पेश करता है:

प्राइमल स्टेप (Inference): सक्रियण $h$ को $\mathcal{L}_\rho$ पर ग्रेडिएंट डिसेंट के माध्यम से अपडेट किया जाता है। महत्वपूर्ण रूप से, परत $i$ पर ग्रेडिएंट में ड्यूल वेरिएबल से एक पद शामिल होता है: $\nabla_{h_i} \mathcal{L}_\rho = (\rho r_i + \lambda_i) - W_{i+1}^\top \dots (\rho r_{i+1} + \lambda_{i+1})$ , जहाँ $r_i$ प्रेडिक्शन एरर है। यह प्रेडिक्शन टारगेट को $-\lambda_i/\rho$ से शिफ्ट करता है।
ड्यूल स्टेप: प्राइमल अपडेट के तुरंत बाद, मल्टीप्लायर्स को बाधा उल्लंघन (residual) को संचित करने के लिए अपडेट किया जाता है: $\lambda_i \leftarrow \lambda_i + \alpha r_i$ ।
वेट अपडेट: $T$ स्टेप्स के बाद, भार को ऑगमेंटेड लैग्रेंजियन के ग्रेडिएंट का उपयोग करके अपडेट किया जाता है, जो अब $\lambda$ के माध्यम से त्रुटियों के एकीकृत इतिहास को समाहित करता है।

प्रमुख गतिशील अंतर

पुनरावर्ती गतिकी (Recurrent Dynamics): PC की विसरित हीट-फ्लो (diffusive heat-flow) गतिकी के विपरीत, PC-ALM दोलनशील ट्रांजिएंट्स (oscillatory transients) पेश करता है जो प्राइमल-ड्यूल इंटरैक्शन द्वारा संचालित होते हैं।
क्रेडिट प्रसार (Credit Propagation): ड्यूल वेरिएबल $\lambda$ एक "लैग्ड इंटीग्रेटर" के रूप में कार्य करता है जो प्रेडिक्शन एरर्स को संचित करता है। लेखक देखते हैं कि यह "बैलिस्टिक" क्रेडिट प्रसार बनाता है, जहाँ सिग्नल गहरे नेटवर्क में समान रूप से और तेजी से यात्रा करते हैं, जो PC के धीमे, विसरित प्रसार के विपरीत है जहाँ सिग्नल आउटपुट के पास क्षय (decay) हो जाते हैं।

3. प्रमुख योगदान

रैखिक शासन में सैद्धांतिक समानता: लेखक सिद्ध करते हैं कि रैखिक PC नेटवर्क में, PC-ALM एक ऐसी साम्यावस्था में अभिसरण करता है जहाँ ड्यूल वेरिएबल्स $\lambda$ सटीक रूप से बैकप्रोपैगेशन एडजॉइंट्स (backpropagation adjoints) बन जाते हैं। इस प्रकार, साम्यावस्था पर वेट अपडेट्स BP के समान होते हैं, जो पूरी तरह से परत-स्थानीय अपडेट्स के माध्यम से वितरित होते हैं।
परिमित-अनुमान संस्करण (Finite-Inference Variant): गैर-रैखिक नेटवर्क में सटीक अभिसरण की गारंटी नहीं होने की पहचान करते हुए, लेखक मेथड ऑफ मल्टीप्लायर्स का एक परिमित-अनुमान संस्करण विकसित करते हैं जो मानक PC के समान ही कंप्यूटेशनल बजट के भीतर कार्य करता है।
PC-BP अंतराल को पाटना: अनुभवजन्य रूप से, PC-ALM सभी चौड़ाई-गहराई शासन (width-depth regimes) में गैर-रैखिक नेटवर्क (गहराई 128 तक) में BP प्रदर्शन से मेल खाता है, जिसमें वे गहरे संकीर्ण नेटवर्क भी शामिल हैं जहाँ मानक PC काफी विफल रहता है।
गतिक अंतर्दृष्टि (Dynamical Insights): पेपर PC-ALM के लिए स्थिरता स्थितियों को स्पष्ट करता है और क्रेडिट प्रसार की "बैलिस्टिक" प्रकृति की पहचान करता है, यह दिखाते हुए कि संयुक्त सिग्नल ( $\lambda + \rho r$ ) परतों में समान रूप से वितरित होता है, जैसा कि PC में देखे गए क्षय के विपरीत है।

4. प्रयोगात्मक परिणाम

लेखकों ने विभिन्न चौड़ाई ( $N$ ) और गहराई ( $L$ ) तथा सक्रियण फलनों (Identity, Tanh, ReLU) के साथ रेसिडुअल MLPs का उपयोग करके इमेज क्लासिफिकेशन कार्यों (Fashion-MNIST, MNIST) पर PC-ALM का मूल्यांकन किया।

प्रदर्शन: जब अनुमान बजट $T = 2L$ सेट किया जाता है, तो PC-ALM सभी $N$ और $L$ रेंज में BP सटीकता से मेल खाता है। इसके विपरीत, मानक PC का प्रदर्शन गहराई बढ़ने के साथ घटता है, विशेष रूप से संकीर्ण नेटवर्क में।
मजबूती (Robustness): PC-ALM विभिन्न पैरामीट्राइजेशन शासन (मानक से मीन-फील्ड और लेजी से रिच तक) में स्थिर रहता है और BP प्रदर्शन से मेल खाता है, जबकि मानक PC "रिच" पैरामीट्राइजेशन शासन में पीछे रह जाता है।
क्रेडिट एलाइनमेंट: PC-ALM ग्रेडिएंट्स और BP ग्रेडिएंट्स के बीच कोसाइन सिमिलरिटी के विश्लेषण से पता चलता है कि PC-ALM, मानक PC द्वारा BP एलाइनमेंट प्राप्त करने के लिए आवश्यक अनुमान चरणों की तुलना में काफी कम चरणों के साथ उच्च एलाइनमेंट (जैसे, >0.9) प्राप्त करता है।
इन्फ्लेक्शन पॉइंट: BP के साथ एलाइनमेंट एक अनुमानित "स्नैप" या इन्फ्लेक्शन पॉइंट प्रदर्शित करता है जो लगभग $L/\sqrt{\alpha}$ के अनुपात में अनुमान चरणों के बराबर है, जो तीव्र क्रेडिट प्रसार के लिए एक तंत्र का सुझाव देता है।

5. महत्व और दावे

पेपर का दावा है कि PC-ALM प्रेडिक्टिव कोडिंग का एक सामान्यीकरण प्रदान करता है जो जैविक रूप से प्रशंसनीय स्थानीय शिक्षण और बैकप्रोपैगेशन की वैश्विक इष्टतमता (global optimality) के बीच के अंतर को पाटता है।

जैविक संभाव्यता (Biological Plausibility): परत-स्थानीय अपडेट बनाए रखते हुए और वैश्विक बैकवर्ड पास से बचते हुए, PC-ALM जैविक रूप से प्रशंसनीय शिक्षण के लिए एक उम्मीदवार बना रहता है, फिर भी यह पिछले PC स्वरूपों की प्रदर्शन सीमाओं को दूर करता है।
एलाइनमेंट का तंत्र: कार्य यह सुझाव देता है कि बाधा त्रुटियों (constraint errors) का ड्यूल वेरिएबल्स (लैग्रेंज मल्टीप्लायर्स) में संचय, स्थानीय गतिकी को वैश्विक ग्रेडिएंट्स के साथ संरेखित करने की प्रमुख कुंजी है। यह एक सैद्धांतिक ढांचा प्रदान करता है कि कैसे वितरित प्रणालियाँ शुद्ध रूप से स्थानीय गतिकी का उपयोग करके BP-समान क्रेडिट सिग्नल कंप्यूट और प्रसारित कर सकती हैं।
दक्षता: PC-ALM को PC नेटवर्क को चौड़ा करके BP एलाइनमेंट प्राप्त करने की तुलना में अधिक अनुमान-कुशल (inference-efficient) के रूप में प्रस्तुत किया गया है; यह मेमोरी लागत (चौड़ा करने के मुकाबले) के मुकाबले मामूली अतिरिक्त गणना (ड्यूल अपडेट्स) के साथ उच्च ग्रेडिएंट एलाइनमेंट प्राप्त करता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि PC-ALM गैर-रकीत बाधित अनुकूलन (nonlinear constrained optimization) की अभिसरण कठिनाइयों को हल नहीं करता है, यह एक व्यावहारिक, स्थिर और उच्च-प्रदर्शन वाला विकल्प प्रदान करता है जो प्रेडिक्टिव कोडिंग की स्थानीय प्रकृति को बनाए रखता है।