💻 computer science

Synthetic Benchmarks Overstate Forward-Forward Scaling: Real-Data Limits of Layer-Local Training

यह शोध पत्र DTG-FF फ्रेमवर्क प्रस्तुत करता है यह प्रदर्शित करने के लिए कि जहाँ फॉरवर्ड-फॉरवर्ड लर्निंग छोटे पैमाने के सिंथेटिक बेंचमार्क पर अच्छा प्रदर्शन करती है, वहीं यह बड़े पैमाने के वास्तविक दुनिया के डेटासेट पर बैकप्रोपैगेशन की तुलना में काफी खराब प्रदर्शन करती है और मानक हार्डवेयर पर मेमोरी लाभ प्रदान करने में विफल रहती है, जो लेयर-लोकल ट्रेनिंग के लिए मौलिक स्केलिंग सीमाओं को प्रकट करती है।

मूल लेखक: Yucheng Chen

प्रकाशित 2026-06-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yucheng Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

मुख्य विचार: AI सिखाने का एक नया तरीका

कल्पना कीजिए कि आप छात्रों की एक टीम को एक जटिल पहेली सुलझाना सिखा रहे हैं।

पुराना तरीका (बैकप्रोपैगेशन/BP): शिक्षक सामने खड़ा होता है, पूरी पहेली को हल करता है, और फिर छात्रों की कतार में पीछे की ओर चलते हुए, प्रत्येक छात्र को ठीक-ठीक बताता है कि उन्होंने क्या गलती की ताकि वे उसे सुधार सकें। यह अविश्वसनीय रूप से अच्छा काम करता है, लेकिन इसके लिए शिक्षक को पूरी पहेली और प्रत्येक छात्र की स्थिति को एक साथ याद रखने की आवश्यकता होती है। यह एक रिले रेस की तरह है जहाँ बैटन (त्रुटि संकेत) को वापस शुरुआत तक ले जाना पड़ता है।
नया तरीका (फॉरवर्ड-फॉरवर्ड/FF): एआई दिग्गज जेफ्री हिंटन द्वारा प्रस्तावित, यह तरीका प्रत्येक छात्र को स्वतंत्र रूप से सिखाने की कोशिश करता है। प्रत्येक छात्र अपने द्वारा किए गए काम को देखता है और पूछता है, "क्या यह 'अच्छा' है?" यदि यह अच्छा है, तो वे इसे रखते हैं; यदि यह बुरा है, तो वे इसे बदलते हैं। वे शिक्षक के पीछे आने और उन्हें यह बताने का इंतज़ार नहीं करते कि क्या गलत था। वे बस स्थानीय स्तर पर सीखते हैं।

वादा: नया तरीका अधिक कुशल (कम मेमोरी) होने और मानव मस्तिष्क के सीखने के तरीके के अधिक करीब होने का दावा करता है।
समस्या: अब तक, यह पुराने तरीके जितना स्मार्ट नहीं रहा है, विशेष रूप से बड़े, वास्तविक दुनिया के कार्यों पर।

इस शोध पत्र ने क्या किया

लेखकों ने, युचेंग चेन के नेतृत्व में, इस नए "फॉरवर्ड-फॉरवर्ड" तरीके (जिसे DTG-FF कहा जाता है) का सबसे बेहतर संस्करण बनाया ताकि यह देखा जा सके कि क्या यह अंततः पुराने तरीके की बराबरी कर सकता है। उन्होंने इसे एक तनाव परीक्षण (stress test) की तरह लिया: "यदि हम इस नए तरीके को हर संभव लाभ दें, तो क्या यह वास्तविक डेटा पर पुराने तरीके को हरा सकता है?"

तीन मुख्य निष्कर्ष

1. "वास्तविक दुनिया" की सीमा (Ceiling)

लेखकों ने मानक इमेज डेटासेट्स (जैसे CIFAR और ImageNet) पर अपने नए तरीके का परीक्षण किया।

परिणाम: उनके सबसे अच्छे सेटअप के बावजूद, नया तरीका पुराने तरीके से हार गया।
- एक सरल डेटासेट (CIFAR-10) पर, पुराना तरीका लगभग 2.4% से आगे रहा।
- एक कठिन डेटासेट (CIFAR-100) पर, यह अंतर बढ़कर 6% हो गया।
- एक बहुत ही उच्च-रिज़ॉल्यूशन वाले डेटासेट (ImageNet) पर, नया तरीका केवल 49% सटीकता तक पहुँच पाया, जबकि पुराना तरीका आमतौर पर 75% से अधिक प्राप्त करता है।
उपमा: एक नए प्रकार के कार इंजन की कल्पना करें जो अधिक ईंधन-कुशल होने के लिए बनाया गया है। लेखकों ने इस इंजन का सबसे उन्नत संस्करण बनाया। उन्होंने पाया कि हालांकि यह एक छोटे गो-कार्ट ट्रैक (32x32 पिक्सेल) पर ठीक से काम करता है, लेकिन यह एक वास्तविक हाईवे (ImageNet) पर संघर्ष करता है। यह एक ऐसी "सीमा" से टकरा जाता है जहाँ यह पारंपरिक इंजन जितना स्मार्ट नहीं हो पाता, चाहे वे इसमें कितना भी बदलाव क्यों न कर लें।

2. "नकली बनाम असली" का जाल

पिछले शोधों ने दावा किया था कि नया तरीका कई अलग-अलग श्रेणियों (classes) को संभालने में माहिर है। उन्होंने यह परीक्षण सिंथेटिक (नकली) गणितीय समस्याओं पर किया जहाँ उन्होंने श्रेणियों की संख्या बढ़ाई।

ट्विस्ट: इन नकली समस्याओं पर, नया तरीका श्रेणियों की संख्या बढ़ने के साथ वास्तव में बेहतर होता गया। लेकिन वास्तविक छवियों (जैसे बिल्ली, कुत्ते और कारों की तस्वीरें) पर, श्रेणियों के बढ़ने के साथ नया तरीका खराब होता गया।
उपमा: यह एक नए भाषा अनुवादक का परीक्षण करने जैसा है।
- सिंथेटिक टेस्ट: आप उससे बनाए गए शब्दों का अनुवाद करने को कहते हैं। जैसे-जैसे आप अधिक बनाए गए शब्द जोड़ते हैं, अनुवादक पैटर्न पहचानने में बेहतर होता जाता है।
- रियल टेस्ट: आप उससे वास्तविक किताबें अनुवाद करने को कहते हैं। जैसे-जैसे आप अधिक जटिल, सूक्ष्म शब्दों को जोड़ते हैं, अनुवादक विफल होने लगता है।
- निष्कर्ष: नकली परीक्षण भ्रामक थे। उन्होंने "अधिक श्रेणियां होने" को "बारीक विवरणों को पहचानने की क्षमता" समझने की गलती की। वास्तविक जीवन गणित की समस्याओं से कहीं अधिक कठिन है।

3. "मेमोरी" का मिथक

इस नए तरीके को अपनाने के पीछे मुख्य कारण मेमोरी था। पुराने तरीके को फीडबैक वापस भेजने के लिए छात्रों द्वारा किए गए हर काम को याद रखने की आवश्यकता होती है। नया तरीका सब कुछ तुरंत भूल जाने के लिए बनाया गया था, जिससे कंप्यूटर मेमोरी की भारी बचत होनी थी।

वास्तविकता की जाँच: लेखकों ने इसे मानक, किफायती कंप्यूटर चिप्स (8GB मेमोरी) पर परखा।
परिणाम: व्यवहार में नए तरीके ने मेमोरी नहीं बचाई। वास्तव में, जब पुराने तरीके ने स्थान बचाने के लिए एक मानक ट्रिक (जिसे "ग्रेडिएंट एक्यूमुलेशन" कहा जाता है) का उपयोग किया, तो नए तरीके ने अधिक मेमोरी का उपयोग किया और यह धीमा भी था।
उपमा: नए तरीके को एक ऐसे "बैकपैक" के रूप में प्रचारित किया गया था जिसका वजन शून्य है। लेखकों ने इसका परीक्षण किया और पाया कि वास्तविक जीवन में, यह पुराने बैकपैक से अधिक भारी है क्योंकि पुराने बैकपैक में एक चतुर फोल्डिंग तंत्र था जिसका उपयोग नए वाले ने नहीं किया।

विफलता के पीछे का "क्यों"

लेखक इस बात का सिद्धांत देते हैं कि नया तरीका संघर्ष क्यों कर रहा है।

पुराना तरीका (BP): शिक्षक एक विशिष्ट, वैश्विक संकेत देता है: "आपने यहाँ गलती की, और वह इस विशिष्ट कनेक्शन के कारण हुई।" यह सभी छात्रों को आपस में पूरी तरह से जोड़ता है।
नया तरीका (FF): प्रत्येक छात्र को केवल एक अस्पष्ट संकेत मिलता है: "यह अच्छा लग रहा है/बुरा लग रहा है।"
शोध पत्र का अंतर्दृष्टि: लेखकों ने पाया कि नया तरीका वैश्विक संकेत की नकल करने के लिए विभिन्न "जुगाड़" (जैसे रैंडम शोर जोड़ना, विशेष गणितीय ट्रिक्स का उपयोग करना, या अंत में सभी छात्रों के अनुमानों को मिलाना) का उपयोग करता है। ये जुगाड़ मदद तो करते हैं, लेकिन वे केवल "आंशिक विकल्प" हैं। वे उस शक्तिशाली, प्रत्यक्ष संबंध की पूरी तरह से जगह नहीं ले सकते जो पुराना तरीका प्रदान करता है।

सारांश

यह शोध पत्र एक लोकप्रिय नए AI विचार के लिए एक "रियलिटी चेक" है।

उन्होंने नए तरीके का सबसे मजबूत संस्करण बनाया।
उन्होंने पाया कि वास्तविक दुनिया के कार्यों पर यह अभी भी पुराने तरीके से पीछे है।
उन्होंने पाया कि पिछले "सफल परिणाम" अक्सर नकली, आसान परीक्षणों पर आधारित थे जो वास्तविक जीवन में लागू नहीं होते।
उन्होंने पाया कि वादा की गई मेमोरी बचत मानक हार्डवेयर पर वास्तव में नहीं होती है।

निष्कर्ष: हालांकि "फॉरवर्ड-फॉरवर्ड" का विचार दिलचस्प और जैविक रूप से प्रेरित है, लेकिन यह बड़े, वास्तविक दुनिया के AI मॉडल को प्रशिक्षित करने के लिए पारंपरिक "बैकप्रोपैगेशन" पद्धति का एक व्यवहार्य विकल्प नहीं है। दोनों के बीच का अंतर वास्तविक है, और जैसे-जैसे कार्य कठिन होते जाते हैं, यह अंतर बढ़ता जाता है।

तकनीकी सारांश: सिंथेटिक बेंचमार्क फॉरवर्ड-फॉरवर्ड स्केलिंग को बढ़ा-चढ़ाकर दिखाते हैं

समस्या विवरण
हिंटन [2022] द्वारा प्रस्तावित फॉरवर्ड-फॉरवर्ड (FF) एल्गोरिदम, ग्लोबल बैकवर्ड पास को स्थानीय "गुडनेस" (goodness) अपडेट से बदलकर, बैकप्रोपैगेशन (BP) का एक स्ट्रिक्टली लेयर-लोकल विकल्प प्रदान करता है। जबकि हालिया FF-CNN वेरिएंट्स ने छोटे पैमाने के बेंचमार्क (जैसे 32×32 CIFAR-10) पर BP के साथ सटीकता के अंतर को कम किया है, यह स्पष्ट नहीं है कि क्या लेयर-लोकल ट्रेनिंग वास्तविक पैमानों या जटिल वास्तविक दुनिया के डेटा वितरण के लिए एक व्यवहार्य विकल्प है। एक महत्वपूर्ण प्रश्न यह है कि क्या FF का देखा गया प्रदर्शन उप-इष्टतम कार्यान्वयन (suboptimal implementations) द्वारा सीमित है या मौलिक वास्तुशिल्प बाधाओं (architectural constraints) द्वारा। इसके अलावा, मौजूदा सिंथेटिक बेंचमार्क अक्सर यह सुझाव देते हैं कि FF क्लास काउंट ( $K$ ) के साथ अच्छी तरह से स्केल करता है, लेकिन यह अनिश्चित है कि क्या यह ट्रांसफ़रेबिलिटी वास्तविक इमेज वितरण के लिए भी लागू होती है जहाँ $K$ , सूक्ष्म-विभेदकारी कठिनाई (fine-grained discrimination difficulty) के साथ सह-संबंधित है। अंततः, FF के दावा किए गए सिस्टम्स एडवांटेज—विशेष रूप से BP के $O(L)$ की तुलना में इसका $O(1)$ एक्टिवेशन मेमोरी कॉम्प्लेक्सिटी—का कमोडिटी हार्डवेयर पर मेमोरी-ऑप्टिमाइज्ड BP बेसलाइन्स के विरुद्ध कड़ाई से ऑडिट नहीं किया गया है।

कार्यप्रणाली: DTG-FF
इन प्रश्नोंों को संबोधित करने के लिए, लेखक DTG-FF पेश करते हैं, जो लेयर-लोकल ट्रेनिंग की सीमाओं का परीक्षण करने के लिए डिज़ाइन किया गया एक नया उपकरण है। DTG-FF, FF परिवार के लिए एक नया स्टेट-ऑफ-द-आर्ट (SOTA) स्थापित करने के लिए तीन विशिष्ट मैकेनिज्म-लेवल सुधारों को एकीकृत करता है:

डायनेमिक टेम्परेचर गुडनेस (DTG): एक फिक्स्ड स्केलिंग के बजाय, प्रत्येक लेयर $l$ एक लर्न करने योग्य पैरामीटर $\alpha_l$ के माध्यम से एक स्केलर टेम्परेचर $T_l$ सीखती है। यह टेम्परेचर एक फिक्स्ड रैंडम प्रोजेक्शन रीडआउट में पास होने से पहले लोकल गुडनेस सिग्नल ( $\tilde{u}_l = u_l / T_l$ ) को स्केल करता है। यह प्रतिनिधित्व सामग्री (representation content) को बदले बिना ऑप्टिमाइज़ेशन सिग्नल के परिमाण को प्रति लेयर अनुकूलित करने की अनुमति देता है।
डिकपल्ड नॉर्मलाइजेशन (Decoupled Normalization): लेखक पहचानते हैं कि बैच नॉर्मलाइजेशन (BN), स्क्वेयर्ड एक्टिवेशन नॉर्म्स में क्लास-कंडीशनल वेरिएंस को कोलैप्स करके गुडनेस-आधारित लर्निंग को बाधित करता है। DTG-FF एक थ्री-पाथ आर्किटेक्चर का उपयोग करता है:
- गुडनेस पाथ: रॉ पोस्ट-ReLU एक्टिवेशन्स सीधे लोकल लॉस में जाते हैं (कोई नॉर्मलाइजेशन नहीं)।
- प्रोपैगेशन पाथ: एक्टिवेशन्स एक नॉन-अफ़ाइन लेयरनॉर्म (जो no_grad क्षेत्र के भीतर संचालित होता है) से गुजरते हैं ताकि अगले लेयर के लिए स्केल को नियंत्रित किया जा सके, बिना FF ट्रेनिंग सिग्नल को प्रभावित किए।
- क्लासिफायर पाथ: फीचर्स को ग्लोबल एवरेज पूलिंग (GAP) के माध्यम से निकाला जाता है, उन्हें कॉन्कैटिनेट किया जाता है, और एक लर्न करने योग्य क्लासिफायर को दिया जाता है।
मल्टी-लेयर फ्यूजन: विभिन्न मध्यवर्ती लेयर्स से फीचर्स को कॉन्कैटिनेट किया जाता है और एक ग्लोबल क्लासिफायर द्वारा प्रोसेस किया जाता है (या इन्फरेंस के लिए लॉजिट-सम के माध्यम से एकत्रित किया जाता है)। यह विभिन्न लेयर्स से गैर-रिडंडेंट हाइपोथीसिस को एकत्रित करता है, जो क्रॉस-लेयर ग्रेडिएंट फ्लो की कमी को संबोधित करता है।

लेखक नौ वास्तविक-दुनिया के बेंचमार्क (CIFAR-10/100, Tiny ImageNet, ImageNet-100, और MedMNIST वेरिएंट्स) में VGG8 और VGG11 बैकबोन का उपयोग करके DTG-FF का मूल्यांकन करते हैं। महत्वपूर्ण रूप से, वे निष्पक्ष तुलना सुनिश्चित करने के लिए समान रेसिपी, बैकबोन और हाइपरपैरामीटर्स के साथ प्रशिक्षित आर्किटेक्चर-मैच्ड BP कंट्रोल्स (विशेष रूप से BP-DeepSup) का उपयोग करते हैं।

मुख्य परिणाम

रियल-डेटा स्केलिंग सीलिंग: CIFAR-10 (91.79%), CIFAR-100 (67.28%), और ImageNet-100 (224×224 पर 49.4% के साथ पहला FF बेसलाइन) पर नया FF-फैमिली SOTA सेट करने के बावजूद, DTG-FF लगातार आर्किटेक्चर-मैच्ड BP-DeepSup से पीछे रहता है।
- CIFAR-10 ( $K=10$ ) पर, अंतर 2.40 प्रतिशत अंक (pp) है।
- CIFAR-100 ( $K=100$ ) पर, यह अंतर बढ़कर 5.93 pp हो जाता है।
- ImageNet-100 (224×224) पर, DTG-FF 49.4% तक पहुँचता है, जबकि सामान्य BP बेसलाइन्स 75% से अधिक होते हैं। यह एक "रियल-डेटा सीलिंग" को उजागर करता है जो 32×32 रेजोल्यूशन पर अदृश्य रहती है।
सिंथेटिक बनाम रियल $K$ -कॉन्फ्लिक्ट: सिंथेटिक टीचर-स्टूडेंट टास्क में, BP पर DTG-FF का लाभ $K$ के बढ़ने के साथ बढ़ता है (K=50 पर +2.00 pp तक पहुँच जाता है)। इसके विपरीत, वास्तविक छवियों (CIFAR-10/100) पर, अंतर $K$ बढ़ने के साथ उलट जाता है और बढ़ जाता है। CIFAR-100 (कोर्स $K=20$ बनाम फाइन $K=100$ ) पर एक विदिन-डेटासेट प्रोब पुष्टि करता है कि सिंथेटिक लाभ आउटपुट डाइमेंशनलिटी से आता है, जबकि वास्तविक-डेटा प्रदर्शन सूक्ष्म-विभेदकारी कठिनाई से बाधित होता है।
सिस्टम्स ऑडिट: यह पेपर FF के मेमोरी-एफिशिएंसी जस्टिफिकेशन को चुनौती देता है। कमोडिटी 8 GB हार्डवेयर (RTX 4060 लैपटॉप) पर, एक पाइप्लाइड DTG-FF कार्यान्वयन (7.90 GB पीक मेमोरी, 138 imgs/s) को समान प्रभावी बैच साइज पर ग्रेडिएंट एक्यूमुलेशन के साथ मानक BP (4.18 GB पीक मेमोरी, 157 imgs/s) द्वारा पीछे छोड़ दिया जाता है। हालांकि FF अपने सैद्धांतिक $O(1)$ एक्टिवेशन मेमोरी बाउंड को प्राप्त करता है, लेकिन यह इस रिजीम में मेमोरी-ऑप्टिमाइज्ड BP पर व्यावहारिक सिस्टम्स एडवांटेज में अनुवादित नहीं होता है।

मुख्य योगदान

DTG-FF इंस्ट्रूमेंट: एक मजबूत FF-फैमिली आर्किटेक्चर जो नौ बेंचमार्क पर SOTA सेट करता है, जो लेयर-लोकल ट्रेनिंग सीमाओं के ऑडिट के लिए एक विश्वसनीय "फ्लोर" प्रदान करता है।
स्केलिंग डायग्नोसिस: प्रमाणिक साक्ष्य कि वास्तविक डेटा पर क्लास काउंट और रेजोल्यूशन के साथ FF-BP गैप बढ़ता है, जो सिंथेटिक सेटिंग्स में देखे गए रुझानों के विपरीत है।
सिंथेटिक-रियल विसंगति: एक प्रदर्शन कि सिंथेटिक $K$ -स्वीप्स, आउटपुट डाइमेंशनलिटी को सूक्ष्म-विभेदकारी कठिनाई के साथ भ्रमित करते हैं, जिससे FF की वास्तविक-डेटा ट्रांसफ़रेबिलिटी का अति-अनुमान होता है।
सिस्टम्स ऑडिट: एक फेयर-बेसलाइन तुलना जो दिखाती है कि पाइप्लाइड FF का स्ट्रक्चरल मेमोरी एडवांटेज, वर्तमान कमोडिटी हार्डवेयर पर ग्रेडिएंट एक्यूमुलेशन के साथ मानक BP पर थ्रूपुट या मेमोरी एडवांटेज प्रदान नहीं करता है।

महत्व और दावे
यह पेपर तर्क देता है कि वर्तमान FF बेंचमार्क, विशेष रूप से जो सिंथेटिक कार्यों या छोटे पैमाने के 32×32 डेटासेट पर निर्भर हैं, वास्तविक वर्कलोड के लिए लेयर-लोकल ट्रेनिंग की व्यवहार्यता को बढ़ा-चढ़ाकर दिखाते हैं। लेखक एक "BP-शैडो लेंस" का प्रस्ताव करते हैं, जो स्थापित FF सुधारों (लेबल ओवरले, स्पेशियल गुडनेस, मल्टी-लेयर फ्यूजन) को उन सुपरवाइज्ड क्रॉस-लेयर सिग्नल के आंशिक प्रतिस्थापन के रूप में देखते हैं जिसे BP स्वाभाविक रूप से प्रदान करता है। DTG-FF और BP के बीच का शेष अंतर यह सुझाव देता है कि कोई भी वर्तमान प्रतिस्थापन उस समन्वय और पर्यवेक्षण को पूरी तरह से रिकवर नहीं कर सकता है जो बैकप्रोपैगेशन में निहित है।

लेखक निष्कर्ष निकालते हैं कि हालांकि DTG-FF, FF परिवार के लिए स्टेट ऑफ द आर्ट का प्रतिनिधित्व करता है, लेकिन स्ट्रिक्टली लेयर-लोकल ट्रेनिंग वर्तमान में वास्तविक डेटा प्रदर्शन की एक सीमा का सामना करती है और मानक हार्डवेयर पर मेमोरी-ऑप्टिमाइज्ड BP पर कोई सिस्टम्स एडवांटेज प्रदान नहीं करती है। यह कार्य एक कठोर ऑडिट के रूप में कार्य करता है, न कि FF की श्रेष्ठता के दावे के रूप में, जो यह उजागर करता है कि लेयर-लोकल तरीकों को जटिल, उच्च-रेजोल्यूशन वाले वास्तविक-विश्व कार्यों तक कैसे स्केल किया जा सकता है, इस पर आगे के शोध की आवश्यकता है।