🤖 AI

Exact Network Surgery: Functional Invariance and Gradient Plasticity in Reactive Computational Graphs

यह शोध पत्र "एक्ज़ैक्ट नेटवर्क सर्जरी" (Exact Network Surgery) प्रस्तुत करता है, जो एक औपचारिक ढांचा और जूलिया-आधारित (Julia-based) कार्यान्वयन है जो संरचनात्मक स्थानीयता (structural locality) और ग्रेडिएंट एस्केप गुणों को सिद्ध करके लाइव कम्प्यूटेशनल ग्राफ्स में प्रशिक्षित रेसिडुअल ब्लॉक्स के बिट-एक्ज़ैक्ट, इन-प्लेस इंसर्शन को सक्षम बनाता है, जिससे सीखी गई कार्यात्मकताओं को बाधित किए बिना या पूर्ण प्रशिक्षण पुनर्गठन की आवश्यकता के बिना क्षमता विस्तार संभव हो पाता है।

मूल लेखक: Abdallah Khemais (ISITCOM, University of Sousse)

प्रकाशित 2026-07-21

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Abdallah Khemais (ISITCOM, University of Sousse)

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

डिजिटल मस्तिष्क की बढ़ती मुश्किलें

कल्पना कीजिए कि आप एक रोबोट को बिल्लियों को पहचानना सिखा रहे हैं। आप एक छोटे, सरल मस्तिष्क से शुरुआत करते हैं, और वह बुनियादी बातें सीखता है। लेकिन फिर, आपको एहसास होता है कि रोबोट को वास्तव में इस काम में कुशल होने के लिए फर की बनावट, कान के आकार और पूंछ के हिलने-डुलने को समझने की आवश्यकता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसका आमतौर पर मतलब यह होता है कि आपको रोबट को रोकना होगा, उसके वर्तमान मस्तिष्क को फेंकना होगा, और शून्य से एक बड़ा मस्तिष्क बनाना होगा। यह एक घर को अपग्रेड करने की कोशिश करने जैसा है जिसमें आप उसे ढहाकर और उसे फिर से बनाते समय ही उसके अंदर रह रहे हैं। यह बर्बादी भरा, धीमा है, और आप अपनी सारी प्रगति खो देते हैं।

वैज्ञानिक इन डिजिटल मस्तिष्क को सीखने के दौरान "बढ़ाने" का एक तरीका खोजने की कोशिश कर रहे हैं, यानी दीवारों को गिराए बिना नए कमरे और परतें जोड़ना। बड़ी चुनौती यह है कि जब आप चलते हुए इंजन में एक नया हिस्सा लगाते हैं, तो वह अक्सर इंजन को खराब कर देता है। नया हिस्सा पूरी तरह से फिट नहीं हो सकता, या इंजन पुराने हिस्सों को चलाने का तरीका भूल सकता है। इसके अलावा, कंप्यूटर की यह याददाश्त कि वह कैसे सीख रहा था (उसका "ऑप्टिमाइज़र स्टेट"), गड़बड़ा जाती है, जिससे उसे फिर से शुरुआत करने के लिए मजबूर होना पड़ता है। यह शोध पत्र इस समस्या पर काम करता है कि कैसे एक न्यूरल नेटवर्क में नई परतों को प्रशिक्षण के दौरान ही सर्जिकल तरीके से डाला जाए, यह सुनिश्चित करते हुए कि रोबोट वह सब न भूल जाए जो वह पहले से जानता है और इस प्रक्रिया में क्रैश न हो जाए।

"सटीक" सर्जरी का जादू

इस शोध पत्र के लेखकों ने, एक विशेष कंप्यूटर इंजन जिसे NeuroDSL कहा जाता है, के साथ मिलकर एक विधि विकसित की है जिसे वे Exact Network Surgery (सटीक नेटवर्क सर्जरी) कहते हैं। इसे एक मास्टर सर्जन के रूप में सोचें जो एक जीवित मरीज में एक नया, पूरी तरह से कार्यात्मक अंग बिना मरीज को कुछ भी महसूस कराए, बिना दिल की धड़कन थमे, और बिना मरीज का अपना नाम भूले, डाल सकता है।

अतीत में, नेटवर्क में नई परतें जोड़ना टायर पर डक्ट टेप लगाने जैसा था: यह काम तो कर सकता था, लेकिन सवारी ऊबड़-खाबड़ होती और पैच पूरी तरह से टिक नहीं पाता। यहाँ शोधकर्ता दावा करते हैं कि उन्होंने इसे "बिट-एक्सैक्टली" (bit-exactly) करने का तरीका खोज लिया है। इसका मतलब है कि यदि आप नेटवर्क को सर्जरी से पहले एक गणित की समस्या हल करने के लिए कहें और फिर तुरंत बाद फिर से वही करने के लिए कहें, तो उत्तर केवल "लगभग सही" नहीं होगा; यह अंतिम बाइनरी कोड के सूक्ष्म टुकड़े तक समान होगा। उन्होंने इसे गणितीय रूप से सिद्ध किया और 1,600 अलग-अलग गणनाओं पर परीक्षण किया, जिसमें शून्य विसंगतियां पाई गईं।

"घोस्ट" (भूतिया) लेयर का कमाल

वे इसे कैसे करते हैं? वे एक "घोस्ट" लेयर के उपयोग वाला एक चतुर तरीका इस्तेमाल करते हैं। कल्पना कीजिए कि आप एक घर में नया कमरा जोड़ना चाहते हैं, लेकिन आप नहीं चाहते कि लोग रसोई तक जाने वाले रास्ते को बदलें। इसलिए, आप नया कमरा बनाते हैं, लेकिन दरवाजा बंद और लाइट बंद रखते हैं। लोग उसके बगल से गुजर जाते हैं, और घर बिल्कुल वैसा ही काम करता है जैसा पहले करता था।

शोध की भाषा में, यह एक रेसिडुअल ब्लॉक (नया कमरा) है जिसे कुछ भी न करने के लिए इनिशियलाइज किया गया है। यह सब कुछ को शून्य से गुणा करता है। हालाँकि, एक पेंच है: यदि आप इसे केवल शून्य पर छोड़ देते हैं, तो नया कमरा कुछ भी नहीं सीख पाएगा क्योंकि "सीखने का संकेत" (ग्रेडिएंट) अवरुद्ध हो जाता है। यह उस छात्र की तरह है जो कभी अपनी किताब नहीं खोलता; वह सीख नहीं सकता।

लेखकों ने एक विशिष्ट "सैडल पॉइंट" (saddle point) जाल की खोज की। यदि आप नए कमरे को कुछ भी न करने (शून्य आउटपुट) के लिए सेट करते हैं और आप उस स्विच को भी शून्य पर सेट कर देते हैं जो इसे चालू करता है, तो नया कमरा पूरी तरह से जम जाएगा। यह कभी कुछ नहीं सीख पाएगा, चाहे आप बाकी घर को कितना भी प्रशिक्षित क्यों न करें। शोध पत्र स्पष्ट रूप से इस "डबल-जीरो" कॉन्फ़िगरेशन को एक मृत अंत के रूप में खारिज करता है।

इसके बजाय, वे एक ग्रेडिएंट शैडोइंग गेट (Gradient Shadowing gate) का उपयोग करते हैं। यह एक डिमर स्विच की तरह है जो शून्य से शुरू होता है लेकिन नए कमरे के अंदर एक रैंडम, सक्रिय बल्ब से जुड़ा होता है।

शुरुआत: स्विच बंद (शून्य) है, इसलिए नया कमरा कुछ भी योगदान नहीं देता है। घर पूरी तरह से चलता है।
स्पार्क (चिंगारी): क्योंकि इसके अंदर का बल्ब रैंडम और सक्रिय है, जैसे ही घर सीखने की कोशिश करता है, बिजली की एक छोटी सी चिंगारी (एक नॉन-जीरो ग्रेडिएंट) डिमर स्विच से टकराती है।
विकास: स्विच थोड़ा सा चालू हो जाता है (सीखने के पहले ही स्टेप में)। अब, नया कमरा "देखने" लगता है और सीखने का संकेत प्राप्त करने लगता है। दूसरे स्टेप तक, नया कमरा पूरी तरह से जाग जाता है और घर के बाकी हिस्सों के साथ सीखना शुरू कर देता है।

यह शून्य से दो-चरणीय "निकास" ही कुंजी है। यह सुनिश्चित करता है कि नेटवर्क क्रैश न हो (क्योंकि यह एक घोस्ट के रूप में शुरू होता है) लेकिन यह भी सुनिश्चित करता है कि यह जम न जाए (क्योंकि गेट तुरंत खुल जाता है)।

"डाउनस्ट्रीम" डोमिनो प्रभाव

जब आप किसी जटिल मशीन में कुछ बदलते हैं, तो आपको आमतौर पर यह जांचना पड़ता है कि उसके बाद क्या होता है ताकि यह सुनिश्चित हो सके कि वह अभी भी काम करता है। यह शोध पत्र सिद्ध करता है कि उनके तरीके के साथ, आपको केवल उन डोमिनो के विशिष्ट पथ की जांच करने की आवश्यकता है जो नए कमरे के बाद गिरते हैं। वे इसे "डाउनस्ट्रीम कोन" (downstream cone) कहते हैं।

अपने रिएक्टिव इंजन का उपयोग करके, उन्होंने दिखाया कि जब वे एक नई परत डालते हैं, तो कंप्यूटर केवल नेटवर्क के उन हिस्सों की पुनर्गणना करता है जो सीधे प्रभावित होते हैं। बाकी सब कुछ—घर के अन्य सभी कमरे, घर के सीखने की यादें—ठीक वैसे ही रहते हैं जैसे वे थे। उन्होंने इस लागत को मापा: एक गहरे नेटवर्क के लिए, घर को "रीवायर" करने में लगने वाला समय स्थिर (लगभग 0.75 मिलीसेकंड) रहता है, चाहे सर्जरी कितनी भी गहरी क्यों न हो। एकमात्र चीज़ जिसमें समय लगता है, वह है वास्तव में गिरने वाले डोमिनो को फिर से जांचना, और वह समय गिरने वाले डोमिनो की संख्या के साथ रैखिक रूप से बढ़ता है।

वास्तविक दुनिया की लचीलापन

यह साबित करने के लिए कि यह केवल एक सिद्धांत नहीं है, लेखकों ने एक बहुत ही वास्तविक परिदृश्य में इसका परीक्षण किया। उन्होंने एक मॉडल को प्रशिक्षित किया, एक नई परत डाली, कंप्यूटर की पूरी स्थिति (सीखने की प्रक्रिया की "याददाश्त" सहित) को सहेजा, प्रोग्राम को बंद कर दिया, और फिर इसे एक नए कंप्यूटर पर फिर से शुरू किया। जब उन्होंने प्रशिक्षण फिर से शुरू किया, तो परिणाम बिट-आइडेंटिकल (bit-identical) थे, जैसे कि उन्होंने कभी रोका ही न हो। इसका मतलब है कि सर्जरी इतनी मजबूत है कि यह बिजली कटौती या सर्वर रीस्टार्ट जैसी वास्तविक दुनिया की बाधाओं के बावजूद प्रगति को खोए बिना बनी रहती है।

उन्होंने क्या पाया (और क्या नहीं)

शोध पत्र इस बारे में बहुत स्पष्ट है कि यह क्या हासिल करता है और भविष्य के लिए क्या छोड़ता है।

क्या सिद्ध है: सर्जरी गणितीय रूप से सटीक है (कोई कार्य हानि नहीं), नई परतें तुरंत सीखती हैं (प्लास्टिसिटी), और प्रक्रिया स्थानीय है (केवल प्रभावित हिस्सों की पुनर्गणना की जाती है)। उन्होंने सिद्ध किया कि "डबल-जीरो" जाल एक मृत अंत है और उनका "गेट" तरीका इससे बचता है।
क्या मापा गया है: उन्होंने एक विशिष्ट कंप्यूटर इंजन (NeuroDSL) पर मानक फ्लोटिंग-पॉइंट नंबरों का उपयोग करके सिमुलेशन चलाया। उन्होंने पुष्टि की कि नई परतें ठीक एक स्टेप में "जीरो" अवस्था से बाहर निकल जाती हैं और ग्रेडिएंट्स दूसरे स्टेप में अनलॉक हो जाते हैं।
क्या कोई बड़ी सफलता नहीं है: शोध पत्र यह दावा नहीं करता है कि नेटवर्क को बढ़ाना हमेशा शून्य से बड़े नेटवर्क बनाने से बेहतर होता है। वास्तव में, उन्होंने इसका परीक्षण किया और पाया कि समान कंप्यूटर शक्ति पर, शून्य से बनाया गया नेटवर्क अक्सर थोड़ा बेहतर प्रदर्शन करता है या उसके बराबर होता है। उनके तरीके का लाभ यह है कि यह आपको शुरुआती प्रशिक्षण समय को बर्बाद किए बिना छोटा शुरू करने और बढ़ने की अनुमति देता है, लेकिन यह जादुई रूप से अंतिम मस्तिष्क को उस मस्तिष्क से स्मार्ट नहीं बनाता जो काम के लिए पहले दिन से ही बनाया गया था।

लेखक यह भी नोट करते हैं कि उनकी "बिट-एक्सैक्ट" गारंटी विशिष्ट कंप्यूटर नियमों (IEEE-754) पर निर्भर करती है और उन्होंने इसका परीक्षण एक मानक प्रोसेसर पर किया है। हालांकि गणित काम करता है, विभिन्न प्रकार के कंप्यूटर चिप्स (जैसे ग्राफिक्स कार्ड में) पर सटीक व्यवहार को अलग से जांचने की आवश्यकता होगी।

संक्षेप में, यह शोध पत्र AI नेटवर्क को "बढ़ाने" की अव्यवस्थित, नाजुक कला को एक सटीक, सर्जिकल ऑपरेशन में बदल देता है। यह एक नियम पुस्तिका, एक प्रमाण और एक परीक्षण सूट प्रदान करता है जो कहता है: "हाँ, आप बिना इसे तोड़े एक सीखने वाले मस्तिष्क में नई परतें जोड़ सकते हैं, और यहाँ बताया गया है कि इसे कैसे किया जाए ताकि यह हर बार काम करे।"

तकनीकी सारांश: रिएक्टिव कम्प्यूटेशनल ग्राफ में सटीक नेटवर्क सर्जरी (Exact Network Surgery)

समस्या विवरण (Problem Statement)

प्रशिक्षण के दौरान न्यूरल नेटवर्क को बढ़ाना—एक ऐसे मॉडल में नए लेयर्स डालना जो पहले से ही सीख चुका है—करिकुलम शेड्यूलिंग, निरंतर शिक्षण (continual learning), और आर्किटेक्चर सर्च के लिए एक वांछनीय रणनीति है। हालाँकि, मौजूदा दृष्टिकोण दो प्राथमिक परिचालन बाधाओं का सामना करते हैं:

कार्यात्मक विनाश (Functional Destruction): नए लेयर्स डालने से अक्सर सीखा हुआ फंक्शन बाधित हो जाता है, जिसके लिए या तो पूर्ण पुनर्निर्माण की आवश्यकता होती है या कार्यात्मक व्यवधानों को स्वीकार करना पड़ता है जिन्हें निरंतर प्रशिक्षण (जैसे Net2Net, प्रोग्रेसिव स्टैकिंग) द्वारा ठीक किया जाना चाहिए।
स्टेट मैनेजमेंट (State Management): आधुनिक ईगर फ्रेमवर्क्स (जैसे PyTorch, JAX) में, टोपोलॉजिकल उत्परिवर्तन (topological mutations) कम्प्यूटेशनल ग्राफ के वैश्विक पुन: संयोजन (global re-compilation) को ट्रिगर करते हैं और ऑप्टिमाइज़र स्टेट्स के मैनुअल पुन: जुड़ाव की आवश्यकता होती है। इसके अलावा, इन फ्रेमवर्क्स में "आंशिक वैधता" (partial validity) का अभाव होता है, जिसका अर्थ है कि वे उन कैश किए गए मानों (cached values) के बीच अंतर नहीं कर सकते जो सही बने हुए हैं और वे जो उत्परिवर्तन के कारण अमान्य हो गए हैं, जिससे अक्षमता और संभावित साइलेंट बग उत्पन्न होते हैं।

कार्यप्रणाली (Methodology)

यह शोध पत्र एक लाइव कम्प्यूटेशनल ग्राफ में रेसिडुअल ब्लॉक्स के इन-प्लेस इंसर्शन के लिए एक औपचारिक रूपरेखा के रूप में एक्ज़ैक्ट नेटवर्क सर्जरी (Exact Network Surgery) का प्रस्ताव करता है। यह दृष्टिकोण एक रिएक्टिव डिफाइन-एंड-रन ग्राफ इंजन (जिसे NeuroDSL, एक Julia-आधारित सिस्टम में लागू किया गया है) पर निर्भर करता है जहाँ नोड्स अपने स्वयं के मान और ऑप्टिमाइज़र स्टेट्स के स्वामी होते हैं, और उत्परिवर्तन वैश्विक पुनर्निर्माण के बजाय स्थानीयकृत अमान्यकरण तरंगों (localized invalidation waves) को ट्रिगर करते हैं।

यह कार्यप्रणाली तीन मुख्य तकनीकी स्तंभों पर आधारित है:

1. आइडेंटिटी मोर्फिज्म के माध्यम से कार्यात्मक सटीकता (Functional Exactness via Identity Morphism)

यह सुनिश्चित करने के लिए कि नेटवर्क का फंक्शन बिट-दर-बिट सटीक बना रहे (विशिष्ट फ्लोटिंग-पॉइंट परिकल्पनाओं के तहत), डाला गया ब्लॉक $H$ सम्मिलन के समय एक आइडेंटिटी मोर्फिज्म (identity morphism) के रूप में निर्मित किया जाता है।

तंत्र: रेसिडुअल ब्रांच $R(x)$ को शून्य-आउटपुट प्रोजेक्शन ( $W_O = 0, W_{down} = 0$ ) के साथ इनिशियलाइज़ किया जाता है, जबकि अन्य पैरामीटर्स को रैंडमली इनिशियलाइज़ किया जाता है।
प्रमेय: धारणा 1 (नो आउटपुट बायस) के तहत, यदि प्रोजेक्शन शून्य हैं, तो $H(x) = x$ वास्तविक संख्याओं (reals) पर सत्य है।
बिट-एक्ज़ैक्टनेस: शोध पत्र सिद्ध करता है कि IEEE-754 अंकगणित के तहत, राउंड-टू-नियरएस्ट के साथ, बशर्ते आंतरिक एक्टिवेशन परिमित (finite) हों और रेसिडुअल स्ट्रीम का कोई घटक $-0.0$ न हो, यह ग्राफ्ट (graft) बिट-एक्ज़ैक्ट है। ऑपरेशन $x + 0.0$ बिट-दर-बिट $x$ प्रदान करता है, जिससे डाउनस्ट्रीम नोड्स समान बाइनरी प्रतिनिधित्व उत्पन्न करते हैं।

2. रिएक्टिव इनवैलिडेशन के माध्यम से संरचनात्मक स्थानीयता (Structural Locality via Reactive Invalidation)

दक्षता बनाए रखने के लिए, सिस्टम को पूरे ग्राफ को पुन: गणना करने से बचना चाहिए।

तंत्र: एक उत्परिवर्तन (mutation) एक इनवैलिडेशन एल्गोरिथ्म (एल्गोरिदम 1) को ट्रिगर करता है जो सम्मिलन बिंदु $s$ से सभी डाउनस्ट्रीम नोड्स तक फैलता है।
प्रमेय: अमान्य नोड्स का सेट ठीक से डाउनस्ट्रीम कोन (downstream cone) ( $V^+_s$ ) है। इस कोन के बाहर के नोड्स अपने कैश किए गए मान और, महत्वपूर्ण रूप से, अपने ऑप्टिमाइज़र स्टेट्स (जैसे Adam moments) को बनाए रखते हैं।
जटिलता: लागत $O(|V^+_s| + |E^+_s|)$ है, जो सर्जरी को कुल ग्राफ आकार के बावजूद सस्ता बनाती है।

3. ग्रेडिएंट शैडोइंग के माध्यम से प्लास्टिसिटी (Plasticity via Gradient Shadowing)

एक शून्य-इनिशियलाइज़्ड ब्लॉक जिसमें शून्य प्रोजेक्शन हैं, शून्य ग्रेडिएंट उत्पन्न करेगा, जिससे लर्निंग रुक जाएगी। बिना सटीकता खोए तत्काल प्रशिक्षण ("प्लास्टिसिटी") सक्षम करने के लिए, शोध पत्र ग्रेडिएंट शैडोइंग (Gradient Shadowing) पेश करता है।

तंत्र: प्रोजेक्शन को शून्य करने के बजाय, ब्लॉक एक सीखने योग्य स्केलर गेट $\alpha$ का उपयोग करता है जिसे 0 पर इनिशियलाइज़ किया गया है, जिसे एक रैंडमली इनिशियलाइज़्ड रेसिडुअल ब्रांच $R(x)$ (जहाँ $R(x) \not\equiv 0$ ) से गुणा किया जाता है। ब्लॉक को $F_H(x) = x + \alpha R(x)$ के रूप में परिभाषित किया गया है।
इनिशियलाइज़ेशन से पलायन: सम्मिलन समय $t_{ins}$ पर, $\alpha=0$ यह सुनिश्चित करता है कि $F_H(x)=x$ (सटीकता)। हालाँकि, ग्रेडिएंट $\frac{\partial L}{\partial \alpha} = \langle g, R(x) \rangle$ सामान्यतः गैर-शून्य होता है क्योंकि $R(x)$ रैंडम है और $g \neq 0$ है।
दो-चरणीय अनलॉक:
1. चरण 1: $\alpha$ एक गैर-शून्य ग्रेडिएंट प्राप्त करता है और अपडेट होता है।
2. चरण 2: $\alpha \neq 0$ के साथ, चेन रूल खुल जाता है, जिससे $R(x)$ के आंतरिक पैरामीटर्स $\theta$ तक ग्रेडिएंट प्रवाहित होने लगता है।
अपभ्रष्ट मामला (Degenerate Case): शोध पत्र सिद्ध करता है कि शून्य प्रोजेक्शन और शून्य गेट दोनों को मिलाने से एक "डबल-जीरो" कॉन्फ़िगरेशन बनता है जो एक फिक्स्ड पॉइंट (सैडल पॉइंट) है जिससे ग्रेडिएंट डिसेंट बाहर नहीं निकल सकता। प्रस्तावित विधि इसे सख्ती से टालती है क्योंकि यह या तो शून्य प्रोजेक्शन या शून्य गेट चुनती है, दोनों को कभी नहीं।

मुख्य योगदान (Key Contributions)

औपचारिक परिभाषा: ग्राफ़ पर ग्राफ्टिंग और कार्यात्मक सटीकता की एक सटीक परिभाषा।
आइडेंटिटी-मोर्फिज्म प्रमेय: यह प्रमाण कि गेटेड रेसिडुअल ब्लॉक्स शून्य प्रोजेक्शन के साथ आइडेंटिटी मैप के रूप में कार्य करते हैं, जिसमें बिट-एक्ज़ैक्टनेस के लिए स्पष्ट IEEE-754 परिकल्पनाएं शामिल हैं।
स्ट्रक्चरल-लोकैलिटी प्रमेय: यह प्रमाण कि रिएक्टिव इनवैलिडेशन ठीक से डाउनस्ट्रीम कोन को पुन: गणना करता है, जिससे अन्य सभी नोड्स का स्टेट सुरक्षित रहता है।
ग्रेडिएंट शैडोइंग: एक ऐसी गेटिंग स्कीम जो गारंटी देती है कि नए पैरामीटर्स शून्य इनिशियलाइज़ेशन से एक ही स्टेप में बाहर निकल सकें, जिससे सैडल पॉइंट से बचा जा सके।
प्रायोगिक सत्यापन: NeuroDSL इंजन पर प्रत्येक सैद्धांतिक दावे को मान्य करने के लिए एक व्यापक प्रयोगात्मक सूट।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक Julia (Float32, CPU) में एक संदर्भ कार्यान्वयन का उपयोग करके अपने दावों को मान्य करते हैं:

बिट-एक्ज़ैक्टनेस (E1): एक 4-ब्लॉक लामा-स्टाइल (Llama-style) मॉडल पर, लेयर 2 और 3 के बीच एक ब्लॉक को ग्राफ्ट करने के परिणामस्वरूप 1600 लॉजिट्स में से 0 मिसमैच पाए गए। पूर्व-शर्तों (परिमित एक्टिवेशन, कोई $-0.0$ नहीं) को केवल माना नहीं गया, बल्कि सत्यापित भी किया गया।
प्लास्टिसिटी और सैडल पॉइंट्स (E2): एक तीन-आर्म प्रयोग ने पुष्टि की:
- ग्रेडिएंट शैडोइंग (Arm a): गेट $\alpha$ ने स्टेप 1 में गैर-शून्य ग्रेडिएंट प्राप्त किया, और स्टेप 2 में ब्रांच ग्रेडिएंट्स अनलॉक हो गए।
- Net2Net-शैली (Arm b): शून्य प्रोजेक्शन के साथ $\alpha=1$ तुरंत अनलॉक हो गया, लेकिन अपस्ट्रीम वेट्स को अनलॉक होने में एक स्टेप लगा।
- अपभ्रष्ट (Arm c): शून्य प्रोजेक्शन और $\alpha=0$ के साथ, 600 स्टेप्स तक बिल्कुल शून्य ग्रेडिएंट मिले, जो सैडल पॉइंट की पुष्टि करते हैं।
लोकैलिटी और लागत (E3): सर्जरी की लागत डाउनस्ट्रीम कोन के आकार के साथ $r = 0.9992$ के सहसंबंध के साथ ट्रैक की गई। ग्राफ्ट-प्लस-इनवैलिडेशन बुककीपिंग (graft-plus-invalidation bookkeeping) सम्मिलन गहराई के बावजूद स्थिर ( $\sim 0.75$ ms) रही, जबकि पुन: गणना लागत कोन के आकार के साथ रैखिक रूप से बढ़ी।
प्रक्रिया निरंतरता (F3): एक वास्तविक प्रोसेस रीस्टार्ट के बाद प्रशिक्षण बिट-आइडेंटिकली (bit-identically) फिर से शुरू हुआ, जिसमें ग्राफ और ऑप्टिमाइज़र स्टेट्स को सीरियलाइज और लोड किया गया था। ऑप्टिमाइज़र स्टेट को हटाने से तत्काल विचलन (divergence) हुआ।
उपयोगिता: एक टॉय इंडक्शन टास्क पर एक प्री-रजिस्टर्ड अध्ययन ने दिखाया कि जबकि ग्राफ्टिंग फ्रॉम स्क्रैच ट्रेनिंग की तुलना में (16.7% कंप्यूट बजट पर) थोड़ा शुरुआती लाभ देती है, यह लाभ कार्य संतृप्त होने पर कम हो जाता है। पेपर इस बात पर जोर देता है कि उनका प्राथमिक योगदान सटीक सर्जरी का तंत्र है, न कि गारंटीकृत प्रशिक्षण-दक्षता लाभ।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि यह "नेटवर्क को प्रशिक्षण के बीच में बढ़ाना" को एक नाजुक इंजीनियरिंग ह्यूरिस्टिक से बदलकर एक निर्दिष्टीकरण (specification), एक प्रमाण और एक पास होने वाले टेस्ट सुइट वाली एक औपचारिक प्रक्रिया में बदल देता है।

सटीकता: यह कार्यात्मक संरक्षण प्राप्त करता है जो घोषित परिकल्पनाओं के तहत बिट-एक्ज़ैक्ट है, जो पिछले कार्यों के अनुमानित संरक्षण से बेहतर है।
स्थानीयता: एक रिएक्टिव इंजन का लाभ उठाकर, यह सुनिश्चित करता है कि सर्जरी सस्ती है और यह पूरे मॉडल के ऑप्टिमाइज़र स्टेट को अमान्य नहीं करती है।
प्लास्टिसिटी: यह एक गणितीय रूप से गारंटीकृत तंत्र प्रदान करता है जिससे नए पैरामीटर मौजूदा फंक्शन को नष्ट किए बिना तुरंत सीखना शुरू कर सकें।
विनम्रता: लेखक स्पष्ट रूप से कहते हैं कि उनके दावे सटीकता और स्थानीयता तक सीमित हैं। वे किसी सार्वभौमिक प्रशिक्षण-दक्षता लाभ का दावा नहीं करते हैं, यह नोट करते हुए कि उपयोगिता कार्य पर निर्भर करती है और गेट के प्रारंभिक ग्रेडिएंट का परिमाण अनबाउंडेड (unbounded) हो सकता है (जो व्यवहार में धीमी कार्यात्मक योगदान की ओर ले जा सकता है)।

यह कार्य डायनेमिक आर्किटेक्चर सर्च और निरंतर शिक्षण के लिए एक आधारभूत कदम के रूप में कार्य करता है, जो लाइव कम्प्यूटेशनल ग्राफ को सुरक्षित रूप से संशोधित करने के लिए आवश्यक सैद्धांतिक और प्रायोगिक गारंटी प्रदान करता है।