OUI as a Structural Observable: Towards an Activation-Centric View of Neural Network Training

तकनीकी सारांश: एक संरचनात्मक अवलोकन (Structural Observable) के रूप में OUI

समस्या विवरण
वर्तमान न्यूरल नेटवर्क प्रशिक्षण निदान (diagnostics) लॉस (loss), सटीकता (accuracy) और अंतिम अंशांकन (final calibration) जैसे बाहरी मेट्रिक्स पर अत्यधिक निर्भर हैं। ये मेट्रिक्स अक्सर विलंबित होते हैं, जो प्रशिक्षण के आंतरिक वृत्तांत (internal narrative) को संकुचित कर देते हैं, और वे यह प्रकट करने में विफल रहते हैं कि मॉडल प्रशिक्षण प्रक्रिया के दौरान किन विशिष्ट संरचनात्मक व्यवस्थाओं (structural regimes) में प्रवेश करता है। जबकि एक्टिवेशन फंक्शन (activation functions) एक नेटवर्क की अभिव्यंजक शक्ति (expressive power) के स्रोत हैं—जो सक्रियता पैटर्न (activation patterns) के माध्यम से इनपुट स्पेस को विशिष्ट कार्यात्मक क्षेत्रों में विभाजित करने में सक्षम बनाते हैं—मानक निदान शायद ही कभी इन आंतरिक संरचनाओं के विकास की निगरानी करते हैं। यह अंतराल महंगे हाइपरपैरामीटर खोजों, विफलताओं के देर से पता चलने और प्रशिक्षण गतिकी (training dynamics) की व्याख्यात्मकता की कमी का कारण बनता है।

कार्यप्रणाली और परिभाषा
यह शोध पत्र ओवरफिटिंग-अंडरफिटिंग इंडिकेटर (OUI) पर केंद्रित है, जिसे यहाँ सीखने की गतिकी के एक संरचनात्मक अवलोकन के रूप में पुनर्व्याख्यायित किया गया है। लेखक प्रशिक्षण की ऑनलाइन निगरानी के लिए एक बैच-आधारित सूत्रीकरण (Fernández-Hernández et al., 2026) अपनाते हैं:

1. एक्टिवेशन मास्किंग (Activation Masking): एक परत $l$ के लिए जिसमें $d_l$ इकाइयाँ हैं और एक बैच $B_t$ है, प्रत्येक न्यूरॉन $n$ और नमूना $x_b$ के लिए एक बाइनरी मास्क $m^{(l)}_{b,n}(t)$ परिभाषित किया जाता है, जो यह दर्शाता है कि प्री-एक्टिवेशन धनात्मक है या नहीं।
2. एक्टिवेशन काउंटिंग (Activation Counting): प्रत्येक न्यूरॉन के लिए, सक्रिय नमूनों की गणना $s^{(l)}_n(t)$ के रूप में की जाती है।
3. माइनॉरिटी काउंट (Minority Count): मेट्रिक $u^{(l)}_n(t) = \min(s^{(l)}_n(t), B - s^{(l)}_n(t))$ की गणना की जाती है। यह मान तब उच्च होता है जब एक न्यूरॉन बैच को संतुलित तरीके से विभाजित करता है और तब कम होता है जब न्यूरॉन लगातार 'ऑन' या 'ऑफ' रहता है (बायस्ड)।
4. OUI गणना: मॉड्यूल के लिए OUI, $\lfloor B/2 \rfloor$ द्वारा सामान्यीकृत (normalized) इन माइनॉरिटी काउंट्स का औसत है।

परिचालन रूप से, एक उच्च OUI यह संकेत देता है कि कई इकाइयाँ प्रोब बैच को संतुलित तरीके से विभाजित कर रही हैं, जो एक समृद्ध आंतरिक सक्रियता संरचना (internal activation structure) को दर्शाता है। एक निम्न OUI यह सुझाव देता है कि मॉड्यूल बायस्ड हो गया है, जहाँ इकाइयाँ इनपुट के विरुद्ध एकसमान व्यवहार करती हैं।

प्रमुख परिणाम और साक्ष्य
यह शोध पत्र OUI की उपयोगिता को एक प्रारंभिक, लेबल-मुक्त संकेत के रूप में प्रदर्शित करने के लिए तीन अलग-अलग डोमेन से साक्ष्यों को संश्लेषित करता है:

• सुपरवाइज्ड लर्निंग (रेगुलराइजेशन): CIFAR-100 पर DenseNet-BC-100 प्रयोगों में, विभिन्न वेट डिके (weight decay) मानों के लिए OUI प्रक्षेपवक्र (trajectories) जल्दी (लगभग 15% प्रशिक्षण के आसपास) अलग हो गए। उच्च OUI मान बेहतर सामान्यीकरण (generalization) के साथ सह-संबंधित थे, जबकि निम्न मान उन स्थितियों का पूर्वानुमान लगा सके जहाँ मानक वैलिडेशन मेट्रिक्स के अंतर दिखाने से पहले ही अंडरफिटिंग या ओवरफिटिंग की स्थिति बन रही थी।
• रीइन्फोर्समेंट लर्निंग (PPO एक्टर-क्रिटिक): PPO के लिए पुनर्गठित किए जाने पर, OUI ने प्रशिक्षण के शुरुआती चरण में ही लर्निंग-रेट व्यवस्थाओं के बीच सफलतापूर्वक अंतर किया। महत्वपूर्ण रूप से, शोध पत्र एक संरचनात्मक विषमता (structural asymmetry) देखता है: इष्टतम क्रिटिक्स (critics) एक मध्यवर्ती OUI बैंड में स्थित होते हैं, जबकि मजबूत एक्टर्स (actors) उच्च OML मानों पर कार्य करते हैं। यह सुझाव देता है कि "अच्छा" संरचनात्मक शासन (regime) संदर्भ-निर्भर होता है।
• एक्टिवेशन-पैटर्न अभिसरण (Convergence): Pérez-Corral et al. (2026) के हालिया कार्य का उल्लेख करते हुए, शोध पत्र नोट करता है कि एक्टिवेशन पैटर्न अक्सर पैरामीटर अपडेट से काफी पहले स्थिर हो जाते हैं। ViT-B16 प्रशिक्षण में, एक्टिवेशन कन्वर्जेंस मेट्रिक्स संतृप्त (saturated) हो गए जबकि लॉस में सुधार जारी रहा, जो एक टू-टाइमस्केल (two-timescale) दृष्टिकोण का समर्थन करता है जहाँ नेटवर्क स्थिर एक्टिवेशन व्यवस्थाओं के भीतर भार (weights) को परिष्कृत करते हैं।

योगदान
इस शोध पत्र का प्राथमिक योगदान एक नया एल्गोरिदम नहीं, बल्कि एक वैचारिक पुनर्गठन (conceptual reframing) और मौजूदा साक्ष्यों का संश्लेषण है:

1. संरचनात्मक अवलोकन (Structural Observable): यह पत्र तर्क देता है कि OUI को केवल हाइपरपैरामीटर ट्यूनिंग के लिए एक ह्यूरिस्टिक के रूप में नहीं, बल्कि सीखने के आंतरिक संरचनात्मक आयाम के पहले व्यावहारिक अवलोकन के रूप में समझा जाना चाहिए।
2. एक्टिवेशन-केंद्रित दृष्टिकोण: यह एक "एक्टिवेशन-केंद्रित प्रशिक्षण गतिकी सिद्धांत" प्रस्तावित करता है, जो यह मानता है कि आंतरिक सक्रियता संरचनाएं अभिसरण से पहले सूचनात्मक और क्रियाशील हो जाती हैं, जो प्रशिक्षण का एक ऐसा आयाम प्रदान करती हैं जिसे एंडपॉइंट मेट्रिक्स द्वारा नहीं पकड़ा जा सकता।
3. साक्ष्यों का संश्लेषण: यह सुपरवाइज्ड लर्निंग, रीइन्फोर्समेंट लर्निंग और ऑनलाइन कंट्रोल के निष्कर्षों को एकीकृत करता है ताकि एक आवर्ती पैटर्न दिखाया जा सके: एक्टिवेशन-आधारित अवलोकन प्रशिक्षण के भाग्य को जल्दी प्रकट कर सकते हैं।
4. अनुसंधान दिशा: यह आवश्यक खुले प्रश्नों की पहचान करता है, जिसमें प्रशिक्षण की "फेज संरचना" (प्रारंभिक संरचनात्मक संगठन बनाम देर से परिष्करण), विशिष्ट भूमिकाओं और कार्यों के सापेक्ष सक्रियता व्यवस्थाओं की "पर्याप्तता", और इन अवलोकनों का स्थिरता और सामान्यीकरण की औपचारिक धारणाओं के साथ सैद्धांतिक संबंध शामिल है।

महत्व और दावे
शोध पत्र का दावा है कि OUI को एक संरचनात्मक अवलोकन के रूप में देखने से प्रशिक्षण का परिप्रेक्ष्य विलंबित बाहरी परिणामों की निगरानी से बदलकर आंतरिक संरचनात्मक संगठन की निगरानी में बदल जाता है। इसका फाउंडेशन मॉडल प्रीट्रेनिंग में प्रारंभिक स्क्रीनिंग के लिए तत्काल व्यावहारिक निहितार्थ है, जहाँ देर से होने वाली विफलताएं अत्यधिक महंगी होती हैं। इसके अलावा, यह कार्यात्मक नियंत्रण में बदलाव का सुझाव देता है, जिससे प्रशिक्षण को उन संकेतों द्वारा नियंत्रित किया जा सकता है जो केवल यह नहीं देखते कि ऑप्टिमाइज़र पैरामीटर्स के साथ क्या कर रहा है, बल्कि यह देखते हैं कि नेटवर्क डेटा के साथ कार्यात्मक रूप से क्या कर रहा है।

लेखक एक मध्यम रुख अपनाते हैं, यह स्वीकार करते हुए कि OUI वर्तमान में एक व्यापक सिद्धांत की ओर एक "अनुभवजन्य आधार" (empirical foothold) है। वे सीमाओं को भी रेखांकित करते हैं, जैसे कि ReLU-जैसे पैटर्न के लिए OUI की स्वाभाविक परिभाषा और यदि इसे ऑनलाइन कंट्रोल सिग्नल के रूप में उपयोग किया जाता है तो फीडबैक-लूप के भ्रम का जोखिम। शोध पत्र इस निष्कर्ष के साथ समाप्त होता है कि यदि सक्रियता को छिपे हुए उप-उत्पादों के बजाय अध्ययन के स्पष्ट विषयों के रूप में देखने का दृष्टिकोण सही साबित होता है, तो एक एक्टिवेशन-केंद्रित सिद्धांत न्यूरल नेटवर्क कैसे सीखते हैं, इसे समझने के लिए एक आवश्यक कदम बन जाएगा।