What do CNNs Learn in the First Layer and Why? A Linear Systems Perspective

यह रिया चोवेर्स और याइर वीस के शोध पत्र "What do CNNs Learn in the First Layer and Why? A Linear Systems Perspective" का विस्तृत तकनीकी सारांश है।

1. समस्या विवरण (Problem Statement)

डीप कनवल्शनल न्यूरल नेटवर्क्स (CNNs) ने इमेज रिकग्निशन में उल्लेखनीय सफलता प्रदर्शित की है, जिसका श्रेय अक्सर उनकी अच्छी रिप्रजेंटेशन (representations) सीखने की क्षमता को दिया जाता है। एक सुस्थापित अनुभवजन्य अवलोकन (empirical observation) यह है कि आर्किटेक्चर, इनिशियलाइजेशन (initialization), या ट्रेनिंग डेटासेट के बावजूद, CNN की पहली लेयर अत्यधिक सुसंगत (consistent) फिल्टरों के सेट की ओर अभिसरण (converge) करती है। ये फिल्टर आमतौर पर मध्यम स्थानिक आवृत्तियों (intermediate spatial frequencies) के प्रति संवेदनशील होते हैं, जबकि बहुत कम और बहुत उच्च आवृत्तियों के प्रति असंवेदनशील होते हैं।

लेखक जिस केंद्रीय प्रश्न का समाधान कर रहे हैं वह है: यह निरंतरता क्यों होती है?

• परिकल्पना A (सिमेंटिक ऑप्टिमाइजेशन): यह निरंतरता इसलिए उत्पन्न होती है क्योंकि ये विशिष्ट फिल्टर ऑब्जेक्ट रिकग्निशन के सिमेंटिक कार्य (जैसे, उच्च आवृत्ति वाले शोर और निम्न आवृत्ति वाली रोशनी को अनदेखा करना) के लिए इष्टतम (optimal) हैं।
• परिकल्पना B (एल्गोरिदमिक/सांख्यिकीय बायस): यह निरंतरता ट्रेनिंग एल्गोरिदम (ग्रेडिएंट डिसेंट) और प्राकृतिक छवियों के सांख्यिकीय गुणों का एक उभरता हुआ गुण (emergent property) है, जो सिमेंटिक लेबल जानकारी से स्वतंत्र है।

लेखक इन परिकल्पनाओं के बीच अंतर करने और सीखे गए ऊर्जा प्रोफाइल (energy profiles) के लिए एक सैद्धांतिक स्पष्टीकरण प्रदान करने का लक्ष्य रखते हैं।

2. कार्यप्रणाली (Methodology)

A. निरंतरता को मापना: ऊर्जा प्रोफाइल (The Energy Profile)

विभिन्न CNN की पहली लेयर्स के बीच समानता को कठोरता से मापने के लिए, लेखक लीनियर सिस्टम थ्योरी (Linear Systems Theory) पर आधारित एक मीट्रिक प्रस्तावित करते हैं।

• फिल्टर बैंक परिप्रेक्ष्य: वे पहली लेयर को फिल्टर के एक बैंक के रूप में देखते हैं।
• PCA बेसिस: वे प्रशिक्षण इमेज पैचेस से प्राप्त PCA वेक्टर्स $\{u_i\}$ का एक सेट परिभाषित करते हैं। ये वेक्टर्स प्रमुख स्थानिक आवृत्तियों का प्रतिनिधित्व करते हैं।
• ऊर्जा प्रोफाइल की परिभाषा: फिल्टरों के एक सेट $\{w_k\}$ के लिए, ऊर्जा प्रोफाइल $e$ एक वेक्टर है जहाँ $i$-वाँ घटक $i$-वें PCA वेक्टर पर प्रोजेक्ट किए गए फिल्टरों की औसत ऊर्जा को दर्शाता है:
  $$e_i^2 = \frac{1}{K} \sum_{k=1}^K (w_k^T u_i)^2$$
• समानता मीट्रिक: वे विभिन्न प्रशिक्षित मॉडलों के ऊर्जा प्रोफाइल के बीच सहसंबंध गुणांक (correlation coefficient) को मापते हैं। यह मीट्रिक फिल्टर परम्यूटेशन (permutation), रीस्केलिंग (rescaling) और ऑर्थोगोनल ट्रांसफॉर्मेशन के प्रति अपरिवर्तनीय (invariant) है।

B. अनुभवजन्य प्रयोग (Empirical Experiments)

लेखकों ने "सिमेंटिक ऑप्टिमाइजेशन" परिकल्पना का परीक्षण करने के लिए व्यापक प्रयोग किए:

1. फ्रोजन फर्स्ट लेयर (Frozen First Layer): उन्होंने आधुनिक CNNs (VGG वेरिएंट्स) को प्रशिक्षित किया जहाँ पहली लेयर के वेट्स को रैंडम इनिशियलाइजेशन पर फ्रीज कर दिया गया। उन्होंने देखा कि प्रदर्शन (लॉस और एक्यूरेसी) पूरी तरह से प्रशिक्षित नेटवर्क के तुलनीय बना रहा, जिससे पता चलता कि अच्छे परिणाम प्राप्त करने के लिए पहली लेयर को सिमेंटिक्स के लिए अनुकूलित होने की आवश्यकता नहीं है।
2. रैंडम लेबल्स: उन्होंने रैंडमली असाइन किए गए लेबल्स के साथ CNN को प्रशिक्षित किया। सिमेंटिक संरचना के अभाव के बावजूद, नेटवर्क ने वास्तविक लेबल्स द्वारा प्रशिक्षित नेटवर्क के लगभग समान ऊर्जा प्रोफाइल सीखे।
3. क्रॉस-आर्किटेक्चर/डेटासेट: उन्होंने विभिन्न डेटासेट्स (CIFAR-10, CIFAR-100, CelebA, ImageNet) और इनिशियलाइजेशन के माध्यम से मॉडलों (VGG, ResNet, आदि) की तुलना की, जिसमें प्रशिक्षित मॉडलों के लिए सहसंबंध गुणांक $>0.9$ और रैंडम इनिशियलाइजेशन के लिए $\approx 0$ पाया गया।

C. सैद्धांतिक विश्लेषण: लीनियर CNN (Theoretical Analysis: Linear CNNs)

इन अनुभवजन्य निष्कर्षों की व्याख्या करने के लिए, लेखकों ने मीन स्क्वेर्ड एरर (MSE) लॉस के साथ प्रशिक्षित एक सरलीकृत डेप्थ-2 लीनियर CNN के लिए एक विश्लेषणात्मक सूत्र व्युत्पन्न किया।

• मान्यताएं:
  • इनपुट पैचेस एक-दूसरे के साथ अनकोरिलेटेड (uncorrelated) हैं।
  • लेबल्स इनपुट पैचेस के व्यक्तिगत PCA कंपोनेंट्स के साथ अनकोरिलेटेड हैं (एक स्थिति जो रैंडम लेबल्स के लिए वैध है और प्राकृतिक छवियों के लिए लगभग सत्य है)।
• व्युत्पत्ति: PCA स्पेस में ग्रेडिएंट डिसेंट डायनेमिक्स का विश्लेषण करके, उन्होंने $t$ इटरेशन पर ऊर्जा प्रोफाइल $e_i$ निकाला:
  $$e_i \propto \left| \frac{1 - (1 - \eta \lambda_i^2)^t}{\eta^2 \lambda_i^2} \right| \lambda_i$$
  जहाँ $\lambda_i$ प्रशिक्षण पैचेस का ऊर्जा प्रोफाइल (कोवेरियेंस मैट्रिक्स के आइजनवैल्यूज) है और $\eta$ लर्निंग रेट है।
• लिमिट व्यवहार: जैसे-जैसे इटरेशन की संख्या $t \to \infty$ होती है, टर्म $(1 - \eta \lambda_i^2)^t \to 0$ हो जाता है, जिससे प्राप्त होता है:
  $$e_i \propto \frac{1}{\lambda_i}$$
  यह व्युत्क्रम संबंध ($1/\lambda_i$) एक व्हाइटनिंग ट्रांसफॉर्मेशन (whitening transformation) के अनुरूप है, जो इनपुट से सहसंबंधों (redundancy) को हटा देता है।

3. मुख्य योगदान (Key Contributions)

1. मात्रात्मक निरंतरता मीट्रिक: PCA प्रोजेक्शन पर आधारित "ऊर्जा प्रोफाइल" पेश किया, जो विभिन्न CNNों के बीच लीनियर रिप्रजेंटेशन की तुलना करने के लिए एक मजबूत, इनवेरिएंट तरीका प्रदान करता है।
2. सिमेंटिक आवश्यकता का खंडन: यह प्रदर्शित किया कि सुसंगत पहली-लेयर रिप्रजेंटेशन सिमेंटिक कार्य को हल करने की आवश्यकता द्वारा संचालित नहीं है। यह इस तथ्य से सिद्ध होता है कि:
   • रैंडम वेट्स के साथ फ्रीज की गई पहली लेयर वाले नेटवर्क अच्छा प्रदर्शन करते हैं।
   • रैंडम लेबल्स पर प्रशिक्षित नेटवर्क भी वास्तविक लेबल्स वाले मॉडलों के समान ही प्रोफाइल सीखते हैं।
3. ऊर्जा प्रोफाइल के लिए विश्लेषणात्मक सूत्र: लीनियर CNN के ऊर्जा प्रोफाइल के लिए एक क्लोज्ड-फॉर्म सॉल्यूशन निकाला। यह सूत्र केवल इनपुट पैचेस के सेकंड-ऑर्डर स्टैटिस्टिक्स ($\lambda_i$), लर्निंग रेट और इटरेशन की संख्या पर निर्भर करता है। यह उपयोग किए गए विशिष्ट लेबल्स से स्वतंत्र है।
4. व्हाइटनिंग एक उभरता हुआ गुण (Whitening as an Emergent Property): दिखाया कि क्लासिफिकेशन टास्क पर ग्रेडिएंट डिसेंट स्पष्ट रूप से इनपुट के आंशिक व्हाइटनिंग (स्थानिक डिकोरिलेशन) की ओर ले जाता है। यह लॉस को कम करने के एक बायप्रोडक्ट के रूप में होता है, न कि किसी स्पष्ट उद्देश्य के रूप में।
5. नॉन-लीनियर CNN में सामान्यीकरण: यह सत्यापित किया कि लीनियर CNN के लिए व्युत्पन्न विश्लेषणात्मक सूत्र वास्तविक दुनिया के डेटासेट्स पर प्रशिक्षित जटिल, नॉन-लीनियर आर्किटेक्चर (ResNet, VGG, DenseNet) के ऊर्जा प्रोफाइल के साथ उच्च सहसंबंध ($>0.9$) के साथ फिट बैठता है।

4. परिणाम (Results)

• उच्च सहसंबंध: अलग-अलग सीड्स, आर्किटेक्चर और डेटासेट्स वाले प्रशिक्षित मॉडलों ने अक्सर 0.98 से अधिक ऊर्जा प्रोफाइल सहसंबंध दिखाया। इसके विपरीत, रैंडम इनिशियलाइजेशन वाले मॉडलों में प्रशिक्षित मॉडलों के साथ सहसंबंध लगभग 0 था।
• रैंडम बनाम ट्रू लेबल्स: रैंडम लेबल्स के साथ प्रशिक्षित मॉडलों ने वास्तविक लेबल्स वाले मॉडलों के साथ 0.90–0.96 का ऊर्जा प्रोफाइल सहसंबंध प्राप्त किया, जो पुष्टि करता है कि लर्निंग बायस इनपुट स्टैटिस्टिक्स और ऑप्टिमाइज़र द्वारा संचालित होता है, न कि लेबल्स द्वारा।
• फ्रोजन लेयर प्रदर्शन: पहली लेयर को रैंडम वेट्स पर फ्रीज करने से डीप नेटवर्क (जैसे VGG-19) के प्रदर्शन में नगण्य गिरावट आई, जो यह सिद्ध करता है कि विशिष्ट सीखे गए फिल्टर कार्य के लिए अनिवार्य नहीं हैं।
• सैद्धांतिक फिट: लीनियर CNN के लिए व्यद्धांतिक सूत्र (Eq. 3) ने वास्तविक दुनिया के CNN के अनुभवजन्य ऊर्जा प्रोफाइल को लगातार 0.9 से ऊपर के सहसंबंध के साथ फिट किया, यहाँ तक कि ImageNet जैसे जटिल डेटासेट्स पर भी।
• मैनिपुलेशन प्रयोग:
  • जब लेखकों ने कृत्रिम रूप से लेबल्स को विशिष्ट PCA कंपोनेंट्स के साथ कोरिलेट किया, तो वास्तविक और रैंडम लेबल मॉडलों के बीच की निरंतरता टूट गई, जो सिद्धांत के अनकोरिलेटेड धारणा पर निर्भरता की पुष्टि करती है।
  • जब इनपुट स्टैटिस्टिक्स को बदला गया (विशिष्ट PCA कंपोनेंट्स को स्केल किया गया), तो सीखे गए प्रोफाइल ठीक वैसे ही बदले जैसा कि सूत्र द्वारा भविष्यवाणी की गई थी।

5. महत्व (Significance)

यह शोध पत्र डीप CNNs में रिप्रजेंटेशन लर्निंग की समझ को मौलिक रूप से बदल देता है:

• इंप्लिसिट बायस (Implicit Bias): यह उजागर करता है कि ग्रेडिएंट डिसेंट का "इंडक्टिव बायस", प्राकृतिक छवियों के सेकंड-ऑर्डर स्टैटिस्टिक्स के साथ मिलकर, एक "अच्छा" पहली-लेयर रिप्रजेंटेशन (व्हाइटनिंग) बनाने के लिए पर्याप्त है, बिना किसी स्पष्ट रेडंडेंसी रिडक्शन ऑब्जेक्टिव के।
• व्हाइटनिंग बिना प्रीप्रोसेसिंग के: यह समझाता है कि CNN अक्सर स्पष्ट व्हाइटनिंग प्रीप्रोसेसिंग स्टेप्स के बिना भी अच्छा प्रदर्शन क्यों करते हैं; नेटवर्क ट्रेनिंग के दौरान स्पष्ट रूप से अनुमानित व्हाइटनिंग (approximate whitening) को सीख लेता है।
• ट्रांसफर लर्निंग: निष्कर्ष बताते हैं कि रैंडम लेबल्स पर प्रशिक्षित मॉडलों की पहली लेयर्स वास्तविक लेबल्स पर प्रशिक्षित मॉडलों के बहुत समान होती हैं। यह क्यों रैंडम-लेबल मॉडल अभी भी ट्रांसफर लर्निंग या फीचर एक्सट्रैक्शन के लिए उपयोगी हो सकते हैं, इसका एक सैद्धांतिक आधार प्रदान करता है।
• जटिलता का सरलीकरण: जटिल नॉन-लीनियर डीप नेटवर्क के व्यवहार को समझाने के लिए एक लीनियर मॉडल का उपयोग करके, यह पेपर प्रदर्शित करता है कि प्रारंभिक रिप्रजेंटेशन लर्निंग का मुख्य तंत्र जटिल सिमेंटिक ऑप्टिमाइजेशन के बजाय सरल सांख्यिकीय सिद्धांतों द्वारा नियंत्रित होता है।

संक्षेप में, लेखक निष्कर्ष निकालते हैं कि CNN की पहली लेयर इनपुट को व्हाइटन (whiten) करने के लिए सीखती है (स्थानिक रेडंडेंसी को हटाना), क्योंकि ग्रेडिएंट डिसेंट प्राकृतिक छवियों के सांख्यिकी को देखते हुए स्वाभाविक रूप से इस समाधान की ओर ले जाता है, चाहे लेबल्स का सिमेंटिक कंटेंट कुछ भी हो।