← नवीनतम पेपर
💬 NLP

Why Geometric Continuity Emerges in Deep Neural Networks: Residual Connections and Rotational Symmetry Breaking

यह लेख स्पष्ट करता है कि डीप न्यूरल नेटवर्क में ज्यामितिक निरंतरता (geometric continuity), रेसिडुअल कनेक्शनों, जो परतों के बीच भार अपडेट (weight updates) को संरेखित करते हैं, और सिमेट्री-ब्रेकिंग नॉनलिनियैरिटीज़ (symmetry-breaking nonlinearities), जो रोटेशनल ड्रिफ्ट को रोकने के लिए परतों को एक सामान्य समन्वय फ्रेम (common coordinate frame) तक सीमित करती हैं, के संयुक्त प्रभावों का परिणाम है।

मूल लेखक: Kyungwon Jeong, Won-Gi Paeng, Honggyo Suh

प्रकाशित 2026-05-07
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Kyungwon Jeong, Won-Gi Paeng, Honggyo Suh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक गहरे न्यूरल नेटवर्क की कल्पना एक विशाल, बहु-मंजिला फैक्ट्री के रूप में करें। प्रत्येक मंजिल (या "लेयर") कच्चा माल लेती है, उसे प्रोसेस करती है, और अगले स्तर पर भेज देती है। इस फैक्ट्री को कुशलतापूर्वक संचालित करने के लिए, प्रत्येक मंजिल पर मौजूद औजारों को एक विशिष्ट तरीके से संरेखित (align) होना चाहिए।

यह शोध एक अजीब खोज की जांच करता है: अच्छी तरह से प्रशिक्षित फैक्ट्रियों (न्यूरल नेटवर्क्स) में, आस-पास की मंजिलों के "औजार" (वेट मैट्रिसेस) आश्चर्यजनक रूप से समान होते हैं। जब प्रत्येक औजार की प्राथमिक दिशा का परीक्षण किया जाता है, तो वे सभी लगभग एक ही सामान्य दिशा में संकेतित दिखाई देते हैं, जो ग्राउंड फ्लोर से लेकर इमारत के शीर्ष तक एक सहज, निरंतर पथ बनाते हैं। लेखक इसे "जियोमेट्रिक कंटिन्यूटी" (Geometric Continuity) कहते हैं।

बड़ा सवाल जिसका यह कार्य उत्तर देता है वह यह है: ऐसा क्यों होता है? क्या यह कोई जादू है, या इसके पीछे कोई विशिष्ट रेसिपी है?

सरल मॉडलों (खिलौना फैक्ट्रियों) और जटिल मॉडलों (ट्रांसफॉर्मर्स) के साथ प्रयोगों के माध्यम से, लेखकों ने पाया कि इस सुचारू संरेखण को उत्पन्न करने के लिए दो विशिष्ट सामग्रियों की आवश्यकता होती है। यदि इनमें से एक भी गायब हो, तो फैक्ट्री अराजकता में ढह जाती है।

दो गुप्त सामग्रियां

1. लिफ्ट सिस्टम (रेसिडुअल कनेक्शंस)

कल्प la कि फैक्ट्री की मंजिलें एक विशेष लिफ्ट से जुड़ी हुई हैं जो ग्राउंड फ्लोर से टॉप फ्लोर तक एक "संदेश" ले जाती है बिना उसे महत्वपूर्ण रूप से बदले। यह एक रेसिडुअल कनेक्शन है।

  • यह क्या करता है: यह सुनिश्चित करता है कि "एरर सिग्नल" (वे संदेश जो फैक्ट्री को बताते हैं कि क्या गलत हुआ) शीर्ष मंजिल से वापस नीचे ग्राउंड फ्लोर तक सुचारू रूप से यात्रा करें।
  • उपमा: इस लिफ्ट के बिना, संदेश हर मंजिल पर खो जाता है या बिगड़ जाता है। लिफ्ट के साथ, हर मंजिल एक ही कहानी सुनती है कि क्या ठीक करने की आवश्यकता है। यह एक साझा "कोहेरेंस" (सहजता) या काम करने के प्रति सहमति पैदा करता है।
  • परिणाम: संदेशों का यह संरेखण पहला कदम है। यह मंजिलों को एक ही दिशा में संकेत देने के लिए प्रेरित करता है।

2. लॉकिंग मैकेनिज्म (सिमिट्री-ब्रेकिंग नॉनलिनियैरिटी)

यह सबसे महत्वपूर्ण और आश्चर्यजनक हिस्सा है। लिफ्ट के होने के बावजूद, फैक्ट्री विफल हो सकती है। कल्पना करें कि यदि प्रत्येक मंजिल अपने पूरे मशीनरी को 360 डिग्री तक स्वतंत्र रूप से घुमा सके। भले ही वे इस बात पर सहमत हों कि क्या करना है, वे अपने औजारों को अलग-अलग दिशाओं में घुमा सकते हैं, जैसे कि उत्तर, दक्षिण, पूर्व या पश्चिम की ओर इशारा करना। "सुचारू पथ" टूट जाएगा।

इसे रोकने के लिए, फैक्ट्री को एक लॉकिंग मैकेनिज्म की आवश्यकता होती है। न्यूरल नेटवर्क्स में, यह एक्टिवेशन फंक्शन्स (जैसे ReLU) और नॉर्मलाइजेशन (जैसे LayerNorm) द्वारा प्रदान किया जाता है।

  • उपमा: इन फंक्शन्स को एक "मैग्नेटिक लॉक" के रूप में देखें जो मशीनरी को एक निश्चित कोऑर्डिनेट सिस्टम में जकड़ देता है। वे "रोटेशनल सिमिट्री" को तोड़ते हैं।
    • बिना लॉक के (लीनियर/नो एक्टिवेशन): मशीनरी घूमने के लिए स्वतंत्र है। भले ही मंजिलें कार्य पर सहमत हों, लेकिन उनकी ओरिएंटेशन (दिशा) अलग हो जाती है। सुचारू पथ ढह जाता है।
    • लॉक के साथ (ReLU/SiLU): मशीनरी एक विशिष्ट ग्रिड से बंधी हुई है। वे अब स्वतंत्र रूप से घूम नहीं सकते। चूंकि वे सभी एक ही ग्रिड से बंधे हैं और सभी ने लिफ्ट से एक ही संदेश सुना है, इसलिए वे स्वाभाविक रूप से अपने औजारों को एक ही दिशा में संरेखित करते हैं।
  • ट्विस्ट: यह "नॉनलिनियैरिटी" (गणित की जटिलता) नहीं है जो मायने रखती है; यह "रोटेशनल सिमिट्री को तोड़ना" है। लेखकों ने एक विशेष "रोटेशन-प्रिजर्विंग" गणितीय फंक्शन का उपयोग करके इसे सिद्ध किया जो जटिल (नॉनलीनियर) था लेकिन रोटेशन को लॉक नहीं करता था। परिणाम? फैक्ट्री फिर भी ढह गई। लॉक ही असली नायक है, जटिलता नहीं।

फैक्ट्री की मंजिलें कैसे संरेखित होती हैं (प्रक्रिया)

यह कार्य एक दो-चरणीय नृत्य का वर्णन करता है:

  1. फॉर्मेशन (निर्माण): लिफ्ट (रेसिडुअल कनेक्शन) मंजिलों को ग्रेडिएंट की दिशा (त्रुटि सुधार का पथ) पर सहमत होने के लिए लाती है।
  2. प्रिजर्वेशन (संरक्षण): लॉकिंग मैकेनिज्म (एक्टिवेशन/नॉर्मलाइजेशन) इस सहमति को फ्रीज कर देता है ताकि औजार समय के साथ अलग न हो जाएं।

यदि आप लॉक हटा देते हैं, तो मंजिलें एक पल के लिए संरेखित हो सकती हैं, लेकिन फिर वे कोहरे में जहाजों की तरह धीरे-धीरे अलग हो जाती हैं, जिससे सुचारू पथ नष्ट हो जाता है।

ट्रांसफार्मर ट्विस्ट: पढ़ना बनाम लिखना

इस कार्य में ट्रांसफॉर्मर्स (जो LLMs जैसे आधुनिक AI के पीछे का आर्किटेक्चर है) का भी परीक्षण किया गया। ये अलग-अलग प्रकार के श्रमिकों के साथ अधिक जटिल फैक्ट्रियां हैं:

  • रीडर्स (Q, K, Gate, Up): ये कार्यकर्ता मुख्य कन्वेयर बेल्ट (रेसिडुअल स्ट्रीम) की ओर देखते हैं। वे इनपुट स्पेस (वे दुनिया को कैसे देखते हैं) में निरंतरता विकसित करते हैं।
  • राइटर्स (O, Down): ये कार्यकर्ता कन्वेयर बेल्ट पर वापस लिखते हैं। वे आउटपुट स्पेस (वे दुनिया को कैसे प्रभावित करते हैं) में निरंतरता विकसित करते हैं।
  • द आउटसाइडर (V): "वैल्यू" प्रोजेक्शन एक रीडर है लेकिन इसके ठीक बगल में कोई "लॉक" (कोई एक्टिवेशन फंक्शन नहीं) नहीं है। चूंकि इसमें सिमिट्री-ब्रेकिंग लॉकिंग मैकेनिज्म की कमी है, इसलिए यह कभी भी एक सुचारू पथ विकसित नहीं करता है। यह अराजक और मिसअलाइन्ड रहता है।

सरल भाषा में सारांश

यह कार्य निष्कर्ष निकालता है कि AI वेट्स में दिखने वाली सुचारू, निरंतर संरचना कोई संयोग नहीं है। यह दो डिज़ाइन निर्णयों का सीधा परिणाम है:

  1. रेसिडुअल कनेक्शंस एक संचार राजमार्ग के रूप में कार्य करते हैं, यह सुनिश्चित करते हुए कि सभी परतें एक ही निर्देश सुनें।
  2. एक्टिवेशन फंक्शन्स एक मैग्नेटिक क्लिप की तरह कार्य करते हैं, जो परतों को संरेखण से भटकने से रोकते हैं।

यदि आपके पास हाईवे है लेकिन क्लिप नहीं है, तो परतें अलग हो जाएंगी। यदि आपके पास क्लिप है लेकिन हाईवे नहीं है, तो वे क्या करना है इस पर सहमत नहीं होंगे। एक गहरा, स्थिर और ज्यामितीय रूप से निरंतर न्यूरल नेटवर्क बनाने के लिए आपको दोनों की आवश्यकता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →