📊 statistics

Conservation Laws from Data Symmetry in Neural Networks

यह शोध पत्र इस बात की जांच करता है कि क्या आंतरिक डेटा समरूपताएं (intrinsic data symmetries) न्यूरल नेटवर्क प्रशिक्षण के दौरान संरक्षित मात्राओं (conserved quantities) की ओर ले जाती हैं, यह सिद्ध करते हुए कि ऐसी समरूपताएं आम तौर पर विश्लेषणात्मक गैर-बहुपद नुकसानों (analytic non-polynomial losses) के लिए अतिरिक्त गति के समाकल (integrals of motion) उत्पन्न नहीं करती हैं, जबकि यह प्रदर्शित करते हुए कि मीन स्क्वेर्ड एरर लॉस और डेटा ऑग्मेंटेशन का संयोजन टेंसरिज़ेबल नेटवर्कों में अतिरिक्त संरक्षित मात्राएं प्रदान कर सकता है।

मूल लेखक: Jakob Galley, Vahid Shahverdi, Axel Flinth

प्रकाशित 2026-06-10

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jakob Galley, Vahid Shahverdi, Axel Flinth

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को पैटर्न पहचानना सिखा रहे हैं, जैसे कि विभिन्न प्रकार के फलों की पहचान करना। आप उसे सेब, संतरे और केले की तस्वीरें दिखाते हैं। अब, कल्पना कीजिए कि आपके पास एक विशेष नियम है: सेब की तस्वीर को आप चाहे कितना भी घुमा लें, वह सेब ही रहेगी। यह नियम एक सममिति (Symmetry) है।

यह शोध पत्र एक दिलचस्प सवाल पूछता है: यदि हम रोबोट को इन सममित नियमों का उपयोग करके सिखाते हैं, तो क्या रोबोट की सीखने की प्रक्रिया किसी विशिष्ट तरीके से "फँस" जाती है?

भौतिकी और गणित की दुनिया में, जब कोई चीज़ वैसी ही रहती है जबकि उसके आसपास की चीज़ें बदल रही होती हैं, तो हम उसे संरक्षित मात्रा (Conserved Quantity) कहते हैं (जैसे एक बंद प्रणाली में ऊर्जा)। मशीन लर्निंग में, इन "संरक्षित मात्राओं" को खोजना एक छिपे हुए मानचित्र को खोजने जैसा है जो हमें ठीक-ठीक बताता है कि सीखते समय रोबोट का मस्तिष्क कैसे बदलेगा।

यहाँ लेखक द्वारा की गई खोजों का विवरण दिया गया है, सरल उपमाओं का उपयोग करते हुए:

1. "लॉस" (स्कोरकार्ड) के दो प्रकार

सीखने के लिए, रोबोट अपनी "गलतियों" को कम करने की कोशिश करता है। इस गलती के स्कोर को लॉस (Loss) कहा जाता है। यह शोध पत्र इस स्कोर की गणना करने के दो बहुत अलग तरीकों को देखता है:

"कठोर" स्कोरकार्ड (एनालिटिक नॉन-पॉलीनोमियल लॉस): इसे एक बहुत ही जटिल, चिकनी वक्र (curve) के रूप में सोचें जहाँ इनपुट में हर सूक्ष्म परिवर्तन एक अद्वितीय, थोड़ा अलग दंड (penalty) पैदा करता है।
- निष्कर्ष: लेखकों ने सिद्ध किया कि इस प्रकार के स्कोरकार्ड के लिए, डेटा में मौजूद सममिति नए छिपे हुए मानचित्र नहीं बनाती है। भले ही आप सेब की तस्वीरों को घुमा दें, रोबोट का सीखने का रास्ता उतना ही लचीला और अप्रत्याशित रहता है जितना कि तब होता जब आपने उन्हें नहीं घुमाया होता। सममिति रोबोट को किसी विशिष्ट व्यवहार में "लॉक" नहीं करती है।
- उपमा: कल्पना कीजिए कि आप एक घने, कोहरे से भरे जंगल (सीखने का रास्ता) में चल रहे हैं। यदि आपके पास एक नियम है कि "पेड़ किसी भी कोण से एक जैसे दिखते हैं," तो यह वास्तव में आपको कोहरे के बीच एक छिपा हुआ, सीधा रास्ता खोजने में मदद नहीं करता है। आपको अभी भी बेतरतीब ढंग से भटकना होगा।
"सरल" स्कोरकार्ड (मीन स्क्वेर्ड एरर - MSE): यह गलतियों को मापने का एक सरल, अधिक कठोर तरीका है (जैसे अनुमान और सच्चाई के बीच सीधी रेखा की दूरी मापना)। यह एक बहुपद समीकरण (polynomial equation) की तरह है (जैसे $x^2$ या $x^3$ के बारे में सोचें)।
- निष्कर्ष: यहाँ, कहानी बदल जाती है! यदि डेटा में सममिति है (जैसे घूमती हुई छवियां), तो नए छिपे हुए मानचित्र प्रकट होते हैं। रोबोट का सीखने का रास्ता सीमित हो जाता है। वह कहीं भी नहीं जा सकता; उसे एक विशिष्ट ट्रैक पर रहने के लिए मजबूर किया जाता है।
- उपमा: अब कल्पना कीजिए कि जंगल में एक छिपी हुई नदी (संरक्षित मात्रा) है। यदि आप जानते हैं कि पेड़ सममित हैं, तो आप महसूस करते हैं कि नदी जरूर एक सीधी रेखा में बहती होगी। पेड़ों की सममिति पानी को एक विशिष्ट, अपरिवर्तनीय पथ का अनुसरण करने के लिए मजबूर करती है। रोबोट अब इस नदी पर "सर्फिंग" कर रहा है; वह पानी से बाहर नहीं निकल सकता, चाहे वह कितनी भी कोशिश क्यों न करे।

2. "टेन्सरलाइज़ेबल" नेटवर्क (विशेष आर्किटेक्चर)

लेखकों ने पाया कि ये नए "नदी" (संरक्षित मात्राएं) केवल एक विशिष्ट प्रकार के रोबोट मस्तिष्क आर्किटेक्चर में दिखाई देते हैं जिसे वे टेन्सरलाइज़ेबल नेटवर्क (Tensorizable Networks) कहते हैं।

यह क्या है? एक फैक्ट्री असेंबली लाइन की कल्पना करें।
- चरण 1: कच्चे माल (इनपुट डेटा, जैसे एक छवि) को एक मानक "किट" में प्री-प्रोसेस किया जाता है।
- चरण 2: रोबोट का मस्तिष्क (पैरामीटर्स) बस इन पहले से बने किट्स को असेंबल करता है।
यह क्यों महत्वपूर्ण है: क्योंकि डेटा को इन किट्स में पहले से पैक किया गया है, डेटा की सममिति (जैसे रोटेशन) असेंबली प्रक्रिया में "लिफ्ट" हो जाती है। यदि आप इनपुट को घुमाते हैं, तो यह असेंबली निर्देशों को घुमाने के समान है। यह रोबм के मस्तिष्क को समायोजित करने के तरीके में एक नई, निरंतर सममिति बनाता है, जिससे वे "संरक्षित मात्राएं" उत्पन्न होती हैं।

3. "लाइटनिंग अटेंशन" का उदाहरण

यह शोध पत्र एक विशिष्ट, आधुनिक प्रकार के न्यूरल नेटवर्क का वास्तविक दुनिया का उदाहरण के रूप में लाइटनिंग अटेंशन (Lightning Attention) का उपयोग करता है।

उन्होंने दिखाया कि यदि आप इस नेटवर्क को घुमाई गई छवियों (डेटा सममिति) के साथ प्रशिक्षित करते हैं, तो नेटवर्क के आंतरिक "नॉब्स" (पैरामीटर्स) को इस तरह से हिलने के लिए मजबूर किया जाता है कि एक विशिष्ट ज्यामितीय आकार ("कॉलम स्पेस") स्थिर बना रहे।
परिणाम: भले ही नेटवर्क सीख रहा हो, इसकी संरचना का एक विशिष्ट हिस्सा अपनी जगह पर स्थिर रहता है, जैसे कि एक घूमता हुआ लट्टू जो डगमगाता तो है लेकिन कभी गिरता नहीं है।

सारांश

बड़ा सवाल: क्या सममित डेटा (जैसे घुमाई गई छवियां) के साथ रोबोट को सिखाना, उसे एक अनुमानित, सीमित तरीके से सीखने के लिए मजबूर करता है?
उत्तर: यह "स्कोरकार्ड" (लॉस फंक्शन) पर निर्भर करता है।
- यदि स्कोरकार्ड जटिल और चिकना है: नहीं। सममिति नए नियम नहीं बनाती है।
- यदि स्कोरकार्ड सरल (MSE) है और रोबोट में एक विशिष्ट "असेंबली लाइन" संरचना है: हाँ। सममिति एक छिपे हुए नियम (एक संरक्षित मात्रा) का निर्माण करती है जिसका रोबोट को अनिवार्य रूप से पालन करना होता है, जो उसके सीखने के रास्ते को प्रतिबंधित करता है।

लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने इसे सिद्ध करने के लिए उन्नत गणित (भौतिकी से नोएदर के प्रमेय की तरह, जो सममिति को संरक्षण से जोड़ता है) का उपयोग किया, और कंप्यूटर प्रयोग चलाकर दिखाया कि ये "छिपी हुई नदियाँ" वास्तव में व्यवहार में मौजूद हैं।

तकनीकी सारांश: न्यूरल नेटवर्क में डेटा समरूपता (Data Symmetry) से संरक्षण नियम (Conservation Laws)

समस्या विवरण (Problem Statement)

यह शोध पत्र इस बात की जांच करता है कि क्या प्रशिक्षण डेटा में मौजूद अंतर्निहित समरूपताएं (intrinsic symmetries) न्यूरल नेटवर्क के ग्रेडिएंट-फ्लो प्रशिक्षण के दौरान नई संरक्षित मात्राओं (integrals of motion) को प्रेरित करती हैं। जबकि शास्त्रीय नोएदर प्रमेय (Noether's theorem) निरंतर समरूपताओं को गतिशील प्रणालियों के संरक्षण नियमों से जोड़ता है, डीप लर्निंग में पूर्व कार्य मुख्य रूप से पैरामीटर स्पेस के भीतर की समरूपताओं (जैसे वेट परम्यूटेशन या रीस्केलिंग) पर केंद्रित रहे हैं जो कार्यात्मक अपरिवर्तनीयता (function invariance) को छोड़ देती हैं। यह कार्य एक अलग प्रश्न को संबोधित करता है: क्या डेटा में समरूपताएं (जैसे परम्यूटेशन, रोटेशन, या ग्रुप एक्शन के तहत अपरिवर्तनीयता) नए संरक्षण नियमों को उत्पन्न कर सकती हैं जो अनुकूलन पथ (optimization path) को बाधित करती हैं, भले ही नेटवर्क आर्किटेक्चर स्वयं इन समरूपताओं को स्पष्ट रूप से समाहित न करता हो?

कार्यप्रणाली (Methodology)

लेखक ग्रेडिएंट फ्लो डायनेमिक्स $\dot{\theta} = -\nabla E_\pi(\theta)$ का विश्लेषण करने के लिए डायनेमिकल सिस्टम्स और रिप्रेजेंटेशन थ्योरी पर आधारित एक सैद्धांतिक ढांचे का उपयोग करते हैं।

परिभाषाएं और सेटअप:
- इंटिग्रल्स ऑफ मोशन (Integrals of Motion): एक स्मूथ फंक्शन $I(\theta)$ 'इंटिग्रल ऑफ मोशन' है यदि वह किसी भी डेटा वितरण $\pi$ (या विशेष रूप से सममित वितरणों) के लिए ग्रेडिएंट फ्लो के साथ स्थिर रहता है।
- डेटा समरूपता (Data Symmetry): डेटा वितरण $\pi$ एक कॉम्पैक्ट ग्रुप $G$ के तहत सममित है यदि इनपुट और आउटपुट पर ग्रुप एक्शन लगाने से वितरण अपरिवर्तित रहता है।
- ग्रुप-ऑगमेंटेड रिस्क (Group-Augmented Risk): लेखक "ग्रुप-ऑगमेंटेड" लॉस $E^G_\pi$ का विश्लेषण करते हैं, जो ग्रुप ऑर्बिट पर लॉस का औसत है। प्रस्ताव 1 (Proposition 1) के अनुसार, सममित डेटा के लिए एक फंक्शन 'इंटिग्रल ऑफ मोशन' है यदि और केवल यदि वह ऑगमेंटेड ग्रेडिएंट फ्लो द्वारा संरक्षित रहता है।
विश्लेषणात्मक दृष्टिकोण:
- एक नए 'इंटिग्रल ऑफ मोशन' के अस्तित्व के लिए मुख्य शर्त यह है कि ऑगमेंटेड ग्रेडिएंट्स का स्पैन (span), मानक ग्रेडिएंट्स के स्पैन से सख्ती से छोटा होना चाहिए (समीकरण 9)। यदि ऑगमेंटेड ग्रेडिएंट्स मानक ग्रेडिएंट्स के समान ही सबस्पेस को स्पैन करते हैं, तो कोई नया संरक्षण नियम उभरता नहीं है।
- लेखक लॉस फंक्शन के दो वर्गों के बीच अंतर करते हैं:
  - एनालिटिक, नॉन-पॉलीनोमियल मार्जिन लॉसेस (Analytic, Non-Polynomial Margin Losses): (जैसे लॉजिस्टिक, एक्सपोनेंशियल)।
  - पॉलीनोमियल लॉसेस (Polynomial Losses): विशेष रूप से मीन स्क्वेर्ड एरर (MSE)।
- टेंसरलाइज़ेबल नेटवर्क (Tensorizable Networks): पॉलीनोमियल मामले के लिए, लेखक "टेंसरलाइज़ेबल नेटवर्क" नामक आर्किटेक्चर का परिचय देते हैं। ये वे नेटवर्क हैं जहाँ पैरामीटर्स $\theta$ और इनपुट्स $x$ पर निर्भरता को एक लिफ्टेड फीचर स्पेस $H$ के माध्यम से अलग किया जा सकता है ताकि $f_\theta(x) = M(\theta)T(x)$ हो सके। इस श्रेणी में लीनियर नेटवर्क, पॉलीनोमियल नेटवर्क, और लाइटनिंग अटेंशन (Lightning Attention) जैसे विशिष्ट अटेंशन मैकेनिज्म शामिल हैं।

मुख्य योगदान और परिणाम (Key Contributions and Results)

1. एनालिटिक नॉन-पॉलीनोमियल लॉसेस के लिए नए संरक्षण नियमों की अनुपस्थिति

थ्योरम 3 स्थापित करता है कि परिमित समूहों (finite groups) और एनालिटिक, नॉन-पॉलीनोमियल मार्जिन लॉसेस के लिए, डेटा समरूपताएं सामान्यतः नए 'इंटिग्रल्स ऑफ मोशन' को प्रेरित नहीं करती हैं।

तंत्र (Mechanism): इसका प्रमाण एनालिटिक लॉस फंक्शन के टेलर विस्तार (Taylor expansion) पर आधारित है। चूंकि लॉस नॉन-पॉलीनोमियल है, इसलिए इसका डेरिवेटिव अनंत गैर-शून्य पदों (non-zero terms) को समाहित करता है। हल्के रेगुलेरिटी एसेम्पशन (Assumption 1, जो डिजेनरेट इक्विवैरिएंट इनिशियलाइजेशन को बाहर करता है) के तहत, ये अनंत पद एक फुल-रैंक लीनियर सिस्टम के रूप में कार्य करते हैं। यह ऑगमेंटेड (औसत) ग्रेडिएंट से ग्रुप ऑर्बिट के व्यक्तिगत ग्रेडिएंट दिशाओं के लीनियर पुनर्निर्माण की अनुमति देता है।
निहितार्थ: ऑगमेंटेड ग्रेडिएंट्स का स्पैन, मानक ग्रेडिएंट्स के स्पैन के बराबर होता है। फलस्वरूप, सममित डेटा प्रशिक्षण के तहत संरक्षित कोई भी मात्रा पहले से ही यादृच्छिक डेटा प्रशिक्षण के तहत संरक्षित होती है; डेटा समरूपता द्वारा कोई नए प्रतिबंध पेश नहीं किए जाते हैं।

2. MSE लॉस वाले टेंसरलाइज़ेबल नेटवर्क के लिए संरक्षण नियमों का उद्भव

थ्योरम 4 प्रदर्शित करता है कि टेंसरलाइज़ेबल नेटवर्क के लिए जो MSE लॉस के साथ प्रशिक्षित होते हैं, डेटा समरूपताएं नए 'इंटिग्रल्स ऑफ मोशन' बना सकती हैं।

तंत्र: एनालिटिक नॉन-पॉलीनोमियल लॉस के विपरीत, MSE केवल अपने क्वाड्रेटिक और लीनियर टर्म्स द्वारा निर्धारित होता है। जब इसे ग्रुप $G$ पर ऑगमेंट किया जाता है, तो ये टर्म्स लिफ्टेड फीचर स्पेस $H$ पर इक्विवैरियंस बाधाएं (equivariance constraints) लागू करते हैं। यह एक नई सिमेट्री ग्रुप $H$ बनाता है जो ऑगमेंटेड लॉस को सुरक्षित रखता है।
निरंतर समरूपताएं (Continuous Symmetries): महत्वपूर्ण रूप से, भले ही डेटा सिमेट्री ग्रुप $G$ डिस्क्रीट (discrete) हो, लिफ्टेड फीचर स्पेस पर प्रेरित सिमेट्री ग्रुप $H$ निरंतर (continuous) हो सकता है (जैसे कि ऑर्थोगोनल, यूनिटरी, या सिम्प्लेक्टिक ग्रुप्स)।
परिणाम: यदि नेटवर्क पैरामीट्रेशन इस निरंतर समरूपता को साकार करता है (विशेष रूप से, यदि पैरामीटर ब्लॉक $P$ को रोटेट करना लिफ्टेड स्पेस पर $H$ के एक तत्व के रूप में कार्य करने के समान है), तो $P$ का कॉलम स्पेस (range) एक 'इंटिग्रल ऑफ मोशन' बन जाता है। ग्रेडिएंट फ्लो के साथ रेंज संरक्षित रहती है।

3. सिमेट्री ग्रुप $H$ का लक्षण वर्णन (Characterization of the Symmetry Group $H$ )

पेपर $H$ के बीजगणितीय लक्षण वर्णन (Appendix D) प्रदान करता है जो ऑगमेंटेड MSE लॉस को सुरक्षित रखता है।

$H$ , उन ऑर्थोगोनल मैट्रिसेस का प्रतिच्छेदन (intersection) है जो सभी $G$ -इक्विवैरिएंट सिमेट्रिक ऑपरेटर्स और $G$ -इक्विवैरिएंट लीनियर मैप्स के साथ कम्यूट (commute) करते हैं।
$H$ की संरचना $G$ के इररेड्यूसिबल रिप्रेजेंटेशन (irreps) में लिफ्टेड फीचर स्पेस के अपघटन (decomposition) पर निर्भर करती है। इन irreps के प्रकार (रियल, कॉम्प्लेक्स, या क्वाटर्नियोनिक) के आधार पर, $H$ में $O(n)$ , $U(n)$ , या $Sp(n)$ जैसे निरंतर कारक हो सकते हैं।

दृष्टांत उदाहरण (Illustrative Examples)

लेखक अपने सैद्धांतिक निष्कर्षों को दो उदाहरणों के साथ सत्यापित करते हैं:

साइक्लिक सिमेट्री के साथ लीनियर मॉडल: एक लीनियर मॉडल जिसे $C_3$ साइक्लिक ग्रुप द्वारा ऑगमेंटेड डेटा पर प्रशिक्षित किया गया है। सिद्धांत भविष्यवाणी करता है कि ऑल-वन्स वेक्टर के ऑर्थोगोनल कॉम्प्लीमेंट पर प्रोजेक्टेड वेट मैट्रिक्स की दिशा संरक्षित रहती है। प्रयोग पुष्टि करते हैं कि यह मात्रा ऑगमेंटेड ग्रेडिएंट डिसेंट के तहत स्थिर रहती है, जबकि बिना ऑगमेंटेशन के इसमें काफी बदलाव आता है।
लाइटनिंग अटेंशन (Lightning Attention): एक सिंगल-हेड लाइटनिंग अटेंशन मॉडल जिसे राइट-एक्शन $O(d)$ ऑगमेंटेशन के साथ प्रशिक्षित किया गया है। सिद्धांत भविष्यवाणी करता है कि पैरामीटर ब्लॉक $P = [Q, K, V]$ का कॉलम स्पेस संरक्षित रहता है। संख्यात्मक प्रयोग दिखाते हैं कि ऑगमेंटेड ट्रेनिंग के लिए विभिन्न ट्रेनिंग स्टेप्स पर पैरामीटर्स के कॉलम स्पेस के बीच की दूरी शून्य के करीब रहती है, जबकि स्टैंडर्ड ट्रेनिंग के लिए यह बढ़ती जाती है।

महत्व और दावे (Significance and Claims)

यह पेपर यह दावा करता है कि यह एक कठोर सैद्धांतिक सीमा प्रदान करता है कि कब डेटा समरूपता नए अनुकूलन बाधाओं (optimization constraints) की ओर ले जाती है:

व्यापकता बनाम विशिष्टता: यह स्पष्ट करता है कि एनालिटिक नॉन-पॉलीनोमियल लॉस (जो वर्गीकरण के लिए सामान्य है) के व्यापक वर्ग के लिए, डेटा समरूपता नए संरक्षण नियम नहीं बनाती है। यह घटना विशेष रूप से पॉलीनोमियल लॉस (जैसे MSE) और उन आर्किटेक्चर के लिए विशिष्ट है जो "टेंसरलाइज़ेबल" अलगाव की अनुमति देते हैं।
नवीनता: यह कार्य एक ऐसे तंत्र की पहचान करता है जहाँ डिस्क्रीट डेटा समरूपताएं पैरामीटर स्पेस में निरंतर समरूपताएं प्रेरित कर सकती हैं, जिससे संरक्षित मात्राएं (विशेष रूप से सबस्पेस का संरक्षण) प्राप्त होती हैं जो मानक प्रशिक्षण गतिकी में मौजूद नहीं होती हैं।
सीमाएं: लेखक विनम्रतापूर्वक नोट करते हैं कि उनका ढांचा विशिष्ट तकनीकी धारणाओं (एनालिटिसिटी, टेंसरलाइज़ेबिलिटी) पर निर्भर करता है और यह सभी संभावित नए संरक्षित मात्राओं को कवर करने का दावा नहीं करता है। वे यह भी स्वीकार करते हैं कि सभी $H$ -समरूपताएं हर पैरामीट्राइजेशन में साकार योग्य (realizable) नहीं होती हैं।

संक्षेप में, यह शोध पत्र स्थापित करता है कि जबकि डेटा समरूपता मानक वर्गीकरण लॉस के लिए ग्रेडिएंट फ्लो के मौलिक संरक्षण नियमों को नहीं बदलती है, यह MSE-प्रशिक्षित टेंसरलाइज़ेबल नेटवर्क के प्रक्षेपवक्र (trajectory) को मौलिक रूप से बाधित कर सकती है, जिससे विशिष्ट पैरामीटर ब्लॉक्स के ज्यामितीय ढांचे (कॉलम स्पेस) को संरक्षित किया जाता है।