📊 statistics

Symmetries in PAC-Bayesian Learning

यह शोध पत्र गैर-कॉम्पैक्ट समरूपताओं (non-compact symmetries) और गैर-अपरिवर्तनीय डेटा वितरणों (non-invariant data distributions) तक PAC-बायेसियन सामान्यीकरण गारन्टीज़ का विस्तार करता है, जो सैद्धांतिक साक्ष्य प्रदान करता है कि सममित मॉडल कॉम्पैक्ट समूहों और अपरिवर्तनीय डेटा की पारंपरिक धारणाओं से परे भी प्रदर्शन में सुधार करते हैं।

मूल लेखक: Armin Beck, Peter Ochs

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Armin Beck, Peter Ochs

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को वस्तुओं को पहचानना सिखाने की कोशिश कर रहे हैं, जैसे कि कप या कार। आप देखते हैं कि एक कप तब भी कप ही रहता है चाहे वह सीधा खड़ा हो, उल्टा हो, या घूम गया हो। मशीन लर्निंग की दुनिया में, इसे समरूपता (symmetry) कहा जाता है।

लंबे समय तक, वैज्ञानिकों को पता था कि ऐसे रोबोट (मॉडल्स) बनाना जो इन समरूपताओं को "समझते" हैं, उन्हें स्मार्ट और बेहतर बनाता है। हालांकि, इसे समझाने वाला गणितीय प्रमाण बहुत सख्त था। यह केवल तभी काम करता था जब:

समरूपताएं "कॉम्पैक्ट" (compact) हों (जैसे एक वृत्त जहाँ आप केवल एक सीमित मात्रा में घूम सकते हैं इससे पहले कि आप जगह खत्म कर दें)।
डेटा पूरी तरह से संतुलित हो (उदाहरण के लिए, हर कप हर संभव घुमाव में समान आवृत्ति के साथ दिखाई देता है)।

वास्तविक दुनिया में, इनमें से कोई भी सच नहीं है। हमारे पास अनंत अनुवाद (translations) हैं (एक कार सड़क पर कहीं भी हो सकती है, न कि केवल एक घेरे में) और वास्तविक डेटा अव्यवस्थित होता है (आप प्रकृति में उल्टे रखे हुए कप शायद ही कभी देखते हैं)।

आर्मिन बेक और पीटर ओच का यह शोध पत्र एक नया, अधिक लचीला नियम पुस्तिका (rulebook) जैसा है। वे कहते हैं, "हम यह साबित कर सकते हैं कि समरूपता मदद करती है, भले ही नियम अव्यवस्थित हों और समरूपताएं अनंत हों।"

यहाँ उनकी खोज का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. पुरानी नियम पुस्तिका बनाम नई नियम पुस्तिका

पुराना दृष्टिकोण: कल्पना कीजिए कि एक पुस्तकालय है जहाँ किताबों को केवल तभी व्यवस्थित किया जा सकता है जब अलमारियाँ पूरी तरह से गोल (compact) हों और हर किताब हर अलमारी पर ठीक उतनी ही बार दिखाई दे (invariant)। यदि आपका पुस्तकालय इस सांचे में फिट नहीं बैठता है, तो पुराना गणित कहता, "हम यह गारंटी नहीं दे सकते कि आपको सही किताब मिल जाएगी।"

नया दृष्टिकोण: लेखक कहते हैं, "हमें अलमारियों के गोल होने की आवश्यकता नहीं है, और हमें यह भी आवश्यकता नहीं है कि हर किताब समान रूप से दिखाई दे।" उन्होंने एक नया गणितीय ढांचा विकसित किया है (PAC-Bayesian learning) जो तब भी काम करता है जब पुस्तकालय एक विशाल, अनंत गोदाम (non-compact) हो और कुछ किताबें दुर्लभ हों जबकि अन्य आम हों (non-invariant)।

2. "एवरेजिंग" (Averaging) का कमाल

वे इसे कैसे सिद्ध करते हैं? वे एक चतुर गणितीय उपकरण का उपयोग करते हैं जिसे वे "एवरेजिंग ऑपरेटर" (Averaging Operator) कहते हैं।

एक परिकल्पना (हाइपोथीसिस - मॉडल का अनुमान) को एक रफ स्केच के रूप में सोचें।

बिना समरूपता के: स्केच में यादृच्छिक रेखाएं हो सकती हैं जो छवि को घुमाने पर समझ में नहीं आतीं।
एवरेजिंग ऑपरेटर के साथ: कल्पना कीजिए कि आप उस स्केच को लेते हैं, उसे चारों ओर घुमाते हैं, और उन सभी संस्करणों को एक चिकनी, पूर्ण छवि में मिला देते हैं।

लेखकों ने सिद्ध किया कि जब आप अपने मॉडल के अनुमानों को डेटा की समरूपता का सम्मान करने के लिए "मिलाते" (blend) हैं, तो आप वास्तव में अपने गणित में "शोर" (noise) को कम कर देते हैं। तकनीकी शब्दों में, यह KL Divergence नामक मान को कम करता है।

उपमा: "शोर" को रेडियो पर आने वाली खरखराहट (static) के रूप में सोचें। पुराने गणित ने कहा कि आप केवल तभी शोर साफ कर सकते हैं जब रेडियो स्टेशन पूरी तरह से ट्यून किया गया हो। नया गणित दिखाता है कि भले ही स्टेशन धुंधला हो और सिग्नल कमजोर हो, यदि आप सिग्नल को सुचारू बनाने के लिए एक विशेष फिल्टर (समरूपता-जागरूक मॉडल) का उपयोग करते हैं, तो शोर काफी कम हो जाता है, और संगीत (भविdtation) अधिक स्पष्ट हो जाता है।

3. "ऑर्बिट रिप्रेजेंटेटिव" (Orbit Representative) का शॉर्टकट

यह शोध पत्र समय बचाने का एक तरीका भी पेश करता है।
कल्पना कीजिए कि आप एक गोले (sphere) के आकार को सीखने की कोशिश कर रहे हैं। आप गोले के हर बिंदु को माप सकते हैं। लेकिन क्योंकि एक गोला सममित है, इसलिए एक बिंदु को मापना और यह जानना कि वह कैसे घूमता है, पूरे गोले को जानने के लिए पर्याप्त है।

लेखक दिखाते हैं कि इन सममित मॉडलों के लिए, आपको डेटा के हर एक संस्करण पर प्रशिक्षण देने की आवश्यकता नहीं है। आप केवल "प्रतिनिधियों" (अद्वितीय आकृतियों) पर प्रशिक्षण दे सकते हैं और गणितीय रूप से गारंटी दे सकते हैं कि आपका मॉडल बाकी सब के लिए भी काम करेगा। यह लाखों रैंडम गेम खेलने के बजाय एक गेम का अध्ययन करके शतरंज के नियम सीखने जैसा है।

4. प्रमाण का परिणाम

यह सिद्ध करने के लिए कि उनका सिद्धांत केवल कागज पर गणित नहीं है, उन्होंने प्रयोग किए। उन्होंने अपने नए नियमों का परीक्षण किया:

MNIST और CIFAR: मानक इमेज डेटासेट, लेकिन उन्हें इस तरह से घुमाया गया जो पुराने "पूर्ण संतुलन" के नियमों को तोड़ते हैं।
ModelNet: 3D आकृतियाँ।
Top Tagging: कण भौतिकी (particle physics) से प्राप्त डेटा (जिसमें जटिल, गैर-कॉम्पैक्ट समरूपताएं शामिल हैं)।

परिणाम: प्रत्येक मामले में, वे मॉडल जिन्होंने समरूपता का सम्मान किया:

उन्होंने कम गलतियाँ कीं (कम जोखिम/lower risk)।
उनके पास एक बहुत ही सटीक, विश्वसनीय गणितीय गारंटी थी कि वे भविष्य में विफल नहीं होंगे (एक टाइट "बाउंड")।

मुख्य निष्कर्ष

यह शोध पत्र मशीन लर्निंग के सिद्धांत से "परफेक्ट वर्ल्ड" की आवश्यकताओं को हटा देता है। यह सिद्ध करता है कि समरूपता AI के लिए एक सुपरपावर है, न कि केवल व्यवस्थित, सैद्धांतिक परिदृश्यों में, बल्कि उस अव्यवस्थित, अनंत और असंतुलित वास्तविक दुनिया में जिसमें हम रहते हैं। यह हमें ऐसे स्मार्ट, अधिक कुशल AI सिस्टम बनाने के लिए गणितीय आत्मविश्वास देता है जो दुनिया की संरचना को समझते हैं, भले ही वह दुनिया पूरी तरह से व्यवस्थित न हो।

तकनीकी सारांश: PAC-Bayesian लर्निंग में सममिति (Symmetries)

समस्या विवरण (Problem Statement)

मशीन लर्निंग में सममिति (Symmetries), जैसे कि घूर्णी (rotational) या स्थानान्तरण अपरिवर्तनीयता (translational invariance), अनुभवजन्य रूप से मॉडल के प्रदर्शन में सुधार करती हैं। हालाँकि, इन लाभों की व्याख्या करने वाले मौजूदा सैद्धांतिक आश्वासन सीमित धारणाओं द्वारा बाधित हैं। विशेष रूप से PAC-Bayesian सेटिंग के भीतर मौजूदा सैद्धांतिक ढांचे आमतौर पर दो प्रमुख बाधाओं पर निर्भर करते हैं:

कॉम्पैक्टनेस (Compactness): सममिति समूह (symmetry group) को कॉम्पैक्ट होना चाहिए (जैसे, परिमित समूह या रोटेशन), जो गैर-कॉम्पैक्ट समूहों जैसे कि ट्रांसलेशन या स्केलिंग को बाहर करता है, जो CNN जैसे आर्किटेक्चर के लिए केंद्रीय हैं।
डेटा अपरिवर्तनीयता (Data Invariance): यह माना जाता है कि डेटा वितरण स्वयं समूह क्रिया (group action) के तहत अपरिवर्तनीय है। वास्तविक दुनिया के परिदृश्यों में, यह शायद ही कभी सच होता है (उदाहरण के लिए, पानी के एक उल्टे कप का होना प्राकृतिक डेटा में दुर्लभ है, जो ट्रांसलेशन इनवेरिएंस का उल्लंघन करता है)।

यह कार्य गैर-कॉम्पैक्ट सममिति (non-compact symmetries) और गैर-अपरिवर्तनीय डेटा वितरण (non-invariant data distributions) से जुड़े सेटिंग्स में सामान्यीकरण गारंटी (generalization guarantees) का विस्तार करके सैद्धांतिक समझ के अंतर को संबोधित करता है।

कार्यप्रणाली (Methodology)

लेखक PAC-Bayesian ढांचे का उपयोग करते हैं, जो परिकल्पना वर्गों (hypothesis classes) पर डेटा-निर्भर प्रायर्स (priors) और पोस्टीरियर्स (posteriors) की अनुमति देता है। कार्यप्रणाली तीन चरणों में आगे बढ़ती है:

1. समस्या का निरूपण और धारणाएँ (Problem Formulation and Assumptions)

पेपर उस डेटा जनरेशन प्रक्रिया को औपचारिक रूप देता है जहाँ आउटपुट $Y$ , इनपुट $X$ से एक समूह-इक्विवैरिएंट (group-equivariant) फलन $f^*$ और स्वतंत्र शोर $\Xi$ के माध्यम से उत्पन्न होते हैं (धारणा 2.1)।

समूह क्रिया (Group Action): एक टोपोलॉजिकल समूह $G$ इनपुट स्पेस $X$ और आउटपुट स्पेस $Y$ पर कार्य करता है।
इक्विवैरिएंस (Equivariance): एक परिकल्पना $f$ इक्विवैरिएंट है यदि $f(g \cdot x) = g \cdot f(x)$ ।
लॉस फंक्शन (Loss Function): माना जाता है कि लॉस $\ell$ अपने पहले तर्क में उत्तल (convex) है और $G$ -इनवेरिएंट (धारणा 4.1) है, जिसका अर्थ है $\ell(g \cdot y, g \cdot \hat{y}) = \ell(y, \hat{y})$ ।

महत्वपूर्ण रूप से, लेखक $G$ के कॉम्पैक्ट होने और डेटा वितरण के इनवेरिएंट होने की आवश्यकता को शिथिल करते हैं। वे यह मानते हैं कि इनपुट स्पेस पर समूह क्रिया 'फ्री' (free) है (धारणा 3.1) ताकि एक एवरेजिंग ऑपरेटर के निर्माण को सुगम बनाया जा सके।

2. एवरेजिंग ऑपरेटर और KL डिकंपोजिशन (The Averaging Operator and KL Decomposition)

गैर-कॉम्पैक्ट समूहों और गैर-इनवेरिएंट वितरणों को संभालने के लिए, लेखक एक सामान्यीकृत एवरेजिंग ऑपरेटर $Q$ पेश करते हैं। पिछले कार्यों के विपरीत जो Haar मेज़र (जिसके लिए कॉम्पैक्टनेस आवश्यक है) पर निर्भर करते हैं, यह ऑपरेटर डिज़इंटीग्रेशन थ्योरम (Theorem 1.1) से प्राप्त एक प्रोबेबिलिटी कर्नेल का उपयोग करके ग्रुप ऑर्बिट पर इंटीग्रेशन करता है।

परिभाषा: $Q(f)(x) = \pi_G(x) \cdot \int_G g^{-1} \cdot f(g \cdot \pi_{X_\phi}(x)) \kappa(\pi_{X_\phi}(x), dg)$ , जहाँ $\kappa$ ऑर्बिट प्रतिनिधि के सापेक्ष समूह का कंडीशनल डिस्ट्रीब्यूशन है।
गुण (Property): $Q$ किसी भी मापने योग्य (measurable) फलनों को इक्विवैरिएंट फलनों में मैप करता है और एक प्रोजेक्शन के रूप में कार्य करता है ( $Q^2 = Q$ )।

इस ऑपरेटर का उपयोग करते हुए, लेखक एक KL डाइवर्जेंस डिकंपोजिशन (Lemma 3.4) प्राप्त करते हैं। दो मापों $\mu$ और $\nu$ के लिए:
$D_{KL}(\mu \| \nu) = D_{KL}(Q_*\mu \| Q_*\nu) + \text{Remainder}$
यह दर्शाता है कि मूल मापों के बीच KL डाइवर्जेंस उनके इक्विवैरिएंट प्रोजेक्शन ( $Q_*\mu$ और $Q_*\nu$ ) के बीच KL डाइवर्जेंस से सख्ती से अधिक या उसके बराबर है। शेष भाग (remainder term) उस "गैर-इक्विवैरिएंट" जानकारी को कैप्चर करता है जिसे प्रोजेक्शन द्वारा हटा दिया गया है।

3. सामान्यीकरण सीमाएँ (Generalization Bounds)

लेखक इस डिकंपोजिशन को McAllester के PAC-Bayes बाउंड पर लागू करते हैं।

जटिलता में कमी (Complexity Reduction): इक्विवैरिएंट फलनों (पुशफॉरवर्ड $Q_*$ के माध्यम से) तक प्रायर्स और पोस्टीरियर्स को सीमित करके, जटिलता शब्द (जिसमें $D_{KL}$ शामिल है) कम हो जाता है (Corollary 3.6)।
जोखिम में कमी (Risk Reduction): लेखक सिद्ध करते हैं कि हाइपोथीसिस का सिमेट्राइजेशन (symmetrizing) वास्तविक जोखिम को नहीं बढ़ाता है और जोखिमों की गणना बिना किसी सूचना हानि के ऑर्बिट प्रतिनिधियों पर पूरी तरह से की जा सकती है (Theorem 4.3)।
मुख्य परिणाम: व्युत्पन्न बाउंड (Equation 14) गैर-कॉम्पैक्ट समूहों और गैर-इनवेरिएंट डेटा के लिए मान्य है, जो पूर्ण हाइपोथीसिस क्लास पर लागू मानक बाउंड की तुलना में अधिक टाइट (tighter) सामान्यीकरण गारंटी प्रदान करता है।

मुख्य योगदान (Key Contributions)

गैर-कॉम्पैक्ट सममिति के लिए विस्तार: पेपर पहला PAC-Bayesian सामान्यीकरण विश्लेषण प्रदान करता है जो गैर-कॉम्पैक्ट सममिति समूहों (जैसे, ट्रांसलेशन, स्केलिंग, लोरेन्ट्ज़ ट्रांसफॉर्मेशन) को समायोजित करता है, जो एक एकीकृत ढांचे के भीतर ट्रांसलेशन-इनवेरिएंट आर्किटेक्चर को कवर करता है।
डेटा इनवेरिएंस का शिथिलन: सैद्धांतिक गारंटी के लिए समूह क्रिया के तहत डेटा वितरण के इनवेरिएंट होने की आवश्यकता नहीं है, जो पिछले कार्य की एक बड़ी सीमा को संबोधित करता है जहाँ वास्तविक दुनिया का डेटा अक्सर इस धारणा का उल्लंघन करता है।
सामान्यीकृत एवरेजिंग ऑपरेटर: डिस्क्रीटाइजेशन थ्योरम पर आधारित एक एवरेजिंग ऑपरेटर का परिचय, जो यूनिफॉर्म (Haar) मेज़र पर निर्भर किए बिना हाइपोथीसिस को इक्विवैरिएंट सबस्पेस पर प्रोजेक्ट करने की अनुमति देता है, जो गैर-कॉम्पैक्ट समूहों के लिए उपलब्ध नहीं है।
टाइट बाउंड्स: कार्य यह प्रदर्शित करता है कि इक्विवैरिएंस को लागू करने से PAC-Bayes बाउंड में सख्ती से छोटा KL डाइवर्जेंस शब्द प्राप्त होता है, जो सैद्धांतिक रूप से सममित मॉडलों के बेहतर सामान्यीकरण प्रदर्शन की व्याख्या करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक कई डेटासेट्स (Toy Example, MNIST, CIFAR-10/100, ModelNet, Top Tagging) पर कॉम्पैक्ट (SO(2), SO(3)) और गैर-कॉम्पैक्ट (SE(2), $\mathbb{R}^+$ , $SO^+(1,3)$ ) दोनों समूहों के साथ संख्यात्मक प्रयोगों के माध्यम से अपने सिद्धांत को सत्यापित करते हैं।

सेटअप: वे बेसलाइन न्यूरल नेटवर्क (गैर-इक्विवैरिएंट) की तुलना इक्विवैरिएंट समकक्षों (जैसे e2cnn और e3nn लाइब्रेरी का उपयोग करके) के साथ करते हैं। प्रयोग स्पष्ट रूप से डेटा इनवेरिएंस धारणाओं का उल्लंघन करने के लिए ट्रांसफॉर्मेशन के गैर-यूनिफॉर्म सैंपलिंग का उपयोग करते हैं।
निष्कर्ष:
- KL रिडक्शन: सममित पोस्टीरियर्स ने बेसलाइनों की तुलना में लगातार काफी कम KL डाइवर्जेंस प्राप्त किया (डेटासेट्स में 14.5% से 89.2% की कमी)।
- बाउंड टाइटनिंग: इक्विवैरिएंट मॉडलों के लिए PAC-Bayesian सामान्यीकरण बाउंड काफी टाइट थे (10% से 34% की कमी)।
- प्रदर्शन: इक्विवैरिएंट मॉडलों ने बेसलाइन टेस्ट रिस्क के बराबर या उससे बेहतर प्रदर्शन किया (विशिष्ट मामलों में 5.3% से 41.5% जोखिम कमी), जो पुष्टि करता है कि सैद्धांतिक टाइटनिंग वास्तविक लाभों में अनुवादित होती है, भले ही डेटा वितरण इनवेरिएंट न हो।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि यह सैद्धांतिक प्रमाण प्रदान करता है कि सममित मॉडल कॉम्पैक्ट समूहों और इनवेरिएंट वितरणों के संकीर्ण परिवेश से परे भी बेहतर होते हैं। इन प्रतिबंधात्मक धारणाओं को हटाकर, यह कार्य मशीन लर्निंग में सममिति के सैद्धांतिक आधार को व्यापक बनाता है।

लेखक बताते हैं कि उनके निष्कर्ष सममिति-जागरूक आर्किटेक्चर (जैसे CNNs) की व्यावहारिक सफलता के लिए एक व्यवस्थित स्पष्टीकरण प्रदान करते हैं, जहाँ डेटा न तो पूरी तरह से इनवेरिएंट है और न ही कॉम्पैक्ट समूहों द्वारा शासित है। वे इस बात पर जोर देते हैं कि उनका ढांचा सामान्य हाइपोथीसिस क्लासेज पर लागू होता है और मानक PAC-Bayesian फॉर्मुलेशन का पालन करता है, जिससे परिणाम गैर-कॉम्पैक्ट सममितिओं से जुड़े व्यापक रेंज के लर्निंग प्रॉब्लम्स के लिए लागू होते हैं। यह कार्य सभी सामान्यीकरण समस्याओं को हल करने का दावा नहीं करता है, बल्कि विशेष रूप से गैर-आदर्श, वास्तविक दुनिया के डेटा वितरणों में सममिति की भूमिका के संबंध में सैद्धांतिक अंतर को लक्षित करता है।