तकनीकी सारांश: प्रोजेक्शन-आधारित नियमितीकरण के माध्यम से अनुमानित समरूपता (Approximate Equivariance)

समस्या विवरण

समरूपता (Equivariance) मशीन लर्निंग में एक शक्तिशाली प्रेरणिक पूर्वाग्रह (inductive bias) के रूप में कार्य करती है, जो रसायन विज्ञान, भौतिकी और रोबोटिक्स जैसे क्षेत्रों में सामान्यीकरण (generalization) और भौतिक निरंतरता को बढ़ाती है। हालाँकि, सख्त समरूपता महत्वपूर्ण बाधाएं और कम्प्यूटेशनल लागत लागू करती है। हालिया रुझान, जैसे कि अल्फाफोल्ड-3 (AlphaFold-3) जैसे मॉडल, गैर-समरूप (non-equivariant) आर्किटेक्चर की ओर बढ़े हैं ताकि अधिक लचीले फीचर पैरामीट्रेशन और व्यापक खोज स्थानों (search spaces) का लाभ उठाया जा सके, जो कभी-कभी बेहतर न्यूनतम (minima) प्राप्त कर सकते हैं। इसके अलावा, वास्तविक दुनिया का डेटा अक्सर अपूर्ण या टूटी हुई समरूपताओं को प्रदर्शित करता है जिन्हें सख्त समरूप मॉडल कैप्चर नहीं कर सकते।

"अनुमानित समरूपता" के मौजूदा दृष्टिकोण आम तौर पर दो श्रेणियों में आते हैं:

1. नमूना-आधारित विधियाँ (Sample-based methods): ये यादृच्छिक रूप से नमूना लिए गए समूह रूपांतरणों (जैसे, डेटा ऑग्मेंटेशन या पॉइंटवाइज दंड) का उपयोग करके समरूपता से विचलन को दंडित करती हैं। हालांकि लचीली हैं, लेकिन इनमें प्रति नमूना उच्च सैंपल कॉम्प्लेक्सिटी और कम्प्यूटेशनल ओवरहेड होता है क्योंकि प्रत्येक नमूने के लिए अतिरिक्त फॉरवर्ड पास की आवश्यकता होती है।
2. स्पष्ट पैरामीट्रेशन (Explicit parameterization): ये मॉडल नेटवर्क को समरूप और गैर-समरूप घटकों (जैसे, रेसिडुअल पाथवे) के योग के रूप में स्पष्ट रूप से संरचित करते हैं। यह अक्सर समरूप भाग का दोहरा पैरामीट्रेशन और बढ़ी हुई मॉडल जटिलता की ओर ले जाता है।

एक ऐसे तरीके की आवश्यकता है जो एक मध्य मार्ग प्रदान करे: समरूपता के पूर्ण प्रतिबंधों या नमूना-आधारित नियमित करने वालों की रनटाइम लागत के बिना, समरूपता के लाभों को बनाए रखना, जबकि अपूर्ण समरूपताओं को प्रभावी ढंग से संभालना।

कार्यप्रणाली (Methodology)

लेखक प्रोजेक्शन-आधारित नियमितीकरण (Projection-Based Regularisation) का प्रस्ताव करते हैं, जो एक ढांचा है जो नेटवर्क को ऑपरेटर स्तर पर समरूपता की ओर नियमित करता है, न कि नमूना स्तर पर। मुख्य विचार $G$-मॉड्यूल्स के बीच रैखिक मानचित्रों (linear maps) के ऑर्थोगोनल अपघटन (orthogonal decomposition) पर आधारित है।

सैद्धांतिक ढांचा

माना कि $H$ $G$-मॉड्यूल्स के बीच रैखिक मानचित्रों का एक परिकल्पना वर्ग (hypothesis class) है। लेखक G-स्मूथिंग ऑपरेटर (रेनॉल्ड्स ऑपरेटर) का उपयोग करते हैं, जिसे $P(T)$ द्वारा दर्शाया गया है, जो एक रैखिक मानचित्र $T$ को $G$-समरूप मानचित्रों के उपस्थान (subspace) पर प्रोजेक्ट करता है:
$$P(T) = \int_G \pi'(g)^* T \pi(g) \, d\lambda(g)$$
जहाँ $\lambda$ कॉम्पैक्ट ग्रुप $G$ का हॉर मेजर (Haar measure) है।

लेम्मा 2.1 के अनुसार, किसी भी मानचित्र $T$ को अद्वितीय रूप से एक समरूप घटक $P(T)$ और एक गैर-समरूप (anti-symmetric) घटक $T - P(T)$ में विभाजित किया जा सकता है। लेखक समरूपता दोष (equivariance defect) $E(T)$ को समरूपता से सबसे खराब स्थिति वाले विचलन के रूप में परिभाषित करते हैं। वे सिद्ध करते हैं (लेम्मा 3.2) कि समरूप उपस्थान से दूरी, $\|T - P(T)\|_\mu$, मात्रात्मक रूप से समरूपता दोष $E(T)$ के समतुल्य है, जो स्थिरांकों द्वारा सीमित है।

नियमितीकरण उद्देश्य (The Regularization Objective)

एक कार्य-विशिष्ट लॉस $L_{task}$ के लिए लर्निंग ऑब्जेक्टिव को इस प्रकार संशोधित किया जाता है:
$$L = L_{task}(T) + \lambda_G \|P(T)\|_\mu^2 + \lambda_\perp \|T - P(T)\|_\mu^2$$
यहाँ $\lambda_\perp$ गैर-समरूप घटक को दंडित करता है, जिससे मॉडल को समरूप उपस्थान के साथ संरेखित करने के लिए प्रोत्साहित किया जाता है। $\lambda_G$ समरूप भाग के नियमितीकरण को नियंत्रित करता है।

फूरियर स्पेस के माध्यम से कुशल गणना

$P(T)$ को कुशलतापूर्वक कंप्यूट करना एक प्रमुख चुनौती है, विशेष रूप से निरंतर समूहों (जैसे, $SO(n)$) के लिए जहाँ स्थानिक डोमेन (spatial domain) में समाकलन (integral) अव्यवहार्य है। लेखक इस प्रोजेक्शन को स्पेक्ट्रल (फूरियर) डोमेन में करने के लिए पीटर-वेयर्ड प्रमेय (Peter-Weyl theorem) का लाभ उठाते हैं:

1. अपघटन (Decomposition): रैखिक ऑपरेटरों को समूह के अपरिवर्तनीय निरूपणों (irreducible representations - irreps) के अनुरूप फ्रीक्वेंसी ब्लॉक्स में विभाजित किया जाता है।
2. ब्लॉक-डायगोनलाइजेशन (Block-Diagonalization): शूर के लेम्मा (Schur's Lemma) के अनुसार, समरूप मानचित्र फ्रीक्वेंसी डोमेन में ब्लॉक-डायगोनल होते हैं (केवल समकक्ष irreps को मिलाते हैं)।
3. प्रोजेक्शन (Projection): $P(T)$ की गणना की जाती है:
   • सभी ऑफ-डायगोनल ब्लॉक्स को शून्य करना (जहाँ $\pi \neq \sigma$)।
   • इंटरटाइनर स्पेस (intertwiner space) पर प्रोजेक्ट करने के लिए डायगोनल ब्लॉक्स के भीतर औसत निकालना।
4. पुनर्निर्माण (Reconstruction): इनवर्स फूरियर ट्रांसफॉर्म स्थानिक डोमेन में प्रोजेक्ट किए गए वेट्स (weights) प्रदान करता है।

यह दृष्टिकोण बिना सैंपलिंग के सटीक, क्लोज्ड-फॉर्म प्रोजेक्शन की अनुमति देता है, जो सीमित समूहों (प्रत्यक्ष औसत के माध्यम से) और निरंतर समूहों (स्पेक्ट्रल मास्किंग के माध्यम से) दोनों के लिए लागू होता है।

मुख्य योगदान

1. सैद्धांतिक नियमितीकरण: रैखिक ऑपरेटरों के गैर-समरूप घटक को दंडित करके सामान्य मशीन लर्निंग मॉडलों को सटीक समरूपता की ओर नियमित करने के लिए एक सैद्धांतिक रूप से स्थापित दृष्टिकोण।
2. ऑपरेटर-स्तरीय दंड: नमूना-आधारित विधियों के विपरीत जो पॉइंटवाइज विचलन को दंडित करती हैं, यह विधि पूरे ग्रुप ऑर्बिट पर ऑपरेटर स्तर पर गैर-समरूपता को दंडित करती है।
3. स्पेक्ट्रल दक्षता: फूरियर डोमेन में सटीक और कुशलता से प्रोजेक्शन कंप्यूट करने के लिए एक ढांचा, जो सैंपलिंग के ओवरहेड के बिना $SO(n)$ जैसे निरंतर समूहों के अनुप्रयोग को सक्षम बनाता है।
4. अनुभवजन्य सत्यापन: यह प्रदर्शन करना कि यह विधि मौजूदा अनुमानित-समरूपता दृष्टिकोणों के साथ प्रतिस्पर्धी कार्य प्रदर्शन प्राप्त करती है और साथ ही पर्याप्त रनटाइम लाभ भी प्रदान करती है।

प्रयोगात्मक परिणाम

लेखकों ने तीन अलग-अलग प्रयोगात्मक सेटिंग्स में अपने तरीके का मूल्यांकन किया:

1. सीखा गया SO(2) इनवेरियंस (खिलौना समस्या/Toy Problem):

   • पॉइंट क्लाउड्स के साथ बाइनरी क्लासिफिकेशन कार्य पर, $\lambda_\perp$ को ट्यून करने से सीखे गए इनवेरियंस की डिग्री को सफलतापूर्वक नियंत्रित किया गया।
   • जब लक्षित फंक्शन में कोणीय विचलन (समरूपता को तोड़ना) शामिल था, तो नियमित मॉडल ने डेटा को फिट करने के लिए अनुकूलन किया, जबकि उन क्षेत्रों में इनवेरियंस बनाए रखा जहाँ समरूपता बनी रही, जो एक ट्यूनेबल बायस को प्रदर्शित करता है।

2. अपूर्ण रूप से सममित गतिशील प्रणाली (Imperfectly Symmetric Dynamical Systems):

   • टूटी हुई ट्रांसलेशन, रोटेशन और स्केलिंग समरूपता वाले स्मोक एडवेक्शन-डिफ्यूजन सिमुलेशन पर लागू किया गया।
   • प्रोजेक्शन-आधारित नियमित करने वाला (+Reg) रोटेशन और स्केलिंग रेजिम में बेसलाइन्स (Standard CNN, Equivariant CNN, RPP, Lift) की तुलना में रोटेशन और स्केलिंग रेजिम में निरंतरता में सुधार (Future और Domain सेटिंग्स) करता है, जबकि उन जगहों पर प्रदर्शन बनाए रखता है जहाँ समरूपता पहले से ही अच्छी तरह से संरेखित थी।

3. CT-स्कैन मेटल आर्टिफैक्ट रिडक्शन (MAR):

   • AAPM CT-MAR डेटासेट पर नमूना-आधारित नियमित करने वालों (Bai et al., 2025) और रेसिडुअल पाथवे प्रायर्स (RPP) के विरुद्ध तुलना की गई।
   • प्रदर्शन: प्रोजेक्शन-आधारित विधि ने सभी परीक्षण किए गए आर्किटेक्चर (ACDNet, DICDNet, OSCNet) में प्रतिस्पर्धी या बेहतर पुनर्निर्माण गुणवत्ता (PSNR/SSIM) प्राप्त की।
   • दक्षता: विधि ने थ्रूपुट में नमूना-आधारित नियमित करने वालों की तुलना में काफी बेहतर प्रदर्शन किया। चूंकि यह ग्रुप सैंपलिंग के लिए अतिरिक्त फॉरवर्ड पास से बचती है, इसलिए इसने बड़े बैच साइज (नमूना-आधारित के लिए 4 के मुकाबले 12) की अनुमति दी और एपोक समय को 42-61% तक कम कर दिया। इसे RPPs की तुलना में कम पैरामीटर और कम मेमोरी की भी आवश्यकता थी।

4. MedMNIST (3D बायोमेडिकल क्लासिफिकेशन):

   • विभिन्न स्तरों की रोटेशनल समरूपता वाले 3D कार्यों (Nodule, Synapse, Organ) पर मूल्यांकन किया गया।
   • विधि ने उच्च सटीकता प्राप्त की, जो अक्सर आंशिक रूप से समरूप SCNNs (P-SCNN) और RPPs के बराबर या उससे अधिक थी।
   • दक्षता: इसने उच्चतम प्रशिक्षण और इन्फरेंस थ्रूपुट और सबसे कम एपोक समय प्रदर्शित किया, जिसमें RPPs की तुलना में काफी कम पैरामीटर थे।

महत्व और दावे

पेपर का दावा है कि प्रोजेक्शन-आधारित नियमितीकरण एक अनुकूल सटीकता-दक्षता व्यापार-बंद (accuracy-efficiency trade-off) प्रदान करता है। स्पेक्ट्रल प्रोजेक्शन के माध्यम से नियमितीकरण को नमूना स्तर से ऑपरेटर स्तर पर स्थानांतरित करके, यह विधि:

• एस्टिमेटर वेरिएंस को समाप्त करता है: यह सैंपलिंग शोर के बिना सटीक रूप से दंड की गणना करता है।
• कम्प्यूटेशनल ओवरहेड को कम करता है: यह नमूना लेने के लिए आवश्यक अतिरिक्त फॉरवर्ड पास से बचता है, जिससे बड़े बैच साइज और तेज़ प्रशिक्षण/इन्फरेंस संभव होता है।
• आर्किटेक्चर-अज्ञेइक (Architecture-Agnostic) रहता है: इस सामान्य रेसिपी को किसी भी मॉडल पर लागू किया जा सकता है जिसमें रैखिक परतें हों, बशर्ते प्रोजेक्शन निकाला जा सके (जो रैखिक ऑपरेटरों के लिए सीधा है)।
• अपूर्ण समरूपताओं को संभालता है: यह मॉडलों को उपयुक्त डिग्री की समरूपता सीखने की अनुमति देता है, जिससे सख्त बाधाओं को शिथिल किया जा सके जब डेटा वितरण की मांग हो, बिना उस इंडक्टिव बायस को खोए जहाँ वह फायदेमंद है।

लेखक निष्कर्ष निकालते हैं कि यह दृष्टिकोण सख्त समरूप आर्किटेक्चर और कम्प्यूटेशनल रूप से महंगे नमूना-आधारित नियमितीकरण दोनों के लिए एक मजबूत, स्केलेबल विकल्प प्रदान करता है, विशेष रूप से निरंतर समरूपता समूहों के लिए।