🤖 machine learning

Tunable Soft Equivariance with Guarantees

यह शोध पत्र पूर्व-प्रशिक्षित भार (weights) को एक डिज़ाइन किए गए उप-स्थान (subspace) में प्रक्षेपित करके ट्यूनेबल सॉफ्ट इक्विवेरिएंट मॉडल (soft equivariant models) के निर्माण के लिए एक सामान्य ढांचा प्रस्तावित करता है, जो सैद्धांतिक त्रुटि सीमाएं (error bounds) प्रदान करता है और ImageNet पर इक्विवेरिएंस त्रुटि को कम करते हुए विभिन्न कार्यों में बेहतर प्रदर्शन प्रदर्शित करता है।

मूल लेखक: Md Ashiqur Rahman, Lim Jun Hao, Jeremiah Jiang, Teck-Yian Lim, Raymond A. Yeh

प्रकाशित 2026-03-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Md Ashiqur Rahman, Lim Jun Hao, Jeremiah Jiang, Teck-Yian Lim, Raymond A. Yeh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को तस्वीरों में वस्तुओं को पहचानना सिखा रहे हैं। आप चाहते हैं कि रोबोट बुद्धिमान हो, लेकिन आप यह भी चाहते हैं कि वह सुसंगत (consistent) हो।

यदि आप रोबोट को एक बिल्ली की तस्वीर दिखाते हैं, और फिर उसी तस्वीर को 90 डिग्री घुमाकर दिखाते हैं, तो एक पूरी तरह से सुसंगत रोबोट को कहना चाहिए, "यह अभी भी एक बिल्ली है!" और नई जगह पर बिल्ली की ओर इशारा करना चाहिए। इस सुसंगतता को इक्विवेरिएंट (Equivariance) कहा जाता है।

हालाँकि, वास्तविक जीवन अव्यवसेजित होता है। कभी-कभी, एक झुकी हुई कुर्सी पर बैठी बिल्ली, सपाट फर्श पर बैठी बिल्ली से बिल्कुल एक जैसी नहीं होती है। यदि आप अपने रोबोट को 100% सुसंगत (सख्ती से इक्विवेरिएंट) होने के लिए मजबूर करते हैं, तो वह बहुत कठोर हो सकता है और वास्तविक दुनिया की बारीकियों को समझने में चूक सकता है, जिससे उसकी सटीकता कम हो सकती है। लेकिन यदि आप उसे बहुत अधिक लचीला होने देते हैं, तो वह भ्रमित हो सकता है और केवल इसलिए कि तस्वीर को घुमाया गया था, वह कह सकता है, "यह एक कुत्ता है!"

यह शोध पत्र एक "गोल्डिलॉक्स" समाधान पेश करता है: ट्यूनेबल सॉफ्ट इक्विवेरेंस (Tunable Soft Equivariance)।

यहाँ उनके विचार का सरल उपमाओं का उपयोग करके विवरण दिया गया है:

1. समस्या: "बहुत कठोर" बनाम "बहुत ढीला" दुविधा

कठोर इक्विवेरेंस (एक सख्त रीढ़ वाला रोबोट): यह रोबोट नियमों का पूरी तरह से पालन करता है। यदि आप इनपुट को घुमाते हैं, तो यह आउटपुट को ठीक उसी तरह घुमाता है। लेकिन यदि वास्तविक दुनिया नियमों का पूरी तरह से पालन नहीं करती है (जैसे, एक थोड़ी धुंधली फोटो), तो रोबोट भ्रमित हो जाता है और खराब प्रदर्शन करता है।
नॉन-इक्विवेरिएंट (बिना रीढ़ वाला रोबोट): यह रोबोट बहुत लचीला है और डेटा से सीखता है। यह चीजों को पहचानने में अच्छा है, लेकिन यदि आप फोटो को घुमाते हैं, तो यह पूरी तरह से अलग उत्तर दे सकता है। इसमें सुसंगतता की कमी है।

2. समाधान: नियमों के लिए "डिमर स्विच"

लेखक एक नया लेयर (रोबोट के मस्तिष्क का एक विशिष्ट हिस्सा) प्रस्तावित करते हैं जो सुसंगतता के लिए एक डिमर स्विच की तरह कार्य करता है।

आप नॉब को 100% सुसंगत (सख्त) पर घुमा सकते हैं।
आप इसे 0% सुसंगत (लचीला) पर रख सकते हैं।
या, आप इसे बीच में कहीं भी सेट कर सकते (सॉफ्ट)।

यह मॉडल को निर्णय लेने की अनुमति देता है: "इस विशिष्ट कार्य के लिए, मुझे सर्वोत्तम परिणाम प्राप्त करने के लिए 80% सुसंगत और 20% लचीला होने की आवश्यकता है।"

3. यह कैसे काम करता है: "धुंधला फिल्टर" की उपमा

यह शोध पत्र फोटोग्राफी से प्रेरित एक चतुर तकनीक का उपयोग करता है।

कल्पना करें कि आपके पास एक बहुत ही स्पष्ट, हाई-डेफिनिशन फोटो है (मॉडल के वेट्स/weights)।
फोटो को रोटेशन के प्रति अधिक सुसंगत बनाने के लिए, आप केवल फोटो के हिस्सों को हटाते नहीं हैं; बल्कि आप एक विशेष ब्लर फिल्टर लागू करते हैं।
यह फिल्टर उन "खुरदरे किनारों" को चिकना कर देता है जो छोटे रोटेशन के प्रति मॉडल की प्रतिक्रिया को अनियently बदल देते हैं।
जादू: लेखकों ने एक गणितीय तरीका बनाया है जिससे आप नियंत्रित कर सकते हैं कि आप कितना ब्लर (धुंधलापन) लागू करते हैं।
- उच्च ब्लर (High Blur): मॉडल बहुत सुसंगत हो जाता है (एक कम-रिज़ॉल्यूशन वाली, चिकनी छवि की तरह)।
- कम ब्लर (Low Blur): मॉडल तीक्ष्ण और विस्तृत रहता है (एक उच्च-रिज़ॉल्यूशन वाली छवि की तरह), लेकिन थोड़ा अस्थिर हो सकता है।
- ट्यूनेबल (Tunable): आप अपने विशिष्ट काम के लिए सही संतुलन खोजने के लिए ब्लर के स्तर को समायोजित कर सकते हैं।

4. "सुरक्षा जाल" (सैद्धांतिक गारंटी)

आमतौर पर, जब आप किसी मशीन लर्निंग मॉडल को ट्यून करते हैं, तो आप केवल अनुमान लगाते हैं। "मुझे लगता है कि यह सेटिंग काम करेगी।"
लेखकों ने केवल अनुमान नहीं लगाया। उन्होंने एक गणितीय सुरक्षा जाल बनाया।

उन्होंने सिद्ध किया कि यदि आप "ब्लर" को एक निश्चित स्तर पर सेट करते हैं, तो मॉडल की असंगति (त्रुटि) एक विशिष्ट सीमा से अधिक नहीं होगी।
यह कहने जैसा है कि, "मैं इस कार को थोड़ा तेज़ चला सकता हूँ, लेकिन मैं गारंटी देता हूँ कि यह कभी भी 100 मील प्रति घंटे से ऊपर नहीं जाएगी।" यह इंजीनियरों को मॉडल को खराब करने के डर के बिना इस पद्धति का उपयोग करने का आत्मविश्वास देता है।

5. वास्तविक दुनिया के परिणाम

टीम ने तीन अलग-अलग "कार्यों" पर इसका परीक्षण किया:

इमेज क्लासिफिकेशन (वस्तुओं को पहचानना): उन्होंने प्रसिद्ध प्री-ट्रेन्ड मॉडल्स (जैसे ViT और ResNet) को लिया और उनमें अपना "डिमर स्विच" जोड़ा। मॉडल चीजों को पहचानने में बेहतर हो गए और छवियों को घुमाने पर अधिक सुसंगत भी हो गए।
सिमेंटिक सेगमेंटेशन (चित्रों में रंग भरना): उन्होंने मॉडल्स को फोटो में वस्तुओं की रूपरेखा अधिक सटीक रूप से बनाने में मदद की, भले ही फोटो तिरछी हो।
ट्रैजेक्टरी प्रेडिक्शन (लोगों के चलने का अनुमान लगाना): उन्होंने भीड़ में लोगों की गति का अनुमान लगाने के लिए इसका उपयोग किया। मॉडल भविष्य के रास्तों का अनुमान लगाने में बेहतर थे, भले ही कैमरा एंगल बदल गया हो।

मुख्य निष्कर्ष

इससे पहले, आपको एक ऐसे मॉडल को चुनना पड़ता था जो कठोर और सुसंगत हो या लचीला और स्मार्ट हो।
यह शोध पत्र आपको एक ट्यूनेबल नॉब देता है। आप एक ऐसा मॉडल रख सकते हैं जो अस्त-व्यस्त वास्तविक दुनिया को संभालने के लिए पर्याप्त स्मार्ट हो, लेकिन विश्वसनीय होने के लिए पर्याप्त सुसंगत भी हो, और साथ ही इसमें एक गणितीय गारंटी भी है कि आप नियंत्रण से बाहर नहीं जाएंगे।

संक्षेप में: उन्होंने AI मॉडल्स के लिए एक "स्मार्ट डिमर स्विच" बनाया है, जिससे हमें यह ट्यून करने की अनुमति मिलती है कि AI कितना "सामान्य ज्ञान" (लचीलापन) बनाम "नियमों का पालन" (सुसंगतता) का उपयोग करे, जिससे यह लगभग हर काम को करने में बेहतर बनता है।

यहाँ शोध पत्र "Tunable Soft Equivariance with Guarantees" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

इक्विवैरिएंस (Equivariance) कंप्यूटर विज़न मॉडलों में एक वांछनीय गुण है जहाँ इनपुट पर एक रूपांतरण (जैसे रोटेशन, ट्रांसलेशन) लागू करने से आउटपुट में एक पूर्वानुमेय रूपांतरण प्राप्त होता है। हालाँकि सख्त इक्विलिवैरिएंस (strict equivariance) सैद्धांतिक रूप से सही है, लेकिन यह अक्सर मॉडल की अभिव्यक्ति क्षमता (expressiveness) को सीमित कर देता है क्योंकि वास्तविक दुनिया का डेटा शायद ही कभी पूर्ण समरूपता (strict symmetry) को संतुष्ट करता है। सख्त इक्विलिवैरिएंस को लागू करने से उन कार्यों में प्रदर्शन घट सकता है जहाँ अंतर्निहित समरूपता केवल अनुमानित होती है।

"सॉफ्ट" इक्विलिवैरिएंस (अनुमानित इक्विलिवैरिएंस) के मौजूदा दृष्टिकोण दो मुख्य सीमाओं का सामना करते हैं:

गारंटी का अभाव: डेटा ऑग्मेंटेशन या रेगुलराइजेशन जैसे तरीके परिणामी इक्विलिवैरिएंस त्रुटि पर सैद्धांतिक सीमाएँ (theoretical bounds) प्रदान नहीं करते हैं।
स्थापत्य कठोरता (Architectural Rigidity): वे तरीके जो अभिव्यक्ति क्षमता और इक्विलिवैरिएंस के बीच संतुलन बनाते हैं (जैसे रेसिडुअल मिक्सिंग), अक्सर विशेष आर्किटेक्चर की मांग करते हैं जिन्हें आसानी से उपलब्ध, प्री-ट्रेन्ड फाउंडेशन मॉडल्स (जैसे ViT या ResNet) में अनुकूलित नहीं किया जा सकता।

लेखक एक सामान्य, ट्यूनेबल फ्रेमवर्क बनाने का लक्ष्य रखते हैं जो प्री-ट्रेन्ड मॉडल्स को सख्त इक्विलेंट (strictly equivariant) और पूर्णतः नॉन-इक्विवैरिएंट (non-equivariant) व्यवहारों के बीच सुचारू रूप से संक्रमण करने की अनुमति देता है, साथ ही इक्विलिवैरिएंस त्रुटि पर सैद्धांतिक गारंटी भी प्रदान करता है।

2. कार्यप्रणाली (Methodology)

मुख्य योगदान एक ऐसा फ्रेमवर्क है जो मॉडल वेट्स को एक डिज़ाइन किए गए सबस्पेस में प्रोजेक्ट करके सॉफ्ट इक्विवेंट लेयर्स का निर्माण करता है। यह सिग्नल प्रोसेसिंग अवधारणाओं से प्रेरित है जहाँ लो-पास (ब्लरिंग) फिल्टर शिफ्ट इनवेरिएंस (shift invariance) उत्पन्न करते हैं।

A. सैद्धांतिक आधार (Theoretical Foundation)

लेखक $\eta$ -Soft Equivariance को एक सापेक्ष त्रुटि माप के रूप में परिभाषित करते हैं:
$\frac{\|F(\rho_X(g)x) - \rho_Y(g)F(x)\|}{\|J_F(x)\|_F \|x\|} \leq \eta$
जहाँ $J_F$ जैकोबियन (Jacobian) है। यह नॉर्मलाइजेशन सुनिश्चित करता है कि त्रुटि मीट्रिक स्केल-इनवेरिएंट और व्याख्या योग्य हो।

B. निरंतर समूहों (Lie Groups) के लिए प्रोजेक्शन ऑपरेटर्स

निरंतर समूहों (जैसे $SO(2)$, $SO(3)$) के लिए, विधि ली समूह प्रतिनिधित्व (Lie Algebra representation - $d\rho$ ) का उपयोग इक्विलिवैरिएंस से विचलन को मापने के लिए करती है।

टेलर एक्सपेंशन (Taylor Expansion): इक्विलिवैरिएंस त्रुटि का अनुमान समूह के आइडेंटिटी एलिमेंट के आसपास प्रथम-क्रम टेलर विस्तार का उपयोग करके लगाया जाता है।
सिंगुलर वैल्यू डिकम्पोजिशन (SVD):
- इनवेरिएंट (Invariant) लेयर्स के लिए: ली अल्जेब्रा प्रतिनिधित्व $d\rho(A)$ का विखंडन किया जाता है। एक प्रोजेक्शन ऑपरेटर $B_{inv}$ का निर्माण उन सिंगुलर वेक्टर्स को बनाए रखकर किया जाता है जिनके सिंगुलर मान छोटे (कटऑफ $b$ से नीचे) होते हैं। यह प्रभावी रूप से उन दिशाओं में वेट्स को "ब्लर" कर देता है जो समूह क्रिया के प्रति अत्यधिक संवेदनशील हैं।
- इक्विवैरिएंट (Equivariant) लेयर्स के लिए: इनपुट और आउटपुट ली अल्जेब्रा प्रतिनिधित्व के क्रोनेकर उत्पादों का उपयोग करके एक मैट्रिक्स $L$ बनाया जाता है। प्रोजेक्शन ऑपरेटर $B_{eq}$ उन घटकों को फ़िल्टर करता है जहाँ सिंगुलर मान कटऑफ $b$ से अधिक होते हैं।
शूर डिकम्पोजिशन (Schur Decomposition - दक्षता): बड़े मैट्रिसेस ( $O((dd')^3)$ ) पर SVD की उच्च कम्प्यूटेशनल लागत से बचने के लिए, लेखक सामान्य ली अल्जेब्रा प्रतिनिधित्व वाले समूहों (जैसे रोटेशन) के लिए शूर डिकम्पोजिशन का उपयोग करने का प्रस्ताव देते हैं। यह जटिलता को $O(\max(d, d')^3)$ तक कम करता है और कुशल ब्लॉक-वाइज प्रोजेक्शन की अनुमति देता है।

C. असतत समूहों (Discrete Groups) के लिए प्रोजेक्शन ऑपरेटर्स

असतत समूहों के लिए, ली अल्जेब्रा दृष्टिकोण लागू नहीं होता है। लेखक ली अल्जेब्रा के असतत एनालॉग के रूप में एक फॉरवर्ड-डिफरेंस ऑपरेटर ( $\Delta_s$ ) पेश करते हैं। वे असतत समूहों के लिए प्रथम-क्रम टेलर सन्निकटन (approximation) प्राप्त करते हैं और इन अंतर ऑपरेटरों के परिमाण के आधार पर समान प्रोजेक्शन तर्क लागू करते हैं।

D. ट्यूनेबिलिटी (Tunability)

"सॉफ्टनेस" की डिग्री को एक एकल हाइपरपैरामीटर द्वारा नियंत्रित किया जाता है: कटऑफ मान $b$ ।

छोटा $b$ : आक्रामक प्रोजेक्शन $\rightarrow$ मजबूत इक्विलिवैरिएंस बायस, कम त्रुटि, संभावित रूप से कम अभिव्यक्ति क्षमता।
बड़ा $b$ : कमजोर प्रोजेक्शन $\rightarrow$ कमजोर इक्विलिवैरिएंस बायस, उच्च अभिव्यक्ति क्षमता, उच्च त्रुटि।
यह उपयोगकर्ताओं को वैलिडेशन प्रदर्शन के आधार पर ट्रेड-ऑफ को व्यवस्थित रूप से ट्यून करने की अनुमति देता है।

3. मुख्य योगदान (Key Contributions)

सामान्य फ्रेमवर्क: किसी भी प्री-ट्रेन्ड मॉडल के वेट्स को बिना कोई नया सीखने योग्य पैरामीटर जोड़े, सॉफ्ट इक्विवेंट लेयर्स बनाने का एक नवीन, आर्किटेक्चर-अज्ञेय (architecture-agnostic) तरीका।
सैद्धांतिक गारंटी: इक्विलिवैरिएंस त्रुटि पर स्पष्ट ऊपरी सीमा ( $\eta_b$ ) का व्युत्पन्न, जो कटऑफ $b$ को समूह के गुणों (इंजेक्टिव रेडियस, जनरेटरों की संख्या) से जोड़ता है।
कुशल कार्यान्वयन: शूर डिकम्पोजिशन-आधारित प्रोजेक्शन विधि का परिचय जो बड़े लेयर्स के लिए SVD की तुलना में काफी तेज़ है, जिससे यह आधुनिक फाउंडेशन मॉडल्स के लिए व्यवहार्य हो जाता है।
अनुभवजन्य सत्यापन (Empirical Validation): वर्गीकरण, सेगमेंटेशन और ट्रेजेक्टरी प्रेडिक्शन पर व्यापक प्रयोगों के माध्यम से दिखाया गया कि सॉफ्ट इक्विलिवैरिएंस प्रदर्शन में सुधार कर सकता है और त्रुटि को कम कर सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन विभिन्न बैकबोन (ViT, DINOv2, ResNet, SegFormer) का उपयोग करके तीन कार्यों पर किया गया।

इमेज क्लासिफिकेशन (CIFAR-10/100, ImageNet):
- ImageNet पर, प्रस्तावित विधि ने बेसलाइन की तुलना में इक्विलिवैरिएंस त्रुटि को कम करते हुए, टॉप-1 सटीकता में सुधार (जैसे ViT पर +0.61%, DINOv2 पर +1.04%) किया।
- इसने "कैनोनिकलाइज़र" (Canonicalizer) बेसलाइन को पछाड़ दिया (जो छवियों को मानक ओरिएंटेशन में घुमाने का प्रयास करता है और अक्सर महत्वपूर्ण सटीकता हानि का सामना करता है)।
सिमेंटिक सेगमेंटेशन (PASCAL VOC):
- विधि ने ViT, DINOv2 और SegFormer बैकबोन में संयुक्त mIoU में सुधार किया और इक्विलिवैरिएंस त्रुटि को कम किया।
ह्यूमन ट्रेजेक्टरी प्रेडिक्शन (ETH/UCY):
- एक ऑटोरेग्रेसिव ट्रांसफॉर्मर पर लागू होने पर, विधि ने मानक नॉन-इक्विवैरिएंट और सख्त-इक्विवैरिएंट बेसलाइन्स दोनों की तुलना में बेहतर संयुक्त ADE/FDE मेट्रिक्स प्राप्त किए।
सिंथेटिक O(5) इनवेरिएंट रिग्रेशन:
- सख्त इनवेरिएंस से भिन्न शोर/विचलन के विभिन्न स्तरों के साथ इनवेरिएंट फंक्शन सीखने में बेहतर प्रदर्शन प्रदर्शित किया।
एब्लेशन स्टडीज (Ablation Studies):
- पुष्टि की कि प्रोजेक्शन ऑपरेटरों की गणना के लिए शूर डिकम्पोजिशन, SVD की तुलना में कई गुना तेज़ है।
- दिखाया कि स्मूथ कट-ऑफ (सॉफ्ट थ्रेशोल्डिंग), हार्ड थ्रेशोल्डिंग की तुलना में बेहतर प्रदर्शन करता है।

5. महत्व (Significance)

यह शोध पत्र इक्विलिवैरिएंस के सैद्धांतिक लाभों और वास्तविक दुनिया के डेटा पर डीप लर्निंग की व्यावहारिक वास्तविकताओं के बीच के अंतर को पाटता है।

व्यावहारिकता: पिछले तरीकों के विपरीत जिन्हें आर्किटेक्चरल परिवर्तनों की आवश्यकता होती है, यह दृष्टिकोण मौजूदा प्री-ट्रेन्ड मॉडल्स के लिए एक "प्लग-एंड-प्ले" लेयर के रूप में कार्य करता है।
नियंत्रण: यह समरूपता और अभिव्यक्ति क्षमता के बीच के ट्रेड-ऑफ को नियंत्रित करने के लिए एक सिद्धांत आधारित, गणितीय रूप से ठोस नॉब (कटऑफ $b$ ) प्रदान करता है।
प्रदर्शन: महत्वपूर्ण रूप से, यह प्रदर्शित करता है कि सॉफ्ट इक्विलिवैरिएंस केवल एक समझौता नहीं है; कई मामलों में (विशेष रूप से ImageNet में), यह सख्त इक्विलिवरिएंट और नॉन-इक्विवरिएंट दोनों मॉडल्स की तुलना में बेहतर प्रदर्शन देता है, जो यह सुझाव देता है कि वास्तविक दुनिया के डेटा को सटीक के बजाय अनुमानित समरूपता से लाभ होता है।

यह कार्य फाउंडेशन मॉडल्स में सिमेट्री प्रायर (symmetry priors) को शामिल करने के लिए एक नया मानक स्थापित करता है, जो अधिक मजबूत और सामान्य दृश्य प्रणालियों (vision systems) की ओर एक मार्ग प्रदान करता है।