🤖 machine learning

Soft Equivariance Regularization for Invariant Self-Supervised Learning

यह शोध पत्र सॉफ्ट इक्विवेरिएंस रेगुलराइजेशन (SER) का प्रस्ताव करता है, जो एक हल्का, प्लग-इन विधि है जो इनवेरिएंस और इक्विवेरिएंस उद्देश्यों को अलग करता है, जिसमें अंतिम एम्बेडिंग पर इनवेरिएंस को बनाए रखते हुए मध्यवर्ती स्थानिक विशेषताओं पर इक्विवेरिएंस लागू किया जाता है, जिससे बिना किसी सहायक हेड या ट्रांसफॉर्मेशन लेबल के लीनियर इवैल्यूएशन एक्यूरेसी और ज्यामितीय परिवर्तनों के प्रति मजबूती में सुधार होता है।

मूल लेखक: Joohyung Lee, Changhun Kim, Hyunsu Kim, Kwanhyung Lee, Juho Lee

प्रकाशित 2026-03-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Joohyung Lee, Changhun Kim, Hyunsu Kim, Kwanhyung Lee, Juho Lee

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी तस्वीर: एक शिक्षक के बिना कंप्यूटर को "देखना" सिखाना

कल्पना कीजिए कि आप एक बच्चे को बिल्ली पहचानना सिखा रहे हैं। आप उसे बिल्ली की एक तस्वीर दिखाते हैं, फिर आप उसे वही बिल्ली दिखाते हैं, लेकिन इस बार वह उल्टी है, ज़ूम की हुई है, या थोड़ी धुंधली है।

पुराना तरीका (इनवेरिएंट लर्निंग - Invariant Learning): आप बच्चे को बताते हैं, "चाहे मैं इस तस्वीर को घुमा दूँ या क्रॉप कर दूँ, यह अभी भी एक बिल्ली ही है।" बच्चा बदलावों को अनदेखा करना और केवल मूल पहचान पर ध्यान केंद्रित करना सीख जाता है। यह कहने के लिए तो बहुत अच्छा है कि "यह एक बिल्ली है!", लेकिन यह बुरा है यदि आपको यह जानने की आवश्यकता हो कि बिल्ली कहाँ है या वह किस दिशा में देख रही है।
समस्या: यदि आप बच्चे को केवल बदलावों को अनदेखा करना सिखाते हैं, तो वह वास्तव में उलझन में पड़ सकता है जब बिल्ली सच में उल्टी हो। वह स्थानिक संबंधों (जैसे "ऊपर," "नीचे," "बाएँ," "दाएँ") को समझने की अपनी क्षमता खो देता है।
नया विचार (इक्विवेरिएंट लर्निंग - Equivariance): आप चाहते हैं कि बच्चा एक साथ दो चीजें सीखे:
1. पहचान (Identity): "यह अभी भी एक बिल्ली है।" (इनवेरिएंस)
2. रूपांतरण (Transformation): "यदि मैं तस्वीर को 90 डिग्री घुमाता हूँ, तो मेरे दिमाग में बिल्ली को भी 90 डिग्री घूमना चाहिए।" (इक्विवेरिएंस)

संघर्ष: "एक-आकार-सभी-के-लिए-फिट" वाली गलती

कंप्यूटर को ये दोनों कौशल सिखाने के पिछले प्रयासों ने इन दोनों नियमों को एक ही अंतिम मस्तिष्क कोशिका (न्यूरल नेटवर्क के अंतिम लेयर) पर सीखने के लिए मजबूर करने की कोशिश की।

उपमा: एक शेफ की कल्पना करें जो एक ही बर्तन में एक ही समय पर एक परफेक्ट स्टेक (पहचान) और एक परफेक्ट सूफ़्ले (स्थानिक संरचना) पकाने की कोशिश कर रहा है।

स्टेक बनाने के लिए, आपको तेज़ गर्मी और सीयर (इनवेरिएंस) की आवश्यकता होती है।
सूफ़्ले बनाने के लिए, आपको धीमी, उठती हुई गर्मी और संरचना (इक्विवेरिएंस) की आवश्यकता होती है।
यदि आप एक ही बर्तन में दोनों को करने की कोशिश करते हैं, तो अंत में एक जला हुआ, चपटा मिश्रण बनता है। पेपर ने पाया कि जब आप "स्थानिक नियमों" (इक्विवेरिएंस) को अंतिम "पहचान" लेयर पर थोपने की कोशिश करते हैं, तो कंप्यूटर भ्रमित हो जाता है, और वस्तुओं को पहचानने की उसकी क्षमता वास्तव में खराब हो जाती है।

समाधान: सॉफ्ट इक्विवैरिएंट रेगुलराइजेशन (SER)

लेखकों ने सॉफ्ट इक्विवैरिएंट रेगुलराइजेशन (SER) नामक एक चतुर समाधान प्रस्तावित किया है। सब कुछ एक ही बर्तन में पकाने के बजाय, वे एक दो-चरणीय रसोई का उपयोग करते हैं।

1. "मध्यवर्ती" रसोई (स्थानिक मानचित्र - The Spatial Map)

कंप्यूटर के मस्तिष्क को परतों के रूप में सोचें। शुरुआती परतें कमरे के एक विस्तृत मानचित्र की तरह होती हैं, जो दिखाती हैं कि हर वस्तु वास्तव में कहाँ है।

SER क्या करता है: यह "स्थानिक मानचित्र" (एक मध्यवर्ती लेयर) को लेता है और उसे धीरे से दिशा देता है। यह कहता है, "हे, यदि इनपुट इमेज घूमती है, तो सुनिश्चित करें कि यह मानचित्र भी उसके साथ घूमे।"
"सॉफ्ट" वाला हिस्सा: यह कंप्यूटर को परफेक्ट होने के लिए मजबूर नहीं करता है। यह केवल व्यवहार को प्रोत्साहित करता है, जैसे एक सख्त ड्रिल सार्जेंट के बजाय सुझाव देने वाला एक कोमल कोच।
ट्रिक: यह गणित का उपयोग करता है ताकि यह पता चल सके कि मानचित्र को वास्तव में कैसे बदलना चाहिए (जैसे, "यदि मैं इमेज को पलटता हूँ, तो मानचित्र को भी पलट दें") बिना कंप्यूटर को नए लेबल या अतिरिक्त हेड्स सिखाए। यह एक अंतर्निहित कंपास रखने जैसा है।

2. "अंतिम" रसोई (पहचान की जाँच - The Identity Check)

मस्तिष्क का अंतिम लेयर वह है जहाँ कंप्यूटर निर्णय लेता है, "क्या यह एक बिल्ली है?"

SER क्या करता है: यह इस लेयर को अकेला छोड़ देता है। यह कंप्यूटर को अपने मानक, शक्तिशाली प्रशिक्षण का उपयोग करने देता है कि "एक बिल्ली बिल्ली ही है," चाहे वह किसी भी दिशा में घूमी हो।
परिणाम: अंतिम उत्तर अभी भी पहचान के लिए सटीक है, लेकिन जिस आंतरिक "मानचित्र" का उपयोग वहां तक पहुँचने के लिए किया जाता है, वह अब ज्यामिति के बारे में बहुत अधिक स्मार्ट है।

यह एक बड़ी बात क्यों है

पेपर दिखाता है कि इन दो कामों को अलग करके (मध्य में स्थानिक गणित करना, और अंत में पहचान की जाँच करना), कंप्यूटर दोनों तरफ का सर्वश्रेष्ठ प्राप्त करता है:

बेहतर पहचान: यह पहले की तुलना में बिल्लियों, कुत्तों और कारों को बेहतर पहचानता है (ImageNet पर बेहतर सटीकता)।
बेहतर मजबूती (Robustness): यदि आप बारिश में, या धुंधले लेंस के साथ, या अजीब तरह से घूमी हुई बिल्ली की फोटो लेते हैं, तो यह नया तरीका इसे बहुत बेहतर तरीके से संभालता है। यह उस बच्चे की तरह है जो बिल्ली को कीचड़ में या उल्टा होने पर भी पहचान सकता है।
कोई अतिरिक्त लागत नहीं: आमतौर पर, कंप्यूटर में नए नियम जोड़ने के लिए अधिक मस्तिष्क शक्ति (कंप्यूटिंग पावर) की आवश्यकता होती है। यह तरीका इतना कुशल है कि यह प्रशिक्षण लागत में केवल लगभग 0.8% जोड़ता है। यह एक कप कॉफी की कीमत में सुपरपावर पाने जैसा है।

"लेयर डिकपलिंग" का गुप्त नुस्खा

इस पेपर में सबसे महत्वपूर्ण खोज एक सामान्य नियम है: अपने "पहचान" और "ज्यामिति" के पाठों को अंतिम परीक्षा में न मिलाएं।

लेखकों ने अन्य मौजूदा तरीकों पर इसका परीक्षण किया और पाया कि केवल "ज्यामिति के पाठ" को अंतिम लेयर से हटाकर एक मध्यवर्ती लेयर में ले जाने से वे पुराने तरीके भी बेहतर काम करने लगे। यह महसूस करने जैसा है कि आपको जिम में अपना संतुलन (ज्यामिति) अभ्यास करना चाहिए, लेकिन अपने अंतिम स्प्रिंट (पहचान) के लिए ट्रैक को बचाकर रखना चाहिए।

सारांश

समस्या: कंप्यूटर को एक ही स्थान पर बदलावों को अनदेखा करना (इनवेरिएंस) और बदलावों को समझना (इक्विवेरिएंस) सिखाने की कोशिश करने से वह दोनों में खराब हो जाता है।
समाधान: "बदलावों को समझने" वाले हिस्से को मस्तिष्क के बीच में सिखाएं, और "अंतिम उत्तर" वाले हिस्से को अकेला छोड़ दें।
परिणाम: एक कंप्यूटर जो अधिक स्मार्ट, अधिक मजबूत और सीखने के लिए अतिरिक्त ऊर्जा की आवश्यकता नहीं रखता है।

SER को एक छात्र को डांस (गति को समझना) सिखाने के रूप में सोचें, जबकि वे कदमों का अभ्यास (मध्यवर्ती लेयर) कर रहे हैं, ताकि जब वे अंततः स्टेज पर प्रदर्शन (अंतिम लेयर) करें, तो वे अपने पैरों से टकराने की चिंता किए बिना पूरी तरह से परफेक्ट दिखने पर ध्यान केंद्रित कर सकें।

यहाँ शोध पत्र "Soft Equivariance Regularization for Invariant Self-Supervised Learning" (ICLR 2026) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

विज़न के लिए सेल्फ-सुपरवाइज्ड लर्निंग (SSL) आमतौर पर इनवेरियंस (invariance) पर निर्भर करती है: ऐसे रिप्रजेंटेशन सीखना जो सिमेंटिक-संरक्षण करने वाले ऑगमेंटेशन (जैसे रैंडम क्रॉप्स, कलर जिटर) के तहत अपरिवर्तित रहते हैं। वर्गीकरण (classification) के लिए प्रभावी होने के बावजूद, सख्त इनवेरियंस उन ट्रांसफॉर्मेशन-डिपेंडेंट स्ट्रक्चर्स (जैसे ओरिएंटेशन, स्केल, रिफ्लेक्शन) को दबा देता है जो ज्यामितीय मजबूती (geometric robustness) और स्थानिक रूप से संवेदनशील ट्रांसफर कार्यों (जैसे ऑब्जेक्ट डिटेक्शन) के लिए महत्वपूर्ण हैं।

हाल के कार्य SSL में इक्विवैरिएंस (equivariance) (जहाँ रिप्रजेंटेशन ट्रांसफॉर्मेशन के तहत अनुमानित रूप से बदलते हैं) को शामिल करने का प्रयास करते हैं। हालाँकि, मौजूदा विधियाँ अक्सर एक ही अंतिम रिप्रजेंटेशन (जैसे कि स्पैटियली कोलैप्स्ड [CLS] टोकन या पूल्ड फीचर्स) पर इनवेरियंस और इक्विलैरिएंस दोनों उद्देश्यों को लागू करती हैं। लेखक इस युग्मित (coupled) सेटिंग में एक महत्वपूर्ण ट्रेड-ऑफ (trade-off) की पहचान करते हैं:

इक्विलैरिएंस रेगुलराइजेशन को गहरे परतों (deeper layers) की ओर धकेलने से इक्विलैरिएंस स्कोर तो सुधरता है लेकिन ImageNet-1k के लीनियर इवैल्यूएशन एक्यूरेसी में गिरावट आती है।
स्पैटियली कोलैप्स्ड रिप्रजेंटेशन पर इक्विलैरिएंस थोपने से स्थानिक ग्रूप एक्शन्स (spatial group actions) को स्वाभाविक रूप से लागू करना कठिन हो जाता है।

मूल समस्या यह है कि मजबूत इनवेरियंस-आधारित SSL बैकबोन (जैसे MoCo-v3, DINO, Barlow Twins) में जटिल सहायक मॉड्यूल की आवश्यकता के बिना या वर्गीकरण प्रदर्शन से समझौता किए बिना स्पष्ट इक्विलैरिएंस को कैसे एकीकृत किया जाए।

2. कार्यप्रणाली: सॉफ्ट इक्विलैरिएंस रेगुलराइजेशन (Methodology: Soft Equivariance Regularization - SER)

लेखक सॉफ्ट इक्विलैरिएंस रेगुलराइजेशन (SER) प्रस्तावित करते हैं, जो एक प्लग-इन रेगुलराइज़र है जो नेटवर्क आर्किटेक्चर के भीतर इनवेरियंस और इक्विलैरिएंस को लागू करने के स्थानों को डिकपल (decouple) करता है।

मुख्य डिज़ाइन सिद्धांत:

लेयर-डिकपल्ड डिज़ाइन (Layer-Decoupled Design):
- इनवेरियंस: अंतिम एम्बेडिंग (जैसे, [CLS] टोकन) को मानक, अपरिवर्तित बेसलाइन SSL ऑब्जेक्टिव (जैसे MoCo-v3 लॉस) का उपयोग करके प्रशिक्षित किया जाता है।
- इक्विलैरिएंस: इक्विलैरिएंस केवल एक इंटरमीडिएट स्पैटियल टोकन मैप (अंतिम पूलिंग/CLS इंसर्शन से पहले) पर लागू की जाती है। यह स्थानिक रूपांतरणों के लिए आवश्यक लैटिस संरचना को सुरक्षित रखता है।
- आर्किटेक्चर संशोधन: एनकोडर को $f = f^{(2)} \circ f^{(1)}$ में विभाजित किया गया है। $f^{(1)}$ एक स्पैटियल टोकन मैप आउटपुट करता है; $f^{(2)}$ (जिसमें [CLS] टोकन इंसर्शन शामिल है) अंतिम एम्बेडिंग बनाता है। [CLS] टोकन को स्पैटियल ग्रिड को बाधित करने से बचने के लिए इक्विलैरिएंस-रेगुलराइज्ड लेयर के बाद डाला जाता है।
एनालिटिक फीचर-स्पेस एक्शन्स (Analytic Feature-Space Actions):
- ट्रांसफॉर्मेशन प्रेडिक्शन हेड या लेटेंट एक्शन नेटवर्क सीखने के बजाय, SER सीधे फीचर स्पेस में एनालिटिकली स्पेसिफाइड ग्रूप एक्शन्स ( $\rho_g$ ) का उपयोग करता है।
- ज्यामितीय समूह $G$ में परिवर्तनीय (invertible) ट्रांसफॉर्मेशन शामिल हैं: 90° रोटेशन, हॉरिजॉन्टल फ्लिप, और एनिसोट्रोपिक स्केलिंग (क्रॉपिंग के बिना)।
- एक रिलेटिव ट्रांसफॉर्म $g = g_2 g_1^{-1}$ के लिए, लॉस ट्रांसफॉर्म्ड फीचर मैप $\rho_g(f^{(1)}(x_1))$ और ट्रांसफॉर्म्ड व्यू के फीचर मैप $f^{(1)}(x_2)$ के बीच की दूरी को कम करता है।
बैच पार्टीशनिंग रणनीति (Batch Partitioning Strategy):
- चूंकि मानक SSL ऑगमेंटेशन (जैसे रैंडम क्रॉपिंग) नॉन-इनवर्टिबल होते हैं और एक ग्रूप नहीं बनाते हैं, इसलिए SER मिनी-बैच को दो सब-बैच में विभाजित करता है:
  - $b_1$ (Invariant): मानक इनवेरियंस लॉस की गणना करने के लिए पूर्ण बेसलाइन ऑगमेंटेशन पॉलिसी (क्रॉपिंग सहित) का उपयोग करता है।
  - $b_2$ (Equivariant): एक संशोधित पॉलिसी $T_{eq}$ का उपयोग करता है जो क्रॉपिंग को अक्षम करती है लेकिन फोटोमेट्रिक जिटर को बनाए रखती है और इनवर्टिबल ज्यामितीय समूह $G$ से सैंपल लेती है।
- इक्विलैरिएंस लॉस ( $L_{equiv}$ ) को केवल $b_2$ पर इंटरमीडिएट टोकन मैप्स पर पैच-वाइज कंट्रास्टिव लॉस (NT-Xent) का उपयोग करके कंप्यूट किया जाता है।
ट्रेनिंग ऑब्जेक्टिव (Training Objective):
कुल लॉस एक भारित योग (weighted sum) है:
$L = L_{inv1} + L_{inv2} + \lambda L_{equiv}$
जहाँ $L_{inv}$ अंतिम एम्बेडिंग्स पर मानक SSL लॉस हैं, और $L_{equiv}$ इंटरमीडिएट फीचर्स पर सॉफ्ट इक्विलैरिएंस रेगुलराइज़र है।

3. मुख्य योगदान (Key Contributions)

ट्रेड-ऑफ की अनुभवजन्य खोज: यह पेपर दिखाता है कि अंतिम रिप्रजेंटेशन पर इनवेरियंस और इक्विलैरिएंस को जोड़ना उप-इष्टतम (suboptimal) है। इक्विलैरिएंस को इंटरमीडिएट लेयर्स में ले जाने से डिस्क्रिमिनेटिव पावर और ज्यामितीय मजबूती के बीच का ट्रेड-ऑफ बेहतर होता है।
SER फ्रेमवर्क: एक सरल, स्केलेबल रेगुलराइज़र जो अतिरिक्त ट्रांसफॉर्मेशन-प्रेडिक्शन हेड्स या प्रति-सैंपल ट्रांसफॉर्मेशन लेबल्स की आवश्यकता के बिना इनवेरियंस (फाइनल लेयर) और इक्विलैरिएंस (इंटरमीडिएट लेयर) को डिकपल करता है।
एनालिटिक इम्प्लीमेंटेशन: यह फीचर मैप्स पर ज्ञात ज्यामितीय ग्रूप एक्शन्स का उपयोग करता है, जिससे एक्शन नेटवर्क सीखने की कम्प्यूटेशनल लागत और जटिलता से बचा जा सकता है।
सामान्य डिज़ाइन सिद्धांत: लेखक दिखाते हैं कि इस "लेयर डिकपलिंग" रेसिपी को मौजूदा इक्विलियंट विधियों (EquiMod, AugSelf) पर लागू करने से उनका प्रदर्शन सुधरता है, जो यह सुझाव देता है कि यह इनवेरियंस और इक्विलैरिएंस को संयोजित करने के लिए एक सामान्यीकरण योग्य रणनीति है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग ViT-S/16 के साथ ImageNet-1k प्रीट्रेनिंग पर किए गए थे, जिसके बाद लीनियर इवैल्यूएशन, रोबस्टनेस टेस्टिंग और ट्रांसफर टास्क किए गए।

लीनियर इवैल्यूएशन (ImageNet-1k):
- एक सख्ती से मैच किए गए 2-व्यू सेटिंग के तहत, SER MoCo-v3 में +0.84% टॉप-1 एक्यूरेसी सुधारता है (68.44% $\to$ 69.28%)।
- SER अन्य इक्विलियंट एड-ऑन्स (AugSelf, STL, EquiMod, E-SSL) की तुलना में लगातार बेहतर प्रदर्शन करता है जब व्यू काउंट मैच किया जाता है।
- SER DINO (+0.26%) और Barlow Twins (+0.68%) में भी सुधार करता है।
रोबस्टनेस (ImageNet-C/P):
- SER ImageNet-C (करप्शन) पर औसत टॉप-1 एक्यूरेसी में +1.11% और ImageNet-P (परटर्बेशन) में +1.22% का सुधार करता है।
- यह शुद्ध इनवेरियंस बेसलाइन्स की तुलना में ज्यामितीय और अपीयरेंस-आधारित करप्शन के प्रति बेहतर मजबूती दर्शाता है।
स्पेशियल ट्रांसफर (COCO Detection):
- फ्रोजन-बैकबोन COCO ऑब्जेक्ट डिटेक्शन पर, SER MoCo-v3 की तुलना में +1.7 mAP का सुधार प्राप्त करता है, जो बेहतर स्थानिक संरचना (spatial structure) के संरक्षण को प्रदर्शित करता है।
दक्षता (Efficiency):
- SER न्यूनतम कम्प्यूटेशनल ओवरहेड जोड़ता है: बेसलाइन की तुलना में 1.008x ट्रेनिंग FLOPs।
- इसके लिए किसी अतिरिक्त ट्रांसफॉर्मेशन लेबल या प्रेडिक्शन हेड्स की आवश्यकता नहीं है।
एब्लेशन स्टडीज (Ablation Studies):
- लेयर प्लेसमेंट: तीसरे ट्रांसफार्मर ब्लॉक (इंटरमीडिएट) पर रेगुलराइज करने से सर्वोत्तम परिणाम मिलते हैं। इसे अंतिम लेयर (लेयर 12) पर ले जाने से इक्विलैरिएंस स्कोर बढ़ता है लेकिन क्लासिफिकेशन एक्यूरेसी गिर जाती है।
- कंट्रोल: इक्विलैरिएंस लॉस ( $\lambda=0$ ) को हटाने लेकिन बैच पार्टीशनिंग को बनाए रखने से केवल मामूली लाभ होता है, जो पुष्टि करता है कि लाभ स्वयं रेगुलराइज़र से आता है।

5. महत्व (Significance)

यह पेपर सेल्फ-सुपरवाइज्ड लर्निंग के एक मौलिक तनाव को संबोधित करता है: ऑगमेंटेशन के प्रति इनवेरिएंट फीचर्स (वर्गीकरण के लिए) और ट्रांसफॉर्मेशन के प्रति इक्विलियंट फीचर्स (मजबूती और स्थानिक कार्यों के लिए) सीखने के बीच का संघर्ष।

पैराडाइम शिफ्ट: यह सभी उद्देश्यों को अंतिम रिप्रजेंटेशन पर थोपने की प्रचलित पद्धति को चुनौती देता है, और इसके बजाय एक लेयर-डिकपल्ड दृष्टिकोण का प्रस्ताव करता है।
व्यावहारिकता: SER एक "प्लग-इन" समाधान है जो आर्किटेक्चरल ओवरहाल या महंगे सहायक नेटवर्क के बिना मौजूदा स्टेट-ऑफ-द-आर्ट SSL बैकबोन (MoCo, DINO, Barlow Twins) के साथ काम करता है।
सामान्यीकरण क्षमता: यह निष्कर्ष कि लेयर डिकपलिंग मौजूदा इक्विलियंट विधियों को बेहतर बनाता है, भविष्य के SSL अनुसंधान के लिए एक नया डिज़ाइन सिद्धांत सुझाता है, जो अन्य डोमेन में भी लागू हो सकता है जहाँ इनवेरियंस और इक्विलैरिएंस के बीच संतुलन की आवश्यकता होती है।

संक्षेप में, SER उनके वर्गीकरण प्रदर्शन को बनाए रखते हुए या सुधारते हुए, स्व-सुपरवाइज्ड विजुअल रिप्रजेंटेशन की ज्यामितीय मजबूती और ट्रांसफर क्षमता को बढ़ाने के लिए एक कम्प्यूटेशनल रूप से कुशल और सैद्धांतिक रूप से ठोस तरीका प्रदान करता है।