🤖 machine learning

Why Prototypes Collapse: Diagnosing and Preventing Partial Collapse in Prototypical Self-Supervised Learning

यह शोध पत्र प्रोटोटाइपिकल सेल्फ-सुपरवाइज्ड लर्निंग में आंशिक प्रोटोटाइप कोलैप्स के मूल कारण के रूप में जॉइंट ऑप्टिमाइज़ेशन की पहचान करता है और स्पष्ट रेगुलराइजेशन के बिना कोलैप्स को समाप्त करने और रिप्रेजेंटेशन डाइवर्सिटी में सुधार करने के लिए एक ऑनलाइन EM-शैली की प्रक्रिया का उपयोग करते हुए एक पूर्णतः डिकपल्ड ट्रेनिंग रणनीति प्रस्तावित करता है।

मूल लेखक: Gabriel Y. Arteaga, Marius Aasan, Rwiddhi Chakraborty, Martine Hjelkrem-Tan, Thalles Silva, Michael Kampffmeyer, Adín Ramírez Rivera

प्रकाशित 2026-02-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Gabriel Y. Arteaga, Marius Aasan, Rwiddhi Chakraborty, Martine Hjelkrem-Tan, Thalles Silva, Michael Kampffmeyer, Adín Ramírez Rivera

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Why Prototypes Collapse" पेपर का स्पष्टीकरण दिया गया है, जिसे सरल अवधारणाओं और रचनात्मक उपमाओं (analogies) में विभाजित किया गया है।

मुख्य विचार: "ग्रुप फोटो" की समस्या

कल्पना कीजिए कि आप एक शिक्षक हैं जो एक छात्र (एक AI) को विभिन्न जानवरों को पहचानना सिखाने की कोशिश कर रहे हैं। उन्हें "बिल्ली", "कुत्ता" या "पक्षी" जैसे नामों वाला कोई पाठ्यपुस्तक देने के बजाय, आप उन्हें कुछ खाली इंडेक्स कार्ड (जिन्हें Prototypes कहा जाता है) देते हैं।

आपका लक्ष्य यह है कि छात्र जानवरों की तस्वीरों को इन कार्डों पर छाँटना सीख जाए।

एक कार्ड पर सभी बिल्लियाँ होनी चाहिए।
दूसरे कार्ड पर सभी कुत्ते होने चाहिए।
और इसी तरह।

यदि छात्र यह काम अच्छी तरह से करता है, तो ये कार्ड विशिष्ट "एंकर" बन जाते हैं जो छात्र को दुनिया को समझने में मदद करते हैं। इसी तरह प्रोटोटाइपिकल सेल्फ-सुपरवाइज्ड लर्निंग (Prototypical Self-Supervised Learning) काम करती है।

समस्या: "गुच्छेबाजी" (Clumping) की आपदा

पेपर इस बड़ी खामी को उजागर करता है कि वर्तमान में इन छात्रों को कैसे सिखाया जा रहा है। वे "आंशिक प्रोटोटाइप कोलैप्स" (Partial Prototype Collapse) का शिकार होते हैं।

उपमा:
कल्पना कीजिए कि आपके पास 100 खाली इंडेक्स कार्ड हैं। आप चाहते हैं कि छात्र 100 अलग-अलग प्रकार के जानवरों को छाँटे।
हालाँकि, जिस तरह से छात्र को प्रशिक्षित किया जा रहा है, उसके कारण वे आलसी हो जाते हैं। सभी 100 कार्डों का उपयोग करने के बजाय, वे तय करते हैं कि वे सभी जानवरों को केवल दो कार्डों पर डाल देंगे।

कार्ड #1 में बिल्लियाँ, कुत्ते और पक्षी आ जाते हैं।
कार्ड #2 में बाकी सब आ जाता है।
कार्ड #3 से लेकर #100 तक पूरी तरह खाली या कार्ड #1 के समान ही रह जाते हैं।

छात्र ने तकनीकी रूप से चीजों को छाँटना "सीख" लिया है, लेकिन वह दुनिया की विविधता को सीखने में विफल रहा है। वे एक "शॉर्टकट" का उपयोग कर रहे हैं ताकि कम त्रुटि (low error) के साथ अच्छा ग्रेड प्राप्त कर सकें, बिना बिल्ली और कुत्ते के बीच अंतर करने की कठिन मेहनत किए।

AI की दुनिया में, इसका मतलब है कि AI समृद्ध, विस्तृत विशेषताओं को सीखना बंद कर देता है और केवल कुछ सामान्य पैटर्न को याद रखने लगता है। यह बुरा है क्योंकि यह AI को भविष्य में नई, कठिन या दुर्लभ स्थितियों का सामना करने पर कमजोर बना देता है।

कारण: "खराब शिक्षक" (Joint Optimization)

यह गुच्छेबाजी क्यों होती है? पेपर का तर्क है कि ऐसा इसलिए होता है क्योंकि शिक्षक (Teacher) और छात्र (Student) एक साथ इस तरह सीख रहे हैं जो नकल करने (cheating) को बढ़ावा देता है।

उपमा:
कल्पना कीजिए कि शिक्षक (AI का आंतरिक संदर्भ) और छात्र एक ही कमरे में एक पहेली को हल करने की कोशिश कर रहे हैं।

छात्र अनुमान लगाने की कोशिश करता है कि तस्वीर कहाँ रखी जानी चाहिए।
शिक्षक तुरंत कहता है, "बहुत अच्छा!" यदि छात्र तस्वीर को किसी ऐसे कार्ड पर रखता है जो पहले से ही भरा हुआ है।
छात्र को एहसास होता है: "अरे, अगर मैं सब कुछ भरे हुए कार्डों पर डाल दूँ, तो शिक्षक खुश हो जाएगा, और मुझे जल्दी से उच्च स्कोर मिल जाएगा!"

क्योंकि वे एक साथ अनुकूलन (Joint Optimization) कर रहे हैं, शिक्षक अनजाने में छात्र को आसान रास्ता चुनने के लिए प्रोत्साहित करता है। वे एक-दूसरे की सुस्ती को पुख्ता करते हैं। "शॉर्टकट" मानक बन जाते हैं, और अद्वितीय कार्ड (विविध प्रोटोटाइप) छोड़ दिए जाते हैं।

समाधान: "स्वतंत्र सलाहकार" (Decoupling)

लेखक प्रशिक्षण का एक नया तरीका प्रस्तावित करते हैं जिसे डिकपलिंग (Decoupling) कहा जाता है।

उपमा:
शिक्षक और छात्र के एक ही कमरे में काम करने के बजाय, उन्हें अलग कर दिया जाता है।

छात्र तस्वीरों को देखता है और उन्हें छाँटने की कोशिश करता है।
सलाहकार (The Prototype System) एक अलग विशेषज्ञ है जो छात्र के काम को बाद में देखता है। सलाहकार को छात्र के स्कोर की परवाह नहीं है; उन्हें केवल विविधता (Diversity) की परवाह है।
- यदि सलाहकार देखता है कि छात्र सब कुछ कार्ड #1 पर डाल रहा है, तो सलाहकार कहता है, "नहीं, नहीं! आपको कार्ड #50 का उपयोग करने की आवश्यकता है। आइए कुछ तस्वीरें वहां ले चलते हैं।"
- सलाहकार कार्डों को एक सांख्यिकीय नियम (जैसे Gaussian Mixture Model) के आधार पर अपडेट करता है, यह सुनिश्चित करता है कि हर कार्ड को काम का उचित हिस्सा मिले।
छात्र फिर अपनी छँटाई को सलाहकार की नई, विविध व्यवस्था के साथ मिलाने का प्रयास करता है।

दोनों को अलग करके, "शिक्षक" छात्र को शॉर्टकट लेने के लिए धोखा नहीं दे सकता। सलाहकार सिस्टम को मजबूर करता है कि वह अपने सभी 100 कार्डों का उपयोग करे, जिससे यह सुनिश्चित होता है कि AI दुनिया की एक समृद्ध और विविध समझ विकसित करे।

यह क्यों महत्वपूर्ण है

बेहतर प्रदर्शन: जब AI अपने सभी कार्डों (प्रोटोटाइप) का उपयोग करता है, तो वह अधिक स्मार्ट हो जाता है। वह पहले की तुलना में दुर्लभ जानवरों (जैसे कि एक विशिष्ट प्रकार का भृंग/beetle) को बहुत बेहतर तरीके से संभालता है।
"जादुई नंबरों" की आवश्यकता नहीं: पहले, इंजीनियरों को यह अनुमान लगाना पड़ता था कि कितने कार्ड का उपयोग करना है या गुच्छेबाजी को रोकने के लिए जटिल नियम जोड़ने पड़ते थे। यह नया तरीका बिना किसी जटिल ट्रिक के स्वाभाविक रूप से इस समस्या को ठीक करता है।
दक्षता (Efficiency): आश्चर्यजनक रूप से, यह तरीका वास्तव में कम कंप्यूटर मेमोरी का उपयोग करता है क्योंकि इसे पुराने तरीके की तरह जटिल "चीटिंग" गणित को ट्रैक करने की आवश्यकता नहीं होती है।

सारांश

समस्या: AI मॉडल आलसी हैं। वे सभी अलग-अलग चीजों को कुछ बकेटों (buckets) में डाल देते हैं क्योंकि प्रशिक्षण का तरीका ही उन्हें ऐसा करने के लिए प्रेरित करता है।
कारण: AI का "शिक्षक" और "छात्र" बहुत करीब हैं, जिससे वे एक-दूसरे की सुस्ती को बढ़ावा देते हैं।
समाधान: उन्हें अलग करें! एक सख्त, स्वतंत्र प्रणाली का उपयोग करें जो AI को अपने सभी बकेटों का उपयोग करने के लिए मजबूर करे।
परिणाम: एक अधिक स्मार्ट, अधिक मजबूत AI जो दुनिया की विविधता को समझता है, न कि केवल उसके आसान हिस्सों को।

यहाँ पेपर "Why Prototypes Collapse: Diagnosing and Preventing Partial Collapse in Prototypical Self-Supervised Learning" (ICLR 2026) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण: आंशिक प्रोटोटाइप कोलैप्स (Partial Prototype Collapse)

यह पेपर प्रोटोटाइपिकल सेल्फ-सुपरवाइज्ड लर्निंग (SSL) फ्रेमवर्क्स (जैसे DINO, DINOv2, CARP) में एक महत्वपूर्ण विफलता मोड को संबोधित करता है। इन विधियों में, सीखने योग्य वेक्टर्स का एक सेट (प्रोटोटाइप) क्लस्टर एंकर्स के रूप में कार्य करता है ताकि एनकोडर को समृद्ध और विविध रिप्रजेंटेशन की ओर निर्देशित किया जा सके।

घटना (The Phenomenon): लेखक आंशिक प्रोटोटाइप कोलैप्स (Partial Prototype Collapse) की पहचान करते हैं, जहाँ प्रशिक्षण के दौरान कई प्रोटोटाइप लगभग समान रिप्रजेंटेशन में अभिसरित (converge) हो जाते हैं।
परिणाम (The Consequence): यह एम्बेडिंग स्पेस की प्रभावी विविधता (diversity) को कम कर देता है, जो प्रोटोटाइप के मूल उद्देश्य (विविध लक्ष्य प्रदान करना) को कमजोर करता है। यह अभ्यासकर्ताओं को प्रोटोटाइप की संख्या को अत्यधिक पैरामीटराइज करने या लक्षणों को कम करने के लिए एड-हॉक रेगुलराइज़र (जैसे KoLeo रेगुलराइज़ेशन) जोड़ने के लिए मजबूर करता है, बजाय इसके कि मूल कारण को हल किया जाए।
वर्तमान सीमाएँ: मौजूदा समाधान अक्सर स्पष्ट रेगुलराइजेशन टर्म्स पर निर्भर करते हैं जो हाइपरपैरामीटर ट्रेड-ऑफ (विविधता बनाम एनकोडर लर्निंग के बीच संतुलन) पेश करते हैं या इंस्टेंस-लेवल ऑब्जेक्टिव्स में समस्या को पूरी तरह से हल करने में विफल रहते हैं।

2. मूल कारण निदान: संयुक्त अनुकूलन (Joint Optimization)

विभिन्न फ्रेमवर्क्स (DINO, DINOv2, CARP, CAPI, iBOT) के व्यवस्थित अनुभवजन्य विश्लेषण के माध्यम से, लेखक कोलैप्स के मूल कारण का निदान करते हैं:

संयुक्त अनुकूलन शॉर्टकट (Joint Optimization Shortcut): मानक दृष्टिकोण एक साझा लॉस फंक्शन ( $L_f$ ) के तहत एनकोडर ( $f_\theta$ ) और प्रोटोटाइप ( $C$ ) को संयुक्त रूप से अनुकूलित करता है।
तंत्र (Mechanism): यह संयुक्त अनुकूलन शॉर्टकट लर्निंग के एक रूप को प्रोत्साहित करता है। प्रशिक्षण के शुरुआती चरणों में, प्रोटोटाइप उन रेडंडेंट (redundant) रिप्रजेंटेशन की ओर झुक जाते हैं जो एनकोडर के फीचर्स की विविधता या अर्थपूर्ण गुणवत्ता को बढ़ाने के बजाय केवल प्रेडिक्शन लॉस को कम करते हैं।
साक्ष्य (Evidence): पेपर प्रदर्शित करता है कि आंशिक डिकपलिंग (जैसे CAPI) वाले तरीके पूर्ण संयुक्त विधियों (जैसे DINO) की तुलना में बेहतर विविधता दिखाते हैं, लेकिन केवल पूर्ण डिकपलिंग (full decoupling) ही कोलैप्स को पूरी तरह से समाप्त करती है।

3. कार्यप्रणाली: पूर्णतः विच्छेदित प्रशिक्षण (Fully Decoupled Training)

लेखक एक पूर्णतः विच्छेदित प्रशिक्षण रणनीति (fully decoupled training strategy) का प्रस्ताव करते हैं जो प्रोटोटाइप एस्टीमेशन को एनकोडर लर्निंग से अलग करती है, जिससे संयुक्त अनुकूलन लूप टूट जाता है।

मुख्य अवधारणा (Core Concept)

एक संयुक्त लॉस $\min_{\theta, C} L_f(f_\theta, C)$ को मिनिमाइज करने के बजाय, प्रशिक्षण दो अलग-अलग उद्देश्यों के बीच बारी-बारी से चलता है:

प्रोटोटाइप अपडेट (अनसुपरवाइज्ड एस्टीमेशन): टीचर से प्राप्त लेटेंट फीचर्स $h_\phi$ के आधार पर प्रोटोटाइप $C_t$ को अपडेट करें, जो एनकोडर के लॉस से स्वतंत्र है।
$C_t = \arg \min_{C} L_C(C_{t-1}, h_\phi)$
एनकोडर अपडेट: कंसिस्टेंसी लॉस को कम करने के लिए फिक्स्ड प्रोटोटाइप $C_t$ का उपयोग करके एनकोडर $\theta$ को अपडेट करें।
$\theta_{t+1} = \arg \min_{\theta} L_f(h_\theta, C_t)$

कार्यान्वयन: ऑनलाइन गॉसियन मिक्सचर मॉडल (Online GMM)

प्रोटोटाइप एस्टीमेशन समस्या (Eq. 3) को कुशलतापूर्वक और मजबूती से हल करने के लिए, लेखक प्रोटोटाइप को एक ऑनलाइन गॉसियन मिक्सचर मॉडल (GMM) के माध्य (means) के रूप में मॉडल करते हैं:

EM-स्टाइल प्रक्रिया: प्रोटोटाइप को ऑन-द-फ्लाई एक एक्सपेक्टेशन-मैक्सिमाइजेशन (EM) दृष्टिकोण का उपयोग करके अपडेट किया जाता है।
रिस्पॉन्सिबिलिटी-वेटेड फॉरगेटिंग (Responsibility-Weighted Forgetting): उच्च-आयामी स्पेस और बड़े प्रोटोटाइप काउंट (जैसे 65k) को संभालने के लिए, वे एक तंत्र पेश करते हैं जहाँ प्रत्येक घटक की अपेक्षित 'रिस्पॉन्सिबिलिटी' द्वारा "फॉरगेटिंग फैक्टर" को नियंत्रित किया जाता है। यह घटकों को शून्य तक कोलैप होने से रोकता है जिनके पास स्पार्स अपडेट होते हैं।
स्प्लिट-रिसरेक्शन रेगुलराइजेशन (Split-Resurrect Regularization): विविधता बनाए रखने के लिए, यदि कोई घटक बहुत अधिक प्रभावी हो जाता है, तो उसके मास (mass) को विभाजित किया जाता है और एक "रिसरेक्टेड" घटक को रैंडम स्केल-अवेयर पैरामीटर्स के साथ इनिशियलाइज़ किया जाता है।
कोई ग्रेडिएंट फ्लो नहीं (No Gradient Flow): महत्वपूर्ण रूप से, प्रोटोटाइप अपडेट से एनकोडर की ओर कोई ग्रेडिएंट प्रवाहित नहीं होता है, जिससे एनकोडर को प्रोटोटाइप को "गेम" करने का प्रोत्साहन नहीं मिलता है।

4. प्रमुख योगदान

व्यवस्थित निदान: पहला व्यापक विश्लेषण जो यह दिखाता है कि आंशिक प्रोटोटाइप कोलैप्स केवल विशिष्ट आर्किटेक्चरों का परिणाम नहीं है, बल्कि DINO फैमिली और अन्य प्रोटोटाइपिकल SSL विधियों में एक व्यापक घटना है।
तंत्र की पहचान: संयुक्त अनुकूलन (joint optimization) को कोलैप्स के प्राथमिक चालक के रूप में पहचानना, जिसे शॉर्टकट लर्निंग घटना के रूप में समझाया गया है जहाँ प्रोटोटाइप समय से पहले लॉस को कम करने के लिए रेडंडेंट अवस्थाओं में अभिसरित होते हैं।
डिकपल्ड फ्रेमवर्क: एक ऑनलाइन GMM का उपयोग करके एक सिद्धांत आधारित, पूर्णतः विच्छेदित (fully decoupled) प्रशिक्षण फ्रेमवर्क पेश करना जो बिना किसी स्पष्ट रेगुलराइजेशन या जटिल हाइपरपैरामीटर ट्यूनिंग के प्रोटोटाइप कोलैप्स को समाप्त करता है।
सैद्धांतिक औचित्य: एक सैद्धांतिक परिप्रेक्ष्य प्रदान करना जो दिखाता है कि विच्छेदित फिक्स्ड पॉइंट्स (जहाँ प्रोटोटाइप विशिष्ट रिस्पॉन्सिबिलिटीज़ के सेंट्रॉइड्स होते हैं) लगभग निश्चित रूप से कोलैप्स को रोकते हैं, जबकि संयुक्त अनुकूलन कोलैप्स्ड स्टेट्स को स्टेशनरी पॉइंट्स के रूप में अनुमति देता है।

5. प्रयोगात्मक परिणाम

लेखकों ने अपने मेथड (CARP + Decoupling) का मूल्यांकन DINO, DINOv2, और KoLeo रेगुलराइजेशन (KP) के साथ CARP जैसे बेसलाइन्स के विरुद्ध किया।

प्रोटोटाइप विविधता (Prototype Diversity):
- DINO/DINOv2: गंभीर कोलैप्स का शिकार हुए (थ्रेशोल्ड के आधार पर केवल ~1.5% से 43% यूनिक प्रोटोटाइप बरकरार रहे)।
- CARP + Decoupling: सभी परीक्षण किए गए थ्रेशोल्ड ( $\epsilon$ ) में 100% यूनिक प्रोटोटाइप बनाए रखा, प्रभावी रूप से कोलैप्स को समाप्त कर दिया।
ट्रेनिंग डायनेमिक्स (Training Dynamics):
- संयुक्त विधियों में कोलैप्स बहुत जल्दी (10 एपॉक्स के भीतर) होता है।
- विच्छेदित (decoupled) विधि पूरे प्रशिक्षण के दौरान पूर्ण प्रोटोटाइप उपयोगिता बनाए रखती है।
डाउनस्ट्रीम प्रदर्शन (Downstream Performance):
- k-NN सटीकता: CARP + Decoupling ने स्टैंडर्ड CARP की तुलना में ImageNet-1k पर k-NN सटीकता में +1.8% का सुधार किया।
- लॉन्ग-टेल्ड रोबस्टनेस (Long-Tailed Robustness): iNaturalist-18 डेटासेट (अत्यधिक असंतुलित) पर, विच्छेदित विधि ने हेड, मीडियम और टेल क्लास में कुल मिलाकर +3.0% की वृद्धि के साथ सटीकता में सुधार किया। यह पुष्टि करता है कि विविधता केवल हेड क्लास ही नहीं, बल्कि टेल क्लास के लिए भी मदद करती है।
- ट्रांसफर लर्निंग: मानक ट्रांसफर बेंचमार्क (Aircraft, Cars, आदि) पर प्रदर्शन बेसलाइन्स के बराबर या थोड़ा बेहतर था।
दक्षता (Efficiency):
- मेमोरी: विच्छेदित दृष्टिकोण पीक GPU मेमोरी उपयोग को कम करता है (बड़े बैच साइज पर 1.5GB तक), क्योंकि यह प्रोटोटाइप ऑप्टिमाइज़ेशन के लिए कम्प्यूटेशन ग्राफ को स्टोर करने से बचता है।
- समय: प्रशिक्षण समय में नगण्य वृद्धि (~100 एपॉक्स के लिए ~0.2 घंटे)।

6. महत्व और निष्कर्ष

यह कार्य प्रोटोटाइपिकल SSL के प्रतिमान को संयुक्त अनुकूलन (joint optimization) से विच्छेदित एस्टीमेशन (decoupled estimation) की ओर मौलिक रूप से बदल देता है।

सैद्धांतिक अंतर्दृष्टि: यह सिद्ध करता है कि कोलैप्स होते प्रोटोटाइप का "शॉर्टकट" संयुक्त प्रशिक्षण द्वारा निर्मित ऑप्टिमाइज़ेशन लैंडस्केप का सीधा परिणाम है।
व्यावहारिक प्रभाव: प्रस्तावित विधि एड-हॉक रेगुलराइज़र या अत्यधिक पैरामीटराइजेशन की आवश्यकता के बिना कोलैप्स को रोकने का एक सरल, स्केलेबल और सिद्धांत आधारित तरीका प्रदान करती है।
मजबूती (Robustness): विविध प्रोटोटाइप सुनिश्चित करके, यह विधि मॉडल की असंतुलित डेटा वितरण के प्रति मजबूती को काफी बढ़ा देती है, जो वास्तविक दुनिया के अनुप्रयोगों के लिए एक महत्वपूर्ण आवश्यकता है।

लेखक निष्कर्ष निकालते हैं कि प्रोटोटाइपिकल सेल्फ-सुपरवाइज्ड लर्निंग की पूर्ण क्षमता को अनलॉक करने के लिए संयुक्त अनुकूलन लूप को तोड़ना आवश्यक है, जिससे समृद्ध रिप्रजेंटेशन और अधिक स्थिर प्रशिक्षण डायनेमिक्स प्राप्त होता है।