🤖 machine learning

The role of class encoding in neural collapse

यह शोध पत्र इस बात की जांच करता है कि लेबल एनकोडिंग न्यूरल कोलैप्स (neural collapse) को कैसे प्रभावित करती है, यह प्रदर्शित करते हुए कि संतुलित डेटा पर वन-हॉट एनकोडेड लेबल्स के लिए, बायस रेगुलराइजेशन (bias regularization) बढ़ाने से अनसेंटर्ड मीन फीचर्स (uncentered mean features) एक सिम्प्लेक्स इक्विएंगुलर टाइट फ्रेम (simplex equiangular tight frame) से एक ऑर्थोगोनल फ्रेम (orthogonal frame) में परिवर्तित हो जाते हैं, और साथ ही यह भी दर्शाता है कि क्लासिफायर का बायस आम तौर पर मनमाने लेबल एनकोडिंग्स को केंद्रित करने का कार्य करता है।

मूल लेखक: Bastien Massion, Roy Makhlouf, Estelle Massart

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bastien Massion, Roy Makhlouf, Estelle Massart

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप रोबोट्स की एक टीम (एक न्यूरल नेटवर्क) को खिलौनों के एक ढेर को अलग-अलग बक्सों में छांटने के लिए प्रशिक्षित कर रहे हैं। इन रोबोट्स का एक "मस्तिष्क" (हिडन लेयर्स) है जो खिलौनों को प्रोसेस करता है, और एक "निर्णय लेने वाला" (फाइनल क्लासिफायर) है जो सही बक्से की ओर इशारा करता है।

यह शोध पत्र न्यूरल कोलैप्स (Neural Collapse) नामक एक अजीब और सुंदर घटना की जांच करता है। जब रोबट अपने काम में बहुत कुशल हो जाते हैं (शून्य गलतियाँ करते हैं), तो उनके मस्तिष्क में कुछ जादुई होता है: एक ही बक्से के खिलौनों के आंतरिक प्रतिनिधित्व (internal representations) आपस में जुड़कर घने, सटीक समूहों में सिमटने लगते हैं।

यहाँ लेखकों द्वारा की गई खोजों का सरल विवरण दिया गया है, जिसे रोजमर्रा के उदाहरणों का उपयोग करके समझाया गया है:

1. संगठन के दो आकार

यह शोध पत्र देखता है कि खिलौनों के ये समूह खुद को कैसे व्यवस्थित करते हैं। उन्होंने पाया कि यह व्यवस्था काफी हद तक दो चीजों पर निर्भर करती है: बक्सों को कैसे लेबल किया गया है और निर्णय लेने वाले को अपनी स्थिति को कितना "शिफ्ट" करने की अनुमति है।

"ऑर्थोनॉर्मल" आकार (ग्रिड): कल्पना कीजिए कि रोबोट खिलौनों के समूहों को एक सटीक वर्गाकार ग्रिड के कोनों की तरह व्यवस्थित करते हैं। हर समूह दूसरे के साथ समकोण (right angle) पर होता है। यह तब होता है जब निर्णय लेने वाले को बिल्कुल केंद्र में रहने के लिए मजबूर किया जाता है (जीरो बायस)।
"सिम्प्लेक्स" आकार (पिरामिड): कल्पना कीजिए कि समूह एक सटीक पिरामिड (या यदि केवल तीन समूह हैं तो एक त्रिकोण) के कोनों की तरह व्यवस्थित होते हैं। वे सभी एक-दूसरे से समान दूरी पर होते हैं, लेकिन थोड़े झुके हुए होते हैं। यह तब होता है जब निर्णय लेने वाले को स्वतंत्र रूप से घूमने की अनुमति दी जाती है।

बड़ी खोज: लेखकों ने महसूस किया कि ये दो आकार वास्तव में अलग-अलग दुनिया नहीं हैं। वे बस एक ही आकार हैं, बस थोड़ा शिफ्ट किए हुए।

"ग्रिड" को एक मेज पर रखे पिरामिड की तरह समझें।
यदि आप पूरे पिरामिड को ऊपर उठाते हैं (एक "बायस" जोड़ते हैं), तो पिरामिड का केंद्र बदल जाता है, लेकिन कोनों के बीच के सापेक्ष कोण (relative angles) समान रहते हैं।
पेपर दिखाता है कि एक "रेगुलराइजेशन नॉब" (जो यह नियंत्रित करता है कि निर्णय लेने वाले को कितना हिलने की अनुमति है) को समायोजित करके, आप रोबोट के मस्तिष्क को ग्रिड आकार से पिरामिड आकार की ओर सुचारू रूप से स्लाइड कर सकते हैं।

2. "लेबल" की भूमिका (बक्सों के टैग)

यह शोध पत्र पूछता है: क्या इससे फर्क पड़ता है कि हम बक्सों पर नाम कैसे लिखते हैं?

मानक लेबल (वन-हॉट): आमतौर पर, हम बक्सों को एक "1" के साथ लेबल करते हैं जो सही बक्से के लिए होता है और बाकी सब के लिए "0" (जैसे एक लाइट स्विच)।
बायस का काम: लेखकों ने पाया कि निर्णय लेने वाला "बायस" एक क्षतिपूर्ति करने वाले (compensator) के रूप में कार्य करता है। इसका मुख्य काम यह सुनिश्चित करना है कि सभी लेबल का औसत स्थान कमरे के ठीक बीच में रहे।
- यदि आपके लेबल स्वाभाविक रूप से संतुलित (centered) हैं, तो बायस शून्य रहेगा।
- यदि आपके लेबल असंतुलित हैं (जैसे कि यदि आप कोई अजीब कोडिंग सिस्टम उपयोग कर रहे हैं), तो बायस पूरे सिस्टम को वापस केंद्र में खींचने के लिए शिफ्ट होगा। यह एक रस्सी पर चलने वाले कलाकार की तरह है जो संतुलन बनाए रखने के लिए अपने डंडे को एडजस्ट करता है।

3. क्या बदलता है और क्या समान रहता है?

यह शोध पत्र जाँचता है कि क्या लेबल (एनकोडिंग) बदलने से न्यूरल कोलैप्स का जादू टूट जाता है।

"क्लंपिंग" (NC1): यह हिस्सा अत्यधिक मजबूत (robust) है। आप बक्सों को कैसे भी लेबल करें या बायस को कैसे भी ट्यून करें, रोबोट हमेशा समान खिलौनों को एक साथ समूहित करेंगे। यह कहने जैसा है कि, "चाहे आप बक्सों को किसी भी रंग से पेंट करें, लाल कारें हमेशा लाल ज़ोन में ही पार्क होंगी।"
"परफेक्ट सिमेट्री" (NC2): यहाँ लेबल मायने रखते हैं। पूर्ण पिरामिड आकार केवल तभी बनता है जब लेबल में एक निश्चित समरूपता (symmetry) होती है। यदि आप लेबल को अजीब तरीके से बदलते हैं, तो रोबोट शायद वह पूर्ण पिरामिड नहीं बना पाएंगे, हालांकि वे अभी भी क्लंपिंग (समूहीकरण) करेंगे।
"मिरर इमेज" (NC3): आमतौर पर, निर्णय लेने वाले के वेट्स (weights) बिल्कुल क्लंप किए गए खिलौना समूहों की तरह दिखते हैं (एक गुण जिसे सेल्फ-ड्यूअलिटी कहा जाता है)। पेपर ने पाया कि यदि आप लेबल को घुमाते या बदलते हैं, तो यह मिरर इमेज टूट जाती है। हालाँकि, यह वास्तव में टूटा नहीं है; यह बस घूम गया है। यदि आप निर्णय लेने वाले को वापस घुमाते हैं, तो मिरर इमेज वापस आ जाती है। इसलिए, संबंध अभी भी मौजूद है, बस उसने एक अलग टोपी पहनी हुई है।

सारांश

संक्षेप में, यह शोध पत्र बताता है कि न्यूरल कोलैप्स एक बहुत ही स्थिर घटना है।

रोबोट हमेशा समान चीजों को एक साथ समूहबद्ध करते हैं।
इन समूहों की विशिष्ट ज्यामितीय आकृति (ग्रिड बनाम पिरामिड) एक "बायस नॉब" और लेबल लिखने के तरीके द्वारा नियंत्रित होती है।
बायस एक सेंटरिंग मैकेनिज्म के रूप में कार्य करता है, यह सुनिश्चित करता है कि लेबल को कैसे भी एनकोड किया जाए, सिस्टम संतुलित रहे।
भले ही लेबल को इधर-उधर कर दिया जाए, मौलिक "क्लंपिंग" बनी रहती है, और समूहों तथा निर्णय लेने वाले के बीच का संबंध केवल घूम जाता है, नष्ट नहीं होता।

लेखकों ने नए चिकित्सा उपयोग या भविष्य के अनुप्रयोग प्रस्तावित नहीं किए; उन्होंने केवल इस गणितीय "ज्यामिति" का मानचित्र तैयार किया कि कैसे ये AI मस्तिष्क खुद को व्यवस्थित करते हैं जब वे अपने सर्वश्रेष्ठ काम कर रहे होते हैं।

तकनीकी सारांश: न्यूरल कोलैप्स में क्लास एनकोडिंग की भूमिका

समस्या विवरण
न्यूरल कोलैप्स (NC) एक ऐसी घटना है जो डीप न्यूरल नेटवर्क क्लासिफायर के प्रशिक्षण के अंतिम चरण में देखी जाती है, जो अंतिम-हिडन-लेयर एक्टिवेशन में विशिष्ट ज्यामितीय संरचनाओं द्वारा लक्षित होती है जब प्रशिक्षण त्रुटि शून्य तक पहुँच जाती है। जबकि क्रॉस-एन्ट्रॉपी लॉस के साथ अनकन्स्ट्रेंड फीचर्स मॉडल (UFM) के तहत NC का व्यापक रूप से अध्ययन किया गया है, मीन स्क्वेर्ड एरर (MSE) लॉस के तहत इसका व्यवहार जांच का विषय बना हुआ है। विशेष रूप से, पिछले कार्यों ने UFM के साथ MSE लॉस और वन-हॉट एनकोडेड लेबल्स के तहत क्लास मीन एक्टिवेशन्स के लिए दो अलग-अलग संरचनात्मक परिणामों की पहचान की है: एक ऑर्थोगोनल फ्रेम (OF) जब क्लासिफायर बायस अनुपस्थित या अत्यधिक नियमित (regularized) होता है, और एक सिम्प्लेक्स इक्येंगुलर टाइट फ्रेम (ETF) जब एक अनरेगुलराइज्ड बायस मौजूद होता है। इन संरचनाओं और मनमाने लेबल एनकोडिंग के NC गुणों पर प्रभाव के बीच का संबंध पूरी तरह से समझ में नहीं आया है। यह शोध लेबल एनकोडिंग और बायस टर्म की भूमिका को संबोधित करता है।

कार्यप्रणाली
लेखक MSE ट्रेनिंग लॉस के साथ अनकन्स्ट्रेंड फीचर्स मॉडल (UFM) का उपयोग करके इस समस्या का विश्लेषण करते हैं। अनुकूलन समस्या (optimization problem) में सभी मापदंडों पर $\ell_2$ रेगुलराइजेशन के अधीन, अनकन्स्ट्रेंड फीचर्स ( $H$ ), एक लीनियर क्लासिफायर ( $W$ ), और एक बायस टर्म ( $b$ ) पर जॉइंटली लॉस को कम करना शामिल है। अध्ययन निम्नलिखित पर विचार करता है:

लेबल एनकोडिंग: मानक वन-हॉट एनकोडिंग से लेकर मनमाने एनकोडिंग मैट्रिसेस $\bar{Y} \in \mathbb{R}^{K \times K}$ तक, जिसमें लेबल स्मूथिंग भी शामिल है।
बायस रेगुलराइजेशन: क्लासिफायर बायस से जुड़े रेगुलराइजेशन गुणांक $\lambda_b$ के प्रभाव का विश्लेषण।
डेटा बैलेंस: विश्लेषण संतुलित (balanced) और असंतुलित (imbalanced) दोनों डेटा परिदृश्यों को कवर करता है।

सैद्धांतिक व्युत्पत्ति (derivations) ग्लोबल मिनिमाइज़र को लक्षणित करने के लिए फर्स्ट-ऑर्डर ऑप्टिमैलिटी कंडीशंस पर निर्भर करती है। लेखक देखे गए ज्यामितीय संरचनाओं को एकीकृत करने के लिए "शिफ्टेड सिम्प्लेक्स इक्येंगुलर टाइट फ्रेम" (SSETF) की अवधारणा पेश करते हैं।

मुख्य योगदान और परिणाम

OF और सिम्प्लेक्स ETF संरचनाओं का एकीकरण:
पत्र यह प्रदर्शित करता है कि ऑर्थोगोनल फ्रेम (OF) और सिम्प्लेक्स ETF के बीच संक्रमण बायस टर्म द्वारा नियंत्रित होता है। वन-हॉट एनकोडेड लेबल्स और संतुलित डेटा के लिए, जैसे-जैसे बायस रेगुलराइजेशन गुणांक $\lambda_b$ घटता है, अनसेंटर्ड मीन फीचर्स एक OF से सिम्प्लेक्स ETF में निरंतर परिवर्तित होते हैं।

तंत्र (Mechanism): इष्टतम बायस $b^*$ लेबल्स के नॉन-सेंटरिंग की भरपाई करने का कार्य करता है। अनरेगुलराइज्ड बायस ( $\lambda_b = 0$ ) की सीमा में, बायस लेबल्स के माध्य (mean) के बराबर होता है, जो प्रभावी रूप से समस्या को सेंटर करता है और एक सिम्प्लेक्स ETF संरचना प्रदान करता है।
SSETF परिभाषा: लेखक SSETF को एक सामान्यीकरण के रूप में परिभाषित करते हैं जो OFs (शिफ्ट पैरामीटर $\beta=0$ ) और सिम्प्लेक्स ETFs (शिफ्ट पैरामीटर $\beta=1$ ) दोनों को समाहित करता है। वे सिद्ध करते हैं कि किसी भी SSETF को सेंटर करने से एक सिम्प्लेक्स ETF प्राप्त होता है।

मनमाने एनकोडिंग में बायस की भूमिका:
वन-हॉट एनकोडिंग से आगे बढ़ते हुए, लेखक दिखाते हैं कि किसी भी मनमाने लेबल एनकोडिंग और असंतुलित डेटा के लिए, इष्टतम बायस लेबल्स को सेंटर करने का लक्ष्य रखता है। विशेष रूप से, यदि लेबल्स सेंटर्ड हैं ( $Y \mathbf{1}_N = 0$ ), तो इष्टतम बायस $\lambda_b$ के बावजूद शून्य होता है। यदि लेबल्स सेंटर्ड नहीं हैं, तो बायस टर्म लेबल्स के ग्लोबल मीन और ओरिजिन के बीच के अंतर की भरपाई के लिए समाधान को शिफ्ट करता है।
वेरिएबिलिटी कोलैप्स (NC1) की मजबूती:
यह पत्र सिद्ध करता है कि न्यूरल कोलैप्स का पहला गुण (NC1)—फीचर्स का उनके क्लास मीन्स में कोलैप्स होना—किसी भी लेबल एनकोडिंग और किसी भी बायस रेगुलराइजेशन स्ट्रेंथ $\lambda_b \geq 0$ के लिए बना रहता, बशर्ते डेटा संतुलित हो। यह इंगित करता है कि वेरिएबिलिटी कोलैप्स विशिष्ट एनकोडिंग स्कीम से स्वतंत्र है।
सेल्फ-डुअलिटी (NC3) और NC3' पर प्रभाव:
अध्ययन यह प्रकट करता है कि मानक सेल्फ-डुअलिटी प्रॉपर्टी (NC3), जहाँ क्लासिफायर वेट्स क्लास मीन्स के साथ संरेखित (align) होते हैं, मनमाने एनकोडिंग के प्रति मजबूत नहीं है। लेबल्स पर एक ऑर्थोगोनल ट्रांसफॉर्मेशन लगाने से $W^*$ और क्लास मीन्स $\bar{H}^*$ के बीच सीधा संरेखण टूट जाता है।

प्रस्तावित समाधान: लेखक एक कमजोर संस्करण, NC3' प्रस्तावित करते हैं, जो कहता है कि क्लासिफायर वेट्स रीस्केलिंग और एक ऑर्थोगनल रोटेशन/रिफ्लेक्शन तक क्लास मीन्स की ओर अभिसरित (converge) होते हैं। वे सिद्ध करते हैं कि MSE लॉस के साथ UFM के लिए कोई भी संतुलित एनकोडिंग हेतु NC3' सत्य है।

सिम्प्लेक्स ETF (NC2) और SSETF की ओर अभिसरण:
यह पत्र स्थापित करता है कि यदि इष्टतम मीन फीचर्स एक SSETF बनाते हैं, तो उनके सेंटर्ड समकक्ष एक सिम्प्लेक्स ETF (जो NC2 को संतुष्ट करता है) बनाते हैं। लेखक अनुमान लगाते हैं कि संतुलित परिदृश्यों के लिए, मीन फीचर्स एक SSETF बनाते हैं यदि और केवल यदि लेबल एनकोडिंग स्वयं एक SSETF है। यह परिवार वन-हॉट एनकोडिंग और लेबल स्मूथिंग दोनों को शामिल करता है।

महत्व और दावे
पत्र का दावा है कि वह MSE-ट्रेन्ड क्लासिफायर्स में देखे गए पहले से अलग OF और सिम्प्लेक्स ETF संरचनाओं के बीच एक सैद्धांतिक सेतु प्रदान करता है, जो अंतर को पूरी तरह से लेबल्स को सेंटर करने में बायस टर्म की भूमिका के लिए जिम्मेदार ठहराता है। SSETF फ्रेमवर्क पेश करके, यह कार्य मनमाने लेबल एनकोडिंग के लिए न्यूरल कोलैप्स की समझ को सामान्य बनाता है।

लेखक विनम्रतापूर्वक नोट करते हैं कि जहाँ उन्होंने NC2 (SSETF एनकोडिंग के माध्यम से) के लिए पर्याप्त स्थितियाँ (sufficient conditions) की पहचान की है और NC1 तथा NC3' की मजबूती को सिद्ध किया है, वहीं असंतुलित सेटिंग्स में कौन से एनकोडिंग्स NC2 की ओर ले जाते हैं, इसका पूर्ण लक्षण वर्णन एक खुला प्रश्न बना हुआ है। यह कार्य नए एल्गोरिदम या प्रयोगात्मक अनुप्रयोगों का प्रस्ताव नहीं करता है बल्कि यह एक सैद्धांतिक स्पष्टीकरण प्रदान करता है कि लेबल एनकोडिंग और बायस रेगुलराइजेशन कैसे न्यूरल कोलैप्स के ज्यामितीय परिदृश्य को आकार देने के लिए परस्पर क्रिया करते हैं।

1. संगठन के दो आकार

2. "लेबल" की भूमिका (बक्सों के टैग)

3. क्या बदलता है और क्या समान रहता है?

सारांश

इसी तरह के और पेपर