तकनीकी सारांश: इम्बैलेंस लर्निंग के लिए लॉस रीवेटिंग को एक इनवर्स प्रॉब्लम के रूप में पुनर्कल्पित करना

1. समस्या विवरण (Problem Statement)

डीप न्यूरल नेटवर्क ने संतुलित डेटासेट जैसे कि ImageNet पर महत्वपूर्ण सफलता प्राप्त की है, लेकिन वास्तविक दुनिया के परिदृश्य अक्सर लॉन्ग-टेल्ड डिस्ट्रीबशन (long-tailed distributions) प्रदर्शित करते हैं, जहाँ हेड क्लासेस (head classes) सैंपल स्पेस पर हावी होती हैं जबकि टेल क्लासेस (tail classes) के पास बहुत कम नमूने होते हैं। यह असंतुलन मॉडल को हेड क्लासेस की ओर अत्यधिक पक्षपाती बना देता है, जिससे टेल क्लासेस पर खराब सामान्यीकरण (generalization) होता है।

यद्यपि लॉस रीवेटिंग (loss reweighting) क्लास-वाइज वेट्स को समायोजित करके इसे कम करने के लिए एक व्यापक रूप से उपयोग की जाने वाली रणनीति है, मौजूदा तरीके अक्सर ह्यूरिस्टिक (heuristic) और लक्ष्य-अज्ञेय (target-agnostic) होते हैं। उनमें इस बात का कोई सुस्पष्ट आदर्श उद्देश्य नहीं है कि प्रशिक्षण के अंत में क्लास-वाइज लॉस डिस्ट्रीब्यूशन कैसा दिखना चाहिए। फलस्वरूप, वर्तमान रणनीतियाँ बिना किसी कठोर सैद्धांतिक लक्ष्य के एड-हॉक डिजाइनों (जैसे, इनवर्स फ्रीक्वेंसी, प्रभावी नमूनों की संख्या) पर निर्भर करती हैं।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र न्यूरल कोलैप्स (Neural Collapse - NC) के माध्यम से लॉस रीवेटिंग को पुनर्कल्पित करता है और इसे एक इनवर्स प्रॉब्लम (inverse problem) के रूप में स्वरूपित करता है।

2.1. सैद्धांतिक आधार: न्यूरल कोलैप्स (NC)

लेखक न्यूरल कोलैप्स की घटना का लाभ उठाते हैं, जो संतुलित डेटासेट पर प्रशिक्षण के अंतिम चरण में देखी जाती है, जहाँ:

1. क्लास-वाइज वेरिएबिलिटी कोलैप्स होती है: एक ही क्लास के फीचर्स अपने क्लास मीन (class mean) की ओर अभिसरित होते हैं।
2. सिम्प्लेक्स ETF ज्योमेट्री (Simplex ETF Geometry): क्लास मीन्स एक आदर्श इक्विएंगुलर टाइट फ्रेम (Equiangular Tight Frame - ETF) बनाते हैं।
3. सेल्फ-डुअलिटी (Self-Duality): क्लासिफायर वेट्स सेंटर्ड क्लास मीन्स के साथ संरेखित होते हैं।
4. नियरेस्ट सेंटर (Nearest Center): वर्गीकरण (classification) निकटतम क्लास मीन खोजने में सरल हो जाता है।

मुख्य सैद्धांतिक अंतर्दृष्टि: शोध पत्र यह स्थापित करता है कि NC ज्योमेट्री (विशेष रूप से NC1-NC3) के तहत, सभी क्लासेस का औसत लॉस समान होना चाहिए। लेखक सिद्ध करते हैं कि यदि एक लॉस इम्बैलेंस कोएफिशिएंट ($\rho$) गैर-शून्य रहता है, तो नेटवर्क आदर्श ETF संरचना की ओर अभिसरित नहीं हो सकता है। इसलिए, लॉन्ग-टेल्ड लर्निंग में रीवेटिंग के लिए आदर्श उद्देश्य NC-संगत ज्योमेट्री को सुगम बनाने के लिए समान प्रति-क्लास औसत लॉस (equal per-class average loss) को लागू करना है।

2.2. इनवर्स प्रॉब्लम फॉर्मूलेशन (Inverse Problem Formulation)

भार (weights) को ह्यूरिस्टिक रूप से निर्धारित करने के बजाय (जो कि "फॉरवर्ड" दृश्य है), लेखक रीवेटिंग को एक इनवर्स प्रॉब्लम के रूप में देखते हैं:

• लक्ष्य (Target): आदर्श अवस्था वह है जहाँ प्रत्येक क्लास के लिए प्रभावी लॉस वैश्विक माध्य लॉस ($\bar{L}$) के बराबर होता है।
• अनुमान (Inference): वर्तमान क्लास-वाइज औसत लॉस $L_c(W)$ को देखते हुए, विधि उन इष्टतम क्लास वेट्स $w_c$ का अनुमान लगाती है जो सिस्टम को इस संतुलित अवस्था की ओर ले जाएंगे।

इसे एक टिकोनोव-रेगुलराइज्ड इनवर्स प्रॉब्लम (Tikhonov-regularized inverse problem) के रूप में स्वरूपित किया गया है:
$$\min_{w_c} (w_c L_c(W) - \bar{L})^2 + \alpha (w_c - w_c^{(0)})^2$$
जहाँ:

• $L_c(W)$ क्लास $c$ के लिए वर्तमान औसत लॉस है।
• $\bar{L}$ वैश्विक औसत लॉस है।
• $w_c^{(0)}$ एक प्रायर वेट (prior weight) है (जैसे, मौजूदा विधि या यूनिफॉर्म से)।
• $\alpha$ एक रेगुलराइजेशन कोएफिशिएंट है।

2.3. क्लोज्ड-फॉर्म सॉल्यूशन (Closed-Form Solution)

ऑप्टिमाइज़ेशन समस्या इष्टतम वेट $w_c^*$ के लिए एक क्लोज्ड-फॉर्म सॉल्यूशन प्रदान करती है:
$$w_c^* = \frac{\bar{L} L_c(W) + \alpha w_c^{(0)}}{L_c(W)^2 + \alpha}$$
यह एक प्लग-एंड-प्ले (plug-and-play) कार्यान्वयन की अनुमति देता है जहाँ प्रत्येक प्रशिक्षण चरण में वेट्स को गतिशील रूप से निकाला जा सकता है।

2.4. टू-लेवल रीवेटिंग स्ट्रैटेजी (Two-Level Reweighting Strategy)

इस समस्या को संबोधित करने के लिए कि टेल क्लासेस मिनी-बैचेस में छिटपुट रूप से दिखाई देती हैं (जिससे कमजोर संचयी अनुकूलन शक्ति होती है), यह विधि दो घटकों को जोड़ती है:

1. बैच-वाइज इनवर्स रीवेटिंग (Batch-wise Inverse Reweighting): क्लोज्ड-फॉर्म सॉल्यूशन का उपयोग करके वर्तमान बैच में मौजूद क्लासेस के लिए वेट्स $w_c^*$ की गणना करता है।
2. मैक्रो-लेवल रीवेटिंग (Macro-Level Reweighting): एक फ्रीक्वेंसी-अवेयर कंपनसेशन फैक्टर $\beta_c \propto (B_c)^{-\gamma}$ पेश करता है, जहाँ $B_c$ उन बैचेस की संख्या है जिनमें क्लास $c$ दिखाई दी है। यह सुनिश्चित करता है कि पूरे प्रशिक्षण प्रक्रिया के दौरान टेल क्लासेस को पर्याप्त संचयी अनुकूलन शक्ति मिले।

अंतिम प्रभावी वेट $\hat{w}_c = \beta_c \cdot w_c^*$ है।

3. मुख्य योगदान (Key Contributions)

1. एक लुप्त लक्ष्य की पहचान: शोध पत्र पहचानता है कि वर्तमान रीवेटिंग रणनीतियों में एक परिभाषित आदर्श लॉस डिस्ट्रीब्यूशन की कमी है। यह समान प्रति-क्लास औसत लॉस को सैद्धांतिक लक्ष्य के रूप में प्रस्तावित करता है, जो न्यूरल कोलैप्स की ज्यामितीय बाधाओं से प्राप्त है।
2. इनवर्स प्रॉब्लम परिप्रेक्ष्य: यह लॉन्ग-टेल्ड रीवेटिंग को एक इनवर्स प्रॉब्लम के रूप में प्रस्तुत करता है, जिससे इष्टतम क्लास वेट्स को गतिशील रूप से निकालने के लिए एक क्लोज्ड-फॉर्म सॉल्यूशन प्राप्त होता है जो समान-लॉस उद्देश्य को पूरा करता है।
3. प्लग-एंड-प्ले एल्गोरिदम: प्रस्तावित विधि को एक बैच-वाइज, क्लोज्ड-फॉर्म एल्गोरिदम के रूप में लागू किया गया है जिसे मौजूदा लॉन्ग-टेल्ड लर्निंग फ्रेमवर्क के साथ एकीकृत किया जा सकता है।
4. सैद्धांतिक औचित्य: लेखक प्रमाण प्रदान करते हैं कि निरंतर लॉस इम्बैलेंस आदर्श ETF ज्योमेट्री तक अभिसरण को रोकता है, जो समान-लॉस उद्देश्य को प्रेरित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन मानक लॉन्ग-टेल्ड बेंचमार्क: CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT, और iNaturalist पर किया गया।

• रीवेटिंग बेसलाइन्स के विरुद्ध प्रदर्शन: CIFAR-100-LT (IF=100) पर, प्रस्तावित विधि ने 47.88% सटीकता प्राप्त की, जो मानक क्रॉस-एन्ट्रॉपी (41.62%) और अन्य रीवेटिंग रणनीतियों जैसे Inv-Freq, CB, Focal, और IB से बेहतर प्रदर्शन करती है। इसने असंतुलन कारकों (50, 100, 200) में निरंतर सुधार दिखाया।
• न्यूरल कोलैप मेट्रिक्स: विधि ने बेहतर NC ज्योमेट्री रिकवरी प्रदर्शित की। इसने बेसलाइन्स की तुलना में कम NC2 (सिम्प्लेक्स ETF से दूरी) और NC3 (सेल्फ-डुअलिटी से दूरी) मान प्राप्त किए, जो यह दर्शाता है कि सीखे गए फीचर्स और क्लासिफायर आदर्श सममित संरचना के अधिक करीब थे। इसने सबसे कम क्लास-वाइज लॉस इम्बैलेंस कोएफिशिएंट ($\rho$) भी प्राप्त किया।
• स्टेट-ऑफ-द-आर्ट (SOTA) प्रदर्शन: जब इसे मजबूत बेसलाइन्स (जैसे, GLMC, ETF-DR) के साथ जोड़ा जाता है, तो विधि लगातार प्रदर्शन में सुधार करती है, CIFAR-100-LT (GLMC+Loss+LR के साथ 63.9%) और ImageNet-LT (GLMC+Loss+LR के साथ 57.6%) पर SOTA परिणाम प्राप्त करती है।
• एब्लेशन स्टडीज (Ablation Studies): प्रयोगों ने पुष्टि की कि बैच-वाइज इनवर्स घटक और मैक्रो-लेवल कंपनसेशन दोनों पूरक हैं, और दोनों का संयोजन सर्वोत्तम परिणाम देता है।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि रीवेटिंग के लिए लक्ष्य के रूप में समान प्रति-क्लास औसत लॉस को स्पष्ट रूप से परिभाषित करके, यह विधि ह्यूरिस्टिक डिजाइनों के लिए एक सिद्धांतवादी विकल्प प्रदान करती है। इसका महत्व निम्नलिखित में निहित है:

• सैद्धांतिक संरेखण: रीवेटिंग को सीधे न्यूरल कोलैप की ज्यामितीय विशेषताओं से जोड़ना, जो यह स्पष्ट व्याख्या प्रदान करता है कि कुछ रीवेटिंग रणनीतियाँ क्यों काम करती हैं (या विफल होती हैं) उनके ETF संरचना की ओर सिस्टम को ले जाने की क्षमता के आधार पर।
• व्यावहारिक दक्षता: क्लोज्ड-फॉर्म सॉल्यूशन नगण्य कम्प्यूटेशनल ओवरहेड पेश करता है, जो इसे सहायक नेटवर्क या जटिल मेटा-लर्निंग प्रक्रियाओं की आवश्यकता वाले तरीकों की तुलना में अत्यधिक कुशल बनाता है।
• सामान्यीकरण (Generalizability): यह विधि एक सामान्य रीवेटिंग मॉड्यूल के रूप में कार्य करती है जिसे विभिन्न मौजूदा लॉन्ग-टेल्ड लर्निंग फ्रेमवर्क (जैसे, कंट्रास्टिव लर्निंग, टू-स्टेज मेथड्स) के प्रदर्शन को बढ़ाने के लिए लागू किया जा सकता है।

लेखक निष्कर्ष निकालते हैं कि असंतुलित सेटिंग्स में आदर्श NC ज्योमेट्री प्राप्त करने के लिए लॉस बैलेंस को लागू करना एक मौलिक आवश्यकता है, और उनकी इनवर्स-व्यू रणनीति प्रभावी रूप से इस लक्ष्य को प्राप्त करती है।