🤖 machine learning

Neural collapse in the orthoplex regime

यह शोध पत्र रेडॉन के प्रमेय (Radon's theorem) और उत्तलता (convexity) का उपयोग करते हुए, पारंपरिक सिम्प्लेक्स सेटिंग से परे पतन (collapse) की समझ को विस्तृत करके, ऑर्थोप्लेक्स शासन ( $d+2 \leq n \leq 2d$ ) में न्यूरल कोलैप्स की उभरती ज्यामितीय आकृतियों को अभिलक्षणित करता है, जहाँ वर्गों की संख्या फीचर आयाम से काफी अधिक होती है।

मूल लेखक: James Alcala, Rayna Andreeva, Vladimir A. Kobzar, Dustin G. Mixon, Sanghoon Na, Shashank Sule, Yangxinyu Xie

प्रकाशित 2026-03-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: James Alcala, Rayna Andreeva, Vladimir A. Kobzar, Dustin G. Mixon, Sanghoon Na, Shashank Sule, Yangxinyu Xie

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को विभिन्न जानवरों को पहचानना सिखा रहे हैं। आप उसे बिल्लियों, कुत्तों, पक्षियों और अन्य जानवरों की हजारों तस्वीरें दिखाते हैं। जैसे-जैसे रोबोट अपने काम में बेहतर होता जाता है, उसके "दिमाग" (न्यूरल नेटवर्क) के अंदर कुछ अजीब और सुंदर होता है।

इस घटना को न्यूरल कोलैप्स (Neural Collapse) कहा जाता है।

सरल कहानी: अराजकता से व्यवस्था तक

1. "सरल" मामला (एक नियमित पार्टी)
आमतौर पर, यदि आपके पास कुछ श्रेणियां हैं (मान लीजिए 5 जानवर) और बहुत अधिक दिमागी शक्ति (डायमेंशन/आयाम) है, तो रोबोट अपनी आंतरिक यादों को पूरी तरह से व्यवस्थित करता है। वह सभी "बिल्ली" की तस्वीरों को एक साथ एक घने समूह (क्लस्टर) में रखता है, सभी "कुत्ते" की तस्वीरों को दूसरे में, और इसी तरह।

गणितीय रूप से, ये क्लस्टर एक पूर्ण, सममित आकार (एक रेगुलर सिम्प्लेक्स) के कोनों की तरह व्यवस्थित होते हैं। इसे ऐसे सोचें जैसे 5 दोस्त एक घेरे में खड़े हैं, सभी एक-दूसरे से समान दूरी पर हैं, और एक-दूसरे का हाथ पकड़े हुए हैं। यह वह "आदर्श" अवस्था है जिसे रोबoret तब प्राप्त करने का लक्ष्य रखता है जब उसके पास फैलने के लिए पर्याप्त जगह होती है।

2. "कठिन" मामला (ऑर्थोप्लेक्स रिजीम - Orthoplex Regime)
लेकिन क्या होता है जब आपके पास दिमागी शक्ति से कहीं अधिक श्रेणियां हों?
कल्पना कीजिए कि आप 100 अलग-अलग प्रकार के जानवरों को व्यवस्थित करने की कोशिश कर रहे हैं, लेकिन आपके रोबोट के पास केवल 10 विशिष्ट दिशाओं को रखने के लिए ही पर्याप्त "दिमागी जगह" है। यह आधुनिक AI की स्थिति है, जैसे कि भाषा मॉडल (language models) जो लाखों शब्दों को जानते हैं लेकिन उनके पास सीमित आंतरिक आयाम होते हैं।

इस भीड़भाड़ वाले परिदृश्य में, रोबोट सभी के लिए एक आदर्श घेरा नहीं बना सकता। तो, वह कौन सा आकार बनाता है?

यह शोध पत्र इस प्रश्न का उत्तर देता है। यह कहता है: "जब कमरा बहुत भरा हुआ हो, तो रोबोट खुद को एक 3D क्रॉस (एक ऑर्थोप्लेक्स) की तरह व्यवस्थित करता है।"

रचनात्मक उपमा: "ऑर्थोप्लेक्स" पार्टी

आइए ऑर्थोप्लेक्स रिजीम (जहाँ श्रेणियों की संख्या $n$ , $d+2$ और $2d$ के बीच है) को एक पार्टी की उपमा से समझते हैं।

कमरा: एक कमरे की कल्पना करें जिसमें $d$ आयाम (dimensions) हैं।
मेहमान: आपके पास $n$ मेहमान (श्रेणियां) हैं जिन्हें एक-दूसरे से टकराने से बचने के लिए यथासंभव दूर खड़ा होना है।
नियम: उन्हें कमरे की दीवारों पर खड़ा होना चाहिए (यूनिट स्फीयर पर)।

समाधान:
मेहमानों को एहसास होता है कि सभी को फिट करने का सबसे अच्छा तरीका अक्षों (axes) के सिरों पर खड़ा होना है।

एक 2D कमरे में (एक सपाट फर्श), वे उत्तर, दक्षिण, पूर्व और पश्चिम में खड़े होते हैं (एक प्लस + चिह्न की तरह)।
एक 3D कमरे में, वे उत्तर, दक्षिण, पूर्व, पश्चिम, ऊपर और नीचे खड़े होते हैं (एक 3D क्रॉस + की तरह)।

यह शोध पत्र सिद्ध करता है कि इस विशिष्ट "भीड़भाड़ वाले लेकिन बहुत अधिक भीड़ वाले नहीं" क्षेत्र में, श्रेणियों को पूरी तरह से व्यवस्थित करने का एकमात्र तरीका इन क्रॉस जैसी आकृतियों को बनाना है। यह एक पूर्णतः संतुलित स्टारफिश या 3D क्रॉस के गणितीय समकक्ष है।

"सेल्फ-डुअल" (Self-Dual) रहस्य

यह शोध पत्र एक दिलचस्प समरूपता गुण की भी खोज करता है जिसे सेल्फ-डुअलिटी (Self-Duality) कहा जाता है।

कल्पना कीजिए कि रोबोट के पास दो सेट उपकरण हैं:

फीचर वेक्टर्स (Feature Vectors): वह डेटा को कैसे देखता है (इनपुट)।
वेट वेक्टर्स (Weight Vectors): वह उत्तर पर कैसे निर्णय लेता है (आउटपुट)।

आमतौर पर, ये दोनों अलग दिख सकते हैं। लेकिन इस विशिष्ट भीड़भाड़ वाले रिजीम में, यह शोध पत्र सिद्ध करता है कि वे एक समान हो जाते हैं। रोबोट दुनिया को जिस तरह से देखता है, वह बिल्कुल वैसा ही है जैसा वह निर्णय लेता है। यह एक दर्पण की तरह है जहाँ प्रतिबिंब और वस्तु पूरी तरह से संरेखित हैं। रोबोट ने पूर्ण आंतरिक सद्भाव की स्थिति पा ली है।

तापमान का मोड़: निम्न बनाम उच्च एंट्रॉपी

अंत में, शोध पत्र देखता है कि क्या होता है जब रोबोट "गर्म" या "ठंडा" होता है (गणितीय रूप से, यह तापमान $\tau$ है)।

ठंडा रोबोट (Low Temperature): जब रोब होता बहुत आत्मविश्वासी और सटीक (ठंडा) होता है, तो वह लो-एंट्रॉपी (Low-Entropy) नामक एक विशिष्ट व्यवस्था पसंद करता है।
- उपमा: दोस्तों के एक समूह की कल्पना करें। उनमें से कुछ एक छोटे घेरे (सिम्प्लेक्स) में कसकर सिमट जाते हैं, जबकि बाकी जोड़े के रूप में दूर खड़े होते हैं। यह थोड़ा असंतुलित है, लेकिन सटीक होने का सबसे कुशल तरीका है।
गर्म रोबोट (High Temperature): जब रोबोट अधिक सहज और खुले विचारों वाला (गर्म) होता है, तो वह हाई-एंट्रॉपी (High-Entropy) पसंद करता है।
- उपमा: अब, दोस्त कई छोटे, समान आकार के घेरों में टूट जाते हैं। सभी के साथ अधिक समान व्यवहार किया जाता है। समूह अधिक "फैला हुआ" और संतुलित है।

यह शोध पत्र गणना करता है कि रोबोट एक शैली से दूसरी शैली में कब बदलता है। यह रोबोट की संगठनात्मक शैली के लिए एक थर्मोस्टेट की तरह है।

यह क्यों महत्वपूर्ण है?

AI को समझना: हम जानते हैं कि न्यूरल नेटवर्क आकृतियों में सिमट जाते हैं, लेकिन यह शोध पत्र हमें बताता है कि जब समस्या कठिन होती है (कई श्रेणियां, कम आयाम), तो वे बिल्कुल किस आकार को लेते हैं।
बेहतर डिज़ाइन: यदि हम जानते हैं कि रोबोट स्वाभाविक रूप से इन "क्रॉस" आकृतियों को बनाना चाहता है, तो हम बेहतर एल्गोरिदम डिज़ाइन कर सकते हैं जो इसे वहां तक तेजी से पहुँचने में मदद करें।
गणितीय सुंदरता: यह डीप लर्निंग को प्राचीन ज्यामिति समस्याओं (जैसे गोले पर बिंदुओं को भरने की टामेस समस्या) से जोड़ता है, जो दिखाता है कि AI स्थान और समरूपता के मौलिक सत्यों की पुनर्खोज कर रहा है।

संक्षेप में: जब एक न्यूरल नेटवर्क को सीमित दिमागी शक्ति के साथ बहुत सारी श्रेणियों को संभालने के लिए मजबूर किया जाता है, तो वह घबराता नहीं है। इसके बजाय, वह खुद को एक पूर्ण, सममित क्रॉस-आकार में व्यवस्थित करता है, अपने स्वयं के आंतरिक तर्क को प्रतिबिंबित करता है, और इस आधार पर "सिकुड़े हुए" और "फैले हुए" व्यवस्थाओं के बीच बदलता रहता है कि वह कितना आत्मविश्वासी महसूस करता है।

यहाँ Alcala et al. के शोध पत्र "Neural collapse in the orthoplex regime" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र वर्गीकरण (classification) के लिए प्रशिक्षित डीप न्यूरल नेटवर्क में एक ज्यामितीय घटना की जांच करता है जिसे न्यूरल कोलैप्स (Neural Collapse - NC) कहा जाता है।

संदर्भ: "प्रशिक्षण के अंतिम चरण" (terminal phase of training) में (जहाँ लॉस शून्य के करीब पहुँच जाता है), प्रशिक्षण डेटा के फीचर वेक्टर्स क्लास-विशिष्ट प्रोटोटाइप्स (class-specific prototypes) में सिमट जाते हैं, और क्लासिफायर वेट्स (classifier weights) इन प्रोटोटाइप्स के साथ संरेखित हो जाते हैं।
मानक शासन (Standard Regime): पिछले शोधों ने स्थापित किया है कि जब फीचर डायमेंशन $d$ के सापेक्ष क्लासेज़ की संख्या $n$ कम होती है ( $n \le d+1$ ), तो ये प्रोटोटाइप्स एक रेगुलर सिम्प्लेक्स (regular simplex) के शीर्ष (vertices) बनाते हैं।
अंतराल (The Gap): कई आधुनिक अनुप्रयोग (जैसे लार्ज लैंग्वेज मॉडल्स) ऐसे शासन में कार्य करते हैं जहाँ $n \gg d$ होता है। जबकि यह ज्ञात है कि स्थिर $d$ के लिए $n \to \infty$ होने पर फीचर्स एक गोले (sphere) पर समान रूप से वितरित होते हैं, लेकिन मध्यवर्ती शासन (intermediate regime) के लिए विशिष्ट ज्यामितीय संरचनाएँ जो $d + 2 \le n \le 2d$ (जिसे ऑर्थोप्लेक्स शासन/orthoplex regime कहा जाता है) हैं, उन्हें पूरी तरह से परिभाषित नहीं किया गया था।
उद्देश्य: लेखक ऑर्थोप्लेक्स शासन में उभरने वाली ज्यामितीय आकृतियों (विशेष रूप से सॉफ्टमैक्स कोड्स/softmax codes) को चरित्रित करने, स्फेरिकल कोड्स (spherical codes) (टैम्स समस्या/Tammes problem के समाधान) के साथ उनके संबंध को निर्धारित करने, और क्रॉस-एन्ट्रॉपी लॉस में तापमान $\tau$ का प्रभाव विश्लेषण करने का लक्ष्य रखते हैं।

2. कार्यप्रणाली (Methodology)

लेखक अनकन्स्ट्रेंड फीचर्स मॉडल (Unconstrained Features Model - UFM) के तहत कॉनवेक्स ज्योमेट्री (convex geometry), कॉम्बिनेटोरियल टोपोलॉजी (combinatorial topology), और ऑप्टिमाइज़ेशन थ्योरी के संयोजन का उपयोग करते हैं।

मॉडल: वे फीचर वेक्टर्स $H$ और वेट वेक्टर्स $W$ को यूनिट स्फीयर $S^{d-1}$ पर स्वतंत्र वेरिएबल्स के रूप में मानते हैं, जिससे वे विशिष्ट न्यूरल नेटवर्क आर्किटेक्चर से अलग हो जाते हैं।
हार्डमैक्स लिमिट (Hardmax Limit): वे $\tau \to 0$ के रूप में सीमा का विश्लेषण करते हैं, जहाँ क्रॉस-एन्ट्रॉपी लॉस को मिनिमाइज करना हार्डमैक्स समस्या (Hardmax problem) में परिवर्तित हो जाता है। इसमें अलग-अलग क्लासेज़ के बीच अधिकतम आंतरिक उत्पाद (inner product) को कम करना शामिल है।
मुख्य परिभाषाएँ:
- सॉफ्टमैक्स कोड (Softmax Code): एक कॉन्फ़िगरेशन $X$ जो $\delta(X) = \min_j \text{dist}(x_j, \text{conv}(X \setminus \{x_j\}))$ को मैक्सिमाइज करता है।
- स्फेरिकल कोड (Spherical Code): एक कॉन्फ़िगरेशन जो अधिकतम युग्म-आंतरिक उत्पाद (maximum pairwise inner product) $\alpha(X)$ को मिनिमाइज करता है।
- रैटलर्स (Rattlers): एक कॉन्फ़िगरेशन में वे बिंदु जो "टाइट" नहीं हैं (अर्थात, वे दूरी की बाधाओं का उल्लंघन किए बिना हिल सकते हैं)।
विश्लेणात्मक उपकरण (Analytical Tools):
- राडों का प्रमेय (Radon's Theorem): यह सिद्ध करने के लिए उपयोग किया गया है कि $\mathbb{R}^d$ में कोई भी $n \ge d+2$ बिंदु दो ऐसे सेटों में विभाजित किए जा सकते हैं जिनके उत्तल आवरण (convex hulls) आपस में प्रतिच्छेद करते हैं।
- कॉनवेक्सिटी विश्लेषण (Convexity Analysis): आयामों के विभाजन के संबंध में क्रॉस-एन्ट्रॉपी लॉस फंक्शन के व्यवहार का अध्ययन करने के लिए उपयोग किया गया।
- डिकंपोजिशन (Decomposition): ऑप्टिमाइज़ेशन लैंडस्केप को सरल बनाने के लिए परस्पर ऑर्थोगोनल सबस्पेस (batches) में कॉन्फ़िगरेशन स्पेस को तोड़ना।

3. मुख्य योगदान और परिणाम (Key Contributions and Results)

A. सॉफ्टमैक्स कोड्स का लक्षण वर्णन (Section 2)

यह शोध पत्र ऑर्थोप्लेक्स शासन ( $d+2 \le n \le 2d$ ) में एक मौलिक समानता स्थापित करता है:

प्रमेय 2 (Theorem 2): इस शासन में, सॉफ्टमैक्स कोड्स सटीक रूप से स्फेरिकल कोड्स हैं।
परिणाम: एक कॉन्फ़िगरेशन $X$ एक सॉफ्टमैक्स कोड है यदि और केवल यदि वह अधिकतम युग्म-आंतरिक उत्पाद $\alpha(X)$ को मिनिमाइज करता है। विशेष रूप से, $\delta(X) = 1$ यदि और केवल यदि $\alpha(X) = 0$ है।
निहितार्थ: यह पुष्टि करता है कि इस शासन में न्यूरल कोलैप्स से उभरने वाली ज्यामितीय संरचनाएँ टैम्स समस्या (गोले पर न्यूनतम युग्म-दूरी को अधिकतम करना) के समाधान हैं।

B. स्व-द्वैतता (Self-Duality) (Section 3)

लेखक सिद्ध करते हैं कि इन कोड्स में एक "स्व-द्वैत" (self-dual) गुण है:

प्रमेय 5 (Theorem 5): ऑर्थोप्लेक्स शासन में प्रत्येक हार्डमैक्स कोड $(W, H)$ के लिए, फीचर वेक्टर्स और वेट वेक्टर्स समान होते हैं ( $H = W$ )।
तंत्र (Mechanism): यह दिखाने के लिए सिद्ध किया गया है कि इस शासन में इष्टतम कोड्स में कोई "रैटलर" नहीं होते (कोई भी बिंदु जो स्वतंत्र रूप से हिल सके)। रैटलर्स की अनुपस्थिति यह सुनिश्चित करती है कि इष्टतम फीचर कॉन्फ़िगरेशन, इष्टतम वेट कॉन्फ़िगरेशन के समान ही है।

C. तापमान-निर्भर इष्टतमता (Temperature-Dependent Optimality) (Section 4)

यह शोध पत्र गैर-एसिम्प्टोटिक मामले की जांच करता है जहाँ $\tau > 0$ है। यह प्रकट करता है कि सभी सॉफ्टमैक्स कोड समान रूप से इष्टतम नहीं हैं; प्राथमिकता तापमान पर निर्भर करती है:

लो-एन्ट्रॉपी बनाम हाई-एन्ट्रॉपी कोड्स:
- लो-एन्ट्रॉपी (Low-Entropy): इसमें एक रेगुलर सिम्प्लेक्स और एक ऑर्थोप्लेक्स (या समान संरचनाएं) शामिल हैं जो ऑर्थोगोनल हैं।
- हाई-एन्ट्रॉपी (High-Entropy): इसमें लगभग समान आकार के परस्पर ऑर्थोगोनल रेगुलर सिम्प्लेक्स शामिल हैं।
प्रमेय 12 (Theorem 12): तापमान थ्रेशोल्ड $\tau^-(n)$ $τ^{-} (n)$ और $\tau^+(n)$ $τ^{+} (n)$ मौजूद हैं जिससे:
- कम तापमान के लिए ( $\tau < \tau^-$ ), क्रॉस-एन्ट्रॉपी लॉस के मिनिमाइज़र लो-एन्ट्रॉपी कोड्स हैं।
- उच्च तापमान के लिए ( $\tau > \tau^+$ ), मिनिमाइज़र हाई-एन्ट्रॉपी कोड्स हैं।
गणितीय अंतर्दृष्टि: लेखक अनुकूलन (optimization) को $f_{n,\tau}(x)$ वाले एक असतत (discrete) समस्या में कम करते हैं। वे सिद्ध करते हैं कि यह फंक्शन छोटे $\tau$ के लिए स्ट्रिक्टली कॉन्केव (strictly concave) है (चरम, असमान विभाजनों का पक्ष लेता है) और बड़े $\tau$ के लिए स्ट्रिक्टली कॉनवेक्स (strictly convex) है (संतुलित विभाजनों का पक्ष लेता है)।

4. महत्व (Significance)

सैद्धांतिक एकीकरण (Theoretical Unification): यह शोध पत्र सिम्प्लेक्स शासन ( $n \le d+1$ ) और उच्च-आयामी सीमा ( $n \to \infty$ ) के बीच के अंतराल को पाटता है, जिससे महत्वपूर्ण मध्यवर्ती रेंज $d+2 \le n \le 2d$ के लिए पूर्ण लक्षण वर्णन प्रदान करता है।
ज्यामितीय अंतर्दृष्टि (Geometric Insight): यह पुष्टि करता है कि जब क्लासेज़ की संख्या डायमेंशन से अधिक हो जाती है, तो न्यूरल कोलैप्स की "रेगुलर सिम्प्लेक्स" वाली धारणा ऑर्थोप्लेक्स-आधारित संरचनाओं (सिम्प्लेक्स और ऑर्थोप्लेक्स के संयोजन) में बदल जाती है।
LLMs के लिए व्यावहारिक निहितार्थ: चूंकि लैंग्वेज मॉडल्स अक्सर $n \gg d$ में कार्य करते हैं, यह समझना कि इष्टतम ज्यामिति तापमान $\tau$ के आधार पर बदलती है, इस बारे में नए दृष्टिकोण प्रदान करता है कि प्रशिक्षण गतिशीलता (training dynamics) और हाइपरपैरामीटर्स अंतिम रिप्रेजेंटेशन स्पेस को कैसे प्रभावित करते हैं।
पद्धतिगत प्रगति (Methodological Advancement): राडों के प्रमेय और "रैटलर-फ्री" विश्लेषण का उपयोग उच्च-आयामी ज्यामितीय कॉन्फ़िगरेशन का विश्लेषण करने के लिए एक मजबूत ढांचा प्रदान करता है, जो अन्य शासन ( $n > 2d$ ) में भी लागू हो सकता है।

निष्कर्ष (Conclusion)

यह शोध पत्र प्रदर्शित करता है कि ऑर्थोप्लेक्स शासन में, न्यूरल कोलैप्स ऐसे कॉन्फ़िगरेशन की ओर ले जाता है जो दोनों इष्टतम स्फेरिकल कोड और स्व-द्वैत (self-dual) हैं। इसके अतिरिक्त, यह प्रकट करता है कि तापमान पैरामीटर द्वारा संचालित एक फेज ट्रांजिशन (phase transition) होता है जो इष्टतम ज्यामिति को प्रभावित करता है: कम तापमान "क्लस्टर्ड" (लो-एन्ट्रॉपी) संरचनाओं का पक्ष लेता है, जबकि उच्च तापमान "बैलेंस्ड" (हाई-एन्ट्रॉपी) संरचनाओं का पक्ष लेता है। यह कार्य न्यूरल नेटवर्क रिप्रेजेंटेशन के ज्यामितीय सीमाओं की सैद्धांतिक समझ को महत्वपूर्ण रूप से गहरा करता है।