📊 statistics

The Geometry of Projection Heads: Conditioning, Invariance, and Collapse

यह शोध पत्र स्व-पर्यवेक्षित शिक्षण (self-supervised learning) में प्रोजेक्शन हेड्स का एक ज्यामितीय सिद्धांत स्थापित करता है, जो उन्हें प्रशिक्षण योग्य रीमानियन मेट्रिक्स (Riemannian metrics) के रूप में मॉडल करता है जो सिमेंटिक बैकबोन को ऑब्जेक्टिव बाधाओं से अलग करते हैं, जहाँ गैर-रेखीय गहराई और सुचारू सक्रियण (smooth activations) ऋणात्मक वक्रता (negative curvature) के माध्यम से आयामी पतन (dimensional collapse) से बचने में सक्षम बनाते हैं जबकि रैखिक या ReLU-आधारित हेड्स बिना डिस्क्रीट-टाइम डायनेमिक्स के अस्थिर रहते हैं।

मूल लेखक: Faris Chaudhry

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Faris Chaudhry

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को बिल्लियों को पहचानना सिखा रहे हैं। आप उसे बिल्लियों की हजारों तस्वीरें दिखाते हैं, लेकिन आप उन्हें उन्हीं बिल्लियों के साथ धूप का चश्मा पहने हुए, उल्टी स्थिति में, या ब्लैक एंड व्हाइट में भी दिखाते हैं। रोबोट का लक्ष्य यह सीखना है कि इन बदलावों के बावजूद "यह एक बिल्ली है"।

आधुनिक AI में, हम इसे करने के लिए दो-भागों वाले सिस्टम का उपयोग करते हैं:

बैकबोन (Backbone): एक गहरा, जटिल मस्तिष्क जो छवि को देखता है और उसके फीचर्स (विशेषताओं) को निकालता है।
प्रोजेक्शन हेड (Projection Head): मुख्य मस्तिष्क के अंत में जुड़ी हुई छोटी, अतिरिक्त परतों की परतें।

यहाँ पहेली यह है: हम इस अतिरिक्त हेड का उपयोग करके रोबोट को प्रशिक्षित करते हैं, लेकिन प्रशिक्षण समाप्त होने के बाद, हम उस हेड को फेंक देते हैं और वास्तविक दुनिया के कार्यों के लिए केवल बैकबोन का उपयोग करते हैं। हमें प्रशिक्षण के लिए इस हेड की आवश्यकता क्यों है, और फिर इसे क्यों हटा दिया जाता है?

यह पेपर उन मेटाफ़र्स (रूपकों) का उपयोग करके उस हेड की ज्यामिति (geometry) को समझाता है।

1. हेड एक "आकार बदलने वाला लेंस" (Shape-Shifting Lens) है

मान लीजिए कि रोबोट द्वारा देखी जाने वाली छवियां एक परिदृश्य (landscape) हैं। परिदृश्य के कुछ हिस्से "शोर" (noise) हैं (जैसे धूप का चश्मा या रोटेशन), और कुछ "सिग्नल" (signal) हैं (जैसे स्वयं बिल्ली)।

हेड के बिना: रोबोट शोर को सीधे बिल्ली पर दबाने (flatten) की कोशिश करता है। यह कागज के एक मुड़े हुए टुकड़े को बिना फाड़े मेज पर सीधा करने की कोशिश करने जैसा है। यह कठिन है, और आप गलती से बिल्ली को भी चपटा कर सकते हैं।
हेड के साथ: हेड एक विशेष, लचीले लेंस की तरह कार्य करता है। यह मुड़े हुए कागज (शोर वाली छवि) को देखता है और इसे बिल्कुल सही तरीके से खींचता या सिकोड़ता है ताकि "बिल्ली" वाले हिस्से पूरी तरह से संरेखित हो जाएं, जबकि "धूप के चश्मे" वाले हिस्सों को एक छोटे, अदृश्य बिंदु में कुचल दिया जाए।

पेपर यह सिद्ध करता है कि यह हेड केवल एक फिल्टर नहीं है; यह एक प्रशिक्षण योग्य मानचित्र (trainable map) है। यह छवियों के स्थान (space) को मोड़ने (warp) का तरीका सीखता है ताकि रोबोट आसानी से नियम सीख सके।

2. "गिलोटीन" प्रभाव (The "Guillotine" Effect): हम हेड को क्यों फेंक देते हैं?

यहाँ अजीब बात यह है: हेड अपना काम इतनी अच्छी तरह से करता है कि वह जानकारी को नष्ट कर देता है।

कल्पना कीजिए कि आप बिल्ली के कोट के रंग को पहचानकर उसे सीखने की कोशिश कर रहे हैं।

समस्या: यदि आप रोबet को रंग के बदलावों को अनदेखा करने के लिए प्रशिक्षित करते हैं (क्योंकि आप चाहते हैं कि वह किसी भी रोशनी में बिल्लियों को पहचान सके), तो रोबोट को रंग को "भूलना" सीखना होगा।
हेड का काम: हेड एक गिलोटीन की तरह कार्य करता है। यह डेटा के "रंग" वाले आयाम (dimension) को काट देता है ताकि प्रशिक्षण के नियमों को पूरा किया जा सके। यह रोबोट को यह कहने के लिए मजबूर करता है, "लाल बिल्ली = काली बिल्ली = सफेद बिल्ली।"
परिणाम: यदि आप हेड को रखते, तो रोबोट रंग को अनदेखा करने में बहुत अच्छा होता, लेकिन उन कार्यों के लिए बुरा होता जिनमें रंग की आवश्यकता होती (जैसे कोट के रंग के आधार पर बिल्लियों को छाँटना)।
समाधान: हम हेड को फेंक देते हैं। बैकबोन (मुख्य मस्तिष्क) ने वास्तव में रंग की जानकारी को कभी नहीं खोया था; इसने बस उसे हेड के माध्यम से पारित किया था, जिसने उसे काट दिया था। हेड को हटाकर, हमें पूर्ण, समृद्ध मस्तिष्क वापस मिल जाता है, जो किसी भी विशिष्ट कार्य के लिए तैयार है।

3. "जाल" और "निकास द्वार" (The "Trap" and the "Escape Hatch")

इन रोबोटों को प्रशिक्षित करने में एक खतरनाक जाल होता है जिसे डायमेंशनल कोलैप्स (Dimensional Collapse) कहा जाता है। यह तब होता है जब रोबोट आलसी हो जाता है और निर्णय लेता है, "आपको पता है क्या? मैं बस सब कुछ एक जैसा कह दूँगा।" यह एक विफलता है। सभी छवियों को एक ही बिंदु में समाहित कर लेना ही कोलैप्स है।

पेपर ने एक चतुर ट्रिक खोजी है जिसका उपयोग यह हेड इस जाल को रोकने के लिए करता है:

स्मूथ हेड्स (Smooth Heads - निकास द्वार): यदि हेड "स्मूथ" गणित (जैसे Swish या GELU फंक्शन) का उपयोग करता है, तो यह एक भूवैज्ञानिक अस्थिरता (geological instability) पैदा करता है। कल्पना कीजिए कि रोबोट एक सपाट घाटी (जाल) में बैठा है। एक स्मूथ हेड उस सपाट घाटी को एक सैडल पॉइंट (saddle point) (जैसे घोड़े की काठी) में बदल देता है। यदि रोबोट वहां बैठता है, तो वह स्वाभाविक रूप से बगल में लुढ़क जाता है। हेड का गणित रोबोट को चलते रहने और अन्वेषण करने के लिए मजबूर करता है, जिससे वह "सब कुछ एक जैसा है" वाले जाल में फंसने से बच जाता है।
रफ हेड्स (Rough Heads - जाल): यदि हेड "रफ" गणित (जैसे ReLU) का उपयोग करता है, तो यह इस अस्थिरता को पैदा नहीं करता है। यह एक सपाट फर्श की तरह है। रोबोट वहां हमेशा के लिए बैठ सकता है। इससे बचने के लिए, उसे बाहरी मदद की आवश्यकता होती है (जैसे कंप्यूटर की प्रशिक्षण प्रक्रिया से आने वाला रैंडम नॉइज़), जो कम विश्वसनीय है।

4. "बलिदान देने वाली ढाल" (The "Sacrificial Shield")

पेपर निष्कर्ष निकालता है कि प्रोजेक्शन हेड एक बलिदान देने वाली ढाल (sacrificial shield) है।

प्रशिक्षण के नियम (loss function) बहुत कठोर और विनाशकारी होते; वे डेटा में अत्यधिक बदलाव की मांग करते हैं।
यदि हम इन नियमों को सीधे मुख्य मस्तिष्क पर लागू करते, तो हम मस्तिष्क की उपयोगी चीजें सीखने की क्षमता को तोड़ देते।
हेड प्रहार को झेलता है। यह डेटा के ज्यामितीय विरूपण (geometric distortion), शोर को कुचलने और अस्थिरता को सोख लेता है। यह "गंदा" और "टूटा हुआ" (सूचना के संदर्भ में) हो जाता है ताकि मुख्य मस्तिष्क साफ और शक्तिशाली बना रहे।

संक्षेप में:
प्रोजेक्शन हेड एक डिस्पोजेबल, आकार बदलने वाला उपकरण है जो दुनिया को मोड़ देता है ताकि प्रशिक्षण आसान हो सके और AI को फंसने से रोका जा सके। यह दुनिया को कुचलकर विशिष्ट विवरणों (जैसे रंग या रोटेशन) को हटा देता है जिसकी प्रशिक्षण के नियम मांग करते हैं। प्रशिक्षण समाप्त होने के बाद, हम इस उपकरण को हटा देते हैं क्योंकि इसने मुख्य मस्तिष्क की रक्षा करने का अपना काम कर दिया है, जिससे हमारे पास एक शक्तिशाली, लचीला AI बचता है जो वास्तविक दुनिया के लिए तैयार है।

तकनीकी सारांश: प्रोजेक्शन हेड्स की ज्यामिति: कंडीशनिंग, इनवेरियंस और कोलैप्स

समस्या विवरण

सेल्फ-सुपरवाइज्ड लर्निंग (SSL) एक विशिष्ट आर्किटेक्चरल घटक पर अत्यधिक निर्भर है: नॉनलीनियर प्रोजेक्शन हेड। अपनी ट्रेनिंग के लिए आवश्यक होने के बावजूद, इस हेड को आमतौर पर डाउनस्ट्रीम फाइन-ट्यूनिंग से पहले हटा दिया जाता है ("द गिलोटिन इफेक्ट"), जो एक सैद्धांतिक पहेली खड़ी करता है: यदि हेड प्रीट्रेनिंग लॉस को कम करने के लिए आवश्यक है, तो यह क्यों है कि इसके द्वारा निर्मित रिप्रेजेंटेशन इन्फरेंस के लिए उप-इष्टतम (suboptimal) होता है? इसके अतिरिक्त, मौजूदा स्पष्टीकरण (जैसे कि इंफॉर्मेशन बॉटलनेक्स या डाइमेंशनल कोलैप्स प्रिवेंशन) यह बताते हैं कि क्या होता है, लेकिन वे इस बात को समझाने में विफल रहते हैं कि हेड की ज्यामितीय मैकेनिक्स कैसे सूचना को फ़िल्टर करने, अभिसरण (convergence) को तेज करने और कोलैप्स्ड सैडल पॉइंट्स से बाहर निकलने के लिए ऑप्टिमाइज़ेशन लैंडस्केप को बदल देती है।

कार्यप्रणाली

लेखक एक प्रोजेक्शन हेड को बैकबोन रिप्रेजेंटेशन मैनिफोल्ड पर एक ट्रेनेबल रीमानियन मेट्रिक (trainable Riemannian metric) के रूप में मॉडल करते हुए एक ज्यामितीय सिद्धांत विकसित करते हैं। मुख्य सैद्धांतिक ढांचा शामिल है:

इफेक्टिव हेसियन डीकंपोजिशन (Effective Hessian Decomposition): बैकबोन रिप्रेजेंटेशन के सापेक्ष SSL ऑब्जेक्टिव के ऑप्टिमाइज़ेशन लैंडस्केप का विश्लेषण प्रभावी हेसियन ( $H_{eff}$ ) के माध्यम से किया जाता है। इस ऑपरेटर को एक पुलबैक मेट्रिक ( $G(z) = J_h^\top \nabla^2_h L J_h$ ) और हेड की आंतरिक वक्रता (intrinsic curvature) द्वारा संचालित एक इंटरेक्शन टर्म ( $\sum [\nabla_h L]_i \nabla^2_z h_i$ ) में विभाजित किया गया है।
जियोमेट्रिक कंडीशनिंग: पेपर इस बात की जांच करता है कि लीनियर और नॉनलीनियर हेड्स लॉस लैंडस्केप को कैसे कंडीशन करते हैं। लीनियर हेड्स का विश्लेषण उनके 'इम्प्लिसिट सबस्पेस व्हाइटनिंग' करने की क्षमता के लिए किया जाता है, जबकि नॉनलीनियर हेड्स का अध्ययन स्थानीय वक्र पथों (curved trajectories) के साथ स्थानीय मेट्रिक्स को अनुकूलित करने की उनकी क्षमता के लिए किया जाता है।
स्थिरता विश्लेषण (Stability Analysis): डाइमेंशनल कोलैप्स (जहाँ रिप्रेजेंटेशन एक स्थिर वेक्टर में मैप हो जाते हैं) की स्थिरता का परीक्षण $H_{eff}$ के आइजनवैल्यूज़ का विश्लेषण करके किया जाता है। लेखक कंटीन्यूअस-टाइम ग्रेडिएंट फ्लो और डिस्क्रीट-टाइम डायनेमिक्स के बीच अंतर स्पष्ट करते हैं।
मेट्रिक सिंगुलैरिटी और इनवेरियंस: इनवेरियंस ऑब्जेक्टिव्स और मेट्रिक डिजनरेसी के बीच संबंध को औपचारिक रूप दिया गया है। वे सिद्ध करते हैं कि ऑगमेंटेशन ऑर्बिट्स के प्रति इनवेरियंस लागू करने के लिए एक सिंगुलर पुलबैक मेट्रिक की आवश्यकता होती है, जो प्रभावी रूप से ऑगमेंटेशन टेंगेंट स्पेस के साथ सूचना को नष्ट कर देता है।
अनुभवजन्य सत्यापन (Empirical Validation): सिद्धांत को हेसियन ट्रैकिंग (कंडीशन नंबर और नेगेटिव आइजनवैल्यू की निगरानी), ऑर्बिट कंप्रेशन विश्लेषण (ऑगमेंटेशन मैनिफोल्ड में वेरिएंस रिडक्शन का मापन), और विभिन्न आर्किटेक्चर (ResNet, ViT) एवं डेटासेट (CIFAR-10/100) पर विभिन्न एक्टिवेशन फंक्शन (ReLU बनाम Swish/GELU जैसे स्मूथ एक्टिवेशन) और हेड डेप्थ के एब्लेशन स्टडीज के माध्यम से सत्यापित किया गया है।

मुख्य योगदान

1. इम्पलिसिट सबस्पेस व्हाइटनिंग के रूप में लीनियर हेड्स

लेखक सिद्ध करते हैं कि लीनियर प्रोजेक्शन हेड्स इम्पलिसिट सबस्पेस व्हाइटनिंग करते हैं। एक वेट मैट्रिक्स $W$ सीखकर, हेड एक महलानोबिस मेट्रिक प्रेरित करता है जो रिप्रेजेंटेशन स्पेस के प्रासंगिक सबस्पेस को एम्बेडिंग स्पेस में आइसोमेट्रिकली मैप करता है। हालाँकि, यह कंडीशनिंग ग्लोबल है और उन कर्व्ड मैनिफोल्ड्स के लिए अपर्याप्त है जहाँ लोकल कर्वेचर भिन्न होता है।

2. लोकल मेट्रिक एडेप्टर के रूप में नॉनलीनियर हेड्स

यह दिखाया गया है कि नॉनलीनियर हेड्स (MLPs) में वक्र ऑप्टिमाइज़ेशन ट्रेजेक्टरीज के साथ लोकल मेट्रिक को अनुकूलित करने की क्षमता होती है। पेपर सिद्ध करता है कि जबकि लीनियर हेड्स एक कर्व्ड लॉस मैनिफोल्ड को ग्लोबली फ्लैट नहीं कर सकते (प्रपोजिशन 3.3), पर्याप्त गहरे नॉनलीनियर हेड्स एक आदर्श मेट्रिक को अनुमानित कर सकते हैं जो प्रभावी हेसियन को ट्रेजेक्टरी के साथ $\epsilon$ -आइसोट्रोपिक बनाता है (थ्योरम 3.2)।

3. कोलैप्स की कर्वेचर-प्रेरित अस्थिरता

एक केंद्रीय योगदान यह है कि नॉन-कॉन्ट्रास्टिव मेथड्स (जैसे BYOL, SimSiam) बिना स्पष्ट नेगेटिव सैंपल्स के डाइमेंशनल कोलैप्स से कैसे बचते हैं।

थ्योरम 4.1: लेखक सिद्ध करते हैं कि स्मूथ नॉनलीनियर हेड्स के लिए, प्रभावी हेसियन में इंटरेक्शन टर्म कोलैप्स्ड इक्विलिब्रिया पर नेगेटिव आइजनवैल्यूज़ इंजेक्ट करता है। यह कोलैप्स्ड स्टेट को एक स्थिर न्यूनतम (stable minimum) से एक अस्थिर सैडल पॉइंट (unstable saddle point) में बदल देता है, जो ग्रेडिएंट डिसेंट के लिए एक प्राकृतिक एस्केप मैकेनिज्म प्रदान करता है।
द ReLU गैप: पीसवाइज-लीनियर एक्टिवेशन (जैसे ReLU) में अंतर्निहित सेकंड-ऑर्डर कर्वेचर ( $\nabla^2 \text{ReLU} = 0$ ) की कमी होती है। नतीजतन, वे कंटीन्यूअस-टाइम फ्लो के तहत इस प्रकार की नेगेटिव कर्वेचर उत्पन्न नहीं कर सकते। पेपर तर्क देता है कि ReLU हेड्स केवल डिस्क्रीट-टाइम नॉइज़ (फाइनाइट स्टेप साइज़) और BatchNorm के माध्यम से ही कोलैप्स से बचते हैं, जबकि स्मूथ एक्टिवेशन (Swish, GELU) एक नेटिव ज्योमेट्रिक गारंटी के रूप में अस्थिरता प्रदान करते हैं।

4. मेट्रिक डिजनरेसी और इंफॉर्मेशन-इनवेरियंस ट्रेड-ऑफ

पेपर मेट्रिक सिंगुलैरिटी के माध्यम से "ट्रेन-विद, डिप्लॉय-विदाउट" रणनीति को औपचारिक रूप देता है।

प्रपोजिशन 5.2: इनवेरियंस ऑब्जेक्टिव्स को संतुष्ट करने के लिए, प्रोजेक्शन हेड को एक सिंगुलर पुलबैक मेट्रिक प्रेरित करना चाहिए जहाँ ऑगमेंटेशन टेंगेंट स्पेस न्यूल स्पेस में स्थित हो ( $v^\top G(z) v = 0$ )।
थ्योरम 5.3: यह सिंगुलैरिटी बैकबोन के सापेक्ष फिशर इंफॉर्मेशन मैट्रिक्स में रैंक डेफिशिएंसी का कारण बनती है। हेड एक ज्यामितीय लो-पास फिल्टर के रूप में कार्य करता है, जो ऑगमेंटेशन दिशाओं के साथ सूचना को नष्ट कर देता है।
निष्कर्ष: हेड को हटाना एक सैद्धांतिक आवश्यकता है। बैकबोन डेटा मैनिफोल्ड की पूर्ण डाइमेंशनलिटी को सुरक्षित रखता है, जबकि हेड इनवेरियंस लागू करने के लिए आवश्यक मेट्रिक डिजनरेसी को सोख लेता है। इन्फरेंस के लिए हेड का उपयोग करने से नष्ट की गई सूचना (या उसकी कमी) बनी रहेगी, जबकि रॉ बैकबोन रैखिक रूप से अलग होने वाले सिमेंटिक्स को बनाए रखता है।

परिणाम

हेसियन ट्रैकिंग: अनुभवजन्य ट्रैकिंग पुष्टि करती है कि स्मूथ हेड्स सक्रिय रूप से प्रभावी हेसियन में नेगेटिव आइजनवैल्यूज़ इंजेक्ट करते हैं, जिससे एक "फेज ट्रांजिशन" ट्रिगर होता है जो कोलैप्स्ड स्टेट से बाहर निकलता है। इसके विपरीत, ReLU और लीनियर हेड्स ऐसी कोई नेगेटिव कर्वेचर नहीं दिखाते हैं और डिस्क्रीट डायनेमिक्स द्वारा सहायता प्राप्त किए बिना कंटीन्यूअस-लाइक फ्लो के तहत कोलैप्स्ड बेसिन में फंसे रहते हैं।
ऑर्बिट कंप्रेशन: प्रयोग दिखाते हैं कि प्रोजेक्शन हेड ऑगमेंटेशन ऑर्बिट्स को ~20x (ResNet) से ~4000x (ViT) के कारकों से कंप्रेस करता है, जबकि इंटर-क्लास सिमेंटिक सेपरेशन को बनाए रखता है। यह पुष्टि करता है कि हेड एक चयनात्मक ज्यामितीय कंप्रेसर के रूप में कार्य करता है।
फाउंडेशन मॉडल्स: प्री-ट्रेन्ड मॉडल्स (DINO, VICReg, Barlow Twins) का विश्लेषण एक ज्यामितीय द्वैत (dichotomy) प्रकट करता है। DINO हेड्स जियोमेट्रिक कंप्रेसर (इनवेरियंस लागू करने के लिए ऑर्बिट्स को कोलैप्स करना) के रूप में कार्य करते हैं, जबकि रेडंडेंसी-रिडक्शन हेड्स (VICReg) डाइमेंशनल एक्सपैंडर्स (डेकोरलेशन बाधाओं को संतुष्ट करने के लिए वेरिएंस को संरक्षित करना) के रूप में कार्य करते हैं। दोनों मामलों में, हेड बैकबोन को ऑब्जेक्टिव के कठोर प्रतिबंधों से अलग करता है।
डेप्थ एब्लेशन: गहरे हेड्स (3-लेयर MLPs) मैनिफोल्ड को वारप करने और मेट्रिक सिंगुलैरिटीज को अलग करने की बेहतर क्षमता प्रदर्शित करते हैं, जिसके परिणामस्वरूप हल्के या लीनियर हेड्स की तुलना में बेहतर डाउनस्ट्रीम बैकबोन सटीकता प्राप्त होती है, जो मेट्रिक डिजनरेसी से बैकबोन को पर्याप्त रूप से बचाने में विफल रहते हैं।

महत्व

यह पेपर SSL में प्रोजेक्शन हेड्स की अनुभवजन्य आवश्यकता के लिए एक मैकेनिस्टिक ज्योमेट्रिक एक्सप्लेनेशन प्रदान करने का दावा करता है। यह दो केंद्रीय पहेलियों को हल करता है:

कोलैप्स अवॉयडेंस: यह प्रदर्शित करता है कि स्मूथ नॉनलीनियर हेड्स की अंतर्निहित वक्रता (intrinsic curvature) मामूली कोलैप्स्ड सॉल्यूशंस को अस्थिर करने के लिए पर्याप्त है, जो केवल BatchNorm या डिस्क्रीट-टाइम नॉइज़ पर आधारित स्पष्टीकरणों के लिए एक ज्यामितीय विकल्प प्रदान करती है।
द गिलोटिन इफेक्ट: यह सिद्ध करता है कि हेड को हटाना आवश्यक है क्योंकि यह एक मेट्रिक सिंगुलैरिटी उत्पन्न करता है जो डाउनस्ट्रीम कार्यों के लिए आवश्यक सूचना को नष्ट कर देता है। हेड एक "यूनिवर्सल ज्योमेट्रिक बफर" के रूप में कार्य करता है, जो प्रीट्रेनिंग ऑब्जेक्टिव के विनाशकारी प्रतिबंधों को सोख लेता है ताकि सिमेंटिक बैकबोन को सुरक्षित रखा जा सके।

यह कार्य सुझाव देता है कि ReLU को स्मूथ एक्टिवेशन से बदलना केवल एक ह्यूरिस्टिक नहीं है, बल्कि रोबस्ट ऑप्टिमाइज़ेशन के लिए एक टोपोलॉजिकल आवश्यकता है, और मानक 2-3 लेयर MLP आर्किटेक्चर इन ज्यामितीय स्थितियों को संतुष्ट करने के लिए आवश्यक न्यूनतम क्षमता के रूप में अनुभवजन्य रूप से मान्य है।