A Quotient Homology Theory of Representation in Neural Networks

एक बड़ी तस्वीर: न्यूरल नेटवर्क चीजों को कैसे "गोंद" (Glue) की तरह जोड़ते हैं

कल्पना कीजिए कि एक न्यूरल नेटवर्क एक विशाल, जटिल मशीन है जो कच्चे डेटा के ढेर (जैसे बिल्लियों और कुत्तों की तस्वीरें) को लेती है और उन्हें अलग करने की कोशिश करती है। ऐसा करने के लिए, मशीन डेटा को सिकोड़ती है, खींचती है और मोड़ती है जब तक कि बिल्लियाँ एक ढेर में और कुत्ते दूसरे ढेर में न आ जाएँ।

गणितज्ञों को लंबे समय से पता है कि ये नेटवर्क ओरिगामी कलाकारों (origami artists) की तरह काम करते हैं। वे कागज की एक सपाट शीट (इनपुट डेटा) लेते हैं और उसे विभिन्न आकारों में मोड़ते हैं। इस कागज को सपाट, ज्यामितीय टुकड़ों में विभाजित किया जाता है जिन्हें पॉलीहेड्रा (polyhedra) (इन्हें सपाट टाइल्स की तरह समझें) कहा जाता है। प्रत्येक टाइल पर, मशीन एक सरल, सीधी रेखा वाली गति (एक "एफाइन मैप") करती है।

समस्या यह है: हमें यह कैसे पता चलेगा कि मशीन वास्तव में डेटा के आकार (shape) को समझ रही है, या वह केवल ज्यामिति (geometry) के साथ भाग्य आजमा रही है?

वर्तमान उपकरणों के साथ समस्या: "रूलर" (Ruler) का जाल

वर्तमान में, वैज्ञानिक इन आकारों का अध्ययन करने के लिए परसिस्टेंट होमोलॉजी (Persistent Homology) नामक उपकरण का उपयोग करते हैं। इस उपकरण को एक रूलर या मापने वाले टेप की तरह समझें। यह डेटा को देखता है और पूछता है, "ये बिंदु एक-दूसरे से कितनी दूर हैं?"

• दोष: यदि आप एक रूलर का उपयोग करते हैं, तो आप ज्यामिति (दूरी, वक्र, कोण) को माप रहे होते हैं, न कि केवल टोपोलॉजी (वास्तविक आकार, जैसे कि क्या इसमें कोई छेद है या यह जुड़ा हुआ है) को।
• उपमा: कल्पना कीजिए कि आपके पास बीच में छेद वाला एक रबर बैंड है (डोनट का आकार)। यदि आप इसे खींच देते हैं, तो यह अभी भी एक डोनट ही रहता है। लेकिन यदि आप बिंदुओं के बीच की दूरी मापने के लिए रूलर का उपयोग करते हैं, तो खींचने की प्रक्रिया इसे ऐसा दिखा सकती है जैसे छेद गायब हो गया हो या उसका आकार बदल गया हो। रूलर वस्तु के खिंचाव के प्रति बहुत संवेदनशील है, बजाय इसके कि वस्तु वास्तव में क्या है।

लेखकों का तर्क है कि चूंकि न्यूरल नेटवर्क डेटा को बहुत अधिक खींचते हैं, इसलिए मानक उपकरण खिंचाव (ज्यामिति) के कारण भ्रमित हो जाते हैं और वास्तविक संरचना (टोपोलॉजी) को मिस कर देते हैं।

नया समाधान: "गोंद" (Glue) मैप

लेखक नेटवर्क को देखने का एक नया तरीका प्रस्तावित करते हैं जो पूरी तरह से रूलर को अनदेखा करता है। दूरी मापने के बजाय, वे एक सरल प्रश्न पूछते हैं: "नेटवर्क किन बिंदुओं को आपस में जोड़ (glue) रहा है?"

यदि नेटवर्क इनपुट से दो अलग-अलग बिंदुओं को लेता है और उन्हें आउटपुट में बिल्कुल एक ही स्थान पर भेज देता है, तो उसने उन्हें आपस में "गोंद" दिया है (यानी जोड़ दिया है)। यही एकमात्र तरीका है जिससे नेटवर्क डेटा के मौलिक आकार को बदल सकता है (जैसे कि एक छेद को बंद करके डोनट को एक ठोस गेंद में बदलना)।

वे इस नई विधि को क्वोटिएंट होमोलॉजी (Quotient Homology) कहते हैं।

जोड़ने (Gluing) के दो तरीके

यह पेपर पहचानता है कि नेटवर्क दो तरीकों से बिंदुओं को जोड़ता है:

1. रैंक सोर्स (द फ्लैटनर - The Flattener): कल्पना कीजिए कि मिट्टी की एक 3D गेंद को मेज पर दबाकर चपटा कर दिया गया है। यह एक 2D पैनकेक बन जाता है। नेटवर्क ऐसा करता है—वह डेटा के एक पूरे क्षेत्र को निचले आयाम (lower dimension) में सिकोड़ देता है।
2. ओवरलैप सोर्स (द ग्लू - The Glue): कल्पना कीजिए कि कागज के दो अलग-अलग टुकड़े (polyhedra) हैं जिन्हें नेटवर्क मोड़ता है। भले ही वे शुरुआत में अलग-अलग स्थानों पर थे, नेटवर्क उन्हें इस तरह मोड़ता है कि वे एक-दूसरे के ऊपर आ जाते हैं। इन दो अलग-अलग टुकड़ों के बिंदु अब आउटपुट में एक साथ "गोंद" (जुड़े हुए) हो जाते हैं।

लेखक एक आश्चर्यजनक तथ्य सिद्ध करते हैं: यदि डेटा सपाट टाइल्स पर अच्छी तरह से स्थित है (जो कि आमतौर पर सच होता है), तो आपको केवल "ओवरलैप सोर्स" की चिंता करने की आवश्यकता है। आप "फ्लैटनिंग" वाले हिस्से को अनदेखा कर सकते हैं और केवल यह देख सकते हैं कि अलग-अलग टाइल्स एक-दूसरे के ऊपर कहाँ गिरती हैं।

उन्होंने इसे कैसे किया (एल्गोरिदम)

इन "जुड़े हुए" बिंदुओं को बिना रूलर के खोजने के लिए, लेखकों ने एक कंप्यूटर एल्गोरिदम बनाया जो एक जासूस की तरह काम करता है:

1. विभाजन और विजय (Divide and Conquer): उन्होंने इनपुट डेटा को उन सपाट टाइल्स (polyhedra) में विभाजित किया जो नेटवर्क बनाता है।
2. "क्या वे मिल सकते हैं?" परीक्षण: प्रत्येक टाइल के जोड़े के लिए, वे लीनियर प्रोग्रामिंग (Linear Programming) नामक एक गणितीय तकनीक का उपयोग करते हैं और पूछते हैं: "क्या टाइल A में कोई बिंदु और टाइल B में कोई बिंदु ऐसा है जिसे नेटवर्क बिल्कुल एक ही गंतव्य पर भेजता है?"
3. यूनियन-फाइंड (The Union-Find): यदि उत्तर हाँ है, तो वे उन बिंदुओं को "गोंद" (glued) के रूप में चिह्नित करते हैं। वे यह देखने के लिए एक सरल समूहीकरण विधि का उपयोग करते हैं (जैसे मोजों को जोड़ियों में छाँटना) कि बिंदुओं के बड़े समूह अब आपस में कैसे जुड़े हुए हैं।

उन्होंने क्या पाया

उन्होंने अपने नए तरीके का परीक्षण सरल, कृत्रिम डेटासेट्स (जैसे वृत्त, रिंग और गोले) पर किया और पुराने "रूलर" तरीके के साथ इसकी तुलना की।

• शुद्ध टोपोलॉजी (Pure Topology): उनके नए तरीके ने खिंचाव को सफलतापूर्वक अनदेखा किया और केवल वास्तविक छेदों और कनेक्शनों को गिना। जब डेटा को सिकोड़ा या घुमाया गया, तो यह भ्रमित नहीं हुआ।
• धीमे बदलाव: जब उन्होंने नेटवर्क को सीखते (ट्रेन होते) हुए देखा, तो उन्होंने पाया कि "टोपोलॉजी" (छेद और आकार) पिछले अध्ययनों की तुलना में बहुत अधिक क्रमिक (gradual) रूप से बदलती है। पुराने रूलर-आधारित तरीकों ने ऐसा दिखाया जैसे नेटवर्क डेटा के आकार को तुरंत नष्ट कर रहा है। नया तरीका दिखाता है कि यह धीरे-धीरे, चरण-दर-चरण होता है।
• ट्रेनिंग प्रभाव: जैसे-जैसे नेटवर्क चीजों को वर्गीकृत करना (जैसे बिल्लियों और कुत्तों को अलग करना) सीखता है, "गोंद" वाले क्षेत्र (ओवरलैप) का आयतन छोटा होता जाता है, लेकिन उनकी संख्या बढ़ती जाती है। नेटवर्क विशिष्ट डेटा समूहों को जोड़ने के मामले में अधिक सटीक होता जाता है।

सीमाएँ (चुनौतियाँ)

लेखक ईमानदार हैं कि उनका तरीका कहाँ लड़खड़ा सकता है:

• "अनदेखा" गोंद (The Unseen Glue): उनका तरीका केवल उन्हीं डेटा बिंदुओं को देखता है जो उन्होंने वास्तव में नेटवर्क को दिए हैं। यदि नेटवर्क के पास कोई छिपा हुआ "गोंद" वाला स्थान है जिसे प्रशिक्षण डेटा ने कभी छुआ ही नहीं, तो यह तरीका उसे मिस कर सकता है (Type 2 error)।
• "नकली" गोंद (The Fake Glue): इसके विपरीत, विधि यह सोच सकती है कि दो बिंदु जुड़े हुए हैं क्योंकि वे गणितीय स्थान में एक ही स्थान पर गिरते हैं, भले ही वे बिंदु वास्तविक दुनिया के डेटा में मौजूद न हों (Type 1 error)।
• कंप्यूटेशनल लागत (Computational Cost): यह जांचना कि हर टाइल का जोड़ा आपस में जुड़ता है या नहीं, बहुत कठिन है। यह लाखों लोगों के स्टेडियम में हर संभव हाथ मिलाने (handshake) की जाँच करने जैसा है। यह छोटे से मध्यम आकार के नेटवर्क के लिए काम करता है, लेकिन बहुत बड़े नेटवर्क के लिए यह बहुत महंगा हो जाता है।

सारांश

यह पेपर न्यूरल नेटवर्क के लिए एक नया "गोंद डिटेक्टर" पेश करता है। डेटा बिंदुओं के बीच की दूरी मापने के बजाय (जो कि नेटवर्क द्वारा उन्हें खींचने पर उलझ जाता है), यह बस यह पूछता है: "नेटवर्क ने किन बिंदुओं को आपस में चिपकाने (stick together) का निर्णय लिया है?"

इस "गोंडिंग" (gluing) पर ध्यान केंद्रित करके, वे देख सकते हैं कि नेटवर्क डेटा को प्रोसेस करते समय उसका वास्तविक आकार क्या है, जिससे पता चलता है कि टोपोलॉजिकल परिवर्तन हमारे पिछले अनुमानों की तुलना में बहुत अधिक धीरे और सूक्ष्म रूप से होते हैं। यह डेटा के "खिंचाव" से विचलित हुए बिना नेटवर्क की "सोच की संरचना" को देखने का एक तरीका है।