🤖 machine learning

Low-dimensional topology of deep neural networks

यह शोध पत्र लिंकिंग नंबरों में परिवर्तनों को ट्रैक करने के लिए उनके प्रतिनिधित्व स्थान (representation space) को $\mathbb{R}^3$ तक सीमित करके डीप न्यूरल नेटवर्क की टोपोलॉजिकल अभिव्यंजना शक्ति (topological expressivity) की जांच करता है, जो यह प्रकट करता है कि नॉनमोनोटोनिक एक्टिवेशन, ResNets और ट्रांसफॉर्मर, मोनोटोनिक फीडफॉरवर्ड या फ्लो-आधारित मॉडलों की तुलना में एक उच्च अभिव्यंजना वर्ग साझा करते हैं।

मूल लेखक: Junyu Ren, Lek-Heng Lim

प्रकाशित 2026-07-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Junyu Ren, Lek-Heng Lim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप दो आपस में जुड़े हुए छल्लों को सुलझाने की कोशिश कर रहे हैं, जैसे कि एक क्लासिक जादू का खेल जहाँ एक छल्ला दूसरे के माध्यम से गुजरता है। गणित की दुनिया में, इसे हॉफ लिंक (Hopf link) कहा जाता है। अब, कल्पना कीजिए कि आपके पास एक रोबोट (एक न्यूरल नेटवर्क) है जिसका काम इन दोनों छल्लों को देखना और यह कहना है, "यह बिंदु रिंग A का है, और वह बिंदु रिंग B का है।"

जुनयु रेन और लेक-हेंग लिम का शोध पत्र एक सरल लेकिन गहन प्रश्न पूछता है: क्या बहुत ही संकीर्ण "मस्तिष्क" वाला रोबोट इन छल्लों को बिना काटे सुलझा सकता है?

यहाँ उनके निष्कर्षों का रोजमर्रा के उदाहरणों के माध्यम से विवरण दिया गया है:

1. समस्या: "तंग गलियारा"

शोधकर्ताओं ने न्यूरल नेटवर्क का परीक्षण करने के लिए एक विशिष्ट सीमा तय की: उन्होंने नेटवर्क की प्रत्येक परत को केवल 3 यूनिट चौड़ा (कल्पना कीजिए कि एक गलियारा केवल 3 लोगों के लिए चौड़ा है) होने के लिए मजबूर किया।

उच्च आयामों (चौड़े गलियारे) में, गांठों को सुलझाना आसान होता है। आप बस उनके ऊपर से कदम रख सकते हैं या उनके चारों ओर घूम सकते हैं। लेकिन एक संकीर्ण 3D गलियारे में, यदि दो छल्ले आपस में जुड़े हुए हैं, तो आप उन्हें बिना नियमों को तोड़े अलग नहीं कर सकते।

खोज: यदि रोबोट साधारण, "एकतरफा" सोच (जिसे मोनोटोनिक एक्टिवेशन कहा जाता है, जैसे कि सामान्य ReLU फंक्शन) का उपयोग करता है, तो वह फंस जाता है। चाहे रोबोट कितना भी गहरा (सोचने की कितनी भी परतें) क्यों न हो, यदि गलियारा संकीर्ण रहता है, तो वह उन दो आपस में जुड़े छल्लों को अलग नहीं कर सकता। छल्ले जुड़े रहेंगे, और रोबोट वर्गीकरण करने में विफल रहेगा।

2. समाधान: स्थान को "मोड़ना" (Folding)

तो, आधुनिक AI मॉडल (जैसे ResNets और Transformers) वहाँ कैसे सफल होते हैं जहाँ साधारण रोबोट विफल हो जाता है? शोध पत्र का तर्क है कि वे "फोल्डिंग" (मोड़ने) नामक एक चाल का उपयोग करते हैं।

कल्पना कीजिए कि आपके पास धागे का एक लंबा टुकड़ा है जो गांठ में बंधा हुआ है। यदि आप इसे केवल सीधा खींच सकते हैं, तो आप इसे खोल नहीं सकते। लेकिन यदि आप धागे को अपने ऊपर वापस मोड़ (fold) सकते हैं, तो आप उसका आकार पूरी तरह से बदल सकते हैं।

नॉन-मोनोटोनिक एक्टिवेशन: कुछ AI मॉडल "फोल्डिंग" फंक्शन (जैसे GELU या Swish) का उपयोग करते हैं। ये फंक्शन एक संख्या को ले सकते हैं, उसे पलट सकते हैं, या मोड़ सकते हैं। यह नेटवर्क को उन उलझे हुए छल्लों को "मोड़ने" की अनुमति देता है ताकि वे एक-दूसरे को स्पर्श न करें, जिससे वे प्रभावी रूप से सुलझ जाते हैं।
स्किप कनेक्शन (ResNets): ResNets में एक विशेष विशेषता है जहाँ वे डेटा को एक परत को "छोड़ने" (skip) की अनुमति देते हैं। शोध पत्र दिखाता है कि यदि आप केवल साधारण "एकतरफा" फंक्शन का उपयोग करते हैं, तो भी स्किप कनेक्शन नेटवर्क को गणितीय रूप से एक "मोड़" (विशेष रूप से, एक एब्सोल्यूट वैल्यू फंक्शन, $|x|$ ) बनाने की अनुमति देता है। यह एक हिंज (कब्जे) की तरह कार्य करता है, जिससे नेटवर्क को स्थान को मोड़ने और छल्लों को सुलझाने की अनुमति मिलती है।
अटेंशन (Transformers): ट्रांसफॉर्मर "अटेंशन" तंत्र का उपयोग करते हैं ताकि डेटा के विभिन्न हिस्सों को महत्व दिया जा सके। लेखक सिद्ध करते हैं कि यह तंत्र भी डेटा में एक "मोड़" बना सकता है, जो स्किप कनेक्शन की तरह ही कार्य करता है ताकि छल्लों को सुलझाया जा सके।

3. शक्ति का पदानुक्रम (Hierarchy of Power)

यह शोध पत्र विभिन्न AI आर्किटेक्चर को एक संकीर्ण स्थान में इस "सुलझाने" (टोपोलॉजिकल ट्रांसफॉर्मेशन) की क्षमता के आधार पर रैंक करता है:

सबसे मजबूत: ResNets और Transformers। वे छल्लों को सुलझा सकते हैं क्योंकि वे डेटा को "मोड़" सकते हैं।
मध्यम: फोल्डिंग फंक्शन वाले फीडफॉरवर्ड नेटवर्क (जैसे GELU)। वे भी छल्लों को सुलझा सकते हैं।
सबसे कमजोर: मानक फीडफॉरवर्ड नेटवर्क (साधारण ReLU के साथ) और इन्वर्टिबल मॉडल (जैसे फ्लो-आधारित मॉडल)। ये कठोर पाइपों की तरह हैं; वे छल्लों को खींच या सिकोड़ सकते हैं, लेकिन वे उन्हें मोड़ या फोल्ड नहीं कर सकते। यदि छल्ले जुड़े हुए हैं, तो ये मॉडल फंस जाते हैं। वे कभी भी वर्गों को पूरी तरह से अलग नहीं कर सकते।

4. वास्तविक दुनिया का प्रमाण

शोधकर्ताओं ने केवल गणित नहीं किया; उन्होंने प्रयोग भी चलाए:

सिंथेटिक डेटा: उन्होंने आपस में जुड़े छल्लों के आकार का 3D डेटा बनाया। जैसा कि अनुमान था, "कठोर" नेटवर्क (मानक ReLU) उन्हें अलग करने में विफल रहे, जबकि "फोल्डिंग" नेटवर्क (ResNets, GELU) सफल रहे।
वास्तविक चित्र (CIFAR-10): उन्होंने वास्तविक तस्वीरों (जैसे पक्षी बनाम हिरण) को देखा। उन्होंने पाया कि डेटा की कुछ श्रेणियां डेटा स्पेस में "टोपोलॉजिकली जुड़ी हुई" हैं (कल्पना कीजिए कि पक्षी और हिरण के आकार जटिल तरीके से आपस में जुड़े हुए हैं)।
- जब डेटा "जुड़ा हुआ" था, तो "फोल्डिंग" करने वाले मॉडल (नॉन-मोनोटोनिक एक्टिवेशन) बेहतर प्रदर्शन करते थे।
- जो मॉडल फोल्ड नहीं कर सकते थे, वे इन विशिष्ट, "उलझे हुए" इमेज जोड़ों के साथ अधिक संघर्ष करते थे।

मुख्य निष्कर्ष

यह शोध पत्र सुझाव देता है कि ज्यामिति (Geometry) मायने रखती है। यह केवल इस बारे में नहीं है कि आपके पास कितने न्यूरॉन्स हैं; यह इस बारे में है कि वे न्यूरॉन्स डेटा को कैसे हिला सकते हैं।

यदि आपका डेटा "गांठदार" (टोपोलॉजिकली जटिल) है, तो एक संकीर्ण नेटवर्क जिसमें कठोर, एकतरफा सोच है, विफल हो जाएगा। इन समस्याओं को हल करने के लिए, आपको एक ऐसे आर्किटेक्चर की आवश्यकता है जो डेटा को "मोड़" सके—चाहे वह विशेष एक्टिवेशन फंक्शन का उपयोग करके हो, स्किप कनेक्शन (ResNets) के माध्यम से हो, या अटेंशन मैकेनिज्म (Transformers) के माध्यम से हो।

संक्षेप में: गांठ को सुलझाने के लिए, आपको एक ऐसे उपकरण की आवश्यकता है जो मोड़ सके, न कि केवल खींच सके।

तकनीकी सारांश: डीप न्यूरल नेटवर्क का निम्न-आयामी टोपोलॉजी (Low-Dimensional Topology)

समस्या विवरण (Problem Statement)

यह शोध पत्र डेटा मैनिफोल्ड्स (manifolds) को रूपांतरित करने में डीप न्यूरल नेटवर्क आर्किटेक्चर की मौलिक सीमाओं की जांच करता है, विशेष रूप से इस बात पर ध्यान केंद्रित करता है कि डेटा स्पेस में टोपोलॉजिकल उलझाव (topological entanglements) वर्गीकरण क्षमताओं को कैसे बाधित करते हैं। जबकि मौजूदा सिद्धांत अक्सर फलन जटिलता (function complexity) को समझाने के लिए यूनिवर्सल एप्रोक्सिमेशन थ्योरम या डेप्थ-विड्थ ट्रेड-ऑफ पर निर्भर करते हैं, यह कार्य निम्न-आयामी टोपोलॉजी के दृष्टिकोण से डेटा जटिलता (data complexity) को संबोधित करता है।

मूल समस्या यह है कि वास्तविक दुनिया का डेटा अक्सर उच्च-आयामी स्थान में सन्निहित (embedded) निम्न-आयामी मैनिफोल्ड्स के पास केंद्रित होता है। जब क्लास मैनिफोल्ड्स टोपोलॉजिकल रूप से उलझे हुए होते हैं (जैसे कि एक हॉफ लिंक (Hopf link) बनाना), तो वर्गीकरण के लिए नेटवर्क को उन्हें ज्यामितीय रूप से "अनटैंगल" (untangle) करने की आवश्यकता होती है। लेखक तर्क देते हैं कि आयामन (dimensionality) बढ़ाने से टोपोलॉजिकल बाधाएं तुच्छ हो सकती हैं (उदाहरण के लिए, $\mathbb{R}^4$ में कोई भी गाँठ अनकनोट (unknotted) हो जाती है), जिससे उन विशिष्ट आर्किटेक्चरल तंत्रों को छिपा दिया जाता है जो निम्न आयामों में उलझाव को हल करने के लिए आवश्यक हैं। इन तंत्रों को अलग करने के लिए, लेखक प्रतिनिधित्व स्थान की चौड़ाई को $d=3$ (और बाद में किसी भी $d$ के लिए) तक सीमित कर देते हैं, जिससे नेटवर्क को आयाम विस्तार (dimension expansion) पर निर्भर किए बिना टोपोलॉजिकल बाधाओं को हल करने के लिए मजबूर किया जा सके।

कार्यप्रणाली (Methodology)

लेखक मैनिफोल्ड्स के उलझाव को मापने के लिए निम्न-आयामी टोपोलॉजिकल इनवेरिएंट्स (low-dimensional topological invariants), विशेष रूप से लिंकिंग नंबर (linking number) का उपयोग करते हैं।

टोपोलॉजिकल ढांचा (Topological Framework):
- लिंकिंग नंबर: इसे $\mathbb{R}^3$ में विलगित बंद वक्रों (disjoint closed curves) के लिए गौस इंटीग्रल (Gauss integral) के माध्यम से परिभाषित किया गया है (और इसे $M^m, N^n \subset \mathbb{R}^d$ जहाँ $d=m+n+1$ है, के लिए सामान्यीकृत किया गया है)। एक गैर-शून्य लिंकिंग नंबर इंगित करता है कि मैनिफोल्ड्स को बिना प्रतिच्छेदन (intersection) के हाइपरप्लेन द्वारा अलग नहीं किया जा सकता है।
- रैखिक पृथक्करणीयता बाधा (Linear Separability Constraint): शोध पत्र सिद्ध करता है कि यदि दो मैनिफोल्ड्स रैखिक रूप से पृथक्करणीय हैं, तो उनका लिंकिंग नंबर शून्य होना चाहिए। इसलिए, लिंक्ड डेटा के पूर्ण वर्गीकरण के लिए एक ऐसे फीचर मैप की आवश्यकता होती है जो लिंकिंग नंबर को गैर-शून्य से शून्य में बदल दे।
आर्किटेक्चरल विश्लेषण (Architectural Analysis):
- अध्ययन विड्थ- $d$ फीडफॉरवर्ड नेटवर्क, ResNets और ट्रांसफॉर्मर्स (Transformers) का विश्लेषण करता है।
- असंभवता प्रमाण (Impossibility Proofs): लेखक प्रदर्शित करते हैं कि कोऑर्डिनेट-वाइज मोनोटोनिक एक्टिवेशन (जैसे ReLU, Sigmoid, Tanh) वाले विड्थ- $d$ फीडफॉरवर्ड नेटवर्क, लिंक होमोटोपी (link homotopy) के माध्यम से लिंकिंग नंबर को (चिह्न के साथ) संरक्षित रखते हैं। चूंकि इन्वर्टिबल एफाइन लेयर्स होमियोमॉर्फिज्म (homeomorphisms) हैं और मोनोटोनिक एक्टिवेशन ऐसी सीधी रेखा होमोटोपी (straight-line homotopies) की अनुमति देते हैं जो प्रतिच्छेदन से बचती हैं, इसलिए ऐसे नेटवर्क गैर-शून्य लिंकिंग नंबर को शून्य में कम नहीं कर सकते। फलस्वरूप, वे लिंक्ड डेटा के लिए रैखिक पृथक्करणीयता प्राप्त नहीं कर सकते।
- एस्केप का तंत्र (Mechanism of Escape): शोध पत्र पहचानता है कि डेटा प्रतिनिधित्व को "फोल्ड" (fold) करने के लिए मोनोटोनिसिटी बाधा को तोड़ना आवश्यक है, जिससे टोपोलॉजी बदल जाती है।
प्रायोगिक सत्यापन (Experimental Validation):
- सिंथेटिक डेटा: हॉफ लिंक ( $\mathbb{R}^3$ में दो आपस में जुड़े वृत्त) और उच्च-आयामी लिंक्ड स्फेयर्स ( $S^n \sqcup S^n \subset \mathbb{R}^{2n+1}$ ) पर प्रयोग।
- वास्तविक डेटा: PCA के माध्यम से 3D में प्रोजेक्ट किए गए CIFAR-10 क्लास मैनिफोल्ड्स पर लिंकिंग डिटेक्शन एल्गोरिदम का अनुप्रयोग।

मुख्य योगदान (Key Contributions)

1. टोपोलॉजिकल एक्सप्रेसिविटी पदानुक्रम (Topological Expressivity Hierarchy)

यह शोध पत्र विड्थ बाधाओं के तहत टोपोलॉजिकल रूपांतरणों के संबंध में एक सख्त आर्किटेक्चरल एक्सप्रेसिविटी पदानुक्रम स्थापित करता है:

इन्वर्टिबल/फ्लो-बेस्ड मॉडल (AH): लिंकिंग नंबर को नहीं बदल सकते (एम्बिएंट होमियोमॉर्फिज्म को संरक्षित करते हैं)।
फीडफॉरवर्ड मोनोटोनिक (FM): लिंक्ड मैनिफोल्ड्स को अनलिंक नहीं कर सकते; लिंक्ड डेटा के लिए पूर्ण वर्गीकरण असंभव है।
फीडफॉरवर्ड नॉन-मोनोटोनिक (FN), ResNets (R), और ट्रांसफॉर्मर्स (T): इन सभी में डेटा को "फोल्ड" करने की क्षमता होती है (जैसे $|x|$ या अटेंशन मैकेनिज्म के माध्यम से), जिससे वे लिंकिंग नंबर को बदलने और अनलिंकिंग प्राप्त करने में सक्षम होते हैं।
तुल्यता (Equivalence): लेखक सिद्ध करते हैं कि ResNets (स्किप कनेक्शन का उपयोग करके) और ट्रांसफॉर्मर्स (अटेंशन का उपयोग करके) मोनोटोनिक बेस एक्टिवेशन के साथ भी नॉन-मोनोटोनिक रूपांतरणों (जैसे एब्सोल्यूट वैल्यू) को सिंथेसाइज कर सकते हैं, जो उन्हें स्पष्ट रूप से नॉन-मोनोटोनिक एक्टिवेशन (जैसे GELU, Swish) वाले नेटवर्क के समान एक्सप्रेसिविटी क्लास में रखता है।

2. सैद्धांतिक सीमाएं (Theoretical Bounds)

असंभवता प्रमेय (Impossibility Theorem): कोऑर्डिनेट-वाइज मोनोटोनिक एक्टिवेशन वाले विड्थ- $d$ नेटवर्क $\mathbb{R}^d$ में विलगित मैनिफोल्ड्स को रैखिक रूप से अलग नहीं कर सकते यदि उनका लिंकिंग नंबर गैर-शून्य है।
विड्थ थ्रेशोल्ड (Width Threshold): लेखक दिखाते हैं कि विड्थ $d+1$ इस बाधा को समाप्त करने के लिए पर्याप्त है, क्योंकि यह एम्बिएंट स्पेस में टोपोलॉजिकल अनलिंकिंग की आवश्यकता के बिना कॉम्पैक्ट सेट्स पर यूनिवर्सल एप्रोक्सिमेशन की अनुमति देता है (विभाजित स्केलर इंटरवल्स में मैपिंग)।

3. लिंकिंग डिटेक्शन एल्गोरिदम (Linking Detection Algorithm)

शोध पत्र पॉइंट-क्लाउड सैंपल्स से क्लास मैनिफोल्ड्स के बीच लिंकिंग नंबर का अनुमान लगाने के लिए एक एल्गोरिदम पेश करता है:

$\mathbb{R}^3$ में PCA प्रोजेक्शन।
$\epsilon$ -फिल्टर्ड $k$ -NN स्थानिक ग्राफों का निर्माण।
मौलिक चक्र आधारों (fundamental cycle bases) का निष्कर्षण।
साइकिल पेयर्स पर गौस लिंकिंग इंटीग्रल्स की गणना।

परिणाम (Results)

सिंथेटिक प्रयोग

ReLU बनाम GELU: हॉफ लिंक कार्य पर, विड्थ-3 ReLU नेटवर्क (मोनोटोनिक) गहराई के बावजूद एक टोपोलॉजिकल सटीकता सीलिंग (अधिकतम ~~92.8%) से ऊपर नहीं जा पाते हैं, जबकि GELU नेटवर्क (नॉन-मोनोटोनिक) लगभग पूर्ण सटीकता (~~100%) प्राप्त करते हैं।
ResNets बनाम प्लेन FFNs: विड्थ-3 ResNets लिंक्ड डेटा पर 100% सटीकता प्राप्त करते हैं, जबकि प्लेन ReLU नेटवर्क विफल रहते हैं। यह पुष्टि करता है कि स्किप कनेक्शन आवश्यक "फोल्डिंग" ( $|x| = x + 2\text{ReLU}(-x)$ ) को सक्षम करते हैं ताकि टोपोलॉजिकल बाधाओं को तोड़ा जा सके।
उच्च आयाम: $\mathbb{R}^5$ में लिंक्ड 2-स्फेयर्स के साथ, नॉन-मोनोटोनिक आर्किटेक्चर एंटैंगलमेंट क्षेत्रों की संख्या ( $k$ ) बढ़ने के साथ मोनोटोनिक आर्किटेक्चर की तुलना में महत्वपूर्ण सटीकता लाभ बनाए रखते हैं।

वास्तविक दुनिया के प्रयोग (CIFAR-10)

लिंकिंग डिटेक्शन: एल्गोरिदम PCA-प्रोजेक्टेड स्पेस में विशिष्ट क्लास पेयर्स (जैसे Bird-Deer, Deer-Dog) के बीच लिंक्ड साइकिल्स का पता लगाता है।
कठिनाई के साथ सहसंबंध: जिन क्लास पेयर्स में उच्च लिंकिंग कंसिस्टेंसी होती है, वे टोपोलॉजिकल रूप से कम एक्सप्रेसिव आर्किटेक्चर के लिए वर्गीकृत करना कठिन होता है।
एक्टिवेशन गैप: लिंक्ड पेयर्स (जैसे Deer-Dog) पर, नॉन-मोनोटोनिक एक्टिवेशन (GELU, Swish, Mish) मोनोटोनिक वाले (ReLU, LeakyReLU) की तुलना में ~1.2% बेहतर प्रदर्शन करते हैं। यह गैप अनलिंक्ड कंट्रोल पेयर्स (जैसे Frog-Ship) पर गायब हो जाता है और मोनोटोनिक नेटवर्क में स्किप कनेक्शन जोड़ने पर भी समाप्त हो जाता है, जो सैद्धांतिक भविष्यवाणियों को मान्य करता है।
स्थानीयकरण (Localization): मोनोटोनिक और नॉन-मोनोटोनिक नेटवर्क के बीच प्रदर्शन का अंतर डिटेक्टेड लिंकिंग विटनेस (witnesses) के पास सबसे अधिक स्पष्ट होता है, जो बताता है कि टोपोलॉजिकल बाधा स्थानीयकृत है।

महत्व और दावे (Significance and Claims)

शोध पत्र दावा करता है कि निम्न-आयामी टोपोलॉजी AI आर्किटेक्चर के डिजाइन को निर्देशित करने के लिए एक उपयोगी उपकरण प्रदान करती है। विड्थ और एक्टिवेशन फंक्शन के प्रभावों को अलग करके, लेखक प्रदर्शित करते हैं कि:

टोपोलॉजिकल बाधाएं मौलिक हैं: कुछ आर्किटेक्चरल विशेषताएं (स्किप कनेक्शन, अटेंशन, नॉन-मोनोटोनिक एक्टिवेशन) केवल ट्रेनिंग स्थिरता के लिए इंजीनियरिंग ह्यूरिस्टिक्स नहीं हैं, बल्कि टोपोलॉजिकल बाधाओं को पार करने के लिए गणितीय रूप से आवश्यक हैं।
मैकेनिस्टिक समझ: "फोल्डिंग" तंत्र को डेटा को अनलिंक करने के लिए प्रमुख कारक के रूप में पहचाना गया है, जो यह समझाता है कि ResNets और ट्रांसफॉर्मर्स वहां क्यों सफल होते हैं जहां साधारण मोनोटोनिक फीडफॉरवर्ड नेटवर्क विफल हो जाते हैं।
एक्सट्रिंसिक बनाम इंट्रिंसिक: पारंपरिक टोपोलॉजिकल डेटा एनालिसिस (TDA) के विपरीत, जो आंतरिक गुणों (जैसे बेट्टी नंबर्स) का अध्ययन करता है, यह कार्य एक्सट्रिंसिक इनवेरिएंट्स (लिंकिंग नंबर) पर ध्यान केंद्रित करता है जो इस बात पर निर्भर करते हैं कि मैनिफोल्ड्स को एम्बिएंट स्पेस में कैसे एम्बेड किया गया है, जो न्यूरल नेटवर्क की रूपांतरण क्षमताओं के लिए सीधे प्रासंगिक है।

लेखक विनम्रता बनाए रखते हुए नोट करते हैं कि उनके CIFAR-10 परिणाम सहसंबंधी (correlational) हैं और मूल उच्च-आयामी मैनिफोल्ड के बजाय 3D PCA प्रोजेक्शन पर निर्भर हैं। वे लिंकिंग नंबर को एक प्रारंभिक उदाहरण के रूप में प्रस्तुत करते हैं, जिसका उद्देश्य समृद्ध इनवेरिएंट्स जैसे मिलनर के $\bar{\mu}$ -इनवेरिएंट्स और नॉट प्रकारों (knot types) का अन्वेषण करना है। यह कार्य सुझाव देता है कि डेटा ज्योमेट्री और एल्गोरिथमिक क्षमता के बीच परस्पर क्रिया को समझना सिद्धांतों पर आधारित आर्किटेक्चर डिजाइन के लिए नए मार्ग खोल सकता है।