🤖 machine learning

Bilinear autoencoders find interpretable manifolds

यह शोधपत्र द्विरेखीय ऑटोएनकोडर्स (bilinear autoencoders) प्रस्तुत करता है जो न्यूरल नेटवर्क सक्रियणों (neural network activations) में व्याख्या योग्य, बहु-आयामी मैनिफोल्ड्स को उजागर करने के लिए द्विघातीय लेटेंट्स (quadratic latents) का उपयोग करते हैं, यह प्रदर्शित करते हुए कि गैर-रेखीय ज्यामितीय पूर्वाग्रह (nonlinear geometric priors) व्यवस्थित रूप से पुनर्निर्माण में सुधार कर सकते हैं और उन मिश्रित अवधारणाओं को प्रकट कर सकते हैं जिन्हें रैखिक विधियाँ चूक जाती हैं।

मूल लेखक: Thomas Dooms, Ward Gauderis, Geraint Wiggins, Jose Oramas

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Thomas Dooms, Ward Gauderis, Geraint Wiggins, Jose Oramas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह समझने की कोशिश कर रहे हैं कि एक विशाल, जटिल मशीन (जैसे कि एक आधुनिक AI लैंग्वेज मॉडल) कैसे सोचती है। लंबे समय से, शोधकर्ता इसे समझने के लिए सीधी रेखाओं (straight lines) की तलाश करते रहे हैं। उन्होंने माना कि यदि AI के भीतर कोई अवधारणा (concept) मौजूद है, तो वह एक विशिष्ट दिशा में इशारा करने वाले एक अकेले तीर की तरह है। यदि AI "बिल्लियों" (cats) के बारे में सोचता है, तो उसके मस्तिष्क में एक विशिष्ट रेखा चमकती है।

यह पेपर तर्क देता है कि यह "सीधी रेखा" वाला दृष्टिकोण बहुत सरल है। इसके बजाय, यह पेपर सुझाव देता है कि AI में कई अवधारणाएं आकृतियों, बुलबुलों या घुमावदार सतहों (shapes, bubbles, or curved surfaces) की तरह हैं। इन आकृतियों को खोजने के लिए, लेखकों ने एक नया उपकरण बनाया जिसे बाइलिनियर ऑटोएनकोडर (Bilinear Autoencoder) कहा जाता है।

यहाँ उनके विचारों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. समस्या: "सीधी रेखा" वाला मानचित्र चीजों को छोड़ देता है

AI के मस्तिष्क को एक विशाल, बहु-आयामी कमरे के रूप में कल्पना करें जो अदृश्य फर्नीचर (अवधारणाओं) से भरा हुआ है।

पुराना तरीका (लीनियर ऑटोएनकोडर): कल्पना करें कि आप केवल एक रूलर (पैमाने) का उपयोग करके इस कमरे का मानचित्र बनाने की कोशिश कर रहे हैं। आप सीधी रेखाएं और सपाट दीवारें माप सकते हैं। यदि कोई अवधारणा एक "सीधी रेखा" है, तो आप उसे आसानी से पा लेते हैं। लेकिन यदि कोई अवधारणा एक वृत्त (circle), गोला (sphere), या घुमावदार पहाड़ी (curved hill) है, तो एक रूलर उसका वर्णन अच्छी तरह से नहीं कर सकता। आपको एक वृत्त का अनुमान लगाने के लिए सैकड़ों छोटे, टूटे हुए रूलर खंडों की आवश्यकता होगी, जो अव्यवस्थित और भ्रमित करने वाला है।
वास्तविकता: लेखकों ने पाया कि कई AI अवधारणाएं वास्तव में घुमावदार हैं। उदाहरण के लिए, "वर्षों" (जैसे 1990, 2000, 2010) की अवधारणा केवल एक रेखा नहीं है; यह एक विशिष्ट ज्यामितीय आकार है। "यूएस स्थानों" (U.S. locations) की अवधारणा केवल एक बिंदु नहीं है; यह बिंदुओं का एक बिखरा हुआ बादल है जो एक विशिष्ट क्लस्टर (समूह) बनाता है।

2. समाधान: "आकार बदलने वाला" लेंस (The "Shape-Shifting" Lens)

लेखकों ने एक नया उपकरण बनाया जो केवल सीधी रेखाओं को नहीं देखता; बल्कि घुमावदार आकृतियों (गणितीय रूप से "क्वाड्रिक्स" (quadrics) जैसे कि दीर्घवृत्त या अतिपरवलय) को खोजता है।

उपमा: कल्पना करें कि पुराना उपकरण एक टॉर्च था जो केवल एक सीधी किरण बिखेरता था। नया उपकरण एक लेजर कटर है जो घुमावदार आकृतियों को तराश सकता है।
यह कैसे काम करता है: यह पूछने के बजाय कि "क्या यह इनपुट उस रेखा पर है?", नया उपकरण पूछता है, "क्या यह इनपुट इस घुमावदार बुलबुले के अंदर है?" या "क्या यह इनपुट इस विशिष्ट घुमावदार सतह पर है?"
"बाइलिनियर" (Bilinear) भाग: यह केवल एक तकनीकी शब्द है जिसका अर्थ है कि उपकरण देखता है कि दो चीजें एक साथ कैसे परस्पर क्रिया करती हैं। यह केवल "बिल्ली" को नहीं देखता; यह आकार को परिभाषित करने के लिए "बिल्ली" और "म्याऊँ" के बीच के संबंध को एक साथ देखता है।

3. उन्होंने क्या पाया: घुमावदार आकृतियाँ हर जगह हैं

जब उन्होंने एक भाषा मॉडल (Qwen 3.5) पर इस नए उपकरण का उपयोग किया, तो उन्हें तीन मुख्य प्रकार की "आकृतियाँ" मिलीं जिन्हें पुराने उपकरणों ने मिस कर दिया था:

"स्लैब" (Slab - सरल वक्र): कल्पना करें कि यह एक मोटा सैंडविच है। अवधारणा तब सक्रिय होती है यदि आप ब्रेड के दो समानांतर स्लाइस के बीच में हैं, चाहे आप ब्रेड के किसी भी तरफ हों।
- उदाहरण: "वर्षों" (19xx, 20xx) की अवधारणा। टूल ने एक ऐसा आकार पाया जो सभी वर्षों को पकड़ लेता है, चाहे वे गणितीय अर्थ में सकारात्मक हों या नकारात्मक।
"क्लस्टर" (Cluster - बुलबुले): कल्पना करें कि यह अंगूरों का एक गुच्छा है। अवधारणा एक बड़ा आकार नहीं है, बल्कि अलग-अलग बिंदुओं का एक समूह है जो एक क्लस्टर बनाते हैं।
- उदाहरण: "यूएस स्थानों" की अवधारणा। टूल ने एक ऐसा आकार पाया जो "U.S.", "United" और "America" को एक साथ समूहित करता है, जबकि "London" या "Paris" को अनदेखा करता है, भले ही वे सभी स्थान (locations) हों।
"सैडल" (Saddle - जटिल वक्र): कल्पना करें कि यह घोड़े की जीन (horse saddle) है। आप एक दिशा में ऊपर जा सकते हैं और दूसरी दिशा में नीचे।
- उदाहरण: वाक्यांश "for instance" (उदाहरण के लिए)। टूल ने सीखा कि जब वह "for instance" या "e.g." देखता है, तो सक्रिय होना है, लेकिन अन्य संदर्भों में "for" शब्द को देखते समय निष्क्रिय (बंद) हो जाना है (जैसे "for the love of")। यह केवल शब्द को नहीं, बल्कि संदर्भ की बारीकी (nuance) को पकड़ता है।

4. यह क्यों महत्वपूर्ण है ("शब्दकोश" की उपमा)

लेखक अपने तरीके की तुलना अवधारणाओं का शब्दकोश बनाने से करते हैं।

पुराना शब्दकोश: आपके पास हजारों शब्द हैं, लेकिन वे सभी केवल सीधी रेखाएं हैं। एक वृत्त का वर्णन करने के लिए, आपको 50 अलग-अलग शब्दों का उपयोग करना पड़ता है जो थोड़े केंद्र से हटकर होते हैं। यह अक्षम और समझने में कठिन है।
नया शब्दकोश: आपके पास कम शब्द हैं, लेकिन प्रत्येक शब्द एक पूर्ण आकार है। एक शब्द "वृत्त" का वर्णन करता है, दूसरा "गोले" का।
परिणाम: उनके नए उपकरण ने पुराने उपकरणों की तुलना में AI के विचारों को बहुत अधिक सटीकता (कम त्रुटि) के साथ पुनर्गठित किया। उन्होंने पाया कि AI का मस्तिष्क इन जटिल, बहु-आयामी आकृतियों से भरा है, न कि केवल सरल रेखाओं से।

5. "मशीन में भूत" (स्थिरता/Stability)

एक दिलचस्प खोज यह है कि यदि आप टूल को दो बार प्रशिक्षित करते हैं, तो यह अलग-अलग विशिष्ट "आकृतियाँ" (अलग-अलग शब्दकोश) पा सकता है, लेकिन वे जो समग्र कमरा वर्णित करते हैं, वह एक ही रहता है।

उपमा: कल्पना करें कि दो अलग-अलग कलाकार एक ही परिदृश्य (landscape) को चित्रित कर रहे हैं। कलाकार A नीले और हरे रंग का उपयोग करता है; कलाकार B बैंगनी और नारंगी का उपयोग करता है। वे अलग-अलग रंगों (अलग-अलग शब्दकोश प्रविष्टियों) का उपयोग करते हैं, लेकिन दोनों एक ही पहाड़ और नदी (समान अंतर्निहित संरचना) को चित्रित करते हैं। लेखकों ने सिद्ध किया कि हालांकि विशिष्ट "रंग" बदलते हैं, लेकिन "परिदृश्य" स्थिर रहता है।

सारांश

पेपर का दावा है कि AI मॉडल केवल सीधी रेखाओं का संग्रह नहीं हैं। वे घुमावदार, बहु-आयामी आकृतियों से भरे हुए हैं। इन घुमावों को देख पाने वाले एक नए उपकरण (बाइलिनियर ऑटोएनकोडर) का उपयोग करके, शोधकर्ता:

अधिक स्पष्टता से देख सकते हैं: वे उन अवधारणाओं को पाते हैं जो पहले अदृश्य या अव्यवस्थित थे।
अधिक कुशल हैं: उन्हें समान मात्रा में जानकारी का वर्णन करने के लिए कम "विशेषताओं" (features) की आवश्यकता होती है।
बेहतर समझते हैं: वे देख सकते हैं कि "वर्षों" या "स्थानों" जैसी अवधारणाएं वास्तव में ज्यामितीय आकृतियों के रूप में कैसे संरचित हैं, न कि केवल सरल स्विच के रूप में।

लेखकों ने एक इंटरैक्टिव वेबसाइट (एक विज़ुअलाइज़र) भी बनाई है जहाँ आप इन 3D आकृतियों को स्वयं देख सकते हैं, जो यह साबित करता है कि ये घुमावदार "मैनिफ़ोल्ड्स" (manifolds) वास्तविक हैं और AI के सोचने के तरीके में प्रचलित हैं।

तकनीकी सारांश: बाइलिन ऑटोएन्कोडर्स व्याख्यात्मक मैनिफोल्ड्स (Interpretable Manifolds) पाते हैं

समस्या विवरण

वर्तमान मेकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) मुख्य रूप से स्पार्स ऑटोएन्कोडर्स (SAEs) पर निर्भर करती है ताकि न्यूरल नेटवर्क में व्याख्यात्मक लेटेंट रिप्रजेंटेशन को खोजा जा सके। ये विधियाँ लीनियर रिप्रजेंटेशन हाइपोथेसिस (Linear Representation Hypothesis) के तहत कार्य करती हैं, जो यह मानती हैं कि अवधारणाएँ (concepts) रैखिक दिशाओं (linear directions) के साथ एनकोड होती हैं। हालाँकि, हालिया शोध संकेत देते हैं कि प्रमुख अवधारणाएँ अक्सर जटिल, बहु-आयामी मैनिफोल्ड्स (जैसे कि दीर्घवृत्त/ellipsoids, अतिपरवलय/hyperboloids) को घेरती हैं, जिन्हें रैखिक विधियाँ पोस्ट-हॉक विश्लेषण के बिना कैप्चर नहीं कर सकतीं। इसके अलावा, केवल रैखिक लेटेंट्स का अलग-अलग अध्ययन संदर्भ-निर्भरता (context-dependence) को समझने में विफल रहता है, जहाँ एक लेटेंट का अर्थ सह-सक्रिय फीचर्स के आधार पर बदल जाता है। जबकि मॉडल क्षमता (capacity) को बढ़ाना अधिक संरचना को कैप्चर कर सकता है, अनबाउंडेड एक्सप्रेसिविटी अक्सर तुच्छ समाधानों (trivial solutions) की ओर ले जाती है जो व्याख्यात्मकता को विफल कर देती है। मुख्य चुनौती एक ऐसा रिप्रजेंटेशन क्लास खोजने की है जो इतनी नॉन-लीनियर हो कि इन मैनिफोल्ड्स को कैप्चर कर सके, लेकिन इतनी एल्जेब्रिकली ट्रैक्टेबल भी हो कि क्लोज्ड-फॉर्म ज्योमेट्रिक विश्लेषण और कंपोजिशनल समझ की अनुमति दे सके।

कार्यप्रणाली (Methodology)

यह शोध पत्र बाइलिन ऑटोएन्कोडर्स (Bilinear Autoencoders) को एक समाधान के रूप में प्रस्तावित करता है, जो मानक स्पार्स ऑटोएन्कोडर आर्किटेक्चर को क्वाड्रेटिक लेटेंट्स (quadratic latents) सीखने के लिए विस्तारित करता है।

आर्किटेक्चर

इनपुट वेक्टर $x$ को सीधे पुनर्गठित करने के बजाय, बाइलिन ऑटोएन्कोडर लिफ्टेड प्रोडक्ट स्पेस $X = xx^\top$ को पुनर्गठित करता है।

एनकोडर (Encoder): मॉडल सेकंड-ऑर्डर पॉलिनोमिअल्स (second-order polynomials) की गणना करने के लिए अनुकूलित गेटेड लीनियर यूनिट्स (GLUs) का उपयोग करता है। $i$ -वें लेटेंट का एक्टिवेशन $z_i = x^\top W_i x$ द्वारा परिभाषित है, जहाँ $W_i$ एक सिमेट्रिक मैट्रिक्स है जो एक क्वाड्रेटिक फॉर्म का प्रतिनिधित्व करता है।
डिकोडर (Decoder): पुनर्गठन (reconstruction) लिफ्टेड स्पेस में रैखिक रूप से किया जाता है: $\hat{X} = W^\top W X$ ।
प्रशिक्षण दक्षता (Training Efficiency): बड़े मॉडल्स के लिए $d \times d$ मैट्रिक्स $X$ को सीधे बनाना कम्प्यूटेशनल रूप से अव्यवहार्य है। लेखक एक कर्नेल ट्रिक (kernel trick) का उपयोग करते हैं ताकि $X$ को स्पष्ट रूप से बनाए बिना पुनर्गठन लॉस और ग्रेडिएंट्स की गणना की जा सके। कर्नेल मैट्रिक्स $K = WW^\top$ को कुशलतापूर्वक फैक्टरिंग $K = C^\top (LL^\top \odot RR^\top) C$ के माध्यम से कंप्यूट किया जाता है, जहाँ $L$ और $R$ एनकोडर फैक्टर मैट्रिसेस हैं और $C$ एक कंपोजिशन मैट्रिक्स है।
स्पर्सिटी (Sparsity): लेखक स्केल-इनवेरिएंट स्पर्सिटी पेनल्टी के रूप में होयर डेंसिटी (Hoyer density) पेश करते हैं। मानक $L_1$ पेनल्टी के विपरीत, जो तुच्छ श्रिंकेज (trivial shrinkage) का कारण बन सकती है, होयर डेंसी बैच में सापेक्ष प्रमुखता (relative prominence) को प्रोत्साहित करती है, जिससे यह सुनिश्चित होता है कि लेटेंट्स विशिष्ट संरचनाओं पर चुनिंदा रूप से सक्रिय हों और शून्य की ओर न गिरें।

संरचनात्मक परिकल्पनाएं (Structural Hypotheses)

यह पेपर तीन नेस्टेड रिप्रजेंटेशन हाइपोथेसिस को औपचारिक रूप देता है जो डिक्शनरी एटम्स के ज्योमेट्रिक प्रायर्स (geometric priors) को परिभाषित करते हैं:

क्वाड्रेटिक रिप्रजेंटेशन हाइपोथेसिस (Quadratic Representation Hypothesis): डिक्शनरी में सिमेट्रिक मैट्रिसेस $W_i$ होते हैं। मॉडल $xx^\top$ को इन मैट्रिसेस के स्पार्स सम (sparse sum) में डीकंपोज़ करता है। यह क्वाड्रिक ज्योमेट्री (quadric geometries - जैसे दीर्घवृत्त, अतिपरवलय, परवलय) का पता लगाने की अनुमति देता है।
एटॉमिक रिप्रजेंटेशन हाइपोथेसिस (Atomic Representation Hypothesis): एक प्रतिबंध जहाँ प्रत्येक डिक्शनरी एटम एक रैंक-1 मैट्रिक्स ( $W_i = w_i w_i^\top$ ) है। इसका रिसेप्टिव फील्ड एक सिमेट्रिक "स्लैब" (दो समानांतर हाइपरप्लेन) है, जो दिशा के चिह्न (sign) की परवाह किए बिना दिशा के साथ ऊर्जा का पता लगाता है।
कंपोजिट रिप्रजेंटेशन हाइपोथेसिस (Composite Representation Hypothesis): डिक्शनरी एटम्स रैंक-1 मैट्रिसेस का स्पार्स मिश्रण ( $W_i = \sum C_{ij} w_j w_j^\top$ ) हैं। यह मॉडल को स्वचालित रूप से लो-रैंक सबस्पेस सीखने की अनुमति देता है। एक कंपोजिट एटम एक दीर्घवृत्त (यदि पॉजिटिव सेमी-डेफिनिट है) या एक अतिपरवलय (यदि इंडेफिनेट है) बना सकता है, जो प्रभावी रूप से उन अवधारणाओं को कैप्चर करता है जिन्हें परिभाषित करने के लिए कई रैखिक दिशाओं की आवश्यकता होती है।

मुख्य योगदान (Key Contributions)

आर्किटेक्चर: लेखक डिक्शनरी लर्निंग के लिए बाइलिन ऑटोएन्कोडर्स को अनुकूलित करते हैं, जो कर्नेल ट्रिक के माध्यम से कुशल प्रशिक्षण सक्षम करता है। यह मानक लीनियर SAEs का एक स्वाभाविक, ट्रैक्टेबल विस्तार प्रदान करता है जो वेट स्पेस (weight space) में कार्य करता है, जिससे फॉरवर्ड पास के बिना ज्योमेट्रिक विश्लेषण संभव होता है।
फ्रेमवर्क: वे एक स्ट्रक्चरल प्रायर्स (एटॉमिक, कंपोजिट, क्वाड्रेटिक) का औपचारिक ढांचा प्रस्तावित करते हैं जो डिक्शनरी बाधाओं को विशिष्ट रिसेप्टिव फील्ड ज्योमेट्री (स्लैब्स, दीर्घवृत्त/अतिपरवलय, और मनमाने क्वाड्रिक्स) से मैप करता है। यह लीनियर हाइपोथेसिस को चुनौती देता है और दिखाता है कि अवधारणाओं का पता रैखिक हाफ-स्पेस के बजाय क्वाड्रिक सतहों के करीब होने से लगाया जा सकता है।
अनुभवजन्य सत्यापन (Empirical Validation):
- पुनर्गठन (Reconstruction): Qwen 3.5 (0.8B), Gemma-3 (1B), और Llama-3.2 (1B) पर प्रयोग दर्शाते हैं कि कंपोजिट और क्वाड्रेटिक लेटेंट्स लगातार एटॉमिक (रैंक-1) लेटेंट्स और लीनियर बेसलाइन्स की तुलना में कम पुनर्गठन त्रुटि (NMSE) प्राप्त करते हैं।
- ज्योमेट्री प्रवलता (Geometry Prevalence): स्पेक्ट्रल विश्लेषण प्रकट करता है कि जबकि कई अवधारणाएँ लो-रैंक हैं, एक महत्वपूर्ण "लॉन्ग टेल" ऐसी अवधारणाओं की है जिन्हें सटीक रूप से कैप्चर करने के लिए उच्च-आयामी ज्योमेट्री (रैंक > 1) की आवश्यकता होती है।
- स्थिरता (Stability): हालांकि व्यक्तिगत डिक्शनरी एटम्स (डीकंपोजिशन) विभिन्न ट्रेनिंग रन और हाइपरपैरामीटर्स के बीच काफी भिन्न होते हैं, ऑटोएन्कोडर्स द्वारा रिकवर किया गया ग्लोबल इनपुट सबस्पेस अत्यधिक स्थिर (>90% समानता) रहता है। यह सुझाव देता है कि विशिष्ट डीकंपोजिशन उतना महत्वपूर्ण नहीं है जितना कि अंतर्निहित मैनिफोल्ड संरचना।
- गुणात्मक विश्लेषण (Qualitative Analysis): एक इंटरैक्टिव विज़ुअलाइज़र विविध ज्योमेट्रिक पैटर्न कैप्चर करता है, जिसमें शंकु (वर्ष), क्लस्टर (स्थान), इंटरपोलेशन (सिमेंटिक ब्रिज), और सबसेट्स (जैसे "for" बनाम "for instance" जैसे कॉन्टेक्स्टुअल अंतर) शामिल हैं।

महत्व और दावे (Significance and Claims)

यह पेपर तर्क देता है कि बाइलिन ऑटोएन्कोडर्स नॉन-लीनियर लेकिन गणितीय रूप से ट्रैक्टेबल लेटेंट रिप्रजेंटेशन की ओर एक महत्वपूर्ण कदम हैं।

रैखिकता से परे (Beyond Linearity): यह कार्य लीनियर रिप्रजेंटेशन हाइपोथेसिस के प्रभुत्व को चुनौती देता है, यह दिखाते हुए कि प्रमुख अवधारणाएँ अक्सर उन बहु-आयामी मैनिफोल्ड्स में निवास करती हैं जिन्हें लीनियर विधियाँ मिस कर देती हैं।
कंपोजिशनल इंटरप्रिटेबिलिटी: पॉलिनोमिअल्स का उपयोग करके, मॉडल यह सुनिश्चित करता है कि कंपोजिशन वेट स्पेस में होता है। यह फीचर्स के बीच स्पष्ट, गणना योग्य इंटरैक्शन की अनुमति देता है, जिससे व्याख्यात्मकता आइसोलेटेड बेसिस से समझ में आने वाली कंपोजिशनल संरचनाओं की ओर बढ़ती है।
मैनिफोल्ड डिस्कवरी: लेखक इन मॉडल्स को मैनिफोल्ड डिस्कवरी के लिए अनसुपरवाइज्ड टूल्स के रूप में देखते हैं। क्योंकि ज्योमेट्री को सीधे वेट टेंसरों ( $W_i$ के आइजनवैल्यू और आइजनवेक्टर) से पढ़ा जा सकता है, ये मॉडल डिज़ाइन द्वारा व्याख्यात्मक ज्योमेट्रिक लेंस प्रदान करते हैं।
सीमित दायरा (Modest Scope): लेखक स्पष्ट रूप से कहते हैं कि प्रस्तुत स्ट्रक्चरल प्रायर्स एक प्रूफ-ऑफ-कांसेप्ट हैं। वे यह दावा नहीं करते हैं कि उन्होंने इष्टतम ट्रेड-ऑफ खोजने के लिए सभी संभावित प्रायर्स को स्कैन कर लिया है, न ही वे कॉज़ल एब्लेशन (causal ablation) को हल करने का दावा करते हैं। इसके बजाय, वे इसे भविष्य के कॉज़ल स्टीयरिंग और यह चरित्रित करने के लिए एक आधार के रूप में फ्रेम करते हैं कि विशिष्ट मॉडल किन ज्योमेट्रिक प्रायर्स को पसंद करते हैं।

पेपर निष्कर्ष निकालता है कि जबकि लीनियर विधियाँ उपयोगी हैं, क्षेत्र को वास्तविक कंपोजिशनल समझ प्राप्त करने के लिए न्यूरल नेटवर्क एक्टिवेशन्स में निहित घुमावदार, उच्च-आयामी ज्योमेट्री को स्पष्ट रूप से मॉडल करने की ओर बढ़ना चाहिए।