🤖 machine learning

How are linear representations learned? Exact solutions to the dynamics of abstraction

यह शोध पत्र अमूर्तता (abstraction) का एक गतिक सिद्धांत प्रस्तुत करता है जो रैखिक और गैर-रैखिक दोनों न्यूरल नेटवर्क में प्रशिक्षण के दौरान रैखिक अवधारणा प्रतिनिधित्व (linear concept representations) कैसे उभरते हैं, इसके सटीक समाधान व्युत्पन्न करता है, जिससे यह प्रकट होता है कि अमूर्तता डेटा ज्यामिति, नेटवर्क गहराई और इनिशियलाइजेशन स्केल द्वारा शासित होती है और एक सार्वभौमिक क्षीणन नियम (universal attenuation law) का पालन करती है जो प्री-एक्टिवेशन्स (preactivations) की तुलना में एक्टिवेशन्स (activations) में अमूर्तता को कमजोर करती है।

मूल लेखक: William W. Yang, Andrew M. Saxe, Peter E. Latham

प्रकाशित 2026-07-13

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: William W. Yang, Andrew M. Saxe, Peter E. Latham

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को दुनिया को समझना सिखाने की कोशिश कर रहे हैं। आप उसे लाल वर्ग (red squares), नीले वर्ग (blue squares), लाल वृत्त (red circles) और नीले वृत्त (blue circles) की तस्वीरें दिखाते हैं। आप चाहते हैं कि रोबोट यह सीखे कि "वर्ग-पन" (square-ness) एक एकल, सुसंगत विचार है, चाहे वह लाल हो या नीला। उसके मस्तिष्क में (एक न्यूरल नेटवर्क में), यह विचार एक विशाल, बहु-आयामी मानचित्र में एक विशिष्ट दिशा के रूप में संग्रहीत है। यदि रोबोट "अमूर्त" (abstract) है, तो "लाल दुनिया" में "वर्ग घटाव वृत्त" (square minus circle) की दिशा ठीक उसी दिशा में होनी चाहिए जिसमें "नीली दुनिया" में "वर्ग घटाव वृत्त" की दिशा है। वे समानांतर होने चाहिए।

यह शोध पत्र इस बात की गहरी पड़ताल है कि प्रशिक्षण के दौरान वह सटीक संरेखण (alignment) कैसे होता है, और क्या चीज़ इसे पूरी तरह से होने से रोकती है।

बड़ी खोज: "समृद्ध" बनाम "सुस्त" सीखने का नृत्य (The "Rich" vs. "Lazy" Learning Dance)

लेखकों ने इस संरेखण को वास्तविक समय में देखने के लिए एक न्यूरल नेटवर्क का एक सरलीकृत, गणितीय रूप से हल करने योग्य संस्करण बनाया। उन्होंने पाया कि समझ की राह एक सीधी रेखा नहीं है; यह एक आश्चर्यजनक मोड़ के साथ एक नृत्य है।

रोबोट की सीखने की प्रक्रिया को एक हाइकर (पगडंडी पर चलने वाला) के रूप में सोचें जो एक विशिष्ट कैंपसाइट (कैंपिंग स्थल) तक पहुँचने की कोशिश कर रहा है (अंतिम, पूर्ण समझ)।

गंतव्य (The Destination): अंतिम स्थान का कैंपसाइट पूरी तरह से इलाके (डेटा) और मानचित्र (लक्ष्य) द्वारा निर्धारित होता है। यदि डेटा अव्यवset (messy) है, तो कैंपसाइट भी अव्यवset होगा। यदि डेटा साफ है, तो कैंपसाइट भी उत्तम होगा।
हाइकर का सामान (The Hiker's Gear - Initialization): यहाँ दिलचस्प बात है। हाइकर अपनी यात्रा कैसे शुरू करता है, यह उसके द्वारा तय किए जाने वाले पथ को बदल देता है, भले ही गंतव्य वही रहे।
- "समृद्ध" हाइकर (छोटा प्रारंभ - Tiny Start): यदि रोबोट बहुत-बहुत छोटे भार (weights) के साथ शुरू करता है (जैसे एक हाइकर जिसके पास बहुत हल्का बैकपैक हो), तो वह अव्यवset मध्य क्षेत्र को पार कर जाता है और बहुत जल्दी पूर्ण संरेखण के एक बिंदु पर पहुँच जाता है। वह वहां काफी लंबे समय तक रहता है, जैसे कि वह पूर्ण समझ के टाइम लूप में फंस गया हो। इसे लेखक "metastability" कहते हैं। यह इतना पूर्ण है कि यदि आप प्रशिक्षण को जल्दी रोक देते, तो आपको लगेगा कि रोबोट ने अवधारणा को हमेशा के लिए मास्टर कर लिया है।
- "सुस्त" हाइकर (बड़ा प्रारंभ - Big Start): यदि रोबोट बड़े भार (भारी बैकपैक) के साथ शुरू करता है, तो वह उस ऊंचाई तक कभी नहीं पहुँच पाता। वह बस धीरे-धीरे अंतिम गंतव्य की ओर चढ़ता है और वहीं रुक जाता है। वह उस पूर्णता के क्षण को कभी नहीं देख पाता।

नियम: अंतिम गंतव्य डेटा द्वारा निश्चित है, लेकिन प्रशिक्षण के दौरान समझ का शिखर इस बात से नियंत्रित होता है कि आपने कितनी छोटी शुरुआत की। यदि आप पर्याप्त छोटा शुरू करते हैं, तो रोबोट शोर वाले (noisy) डेटा के बावजूद भी लगभग पूर्ण अमूर्तता (abstraction) प्राप्त कर सकता है।

गहराई का प्रभाव: गहरा जाने से समझ बढ़ती है (The Depth Effect)

पत्र ने यह भी देखा कि जब आप न्यूरॉन्स की परतों को अधिक जोड़ते हैं, जैसे एक ऊँचा टॉवर बनाना।

उपमा (Analogy): कल्पना करें कि एक संदेश को लोगों की एक पंक्ति में नीचे भेजा जा रहा है। यदि संदेश "लाल वर्ग" है, तो पहला व्यक्ति इसे थोड़े लहजे (accent) के साथ बोलेगा। दूसरा व्यक्ति इसे थोड़ा साफ करेगा। जब तक यह एक ऊंचे टॉवर के शीर्ष तक पहुँचता है, संदेश बिल्कुल स्पष्ट हो जाता है।
निष्कर्ष: लेखकों ने गणितीय रूप से सिद्ध किया कि जैसे-जैसे आप परतें बढ़ाते हैं, अंतिम प्रतिनिधित्व (representation) अधिक अमूर्त होता जाता है। यह एक सहज इंटरपोलेशन है: आप जितना गहरा जाते हैं, आप "शुद्ध" अवधारणा के उतने ही करीब पहुँचते हैं, बशर्ते कि आप जिस लक्ष्य की भविष्यवाणी करने की कोशिश कर रहे हैं वह पहले से ही अमूर्त हो।

नॉनलिनियरी ट्रैप: क्यों "एक्टिवेशन" विचार को धुंधला कर सकता है (The Nonlinearity Trap)

वास्तविक न्यूरल नेटवर्क केवल सीधी रेखाएं नहीं हैं; उनमें "नॉनलिनियरीज़" (जैसे ReLU या GELU) होती हैं जो गेट या फिल्टर की तरह कार्य करती हैं। पत्र ने परीक्षण किया कि इन गेटों के माध्यम से "अवधारणा दिशा" को पारित करने पर क्या होता है।

निष्कर्ष: ये गेट संरेखण को कमजोर करते हैं। वे एक बल्ब के डिमर स्विच की तरह काम करते हैं। "प्री-एक्टिवेशन" (गेट से पहले का सिग्नल) अधिक उज्ज्वल और संरेखित होता है, जबकि "एक्टिवेशन" (गेट के बाद का सिग्नल) कम होता है।
प्रमाण: लेखकों ने विशिष्ट नॉनलिनियरीज़ जैसे कि एरर फंक्शन (erf) और लीकी ReLU के लिए एक "क्षीणन नियम" (Attenuation Law) सिद्ध किया: ये नॉनलिनियरीज़ अपने से पहले के सिग्नल की तुलना में अमूर्तता स्कोर को कम करती हैं। वे अनुमान लगाते हैं कि यह व्यापक परिवार की नॉनलिनियरीज़ पर भी लागू होता है, लेकिन सख्त प्रमाण इन विशिष्ट मामलों पर लागू होता है। वे जादुई रूप से खराब संरेखण को ठीक नहीं करते; वे बस इसे थोड़ा और खराब कर देते हैं।

वास्तविक AI के लिए इसका क्या अर्थ है

लेखकों ने केवल गणित तक ही सीमित नहीं रहे; उन्होंने इन विचारों का परीक्षण DINOv3 (एक विजन मॉडल) और Gemma 4 (एक भाषा मॉडल) जैसे वास्तविक, विशाल मॉडलों पर किया।

प्रयोग: उन्होंने इन विशाल मॉडलों को लिया और अस्थायी रूप से उनके GELU एक्टिवेशन फंक्शन को आइडेंटिटी फंक्शन (identity function) से बदल दिया (अनिवार्य रूप से उस चरण के लिए नॉनलिनियरी को हटा दिया) यह देखने के लिए कि क्या होता है।
परिणाम: जब उन्होंने नॉनलिनियरीज़ को हटाया, तो अवधारणाएं अधिक अमूर्त हो गईं और मॉडल सामान्यीकरण (generalization - एक संदर्भ से दूसरे संदर्भ में ज्ञान का हस्तांतरण) करने में बेहतर हो गए। यह सिद्धांत की पुष्टि करता है: नॉनलिनियरीज़ वास्तव में अवधारणाओं को धुंधला कर रही थीं।

यह पत्र क्या खारिज करता है

यह जानना महत्वपूर्ण है कि यह पत्र क्या नहीं कहता है:

यह केवल अंत के बारे में नहीं है: पिछले सिद्धांत अक्सर प्रशिक्षण के बिल्कुल अंत को देखते थे, यह मानकर कि रोबोट अंततः इसे पूर्ण कर लेगा। यह पत्र दिखाता है कि यात्रा मायने रखती है। रोबोट पूर्णता के शिखर पर पहुँच सकता है और फिर भटक सकता है, या यदि आपने इसकी शुरुआत कैसे की है, तो यह कभी उस तक पहुँच ही नहीं पाएगा।
यह हमेशा पूर्ण नहीं होता: वास्तविक दुनिया में, अव्यवset (messy) डेटा के साथ, रोबोट शायद ही कभी 100% पूर्ण संरेखण तक पहुँचता है। पत्र दिखाता है कि अंतिम अमूर्तता स्तर इनपुट और लक्ष्य में मौजूद "शोर" (noise) पर आधारित एक गणितीय सूत्र है। यदि डेटा शोर वाला है, तो अमूर्तता अपूर्ण होगी, चाहे आप कितना भी लंबा प्रशिक्षण क्यों न दें।

वे कितने आश्वस्त हैं?

गणित: सरल, रैखिक नेटवर्क के लिए, लेखकों के पास सटीक, सिद्ध समाधान हैं। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने समीकरणों को हल किया। वे जानते हैं कि अमूर्तता समय के साथ कैसे चलती है।
सिमुलेशन: गहरे, नॉनलीनियर नेटवर्क के लिए, उन्होंने सिमुलेशन और गणितीय सन्निकटन (approximations/infinite-width limits) का उपयोग किया। परिणाम बहुत मजबूत हैं और सिद्धांत से मेल खाते हैं, लेकिन वे इन विशिष्ट गणितीय मॉडलों से प्राप्त किए गए हैं।
वास्तविक दुनिया: जब उन्होंने इसे DINOv3 और Gemma 4 पर लागू किया, तो उन्होंने परिणामों को मापा। प्रयोगों ने दिखाया कि उनका सिद्धांत कायम है: नॉनलिनियरीज़ को हटाने से इन वास्तविक मॉडलों में अमूर्तता और सामान्यीकरण में सुधार हुआ।

मुख्य निष्कर्ष (The Takeaway)

अवधारणाओं को समझना एक पथ पर चलने जैसा है। गंतव्य डेटा द्वारा निर्धारित होता है, लेकिन आप जो पथ चुनते हैं वह इस बात पर निर्भर करता है कि आप कैसे शुरू करते हैं। यदि आप छोटे से शुरुआत करते हैं, तो आप स्पष्टता के एक शुद्ध क्षण तक पहुँच सकते हैं जो लंबे समय तक बना रहता है। यदि आप और गहरा जाते हैं, तो आप अधिक स्पष्ट होते जाते हैं। लेकिन रास्ते में मिलने वाले गेटों (नॉनलिनियरीज़) से सावधान रहें; वे आपकी समझ की रोशनी को कम कर देते हैं। इन गतिकी (dynamics) को समझकर, हम AI मस्तिष्क के भीतर झांकने के लिए बेहतर उपकरण बना सकते हैं और उन्हें अधिक स्मार्ट बना सकते हैं।

तकनीकी सारांश: अमूर्तीकरण की गतिशीलता के सटीक समाधान (Exact Solutions to the Dynamics of Abstraction)

समस्या विवरण

कृत्रिम और जैविक तंत्रिका नेटवर्क (neural networks) में, उच्च-स्तरीय अवधारणाओं को अक्सर प्रतिनिधित्व स्थान (representation space) के भीतर लगभग रैखिक दिशाओं के रूप में व्यवहार करते हुए देखा जाता है। यह घटना, जिसे रैखिक प्रतिनिधित्व परिकल्पना (Linear Representation Hypothesis - LRH) के रूप में औपचारिक रूप दिया गया है, कई व्याख्यात्मकता (interpretability) और नियंत्रण विधियों का आधार है, जैसे कि अवधारणा पहचान के लिए रैखिक प्रोब (linear probes) और सक्रियण स्टीयरिंग (activation steering)। जबकि पूर्ववर्ती सैद्धांतिक कार्यों ने यह स्थापित किया है कि अमूर्त प्रतिनिधित्व (जहाँ संदर्भों के बीच अवधारणा वेक्टर पूरी तरह से संरेखित होते हैं) लॉस लैंडस्केप के वैश्विक मिनिमा (global minima) पर उभर सकते हैं, प्रशिक्षण के दौरान ये प्रतिनिधित्व कैसे उभरते हैं इसकी गतिशीलता (dynamics) अभी भी कम समझ में आती है। अनुभवजन्य अवलोकन (empirical observations) बताते हैं कि अमूर्तीकरण अक्सर गैर-तुच्छ, गैर-एकदिष्ट (non-monotonic) प्रक्षेपवक्र (trajectories) प्रदर्शित करता है और अक्सर सरल स्पर्शोन्मुखी सिद्धांतों (asymptotic theories) द्वारा अनुमानित पूर्ण अमूर्तीकरण ( $\alpha=1$ ) तक पहुँचने में विफल रहता है।

यह शोध पत्र केंद्रीय प्रश्नों को संबोधित करता है: प्रशिक्षण के दौरान अमूर्तीकरण का प्रक्षेपवक्र क्या है? यह डेटासेट की ज्यामिति, नेटवर्क की गहराई और प्रारंभिक अवस्था (initialization) से कैसे प्रभावित होता है? गैर-रैखिकताएं (nonlinearities) इन गतिकी को कैसे प्रभावित करती हैं?

कार्यप्रणाली (Methodology)

लेखक एक न्यूनतम, विश्लेषणात्मक रूप से हल करने योग्य सेटिंग का उपयोग करके अवधारणा वेक्टर्स के संरेखण, जिसे "अमूर्तीकरण" (abstraction) कहा जाता है, का अध्ययन करने के लिए एक गतिशील ढांचे का विकास करते हैं।

न्यूनतम रैखिक नेटवर्क मॉडल (Minimal Linear Network Model):
- सेटअप: दो बाइनरी लेटेंट वेरिएबल्स ("आकार" और "रंग") वाले डेटासेट पर प्रशिक्षित एक टू-लेयर लीनियर नेटवर्क, जो चार वर्गों (classes) का निर्माण करता है।
- अमूर्तीकरण स्कोर ( $\alpha$ ): इसे विभिन्न संदर्भों में अवधारणा वेक्टर्स के बीच कोसाइन समानता (cosine similarity) के रूप में परिभाषित किया गया है (जैसे, लाल संदर्भ में "वर्ग घटाव वृत्त" के लिए वेक्टर बनाम नीला संदर्भ में)। $\alpha=1$ पूर्ण रैखिकता को दर्शाता है।
- मान्यताएं:
  - वेरिएबल-प्रोजेक्टेड रीडआउट (Variable-Projected Readout): यह माना गया है कि रीडआउट वेट्स ( $W_r$ ) सभी समय रिज़-ऑप्टिमम (ridge-optimum) पर हैं, जो प्रभावी रूप से केवल फीचर वेट्स को नियमित (regularize) करते हैं। यह गतिशीलता को फीचर कर्नेल $Q = Z^\top Z$ के एक फलन (function) में सरल बनाता है।
  - टू-फैक्टर सिमेट्री (Two-Factor Symmetry - 2FS): यह माना गया है कि इनपुट ( $\Sigma_x$ ), टारगेट ( $\Sigma_y$ ), और फीचर कर्नेल एक विशिष्ट समरूपता संरचना रखते हैं जो वर्गों के भीतर क्रमपरिवर्तन (permutations) और लेटेंट्स के वैश्विक पुन: लेबलिंग के तहत अपरिवर्तित रहती है। यह कर्नेल गतिकी को पांच आइगेनमोड्स (eigenmodes) में विकीर्ण (diagonalize) करने की अनुमति देता है: ग्लोबल मीन ( $G$ ), शेप ( $S$ ), कलर ( $C$ ), शेप-कलर इंटरेक्शन ($SC $), और रेसिड्यूल ($ I$)।
- गतिकी (Dynamics): लेखक ग्रेडिएंट फ्लो के तहत कर्नेल $Q$ के आइगेनवैल्यू के लिए सटीक साधारण अवकल समीकरण (ODEs) व्युत्पन्न करते हैं। अमूर्तीकरण स्कोर को $S$ और $SC$ आइगेनवैल्यू के अनुपात (विपरीत सिग्नल-टू-नॉइज़ रेशियो) के फलन के रूप में व्यक्त किया जाता है।
गैर-रैखिक नेटवर्क में विस्तार (Extension to Nonlinear Networks):
- सिद्धांत को न्यूरल टेंगेंट कर्नेल (NTK) / न्यूरल नेटवर्क गॉसियन प्रोसेस (NNGP) सीमाओं का उपयोग करते हुए अनंत-चौड़ाई वाले टू-लेयर नॉनलीनियर नेटवर्क तक विस्तारित किया गया है।
- दो प्रकार की गैर-रैखिकताओं का विश्लेषण किया गया है: एरर फंक्शन ( $\text{erf}$ ) और लीकी ReLU (Leaky ReLU)।
- लेखक प्री-एक्टिवेशन कर्नेल $Q$ को फीचर कर्नेल $K$ में बदलने वाले कर्नेल मैप्स को व्युत्पन्न करते हैं और विश्लेषण करते हैं कि ये मैप्स तात्कालिक और गतिशील रूप से अमूर्तीकरण स्कोर को कैसे प्रभावित करते हैं।
अनुभवजन्य सत्यापन (Empirical Validation):
- सिंथेटिक डेटा और वास्तविक दुनिया के डेटासेट (3dshapes) पर ResNets और ट्रांसफॉर्मर्स (DINOv3, Gemma 4) का उपयोग करके प्रयोग किए गए।
- ट्रांसफार्मर मॉडलों में सैद्धांतिक भविष्यवाणियों का परीक्षण करने के लिए एक "लोकल GELU एब्लेशन" प्रक्रिया लागू की गई।

मुख्य योगदान और परिणाम

1. रैखिक नेटवर्क गतिकी के सटीक समाधान

शोध पत्र अमूर्तीकरण $\alpha(t)$ के प्रक्षेपवपथ के लिए सटीक निहित समाधान (implicit solutions) प्रदान करता है।

टर्मिनल एब्स्ट्रैक्शन लॉ (Terminal Abstraction Law): अंतिम अमूर्तीकरण $\alpha_\infty$ पूरी तरह से इनपुट और टारगेट कर्नेल के इनवर्स सिग्नल-टू-नॉइज़ रेशियो (SNR) के ज्यामितीय माध्य द्वारा निर्धारित होता है:
$\alpha_\infty = \frac{1 - \sqrt{\nu(\Sigma_x)\nu(\Sigma_y)}}{1 + \sqrt{\nu(\Sigma_x)\nu(\Sigma_y)}}$
जहाँ $\nu = \lambda_{SC}/\lambda_S$ है। यदि इनपुट या टारगेट शोर-रहित (noiseless) हैं, तो पूर्ण अमूर्तीकरण ( $\alpha_\infty=1$ ) प्राप्त होता है।
इनिशियलाइजेशन स्केल नियंत्रण करता है अधिकतम अमूर्तीकरण: जबकि टर्मिनल मान इनिशियलाइजेशन से स्वतंत्र है, प्रशिक्षण के दौरान प्राप्त अधिकतम अमूर्तीकरण इनिशियलाइजेशन स्केल ( $\kappa$ $κ$ ) पर महत्वपूर्ण रूप से निर्भर करता है।
- रिच लिमिट (Rich Limit - छोटा इनिशियलाइजेशन): नेटवर्क टर्मिनल मान तक घटने से पहले एक पैरामीट्रिक लंबे समय तक (metastability) लगभग पूर्ण अमूर्तीकरण ( $\alpha \approx 1$ ) प्राप्त कर सकता है।
- लेज़ी लिमिट (Lazy Limit - बड़ा इनिशियलाइजेशन): अमूर्तीकरण अपने टर्मिनल मान से अधिक कभी नहीं होता है।
गैर-एकदिष्टता (Non-monotonicity): सिग्नल-प्रभावी व्यवस्थाओं में, अमूर्तीकरण अपने टर्मिनल मान से ऊपर जा सकता है (overshoot), और अभिसरण (convergence) से पहले एक शिखर (peak) तक पहुँच सकता है।

2. गहराई और लेयरवाइज इंटरपोलेशन (Depth and Layerwise Interpolation)

"लेयरवाइज बैलेंसिंग" धारणा के तहत $L$ परतों वाले गहरे रैखिक नेटवर्क तक विस्तार:

लेयरवाइज इंटरपोलेशन: परत $\ell$ पर अमूर्तीकरण, arctanh स्पेस में इनपुट अमूर्तीकरण और अंतिम परत अमूर्तीकरण के बीच रैखिक रूप से इंटरपोलेट करता है:
$\text{arctanh}(\alpha^{(\ell)}) = \left(1 - \frac{\ell}{L}\right)\text{arctanh}(\alpha_{\Sigma_x}) + \frac{\ell}{L}\text{arctanh}(\alpha^{(L)})$
गहराई अमूर्तीकरण में सुधार करती है: यदि टारगेट ज्यामिति, इनपुट ज्यामिति की तुलना में अधिक अमूर्त है, तो नेटवर्क की गहराई बढ़ाने से अंतिम परत के टर्मिनल अमूर्तीकरण में निरंतर सुधार होता है।

3. गैर-रैखिक नेटवर्क में क्षीणन नियम (The Attenuation Law in Nonlinear Networks)

अनंत-चौड़ाई वाले गैर-रैखिक नेटवर्क के लिए एक आश्चर्यजनक सैद्धांतिक परिणाम:

क्षीणन नियम (Attenuation Law): गैर-रैखिकताएं (विशेष रूप से $\text{erf}$ और Leaky ReLU) प्री-एक्टिवेशन स्पेस ( $Z$ ) के सापेक्ष फीचर स्पेस ( $H$ ) में अमूर्तीकरण को कमजोर करती हैं। औपचारिक रूप से, $|\alpha_K| \leq |\alpha_Q|$ ।
विभेदक प्रभाव (Differential Effects):
- Erf नेटवर्क: इनकी गतिकी रैखिक सिद्धांत के करीब है।
- ReLU नेटवर्क: इनकी गतिकी टारगेट ज्यामिति के बजाय इनपुट ज्यामिति पर अधिक निर्भर करती है। शुद्ध ReLU के लिए, भले ही टारगेट शोर-रहित हो, यदि इनपुट शोर अधिक है तो पूर्ण अमूर्तीकरण की गारंटी नहीं है; सिस्टम "एंटी-एब्स्ट्रैक्शन" ( $\alpha \approx -1$ ) की ओर अभिसरित हो सकता है।

4. अनुभवजन्य अनुप्रयोग (Empirical Applications)

ट्रांसफॉर्मर्स (DINOv3, Gemma 4): सिद्धांत को लागू करते हुए, लेखक दिखाते हैं कि ट्रांसफार्मर ब्लॉक्स में गैर-रैखिकताओं को कम करने (GELU को स्थानीय रूप से आइडेंटिटी से बदलने) से अमूर्तीकरण बढ़ता है और रैखिक प्रोब का सामान्यीकरण (generalization) बेहतर होता है। यह क्षीणन नियम (attenuation law) को वैलिडेट करता है।
न्यूरोसाइंस (मैकाक वेंट्रल स्ट्रीम): V4 और IT क्षेत्रों के रिकॉर्डिंग का विश्लेषण करते हुए, अध्ययन पाता है कि अमूर्तीकरण वेंट्रल विजुअल पदानुक्रम (ventral visual hierarchy) के साथ बढ़ता है, जो इस सैद्धांतिक भविष्यवाणी के अनुरूप है कि गहरे स्तर (व्यवहार संबंधी आउटपुट के करीब) उच्च अमूर्तीकरण प्रदर्शित करने चाहिए।

महत्व और दावे

यह शोध पत्र दावा करता है कि यह पहला अमूर्तीकरण का गतिशील सिद्धांत (dynamical theory of abstraction) प्रदान करता है जो केवल स्पर्शोन्मुखी अंत (asymptotic endpoint) के बजाय सीखने के पूर्ण प्रक्षेपवक्र को कैप्चर करता है।

सिद्धांत और व्यवहार को जोड़ना: यह समझाता है कि वास्तविक दुनिया की सेटिंग्स में अमूर्तीकरण अक्सर पूर्णता तक पहुँचने में क्यों विफल रहता है (इनपुट/टारगेट शोर और इनिशियलाइजेशन स्केल के कारण) और यह गैर-एकदिष्ट व्यवहार क्यों प्रदर्शित करता है।
व्याख्यात्मकता और नियंत्रण: परिणाम बताते हैं कि रैखिक प्रोब और स्टीयरिंग वेक्टर्स की गुणवत्ता मौलिक रूप से अमूर्तीकरण गतिकी से जुड़ी है। यह निष्कर्ष कि गैर-रैखिकताएं अमूर्तीकरण को क्षीण करती हैं, यह एक सैद्धांतिक आधार प्रदान करता है कि उन्हें हटाने से प्रोब का सामान्यीकरण क्यों सुधर सकता है।
न्यूरोसाइंस निहितार्थ: यह सिद्धांत मस्तिष्क में अमूर्त प्रतिनिधित्व के उद्भव के लिए एक यांत्रिक स्पष्टीकरण प्रदान करता है, यह भविष्यवाणी करता है कि गहरा कॉर्टिकल पदानुक्रम (cortical hierarchy) उच्च अमूर्तीकरण प्रदर्शित करेगा, जिसकी पुष्टि मैकाक डेटा द्वारा की गई है।

लेखक इस बात पर जोर देते हैं कि हालांकि उनके सटीक समाधान कुछ सरलीकृत मान्यताओं (रैखिक नेटवर्क, 2FS सिमेट्री, अनंत चौड़ाई) पर निर्भर करते हैं, फिर भी गुणात्मक भविष्यवाणियां (overshoot, इनिशियलाइजेशन निर्भरता, गहराई द्वारा सुधार, और गैर-रैखिकताओं द्वारा क्षीणन) वास्तविक, परिमित-चौड़ाई वाले गहरे शिक्षण और जैविक डेटा में मजबूती से बनी रहती हैं।