🧬 biology

Self-orthogonalizing attractor neural networks emerging from the free energy principle

यह शोधपत्र प्रदर्शित करता है कि स्व-ऑर्थोगोनलाइज़िंग (self-orthogonalizing) अट्रैक्टर न्यूरल नेटवर्क रैंडम डायनेमिकल सिस्टम्स पर लागू फ्री एनर्जी प्रिंसिपल से स्वाभाविक रूप से उभरते हैं, जो स्पष्ट रूप से आरोपित लर्निंग रूल्स की आवश्यकता के बिना, प्रेडिक्टिव एक्यूरेसी और मॉडल कॉम्प्लेक्सिटी को अनुकूलित करने वाले जैविक रूप से प्रशंसनीय, मल्टी-लेवल बेयसियन एक्टिव इन्फरेंस डायनेमिक्स प्रदान करते हैं।

मूल लेखक: Tamas Spisak, Karl Friston

प्रकाशित 2026-05-22

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tamas Spisak, Karl Friston

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ⚕️ यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपका मस्तिष्क (या एक स्मार्ट कंप्यूटर) एक विशाल, हलचल भरा शहर है। इस शहर में, लाखों छोटे कार्यकर्ता (न्यूरॉन्स) लगातार एक-दूसरे से बात कर रहे हैं। आमतौर पर, हम सोचते हैं कि इन कार्यकर्ताओं को यह बताने के लिए एक बॉस की ज़रूरत होती है कि क्या करना है या उन्हें कैसे सीखना है। लेकिन यह शोध पत्र कुछ अलग प्रस्तावित करता है: शहर खुद को व्यवस्थित करता है।

लेखक, तामस स्पिसाक और कार्ल फ्रिस्टन, एक बड़े विचार का उपयोग करते हैं जिसे फ्री एनर्जी प्रिंसिपल (Free Energy Principle) कहा जाता है, ताकि यह समझाया जा सके कि यह स्व-संगठन (self-organization) कैसे होता है। यहाँ "फ्री एनर्जी" को एक बैटरी के रूप में नहीं, बल्कि आश्चर्य (surprise) के माप के रूप में सोचें। यदि शहर लगातार बाहर हो रही घटनाओं (जैसे अचानक आया तूफान या एक नई इमारत) से आश्चर्यचकित हो रहा है, तो वह उच्च "फ्री एनर्जी" की स्थिति में है। जीवित रहने और स्थिर रहने के लिए, शहर इस आश्चर्य को कम करना चाहता है।

यहाँ यह शोध पत्र इस स्व-संगठित शहर के जादू को सरल अवधारणाओं में तोड़कर समझाता है:

1. "स्व-संगठित" (Self-Organizing) शहर

पक्षियों के एक झुंड की कल्पना करें। कोई भी अकेला पक्षी नेता नहीं है जो दूसरों को बता रहा है कि कहाँ उड़ना है। इसके बजाय, प्रत्येक पक्षी केवल स्थानीय नियमों का पालन करता है (पड़ोसियों के करीब रहें, आपस में न टकराएं)। फिर भी, पूरा झुंड एक सुंदर, समन्वित इकाई के रूप में चलता है।

यह शोध पत्र कहता है कि मस्तिष्क भी इसी तरह काम करता है। इसे अपने सीखने के नियमों को सेट करने के लिए किसी केंद्रीय प्रोग्रामर की आवश्यकता नहीं है। इसके बजाय, नेटवर्क का हर छोटा हिस्सा अपने पड़ोसियों के व्यवहार की भविष्यवाणी करके अपने स्वयं के "आश्चर्य" को कम करने की कोशिश करता है। जब हर कोई स्थानीय स्तर पर ऐसा करता है, तो एक वैश्विक पैटर्न (global pattern) उभरता है। इन पैटर्नों को अट्रैक्टर्स (Attractors) कहा जाता है।

उपमा (Analogy): एक अट्रैक्टर को पहाड़ी परिदृश्य में एक घाटी (valley) की तरह समझें। यदि आप एक पहाड़ी पर कहीं भी एक गेंद (एक विचार या स्मृति) लुढ़काते हैं, तो वह स्वाभाविक रूप से निकटतम घाटी में लुढ़क जाएगी और वहीं रुक जाएगी। मस्तिष्क उन चीजों के लिए ये "घाटियाँ" बनाता है जिन्हें वह पहचानता है, जैसे कि एक चेहरा या एक शब्द।

2. जादुई ट्रिक: "सेल्फ-ऑर्थोगोनलाइजिंग" (Self-Orthogonalizing)

इस शोध पत्र की सबसे रोमांचक खोज यह है कि ये "घाटियाँ" (अट्रैक्टर्स) खुद को कैसे व्यवस्थित करती हैं।

आमतौर पर, यदि आप किसी कंप्यूटर को दो समान चीजों (जैसे अक्षर "O" और "Q") को पहचानने के लिए सिखाते हैं, तो वह भ्रमित हो सकता है क्योंकि पैटर्न बहुत अधिक मिलते-जुलते होते हैं। लेकिन यह शोध पत्र दिखाता है कि मस्तिष्क का स्व-संगठित सिस्टम स्वाभाविक रूप से इन पैटर्नों को तब तक एक-दूसरे से दूर धकेलता है जब तक कि वे ऑर्थोगोनल (orthogonal) न हो जाएं।

उपमा: कल्पना कीजिए कि आपके पास एक अंधेरे कमरे में कुछ टॉर्च (flashlights) हैं।

खराब संगठन: आप सभी टॉर्च को एक ही स्थान पर केंद्रित करते हैं। उनकी किरणें आपस में मिल जाती हैं, और यह पहचानना कठिन हो जाता है कि कौन सी रोशनी किसकी है।
ऑर्थोगonal संगठन: यह शोध पत्र कहता है कि मस्तिष्क स्वचालित रूप से टॉर्च को इस तरह कोण देता है कि वे पूरी तरह से अलग दिशाओं में इशारा करें (जैसे X, Y, और Z अक्ष)। वे आपस में नहीं मिलते।

ऐसा करके, मस्तिष्क दुनिया का एक "साफ" मानचित्र बनाता है। यह यादों को इस तरह से संग्रहीत करना सीखता है कि वे एक-दूसरे में न मिलें। यह इसे सामान्यीकरण (generalizing) करने में अविश्वसनीय रूप से सक्षम बनाता है—यदि आप थोड़ा धुंधला "O" देखते हैं, तो मस्तिष्क जानता है कि उसे ठीक से किस "घाटी" में जाना है क्योंकि "O" की घाटी "Q" की घाटी से पूरी तरह अलग है।

3. बिना शिक्षक के सीखना

यह शहर इन पैटर्न को कैसे सीखता है? शोध पत्र एक सरल, स्थानीय नियम का वर्णन करता है जो स्वचालित रूप से होता है:

हेब्बियन लर्निंग (Hebbian Learning - "हाँ" का नियम): यदि दो कार्यकर्ता अक्सर एक-दूसरे से बात करते हैं, तो वे एक-दूसरे के करीब आते हैं।
एंटी-हेब्बियन लर्निंग (Anti-Hebbian Learning - "नहीं" का नियम): यदि कार्यकर्ता पहले से ही यह समझा रहे हैं कि क्या हो रहा है, तो वे दोहराव से बचने के लिए एक-दूसरे को सुदृढ़ करना बंद कर देते हैं।

उपमा: कल्पना कीजिए कि दोस्तों का एक समूह एक फिल्म का वर्णन करने की कोशिश कर रहा है।

यदि दो दोस्त एक ही बात कहते हैं, तो वे उसे दोहराना बंद कर देते हैं (ऊर्जा बचाने के लिए)।
यदि एक दोस्त कुछ ऐसा कहता है जिसकी अन्य लोगों ने भविष्यवाणी नहीं की थी, तो वे उस पर ध्यान देते हैं।
समय के साथ, समूह फिल्म का एक आदर्श, गैर-अनावश्यक सारांश बनाता है जहाँ प्रत्येक मित्र पहेली का एक अनूखा हिस्सा योगदान देता है। इसी तरह नेटवर्क कुशल होने और "कैटास्ट्रोफिक फॉरगेटिंग" (नई चीजें सीखते समय पुरानी चीजों को भूल जाना) से बचने के लिए सीखता है, क्योंकि "घाटियाँ" इतनी अच्छी तरह से व्यवस्थित होती हैं कि वे एक-दूसरे से टकराती नहीं हैं।

4. सपने देखना और अनुक्रम (Sequences)

यह शोध पत्र यह भी दिखाता है कि क्या होता है जब डेटा एक विशिष्ट क्रम में आता है (जैसे एक कहानी या संख्याओं का क्रम)।

रैंडम डेटा: नेटवर्क स्थिर, स्थिर "घाटियाँ" बनाता है (जैसे चेहरे को पहचानना)।
अनुक्रमिक डेटा (Sequential Data): नेटवर्क घाटियों के बीच पथ (paths) बनाता है।

उपमा: यदि आप नेटवर्क को "1, 2, 3" का क्रम सिखाते हैं, तो यह केवल तीन अलग-अलग घाटियाँ संग्रहीत नहीं करता है। यह "1" की घाटी से "2" की घाटी की ओर, और फिर "2" से "3" की ओर जाने वाला एक प्राकृतिक 'स्लाइड' (फिसलन पट्टी) बनाता है। भले ही आप लाइटें बंद कर दें (इनपुट हटा दें), नेटवर्क इस अनुक्रम को अपने आप "सपना" देख सकता है या "रिप्ले" कर सकता है, यानी 1 से 2 और फिर 3 तक स्वतः ही लुढ़क सकता है। इसी तरह मस्तिष्क चलना, बोलना या क्रम में कहानी याद रखना सीखता है।

5. यह AI और मस्तिष्क के लिए क्यों महत्वपूर्ण है

शोध पत्र का दावा है कि यह केवल एक गणितीय ट्रिक नहीं है; यह प्रकृति के काम करने का एक मौलिक तरीका है।

मस्तिष्क के लिए: यह समझाता है कि मस्तिष्क इतना मजबूत कैसे हो सकता है। भले ही आपके पास शोर वाला, धुंधला इनपुट हो (जैसे कोहरे में चेहरा देखना), मस्तिष्क की "घाटियाँ" इतनी अच्छी तरह से व्यवस्थित होती हैं कि वह अभी भी सही उत्तर का अनुमान लगा सकता है। यह यह भी समझाता है कि हम नई चीजें सीखते समय पुरानी यादों को क्यों नहीं भूलते—"घाटियाँ" पूरी तरह से अलग-अलग दूरी पर स्थित हैं।
AI के लिए: वर्तमान AI को अक्सर सीखने के लिए भारी मात्रा में डेटा और विशिष्ट निर्देशों की आवश्यकता होती है। यह शोध पत्र सुझाव देता है कि यदि हम ऐसा AI बनाएं जो इन स्व-संगठित नियमों का पालन करता है, तो यह अधिक कुशलता से सीख सकता है, शोर को बेहतर ढंग से संभाल सकता है, और बिना किसी निरंतर मानवीय प्रशिक्षण के लंबे समय तक चीजों को याद रख सकता है।

सारांश

संक्षेप में, यह शोध पत्र तर्क देता है कि आपको मस्तिष्क या स्मार्ट AI को जटिल नियमों के साथ प्रोग्राम करने की आवश्यकता नहीं है। यदि आप बस उसे एक सरल लक्ष्य देते हैं—आश्चर्य को कम करना—तो वह स्वाभाविक रूप से एक अत्यधिक कुशल प्रणाली के रूप में खुद को व्यवस्थित करेगा। यह विशिष्ट, गैर-अतिव्यापी यादें (ऑर्थोगोनल अट्रैक्टर्स) बनाएगा, कहानी की तरह अनुक्रमों को सीखेगा, और यहाँ तक कि अपने द्वारा सीखी गई चीजों को सुदृढ़ करने के लिए "सपने" भी देखेगा, और यह सब वह अपने आप करेगा।

तकनीकी सारांश: फ्री एनर्जी प्रिंसिपल से उभरते हुए स्व-ऑर्थोगोनलाइजिंग अट्रैक्टर न्यूरल नेटवर्क

समस्या विवरण
अट्रैक्टर डायनेमिक्स (Attractor dynamics) जटिल प्रणालियों, जिनमें मस्तिष्क भी शामिल है, के लिए मौलिक हैं, जो स्मृति, निर्णय लेने और मोटर नियंत्रण के तंत्र के रूप में कार्य करते हैं। हालाँकि, इस बात को समझने में एक बुनियादी अंतर मौजूद है कि कैसे ऐसे स्व-संगठित अट्रैक्टर नेटवर्क बिना किसी स्पष्ट रूप से थोपे गए लर्निंग या इन्फरेंस नियमों के, प्रथम सिद्धांतों से उभरते हैं। पारंपरिक मॉडल अक्सर 'एड हॉक' (ad hoc) लर्निंग नियमों (जैसे हेब्बियन लर्निंग, कॉन्ट्रास्टिव डाइवर्जेंस) पर निर्भर करते हैं जिनमें जैविक प्रणालियों द्वारा नियंत्रित थर्मोडायनामिक या इन्फेरेंशियल बाधाओं से एक एकीकृत व्युत्पत्ति का अभाव होता है। यह शोध पत्र स्व-अनुकूली स्व-संगठन (adaptive self-organization)—जहाँ एक नेटवर्क न केवल एक अट्रैक्टर सिस्टम के रूप में कार्य करता है बल्कि स्थानीय अंतःक्रियाओं के माध्यम से स्वयं को "बनाता" भी है—को फ्री एनर्जी प्रिंसिपल (FEP) से व्युत्पन्न करने की आवश्यकता को संबोधित करता है।

कार्यप्रणाली
लेखक "डीप पार्टिकुलर पार्टिशन्स" (deep particular partitions) की अवधारणा का उपयोग करते हुए, विशेष रूप से रैंडम डायनेमिकल सिस्टम के "यूनिवर्सल पार्टीशनिंग" पर FEP को लागू करके अट्रैक्टर नेटवर्क के उद्भव को औपचारिक रूप देते हैं।

सैद्धांतिक ढांचा:
- डीप पार्टिकुलर पार्टिशन्स: सिस्टम को "सबपार्टिकल्स" (सूक्ष्म-स्तर की इकाइयों) के पदानुक्रम में विभाजित किया गया है, जिनमें से प्रत्येक की आंतरिक अवस्थाएँ ( $\sigma_i$ ), संवेदी अवस्थाएँ ( $s_{ij}$ ), और सक्रिय अवस्थाएँ ( $a_{ij}$ ) होती हैं। इन सबपार्टिकल्स को एक मार्कोव ब्लैंकेट द्वारा बाहरी अवस्थाओं से अलग किया गया है, जो सशर्त स्वतंत्रता ( $\sigma_i \perp \sigma_j | s_{ij}, a_{ij}$ ) सुनिश्चित करता है।
- जेनरेटिव मॉडल: आंतरिक अवस्थाओं को पूर्व पूर्वाग्रहों (a priori biases) के साथ निरंतर बर्नौली वेरिएबल्स (ट्रंकेटेड एक्सपोनेंशियल डिस्ट्रीब्यूशन) के रूप में मॉडल किया गया है। सबपार्टिकल्स के बीच का कपलिंग एक वेट मैट्रिक्स $J$ द्वारा परिभाषित है।
- वेरिएशनल फ्री एनर्जी (VFE) मिनिमाइजेशन: मुख्य व्युत्पत्ति यह मानती है कि बने रहने के लिए, सिस्टम को वेरिएशनल फ्री एनर्जी को कम करना चाहिए। यह मिनिमाइजेशन प्रत्येक नोड (सबपर्कल) के संबंध में उसकी आंतरिक अवस्थाओं और कपलिंग्स के प्रति स्थानीय रूप से किया जाता है।
डायनेमिक्स की व्युत्पत्ति:
- इन्फरेंस (Inference): आंतरिक अवस्थाओं के संबंध में VFE को कम करने से एक स्टोकेस्टिक अपडेट नियम प्राप्त होता है। अवस्था का अपेक्षित मान (expected value) एक लैंग्विन फंक्शन (एक सिग्मॉइड एक्टिवेशन) का अनुसरण करता है, जो एक प्रायर बायस और पड़ोसियों से प्राप्त भारित इनपुट द्वारा संचालित होता है। इसके परिणामस्वरूप एक निरंतर-अवस्था वाले स्टोकेस्टिक हॉपफील्ड नेटवर्क जैसा व्यवहार प्राप्त होता है।
- लर्निंग (Learning): कपलिंग्स (वेट्स) के संबंध में VFE को कम करने से एक स्थानीय लर्निंग नियम प्राप्त होता है। यह नियम एक कॉन्ट्रास्टिव अपडेट के रूप में लेता है: $\Delta J_{ij} \propto \sigma_i \sigma_j - \hat{\sigma}_i \sigma_j$ । पहला पद हेब्बियन (सहसंबंध-आधारित क्षमता वृद्धि) है, और दूसरा एंटी-हेब्बियन (भविष्यवाणी त्रुटि-आधारित ह्रास) है। महत्वपूर्ण रूप से, इस नियम को कॉन्ट्रास्टिव डाइवर्जेंस के विपरीत अलग-अलग "क्लैम्प्ड" और "फ्री-रनिंग" चरणों की आवश्यकता नहीं होती है, बल्कि यह तात्कालिक सहसंबंधों का उपयोग करता है।
सिमुलेशन प्रोटोकॉल:
- लेखकों ने इन व्युत्पन्न नियमों को पायथन और JAX में लागू किया।
- सिमुलेशन 1–2: सहसंबद्ध पैटर्न (हस्तलिखित अंकों की छवियां) पर प्रशिक्षित किया गया ताकि विभिन्न प्रिसिजन (इनवर्स टेम्परेचर) और एविडेंस स्ट्रेंथ के तहत ऑर्थोगोनलाइजेशन और सामान्यीकरण का परीक्षण किया जा सके।
- सिमुलेशन 3: असिमेट्रिक कपलिंग और अनुक्रम गतिशीलता (sequence dynamics) के उद्भव का परीक्षण करने के लिए क्रमिक डेटा (sequential data) पर प्रशिक्षित किया गया।
- सिमुलेशन 4: "फ्री-रनिंग" (शून्य बायस) स्पोंटेनियस एक्टिविटी के माध्यम से कैटास्ट्रोफिक फॉरगेटिंग (विनाशकारी विस्मृति) के प्रति प्रतिरोध का परीक्षण किया गया।
- सिमुलेशन 5: 50,000 नोड्स तक स्केलेबिलिटी और मेमोरी क्षमता का मूल्यांकन किया गया।
- सिमुलेशन 6: प्राकृतिक, उच्च-आयामी डेटा पर प्रदर्शन का परीक्षण करने के लिए ओलिवेट्टी फेसेस डेटासेट (4096 नोड्स) पर लागू किया गया।

प्रमुख योगदान

स्व-संगठित नियमों की व्युत्पत्ति: यह शोध पत्र प्रदर्शित करता है कि अट्रैक्टर नेटवर्क, जिसमें उनके लर्निंग और इन्फरेंस डायनेमिक्स शामिल हैं, डीप पार्टिकुलर पार्टिशन्स पर लागू FEP से स्वाभाविक रूप से उभरते हैं, जिससे बाहरी रूप से थोपे गए लर्निंग नियमों की आवश्यकता समाप्त हो जाती है।
उभरता हुआ स्व-ऑर्थोगोनलाइजेशन (Emergent Self-Orthogonalization): एक केंद्रीय निष्कर्ष यह है कि व्युत्पन्न लर्निंग नियम स्वाभाविक रूप से नेटवर्क को लगभग ऑर्थोगोनल अट्रैक्टर रिप्रजेंटेशन की ओर ले जाता है। मॉडल कॉम्प्लेक्सिटी (अतिरेक) को प्रेडिक्टिव एक्यूरेसी के साथ कम करके, नेटवर्क ओवरलैपिंग अट्रैक्टर्स को दंडित करता है। इसके परिणामस्वरूप अट्रैक्टर्स का एक सेट बनता है जो इनपुट सबस्पेस को कुशलतापूर्वक कवर करता है, जो "प्रोजेक्टर न्यूरल नेटवर्क" (कांटर-सोम्पोलिंस्की) के समान है जो अधिकतम मेमोरी क्षमता प्रदान करते हैं।
एकीकृत इन्फरेंस और लर्निंग: यह ढांचा इन्फरेंस और लर्निंग को VFE मिनिमाइजेशन के दो पहलुओं के रूप में एकीकृत करता है। इन्फरेंस साक्ष्य (evidence) के साथ मेल खाने के लिए अवस्थाओं को अपडेट करता है, जबकि लर्निंग भविष्य के आश्चर्य (surprise) को कम करने के लिए कपलिंग्स को अपडेट करता है, जो दोनों एक साथ निरंतर-लर्निंग शासन में होते हैं।
बोल्ट्ज़मैन मशीनों का सामान्यीकरण: व्युत्पन्न नेटवर्क पारंपरिक बोल्ट्ज़मैन मशीनों का सामान्यीकरण करते हैं।
- रैंडम डेटा के साथ, वे सिमेट्रिक कपलिंग (बोल्ट्ज़मैन-जैसी) की ओर अभिसरित होते हैं।
- क्रमिक डेटा के साथ, वे असिमेट्रिक कपलिंग विकसित करते हैं, जिससे सोलेनॉइडल (घूर्णी) प्रवाह के साथ नॉन-इक्विलिब्रियम स्टेडी-स्टेट (NESS) डायनेमिक्स उत्पन्न होते हैं। यह नेटवर्क को ऊर्जा परिदृश्य के स्थिर वितरण को बदले बिना, अस्थायी अनुक्रमों (हेटरोक्लीन साइकिल्स) को सीखने और याद करने की अनुमति देता है।
कैटास्ट्रोफिक फॉरगेटिंग के प्रति मजबूती: डायनेमिक्स की स्टोकेस्टिक प्रकृति यह सुनिश्चित करती है कि नेटवर्क फ्री-रनिंग चरणों के दौरान अट्रैक्टर्स को स्वतः "रिप्ले" कर सके। यह गतिविधि मौजूदा अट्रैक्टर्स को सुदृढ़ करती है, जिससे नए डेटा के आने पर मौजूदा रिप्रजेंटेशन के खोने की संभावना कम हो जाती है, जो प्रभावी रूप से कैटास्ट्रोफिक फॉरगेटिंग को कम करती है।

परिणाम

ऑर्थोगोनल बेस फॉर्मेशन: सिमुलेशन ने पुष्टि की कि सहसंबद्ध इनपुट पर प्रशिक्षित होने पर, नेटवर्क के अट्रैक्टर्स लगभग ऑर्थोगोनल हो जाते हैं (उदाहरण के लिए, सहसंबंध को $r=0.77$ से घटाकर $r=-0.19$ करना)। यह ऑर्थोगोनलाइजेशन मध्यम प्रिसिजन के "बैलेंस्ड रिजीम" में सबसे प्रभावी था।
सामान्यीकरण: ऑर्थोगोनलाइज्ड अट्रैक्टर्स ने नेटवर्क को अनदेखे डेटा (वन-शॉट लर्निंग) के लिए सामान्यीकरण करने में सक्षम बनाया, जिससे शोर वाले इनपुट से पुनर्निर्माण कार्यों में मानक हॉपफील्ड नेटवर्क की तुलना में बेहतर प्रदर्शन किया।
अनुक्रम सीखना (Sequence Learning): जब क्रमिक डेटा प्रस्तुत किया गया, तो कपलिंग मैट्रिक्स ने एक महत्वपूर्ण असिमेट्रिक घटक विकसित किया। इसने नेटवर्क को बाहरी इनपुट की अनुपस्थिति में, आइसो-एनर्जी कंटूर के साथ प्रोबेबिलिटी करंट के माध्यम से, सीखे गए अनुक्रम (1→2→3→...) को स्वतः उत्पन्न करने की अनुमति दी।
स्केलेबिलिटी और क्षमता: नेटवर्क ने शास्त्रीय हॉपफील्ड बाउंड ( $\sim 0.14N$ ) से काफी अधिक मेमोरी क्षमता प्रदर्शित की, जो उभरते ऑर्थोगोनलाइजेशन के कारण प्रोजेक्टर-नेटवर्क सीमा ( $K \approx N$ ) के करीब पहुँच गई। रनटाइम स्केलिंग $O(N^2)$ के रूप में पुष्ट की गई, जो विश्लेषणात्मक जटिलता के अनुरूप है।
चेहरा पहचान (Face Recognition): ओलिवेट्टी फेसेस डेटासेट पर, नेटवर्क ने शोर वाले संवेदी साक्ष्य को सीखे गए अट्रैक्टर-आधारित प्रायर के साथ एकीकृत करके, अत्यधिक दूषित इनपुट से पहचान को सफलतापूर्वक पुनर्गठित किया, जो मजबूत बेयसियन इन्फरेंस को प्रदर्शित करता है।

महत्व और दावे

शोध पत्र का दावा है कि यह स्व-संगठित अट्रैक्टर नेटवर्क के लिए एक एकीकृत सिद्धांत प्रदान करता है जो न्यूरोसाइंस और आर्टिफिशियल इंटेलिजेंस को जोड़ता है।

न्यूरोसाइंस के लिए: निष्कर्ष यह स्पष्ट करते हैं कि जैविक न्यूरल नेटवर्क हेब्बियन/एंटी-हेब्बियन प्लास्टिसिटी, स्पोंटेनियस एक्टिविटी और ऑर्थोगोनल रिप्रजेंटेशन क्यों प्रदर्शित कर सकते हैं। यह सुझाव देता है कि मस्तिष्क की सक्रिय इन्फरेंस करने और स्पष्ट प्रोग्रामिंग के बिना स्थिर स्मृतियों को बनाए रखने की क्षमता, फ्री एनर्जी को कम करने के मौलिक आदेश से उत्पन्न होती है। ऑर्थोगोनल अट्रैक्टर्स का उद्भव FEP-संचालित प्रणालियों के एक हस्ताक्षर के रूप में प्रस्तावित किया गया है, जिसे बड़े पैमाने के मस्तिष्क डेटा (जैसे रेस्टिंग-स्टेट नेटवर्क) में पहचाना जा सकता है।
आर्टिफिशियल इंटेलिजेंस के लिए: यह ढांचा बैकप्रोपैगेशन और कॉन्ट्रास्टिव डाइवर्जेंस के लिए एक मौलिक विकल्प प्रदान करता है। यह निरंतर शिक्षण (continual learning) और कैटास्ट्रोफिक फॉरगेटिंग के प्रति प्रतिरोध को सक्षम बनाता है। व्युत्पन्न लर्निंग नियम कम्प्यूटेशनल रूप से कुशल है (कोई फ्री-रनिंग चरण नहीं) और स्वाभाविक रूप से अनुक्रम सीखने और सामान्यीकरण का समर्थन करता है।
सैद्धांतिक निहितार्थ: कार्य यह तर्क देता है कि कपलिंग मैट्रिक्स को सिमेट्रिक (परसेप्शन/एनर्जी मिनिमाइजेशन) और असिमेट्रिक (एक्शन/प्लानिंग/सोलेनॉइडल फ्लो) घटकों में विभाजित करना, FEP के दोहरे उद्देश्यों के साथ एक गहरा औपचारिक संबंध प्रतिबिंबित कर सकता है।

लेखक अपनी सीमाओं के संबंध में एक विनम्र रुख बनाए रखते हैं, यह स्वीकार करते हुए कि $O(N^2)$ मेमोरी फुटप्रिंट बहुत बड़े नेटवर्क के लिए स्पर्स एप्रोक्सिमेशन के बिना निषेधात्मक है, और वर्तमान सिमुलेशन सिंगल-लेयर आर्किटेक्चर तक सीमित हैं। वे सुझाव देते हैं कि भविष्य के कार्य पदानुक्रमित डीप पार्टिशन्स और अपडेट की स्थानीय, स्टोकेस्टिक प्रकृति का लाभ उठाने के लिए थर्मोडायनामिक या मेमरिस्टिव हार्डवेयर पर कार्यान्वयन का पता लगा सकते हैं।