🧠 neuroscience

Deep Recurrent Q-Learning Captures the Behavioral DynamicsObserved in Deterministic and Stochastic Task Switching

यह शोध पत्र एक डीप रिकरेंट क्यू-लर्निंग मॉडल प्रस्तावित करता है जो बिना किसी स्पष्ट संकेतों या निष्पादन के दौरान सिनैप्टिक परिवर्तनों की आवश्यकता के, आंतरिक विश्वास अवस्थाओं और क्रिया प्राथमिकताओं को अपडेट करना सीखकर, टास्क-स्विचिंग परिदृश्यों में संज्ञानात्मक लचीलेपन की व्यवहारगत गतिशीलता को सफलतापूर्वक पुनरुत्पादित करता है, जिससे इस दृष्टिकोण को चुनौती मिलती है कि सुदृढीकरण लर्निंग (Reinforcement Learning) ऐसी प्रक्रियाओं के मॉडलिंग के लिए अनुपयुक्त है।

मूल लेखक: Fagg, A. H., Diges, M., Rajala, A. Z., Habibi, G., Suminski, A. J., Populin, L.

प्रकाशित 2026-03-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Fagg, A. H., Diges, M., Rajala, A. Z., Habibi, G., Suminski, A. J., Populin, L.

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ⚕️ यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: हमें कैसे पता चलता है कि हमें अपनी राय कब बदलनी चाहिए?

कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं जहाँ आपको दो बटनों के बीच चयन करना है: लाल (Red) और नीला (Blue)।

पहले एक घंटे के लिए, लाल बटन दबाने पर आपको 80% बार एक सोने का सिक्का मिलता है, जबकि नीला बटन दबाने पर केवल 20% बार सिक्का मिलता है। आप जल्दी ही लाल बटन दबाना सीख जाते हैं।
अचानक, बिना किसी चेतावनी संकेत के, गेम बदल जाता है। अब, नीला बटन विजेता है (80% संभावना), और लाल हार गया है।

पेचीदा बात यह है कि गेम आपको यह नहीं बताता कि बदलाव कब हुआ। आपको केवल तब पता चलता है जब आपको सिक्के मिलना बंद हो जाते हैं। लेकिन यहाँ एक पेंच है: कभी-कभी आप सही बटन दबाते हैं और फिर भी आपको सिक्का नहीं मिलता (क्योंकि गेम रैंडम या अनिश्चित है)। कभी-कभी आप गलत बटन दबाते हैं और फिर भी किस्मत से आपको सिक्का मिल जाता है।

सवाल: आपका मस्तिष्क यह कैसे समझ पाता है कि, "ठीक है, नियम बदल गए हैं, मुझे अब नीले बटन पर स्विच करने की ज़रूरत है," बिना रैंडम किस्मत (luck) से भ्रमित हुए?

यह शोध इस सवाल की पड़ताल करता है कि वास्तविक बंदरों और एक कंप्यूटर मस्तिष्क (एक AI मॉडल) की तुलना करके कि वे इस पहेली को कैसे सुलझाते हैं।

दो प्रतिस्पर्धी सिद्धांत

वैज्ञानिक इस बात पर बहस कर रहे थे कि मस्तिष्क इस बदलाव को कैसे संभालता है। इसके दो मुख्य विचार हैं:

"स्लो पेंट" थ्योरी (पुराना सुदृढीकरण सीखना/Reinforcement Learning): कल्पना कीजिए कि आपका मस्तिष्क एक दीवार है, और सीखना उस पर पेंट करने जैसा है। अपनी राय बदलने के लिए, आपको पुराने रंग के ऊपर धीरे-धीरे नया रंग पेंट करना होगा। इसमें समय लगता है और यह इस पर निर्भर करता है कि पेंट कितनी तेज़ी से सूखता है (सिनैप्टिक परिवर्तन)। यदि पेंट धीमा है, तो आप धीरे-धीरे बदलाव करेंगे।
"जीपीएस अपडेट" थ्योरी (बेयसियन बिलीफ स्टेट): कल्पना कीजिए कि आपका मस्तिष्क एक जीपीएस (GPS) है। इसे मानचित्र को फिर से पेंट करने की आवश्यकता नहीं है; इसे बस नए ट्रैफिक रिपोर्ट के आधार पर अपने वर्तमान स्थान को अपडेट करने की आवश्यकता है। यदि जीपीएस बहुत अधिक भ्रमित करने वाला ट्रैफिक देखता है, तो वह कहता है, "रुको, मुझे लगता है कि मैं गलत शहर में हूँ," और तुरंत अपना रास्ता पुनर्गणना (recalculate) करता है।

टकराव: एक पिछले अध्ययन ने कहा था कि बंदर "जीपीएस" की तरह कार्य करते हैं (अनिश्चितता के आधार पर विश्वास को तेज़ी से अपडेट करते हैं) और "स्लो पेंट" की तरह नहीं (जो धीमी जैविक प्रक्रियाओं पर निर्भर है)। उन्होंने सोचा था कि AI मॉडल यह नहीं कर पाएंगे क्योंकि वे बहुत अधिक "पेंट-हैवी" (भारी बदलाव वाले) थे।

ट्विस्ट: यह पेपर कहता है, "ठहरिए! हमने एक नया प्रकार का AI बनाया है जो जीपीएस की तरह काम करता है!"

समाधान: "डीप रिकरेंट" मस्तिष्क

शोधकर्ताओं ने डीप रिकरेंट क्यू-लर्निंग (DRQL) नामक एक विशेष AI मॉडल बनाया।

"रिकरेंट" भाग (मेमोरी लूप): इसे एक जासूस के रूप में सोचें जो एक रनिंग नोटबुक रखता है। हर बार जब बंदर (या AI) एक विकल्प चुनता है और उसका परिणाम (सिक्का या कोई सिक्का नहीं) मिलता है, तो जासूस अपनी नोटबुक अपडेट करता है। नोटबुक केवल पिछले सिक्के को याद नहीं रखती; यह पिछले कुछ मिनटों के सिक्कों के पैटर्न को याद रखती है। यही बिलीफ स्टेट (विश्वास की स्थिति) है।
"क्यू-लर्निंग" भाग (रणनीति): यह वह जासूस है जो तय करता है कि, "अपनी नोटबुक के आधार पर, सबसे अधिक सिक्के पाने के लिए मुझे अगला बटन कौन सा दबाना चाहिए?"

जादू: AI अपनी नोटबुक को अपडेट करना और निर्णय लेना, दोनों चीजें एक साथ सीख जाता है। इसे कार्यों को बदलने के लिए अपने मस्तिष्क को "फिर से पेंट" करने की आवश्यकता नहीं है। यह बस दुनिया के बारे में अपने आंतरिक विश्वास (belief) को अपडेट करता है।

प्रयोग में क्या हुआ?

शोधकर्ताओं ने इस AI और तीन वास्तविक रीसस बंदरों (Rhesus monkeys) का "लाल बनाम नीला" बटन गेम पर परीक्षण किया। उन्होंने इनाम की संभावनाओं को बदलकर (जैसे, 100% बनाम 0%, या 80% बनाम 20%) गेम को कठिन बना दिया।

परिणाम:

AI ने सीखा: कंप्यूटर मॉडल ने पूरी तरह से खेलना सीख लिया, भले ही नियम गुप्त रूप से बदल रहे थे।
"जीपीएस" व्यवहार: बंदरों की तरह ही, AI ने तब अधिक समय लिया जब गेम बहुत रैंडम (80/20) था और तब तेज़ी से बदला जब गेम स्पष्ट-सुथरा (100/0) था।
- उपमा: यदि आप कोहरे में गाड़ी चला रहे हैं (उच्च अनिश्चितता), तो आपको यह समझने में अधिक समय लगता है कि आपने अपना रास्ता छोड़ दिया है। यदि आप साफ मौसम में गाड़ी चला रहे हैं (कम अनिश्चितता), तो आप इसे तुरंत समझ जाते हैं।
"पेंटिंग" की आवश्यकता नहीं: AI ने गेम के दौरान अपने आंतरिक कनेक्शनों (सिनैप्स) को भौतिक रूप से बदले बिना कार्य को बदल लिया। इसने बस दुनिया के बारे में अपने आंतरिक "विश्वास" को अपडेट किया।

"एक्सपीरियंस रिप्ले" ट्रिक

यह देखने के लिए कि AI के "मस्तिष्क" के अंदर क्या हो रहा था, शोधकर्ताओं ने एक चतुर तरीका अपनाया। उन्होंने एक वास्तविक बंदर द्वारा चुने गए विकल्पों और पुरस्कारों के सटीक क्रम को लिया और उसे AI में डाल दिया।

परिणाम: AI की आंतरिक "नोटबुक" (बिलीफ स्टेट) बिल्कुल वैसा ही दिखने लगी जैसा हम सोचते हैं कि बंदर का मस्तिष्क कर रहा है।
अंतर्दृष्टि: AI के आंतरिक न्यूरॉन्स मुख्य रूप से दो चीजों को ट्रैक करने लगे:
1. गेम अभी कितना अनिश्चित है? (क्या यह कोहरे वाला है या साफ?)
2. कौन सा बटन विजेता है? (लाल या नीला?)

जब गेम बदला, तो AI के "अनिश्चितता" (uncertainty) न्यूरॉन्स में उछाल आया, और उसके "विजेता" (winner) न्यूरॉन्स बदल गए, ठीक वैसे ही जैसे जीपीएस रूट की पुनर्गणना करता है।

यह क्यों महत्वपूर्ण है?

यह पेपर एक बड़ी उपलब्धि है क्योंकि यह जीव विज्ञान (Biology) और कंप्यूटर विज्ञान (Computer Science) के बीच के अंतर को पाटता है।

जीव विज्ञान के लिए: यह सुझाव देता है कि बंदर का मस्तिष्क कार्य बदलने के लिए "स्लो पेंटिंग" नहीं कर रहा है। इसके बजाय, यह अनिश्चितता को संभालने के लिए एक तेज़, गतिशील "बिलीफ स्टेट" सिस्टम (AI की तरह) का उपयोग कर रहा है। यह समझाता है कि बंदर (और इंसान) इतने लचीले क्यों होते हैं।
AI के लिए: यह दिखाता है कि हमें रोबोटों को बदलते हालातों को संभालने के लिए जटिल नियम सिखाने (hard-code करने) की आवश्यकता नहीं है। यदि हम उन्हें एक मेमोरी लूप देते हैं और उन्हें सीखने देते हैं, तो वे खुद ही कार्यों को बदलना सीख सकते हैं, ठीक एक जीवित मस्तिष्क की तरह।

निष्कर्ष (Takeaway)

हम पहले सोचते थे कि अपनी राय बदलने के लिए एक धीमी, जैविक ओवरहाल (बदलाव) की आवश्यकता होती है। यह पेपर सुझाव देता है कि शायद, एक स्मार्ट जीपीएस या एक अच्छी नोटबुक रखने वाले जासूस की तरह, हमारा मस्तिष्क दुनिया के भ्रमित होने पर अपने "विश्वास" को अपडेट करने में बहुत तेज़ है। AI ने साबित कर दिया कि इस तरह का लचीलापन होने के लिए आपको जैविक बंदर होने की आवश्यकता नहीं है; आपको बस सही प्रकार की मेमोरी और लर्निंग लूप की आवश्यकता है।

यहाँ "Deep Recurrent Q-Learning Captures the Behavioral Dynamics Observed in Deterministic and Stochastic Task Switching" शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र संज्ञानात्मक लचीलेपन (Cognitive Flexibility - CF) के अंतर्निदम कम्प्यूटेशनल तंत्रों को संबोधित करता है, विशेष रूप से तब स्विच करने की क्षमता जब स्विच करने की आवश्यकता स्पष्ट रूप से संकेतित (cued) न हो।

मुख्य प्रश्न: क्या कार्य परिवर्तन (task switching) सिनैप्टिक परिवर्तनों (पारंपरिक सुदृढीकरण शिक्षण/Reinforcement Learning में लर्निंग रेट्स) पर निर्भर करता है या न्यूरल स्टेट परिवर्तनों (वर्तमान कार्य के बारे में एक विश्वास अवस्था/belief state का अनुमान लगाने) पर?
द्वंद्व: पिछले कार्य (Bartolo & Averbeck, 2020) ने तर्क दिया था कि मानक सुदृढीकरण शिक्षण (RL) मॉडल CF कार्यों के लिए अपर्याप्त हैं क्योंकि वे स्विच करने के लिए सिनैप्टिक गतिकी (धीमी लर्निंग रेट्स) पर निर्भर करते हैं, जबकि गैर-मानव प्राइमेट्स (NHPs) परिणाम की अस्पष्टता (न्यूरल स्टेट एस्टीमेशन) के आधार पर स्विच करते हैं।
अंतराल (Gap): जबकि बेयसियन (Bayesian) मॉडल NHP स्विचिंग व्यवहार की सफलतापूर्वक व्याख्या करते हैं, उन्हें विश्वास अवस्था अपडेट के लिए हाथ से डिज़ाइन किए गए नियमों की आवश्यकता होती है। लेखक यह प्रदर्शित करने का लक्ष्य रखते हैं कि एक डीप रिकरेंट Q-लर्निंग (DRQL) मॉडल बिना किसी हस्त-निर्मित नियमों के, केवल न्यूरल स्टेट परिवर्तनों पर निर्भर होकर, सिनैप्टिक वेट अपडेट के बजाय स्वायत्त रूप से इन गतिकी को सीख सकता है।

2. कार्यप्रणाली (Methodology)

A. प्रयोगात्मक प्रतिमान: प्रोबेबिलिटी स्विचिंग टास्क (PST)

यह अध्ययन एक पार्टियली ऑब्जर्वेबल मार्कोव डिसिजन प्रोसेस (POMDP) का उपयोग करता है जिसे प्रोबेबिलिटी स्विचिंग टास्क (PST) कहा जाता है।

विषय (Subjects): तीन वयस्क नर रीसस बंदर (NHPs) और एक कृत्रिम एजेंट (DRQL मॉडल)।
कार्य की संरचना:
- विषय सैकैडिक आई मूवमेंट (सैकैडिक नेत्र गति) के माध्यम से दो लक्ष्यों (जैसे, वृत्त बनाम वर्ग) के बीच चयन करते हैं।
- पुरस्कार संभावabilistic होते हैं (जैसे, 80% बनाम 20%)।
- ब्लॉक्स (Blocks): कार्य 100 परीक्षणों (trials) के ब्लॉक्स में चलता है। एक ब्लॉक के भीतर एक यादृच्छिक बिंदु पर, पुरस्कार की संभावनाएँ उलट जाती हैं (जैसे, 80% वाला लक्ष्य 20% हो जाता है)।
- कोई संकेत नहीं (No Cues): एजेंट/NHP को कार्य के प्रकार, पुरस्कार की संभावना, या स्विच के सटीक क्षण के संबंध में कोई स्पष्ट संकेत नहीं मिलता है। उन्हें केवल क्रियाओं और परिणामों के इतिहास से स्विच का अनुमान लगाना होता है।
शर्तें (Conditions): कार्य नियत (deterministic - 100/0) और स्टोकेस्टिक (stochastic - 90/10, 80/20) रिवॉर्ड स्कीम्स के तहत किए गए थे।

B. DRQL मॉडल आर्किटेक्चर

लेखक एक डीप रिकरेंट Q-लर्निंग मॉडल प्रस्तावित करते हैं जो एक रिकरेंट न्यूरल नेटवर्क (RNN) को Q-फंक्शन एप्रोक्सिमेटर के साथ जोड़ता है।

विश्वास अवस्था अनुमान (Belief State Estimation - RNN): एक रिकरेंट नेटवर्क ( $f(\cdot)$ ) पिछले स्टेट, पिछली क्रिया ( $a_{t-1}$ ), पिछले रिवॉर्ड ( $r_{t-1}$ ) और टेम्पोरल डिफरेंस (TD) एरर के आधार पर आंतरिक विश्वास अवस्था ( $X_t$ ) को अपडेट करता है। यह हस्त-डिज़ाइन किए गए बेयसियन अपडेट नियमों की जगह लेता है।
एक्शन वैल्यू एस्टीमेशन (Q-Network): एक फीड-फॉरवर्ड नेटवर्क ( $g_a(\cdot)$ ) वर्तमान विश्वास अवस्था के दिए गए होने पर प्रत्येक संभावित क्रिया के लिए Q-वैल्यू ( $Q(X_t, a)$ ) का अनुमान लगाता है।
प्रशिक्षण उद्देश्य (Training Objective): मॉडल परीक्षणों के एक अनुक्रम (sequence) पर स्क्वेर्ड TD एरर को कम करता है। यह प्रशिक्षण के दौरान $\epsilon$ -greedy रणनीति (10% एक्सप्लोरेशन) का उपयोग करता है।
प्रमुख नवाचार: मॉडल अपने विश्वास अवस्था को अपडेट करना और क्रियाओं का चयन करना एक साथ सीखता है। महत्वपूर्ण रूप से, प्रशिक्षित होने के बाद, मॉडल बिना किसी अतिरिक्त सिनैप्टिक वेट अपडेट के स्विच करता है; स्विच पूरी तरह से रिकरेंट न्यूरल स्टेट के विकास द्वारा संचालित होता है।

C. विश्लेषण तकनीकें

एक्सपीरियंस रिप्ले (ER): प्रशिक्षित मॉडल को NHPs के वास्तविक एक्शन सीक्वेंस और रिवॉर्ड आउटकम के साथ "रिप्ले" किया गया। इसने शोधकर्ताओं को मॉडल के आंतरिक लेटेंट वेरिएबल्स (विश्वास अवस्था, Q-वैल्यू, TD एरर) को ऐसे देखने की अनुमति दी जैसे कि वह NHP हो, जिससे एक परिकल्पना प्राप्त हुई कि प्राइमेट मस्तिष्क को क्या जानकारी एनकोड करनी चाहिए।
डायमेंशनलिटी रिडक्शन (Dimensionality Reduction): 10-आयामी विश्वास अवस्था को विज़ुअलाइज़ करने के लिए प्रिंसिपल कंपोनेंट एनालिसिस (PCA) लागू किया गया ताकि यह देखा जा सके कि मॉडल कैसे कार्य की संभावना और क्रिया प्राथमिकता को एनकोड करता है।

3. मुख्य योगदान (Key Contributions)

संज्ञानात्मक लचीलेपन के लिए RL का सत्यापन: यह शोध पत्र इस दावे का खंडन करता है कि RL स्वाभाविक रूप से CF को मॉडल करने में अक्षम है। यह दर्शाता है कि DRQL स्विच के दौरान धीमी सिनैप्टिक लर्निंग रेट्स पर निर्भर किए बिना NHP स्विचिंग व्यवहार को दोहरा सकता है।
स्वायत्त विश्वास अवस्था सीखना: पिछले बेयसियन मॉडलों के विपरीत, जिन्हें हस्त-कोडित अपडेट नियमों की आवश्यकता होती है, यह DRQL मॉडल डेटा से सीधे इष्टतम विश्वास अवस्था प्रतिनिधित्व और अपडेट नियम सीखता है।
न्यूरल स्टेट बनाम सिनैप्टिक परिवर्तन: यह अध्ययन एक कम्प्यूटेशनल प्रूफ-ऑफ-कॉन्सेप्ट प्रदान करता है कि कार्य परिवर्तन (task switching) सिनैप्टिक प्लास्टिसिटी के बजाय तीव्र न्यूरल स्टेट परिवर्तनों (रिकरेंट डायनेमिक्स) के माध्यम से प्राप्त किया जा सकता है, जो जैविक स्विच टाइमिंग के साथ बेहतर तालमेल रखता है।
जैविक सुलभता (Biological Tractability): मॉडल एक जैविक रूप से प्रशंसनीय ढांचा प्रदान करता है जहाँ RNN एक "विश्वास अवस्था" संचयक (accumulator) के रूप में कार्य करता है और Q-नेटवर्क एक "एक्शन सेलेक्टर" के रूप में, जो प्रीफ्रंटल कॉर्टेक्स (PFC) और सबकोर्टिकल क्षेत्रों के बीच संभावित अंतःक्रियाओं को दर्शाता है।

4. परिणाम (Results)

व्यवहार संबंधी प्रदर्शन (Behavioral Performance)

स्विचिंग डायनेमिक्स: दोनों NHPs और DRQL मॉडल ने समान स्विचिंग व्यवहार प्रदर्शित किया। नियत कार्यों (100/0) में, दोनों ने तेजी से स्विच किया (1-3 परीक्षणों के भीतर)। स्टोकेस्टिक कार्यों (80/20) में, अनिश्चितता बढ़ने के साथ दोनों को स्विच करने के लिए काफी अधिक परीक्षणों (9-19 परीक्षण) की आवश्यकता पड़ी।
रिकवरी समय: स्विच के बाद बेसलाइन प्रदर्शन को पुनः प्राप्त करने का समय रिवॉर्ड की निश्चितता के व्युत्क्रमानुपाती (inversely proportional) था। मॉडल के रिकवरी कर्व्स NHP डेटा के बहुत करीब थे।

आंतरिक लेटेंट वेरिएबल्स (Internal Latent Variables)

Q-वैल्यूज: दोनों क्रियाओं के बीच Q-वैल्यूज का अंतर ( $Q_0 - Q_1$ ) उस बिंदु पर शून्य को पार कर गया जहाँ मॉडल ने स्विच करने का निर्णय लिया। स्टोकेस्टिक स्थितियों में यह क्रॉसिंग पॉइंट विलंबित था, जो अनिश्चितता को दूर करने के लिए आवश्यक साक्ष्य संचय (evidence accumulation) को दर्शाता है।
विश्वास अवस्था (RNN):
- न्यूरॉन 0: इसने प्रोबेबिलिटी स्कीम (नियत बनाम स्टोकेस्टिक) को एनकोड किया। नियत कार्यों के लिए सक्रियता का स्तर अधिक था।
- न्यूरॉन 9: इसने पसंदीदा क्रिया को एनकोड किया। जब मॉडल ने एक नई इष्टतम क्रिया की पहचान की, तो इसने अपनी ध्रुवीयता (polarity) बदल ली।
- PCA विश्लेषण: पहले दो प्रिंसिपल कंपोनेंट्स ने कार्य की संभावना (PC1) और वर्तमान क्रिया प्राथमिकता (PC0) को कैप्चर किया। इस स्पेस में विश्वास अवस्था का प्रक्षेपवक्र (trajectory) "पुराने" कार्य अवस्था से "नए" कार्य अवस्था में एक स्पष्ट संक्रमण दिखाया, और संक्रमण की गति रिवॉर्ड अनिश्चितता पर निर्भर थी।
टेम्पोरल डिफरेंस (TD) एरर: स्विच के तुरंत बाद TD एरर में उछाल आया (जो अपेक्षित रिवॉर्ड की कमी के कारण "आश्चर्य" को दर्शाता है) और जैसे ही मॉडल ने अपनी विश्वास अवस्था को अपडेट किया, यह कम हो गया। नियत कार्यों में स्पाइक का परिमाण बड़ा था क्योंकि अपेक्षा का उल्लंघन अधिक पूर्ण था।

मॉडल निरंतरता (Model Consistency)

बीस स्वतंत्र रूप से प्रशिक्षित मॉडल समान समाधानों पर अभिसरित (converged) हुए, जिससे सुसंगत प्रदर्शन और Q-वैल्यू अनुमान प्राप्त हुए, जो यह सुझाव देता है कि DRQL दृष्टिकोण इस कार्य संरचना के लिए एक मजबूत ग्लोबल ऑप्टिममम पाता है।

5. महत्व (Significance)

सैद्धांतिक प्रभाव: यह अध्ययन सुदृढीकरण शिक्षण (RL) और संज्ञानात्मक तंत्रिका विज्ञान (cognitive neuroscience) के बीच के अंतर को पाटता है। यह सिद्ध करता है कि जटिल संज्ञानात्मक लचीलेपन के लिए हस्त-डिज़ाइन किए गए बेयसियन अनुमान की आवश्यकता नहीं है; यह अनुक्रमिक निर्णय लेने वाले कार्यों पर प्रशिक्षित मानक डीप लर्निंग आर्किटेक्चर से उभर सकता है।
न्यूरल मैकेनिज्म अंतर्दृष्टि: निष्कर्ष इस परिकल्पना का समर्थन करते हैं कि प्रीफ्रंटल कॉर्टेक्स (PFC) व्यवहार को निर्देशित करने के लिए एक गतिशील विश्वास अवस्था का उपयोग करता है। मॉडल सुझाव देता है कि मस्तिष्क में "स्विच" (बदलाव) धीमे संरचनात्मक सिनैप्टिक वेट परिवर्तन के बजाय संचित साक्ष्य द्वारा संचालित न्यूरल जनसंख्या गतिविधि में एक तीव्र बदलाव है।
भविष्य के अनुप्रयोग: DRQL फ्रेमवर्क अत्यधिक अनुकूलन योग्य है। इसे आर्किटेक्चरल पुनर्गठन के बिना विभिन्न क्रियाओं या रिवॉर्ड नियमों वाले कार्यों के लिए फिर से प्रशिक्षित किया जा सकता है, जो इसे NHPs और मनुष्यों के लिए भविष्य के तंत्रिका-शारीरिक (neurophysiological) प्रयोगों के लिए परीक्षण योग्य भविष्यवाणियाँ उत्पन्न करने हेतु एक शक्तिशाली उपकरण बनाता है।

संक्षेप में, यह शोध पत्र सफलतापूर्वक तर्क देता है कि डीप रिकरेंट Q-लर्निंग संज्ञानात्मक लचीलेपन के लिए एक जैविक रूप से सुलभ और कम्प्यूटेशनल रूप से सुदृढ़ स्पष्टीकरण प्रदान करता है, जो अनिश्चित वातावरण में प्राइमेट्स के सूक्ष्म व्यवहारिक गतिकी को उनके सीखे हुए न्यूरल स्टेट रिप्रजेंटेशन के माध्यम से कैप्चर करता है।