🤖 machine learning

The Reservoir Attention Network: Cross-Pass State in Pretrained Transformers via Content-Addressable Reservoir Injection

यह शोध पत्र रिज़र्वोअर अटेंशन नेटवर्क (RAN) की व्यवहार्यता की जांच करता है, जो एक ऐसा आर्किटेक्चर है जो प्रीट्रेन्ड ट्रांसफॉर्मर्स में क्रॉस-पास स्टेट (cross-pass state) को ले जाने के लिए एक निश्चित, अप्रशिक्षित रैंडम रिज़र्वोअर को इंजेक्ट करता है, और GPT-2 से लेकर Qwen2.5 तक के मॉडलों पर न्यूनतम प्रोब्स (probes) के माध्यम से यह प्रदर्शित करता है कि फॉरवर्ड पासेज के दौरान उपयोगी स्टेट बनाए रखने के लिए केवल अप्रशिक्षित रिकरेंट डायनेमिक्स ही पर्याप्त हो सकते हैं।

मूल लेखक: Emma Leonhart

प्रकाशित 2026-06-16

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Emma Leonhart

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य समस्या: स्टेटलेस ट्रांसफॉर्मर (Stateless Transformers)

मानक लार्ज लैंग्वेज मॉडल्स (जैसे GPT-2 या Qwen) अलग-अलग इंटरैक्शन के बीच स्टेटलेस (stateless) होते हैं। जब आप एक प्रॉम्प्ट भेजते हैं, तो मॉडल उसे प्रोसेस करता है और प्रतिक्रिया देता है, लेकिन एक बार यह प्रक्रिया पूरी हो जाने के बाद, इसकी आंतरिक स्मृति (internal memory) पूरी तरह से साफ हो जाती है। इसके पास पिछले संवादों का कोई रिकॉर्ड नहीं होता, जब तक कि आप उस इतिहास को वर्तमान कॉन्टेक्स्ट विंडो में स्पष्ट रूप से पेस्ट न करें। लेखक मॉडल को एक स्थायी स्मृति (persistent memory) देना चाहते थे जो पूरे न्यूरल नेटवर्क को फिर से प्रशिक्षित (retrain) किए बिना, इन अलग-अलग "फॉरवर्ड पासेस" के बीच बनी रहे।

समाधान: एक फिक्स्ड रिज़र्वोइर (A Fixed Reservoir)

इसे हल करने के लिए, लेखकों ने एक घटक जोड़ा जिसे रिज़र्वोइर (Reservoir) कहा जाता है। कंप्यूटर विज्ञान में, यह एक विशिष्ट प्रकार के रिकरेंट न्यूरल नेटवर्क (जिसे अक्सर इको स्टेट नेटवर्क कहा जाता है) को संदर्भित करता है।

यह क्या है: यह रैंडम, फिक्स्ड कनेक्शन वाले कृत्रिम न्यूरॉन्स का एक समूह है। महत्वपूर्ण बात यह है कि इन न्यूरॉन्स को जोड़ने वाले वेट्स (weights) को कभी प्रशिक्षित (train) नहीं किया जाता। उन्हें शुरुआत में रैंडम तरीके से सेट किया जाता है और वैसे ही छोड़ दिया जाता है।
यह कैसे काम करता है: क्योंकि ये कनेक्शन रिकरेंट (लूप्स) हैं, इसलिए रिज़र्वोइर एक आंतरिक स्टेट वेक्टर (state vector) बनाए रखता है। जब नई जानकारी आती है, तो यह इस स्टेट को बदल देती है। स्टेट तुरंत रीसेट नहीं होता; यह हालिया इनपुट की एक धुंधली "गूँज" (echo) को बनाए रखता है। यह सूचना को समय के साथ बने रहने में मदद करता है, भले ही मुख्य मॉडल ने एक विशिष्ट वाक्य को प्रोसेस करना समाप्त कर दिया हो।

तंत्र: एक फ्रोजन मॉडल में मेमोरी इंजेक्ट करना (The Mechanism: Injecting Memory into a Frozen Model)

लेखकों ने मुख्य ट्रांसफॉर्मर मॉडल को प्रशिक्षित नहीं किया। इसके बजाय, उन्होंने प्रीट्रेन्ड ट्रांसफॉर्मर को फ्रोजन (बदलाव रहित) रखा और नेटवर्क के एक मिड-डेप्थ लेयर (मध्य-स्तर की परत) में रिज़र्वोइर डाला।

पढ़ना (Reading): इस विशिष्ट लेयर पर, रिज़र्वोइर ट्रांसफॉर्मर के अटेंशन आउटपुट्स को पढ़ता है। यह ट्रांसफॉर्मर के डेटा को उस प्रारूप में बदलने के लिए एक फिक्स्ड, रैंडम प्रोजेक्शन का उपयोग करता है जिसे रिज़र्वोइर प्रोसेस कर सके।
अपडेट करना (Updating): रिज़र्वोइर अपने आंतरिक स्टेट वेक्टर को इस इनपुट के आधार पर अपडेट करता है।
लिखना (Writing): रिज़र्वोइर फिर अपने अपडेटेड स्टेट को वापस ट्रांसफॉर्मर में भेज देता है।
प्रशिक्षण (Training): केवल एक छोटा "रीडआउट" लेयर (जो रिज़र्वोइर के स्टेट की व्याख्या करता है) और हल्केवेट एडेप्टर्स (LoRA) को प्रशिक्षित किया जाता है। विशाल ट्रांसफॉर्मर बैकबोन अछूता रहता है।

मुख्य खोज: स्टेट को कैसे इंजेक्ट करें (The Key Discovery: How to Inject the State)

इस पेपर की सबसे महत्वपूर्ण खोज यह है कि रिज़र्वोइर के स्टेट को वापस ट्रांसफॉर्मर में कैसे फीड किया जाए। लेखकों ने दो विधियों का परीक्षण किया जिनके परिणाम नाटकीय रूप से भिन्न थे:

1. एडिटिव इंजेक्शन (Additive Injection - विफल रहा)

विधि: रिज़र्वोइर के स्टेट वेक्टर को ट्रांसफॉर्मर के आंतरिक एक्टिवेशन्स में सीधे जोड़ दिया गया (जैसे सिग्नल में शोर/नॉइज़ जोड़ना)।
परिणाम: यह विफल रहा। ट्रांसफॉर्मर ने रिज़र्वोइर के इनपुट को अप्रासंगिक शोर (irrelevant noise) मानकर अनदेखा करना सीख लिया। मॉडल पिछले पासेस की जानकारी याद रखने में असमर्थ रहा।

2. कंटेंट-एड्रेसेबल इंजेक्शन (Content-Addressable Injection - सफल रहा)

विधि: रिज़र्वोइर के स्टेट को स्यूडो-टोकन्स (pseudo-tokens) (नकली शब्दों) में परिवर्तित किया गया और उन्हें इनपुट सीक्वेंस की शुरुआत में "की/वैल्यू" (key/value) पेयर्स के रूप में रखा गया। ट्रांसफॉर्मर के अटेंशन मैकेनिज्म को इन टोकन्स पर ध्यान देने के लिए मजबूर किया गया, ठीक वैसे ही जैसे वह वास्तविक शब्दों पर ध्यान देता है।
परिणाम: यह पूरी तरह से काम कर गया। क्योंकि अटेंशन मैकेनिज्म ने स्पष्ट रूप से इन टोकन्स को देखा, इसलिए मॉडल उन पिछले संवादों की जानकारी सफलतापूर्वक याद कर सका जो वर्तमान टेक्स्ट में मौजूद नहीं थे।

डायनेमिक्स को ट्यून करना (Tuning the Dynamics)

रिज़र्वोइर के काम करने के लिए, इसके आंतरिक व्यवहार को सावधानीपूर्वक ट्यून करना आवश्यक था:

एज ऑफ केओस (Edge of Chaos): रिज़र्वोइर में रैंडम कनेक्शन संतुलित होने चाहिए। यदि वे बहुत स्थिर हैं, तो मेमोरी तुरंत मिट जाएगी। यदि वे बहुत अराजक (chaotic) हैं, तो सिग्नल शोर बन जाएगा। रिज़र्वोइर को उपयोगी, धुंधली गूँज बनाए रखने के लिए "एज ऑफ केओस" पर होना चाहिए।
इनपुट स्केलिंग (Input Scaling): ट्रांसफॉर्मर से रिज़र्वोइर में आने वाला सिग्नल बहुत शक्तिशाली था, जिससे रिज़र्वोइर के न्यूरॉन्स सैचुरेट (मैक्स आउट) हो रहे थे। लेख-कारों को रिज़र्वोइर को सही ढंग से कार्य करने के लिए इस इनपुट सिग्नल को इसके मूल स्ट्रेंथ के 10–25% तक कम करना पड़ा।

स्केलिंग के परिणाम (Scaling Results)

इस पद्धति की प्रभावशीलता मॉडल और रिज़र्वोइर के आकार पर बहुत अधिक निर्भर थी:

GPT-2 Small: एक मानक आकार के रिज़र्वोइर के साथ अच्छा काम किया।
GPT-2 Medium: विफल रहा। मॉडल मेमोरी इंजेक्शन का प्रभावी ढंग से उपयोग नहीं कर सका।
Qwen-1.5B (Large): यह भी काम कर गया, लेकिन केवल तभी जब रिज़र्वोइर को काफी बड़ा किया गया (जैसे, 512 के बजाय 2048 न्यूरॉन्स) और इनपुट स्केलिंग लागू की गई। यह सुझाव देता है कि बड़े मॉडल्स को उनके अधिक जटिल आंतरिक प्रतिनिधित्व को संभालने के लिए बड़े रिज़र्वोइर की आवश्यकता होती है।

क्षमताएं और सीमाएं (Capabilities and Limits)

यह एक प्रूफ-ऑफ-कॉन्सेप्ट अध्ययन है, कोई पूर्ण उत्पाद नहीं।

यह क्या कर सकता है: यह अलग-अलग बातचीत के बीच सरल स्टेट (state) को बनाए रख सकता है, जैसे कि किसी विशिष्ट ट्रिगर शब्द को याद रखना या यह गिनना कि इसे कितनी बार कॉल किया गया है।
यह क्या नहीं कर सकता: यह अभी जटिल कहानियों, तथ्यों की लंबी सूचियों या सत्रों (sessions) के बीच बहु-चरणीय तर्क (multi-step reasoning) को याद नहीं रख सकता। इसकी एक हार्ड कैपेसिटी सीमा है: प्रदर्शन बिगड़ने से पहले रिज़र्वोइर विश्वसनीय रूप से लगभग 20–48 आइटम रख सकता है।
एजेंट टास्क: उन परीक्षणों में जहाँ AI को "प्रतीक्षा" करनी थी या "शांत" रहना था, यह सफल रहा, लेकिन अक्सर वास्तविक दीर्घकालिक स्मृति के बजाय मानक कॉन्टेक्स्टल ट्रिक्स का उपयोग करके। रिज़र्वोइर का वास्तविक मूल्य केवल उन विशिष्ट टोकन्स को याद करने में सिद्ध हुआ जो वर्तमान इनपुट में अनुपस्थित थे।

सुरक्षा और निगरानी (Safety and Monitoring)

स्थायी स्टेट (persistent state) सुरक्षा के संभावित लाभ प्रदान करता है:

निरीक्षण (Inspection): चूंकि रिज़र्वोइर हालिया इंटरैक्शन का एक रनिंग स्टेट रखता है, इसलिए एक ऑपरेटर सैद्धांतिक रूप से मॉडल की मानसिक स्थिति की निगरानी करने या आउटपुट उत्पन्न करने से पहले उत्तेजना (agitation) का पता लगाने के लिए इस स्टेट का निरीक्षण कर सकता है।
तत्काल व्यवधान (Immediate Interruption): क्योंकि मॉडल लगातार रिज़र्वोइर के स्टेट पर ध्यान देता है (स्यूडो-टोकन्स के माध्यम से), यह अपने वर्तमान जनरेशन चक्र को पूरा करने की प्रतीक्षा करने के बजाय स्टॉप सिग्नल पर तुरंत प्रतिक्रिया दे सकता है।

सारांश (Summary)

यह पेपर प्रदर्शित करता है कि आप एक मिड-लेयर में एक फिक्स्ड, रैंडम रिकरेंट नेटवर्क (रिज़र्वोइर) डालकर एक फ्रोजन ट्रांसफॉर्मर में स्थायी स्मृति जोड़ सकते हैं। इसकी सफलता पूरी तरह से इस बात पर निर्भर करती है कि मेमोरी को कैसे इंजेक्ट किया जाता है: इसे शोर के रूप में जोड़ना विफल रहता है, लेकिन इसे अटेंडेबल स्यूडो-टोकन्स (attendable pseudo-tokens) के रूप में इंजेक्ट करना सफल होता है। हालांकि वर्तमान में यह सरल स्टेट रिटेंशन (जैसे किसी शब्द या गिनती को याद रखना) तक सीमित है, लेकिन यह दृष्टिकोण साबित करता है कि बिना पूर्ण पुन: प्रशिक्षण (full retraining) के स्टेटलेस मॉडल्स को सत्रों के बीच याद रखने के लिए अपग्रेड किया जा सकता है।

तकनीकी सारांश: द रिज़र्वोअर अटेंशन नेटवर्क (RAN)

समस्या विवरण (Problem Statement)

मानक ट्रांसफॉर्मर आर्किटेक्चर फॉरवर्ड पासेज के दौरान स्टेटलेस (stateless) होते हैं; उनके पास कोई अंतर्जात चर (endogenous variable) नहीं होता जो कॉल्स के बीच विकसित हो सके, वे केवल संदर्भ विंडो (context window) के भीतर स्थिति पर निर्भर करते हैं। यह अध्ययन जांच करता है कि क्या एक प्रीट्रेन्ड ट्रांसफॉर्मर के मिड-लेयर अटेंशन में इंजेक्ट किया गया एक निश्चित, रैंडमली-इनिशियलाइज्ड रिज़र्वोअर (इको स्टेट नेटवर्क के अर्थ में), बिना बैकबोन को रिट्रेन किए, स्वतंत्र फॉरवर्ड पासेज के बीच एक उपयोगी, निरंतर अवस्था (state) प्रदान कर सकता है। मुख्य शोध प्रश्न यह है कि क्या ऐसी तंत्र प्रक्रिया (mechanism) स्टेट को पासेज के पार ले जा सकती है ताकि उन कार्यों को सक्षम किया जा सके जो स्टेटलेस मॉडल्स के लिए संरचनात्मक रूप से असंभव हैं, और किन इंजेक्शन और डायनेमिक्स के तहत यह स्टेट एक उपयोगी सिग्नल बनता है न कि शोर (noise)।

कार्यप्रणाली (Methodology)

रिज़र्वोअर अटेंशन नेटवर्क (RAN) आर्किटेक्चर एक प्रीट्रेन्ड ट्रांसफॉर्मर पर एक फिक्स्ड-रैंडम रिकरेंट सबस्ट्रेट (substrate) को ग्राफ्ट करता है।

आर्किटेक्चर: आकार $N$ का एक रिज़र्वोअर जिसमें फिक्स्ड रैंडम वेट्स ( $W_r$ , $W_{in}$ ) और एक लीक रेट $a$ है, उसे एक मिड-डेप्थ लेयर $L_k$ पर इंजेक्ट किया जाता है।
तंत्र (Mechanism): रिज़र्वोअर एक फिक्स्ड रैंडम प्रोजेक्शन $W_{in}$ के माध्यम से लेयर के अटेंशन आउटपुट को पढ़ता है, अपने स्टेट $r(t)$ को अपडेट करता है, और एक प्रशिक्षित रीडआउट $W_{out}$ के माध्यम via कंटेंट-एड्रेसेबल की/वैल्यू (KV) प्रीफिक्स स्यूडो-टोकन्स के रूप में स्टेट को वापस लिखता है।
प्रशिक्षण (Training): बैकबोन ट्रांसफॉर्मर फ्रीज (frozen) रहता है। केवल रीडआउट $W_{out}$ और ऊपरी परतों पर हल्के LoRA एडेप्टर को प्रशिक्षित किया जाता है। रिज़र्वोअर स्वयं अप्रशिक्षित और फिक्स्ड-रैंडम रहता है।
प्रायोगिक दायरा (Experimental Scope): प्रयोग GPT-2 (124M, 355M) और Qwen2.5 (0.5B, 1.5B) पर एक सिंगल कंज्यूमर GPU पर किए गए थे। प्रयोग न्यूनतम प्रोब्स (probes) थे जिन्हें जटिल एजेंटिक रीजनिंग दिखाने के बजाय विशिष्ट तंत्रों (जैसे, सीक्रेट-वर्ड रिकॉल, साइलेंस पॉलिसीज) को अलग करने के लिए डिज़ाइन किया गया था।

मुख्य योगदान और परिणाम (Key Contributions and Results)

1. इंजेक्शन डिज़ाइन निर्णायक है (Injection Design is Decisive)

अध्ययन यह स्थापित करता है कि रिज़र्वोअर स्टेट को इंजेक्ट करने का तरीका यह निर्धारित करता है कि वह स्टेट उपयोगी है या नहीं।

एडिटिव इंजेक्शन की विफलता (Additive Injection Failure): रिज़र्वोअर स्टेट को रेसिडुअल स्ट्रीम में एडिटिव रूप से लिखने से मॉडल रिकरेंट स्टेट को अनदेखा करना सीख जाता है। क्रॉस-कॉन्टेक्स्ट रिकॉल अभी भी चांस लेवल (0.17) पर रहता है, जो स्टेट-रीसेट बेसलाइन से अलग नहीं है।
कंटेंट-एड्रेसेबल (KV-Prefix) की सफलता (Content-Addressable Success): स्टेट को KV-प्रीफिक्स स्यूडो-टोकन्स के रूप में पुन: इंजेक्ट करना, जिन पर ऊपरी परतें अटेंड करती हैं, GPT-2-small पर 100% क्रॉस-कॉन्टेक्स्ट रिकॉल (1.00 बनाम 0.17 कंट्रोल) देता है। यह सिद्ध करता है कि यदि मॉडल को इस पर अटेंड करने के लिए एक तंत्र दिया जाए, तो रिज़र्वोअर स्टेट उपयोगी जानकारी ले जा सकता है।

2. रिज़र्वोअर डायनेमिक्स और स्केलिंग (Reservoir Dynamics and Scaling)

एज-ऑफ-केओस रिजीम (Edge-of-Chaos Regime): रिज़र्वोअर एज-ऑफ-केओस रिजीम (स्पेक्ट्रल रेडियस $\rho \approx 1$ ) में प्रभावी ढंग से काम करता है। हालांकि, वास्तविक ट्रांसफॉर्मर एक्टिवेशन यूनिट-स्केल्ड रिज़र्वोअर को ओवर-ड्राइव करते हैं, जिससे सैचुरेशन (saturation) होता है।
इनपुट स्केलिंग (Input Scaling): सैचुरेशन से बचने के लिए, ट्रांसफॉर्मर से रिज़र्वोअर तक इनपुट स्केलिंग को यूनिट स्केल के लगभग एक-चौथाई से एक-दशांश तक कम करना आवश्यक है।
1.5B तक स्केलिंग: पहले देखा गया "GPT-2-small-only" बाउंड्री एक अंडरसाइज़्ड रिज़र्वोअर और मिसमैच्ड इनपुट स्केलिंग का आर्टिफैक्ट था। रिज़र्वोअर को 2048 नोड्स तक बड़ा करके और इनपुट स्केलिंग को मैच करके (Qwen-1.5B के लिए 0.1), क्रॉस-पास रिकॉल Qwen फैमिली में 0ात 0.83–1.00 तक रिकवर हो जाता है।
मॉडल विशिष्टता (Model Specificity): सफलता केवल पैरामीटर काउंट का फंक्शन नहीं है। GPT-2-medium (355M) सात-बिंदु स्केलिंग स्वीप के बावजूद विफल रहा, जबकि Qwen-0.5B ने Qwen-1.5B (0.1) से भिन्न स्केलिंग (0.5) के साथ सफलता प्राप्त की। मॉडल के अनुरूप इनपुट स्केलिंग मैच करना आवश्यक है लेकिन पर्याप्त नहीं है; बैकबोन की प्रीफिक्स को पढ़ने की क्षमता मॉडल-विशिष्ट रहती है।

3. क्षमता और सीमाएं (Capacity and Limits)

क्षमता की सीमा (Capacity Ceiling): रिज़र्वोअर दर्जनों आइटम्स की क्षमता दिखाता है। ~6 सीक्रेट वर्ड्स के लिए रिकॉल परफेक्ट है, 24 शब्दों पर ~0.42 तक गिर जाता है, और 48 शब्दों पर चांस लेवल तक गिर जाता है।
N-Seed चयन: अध्ययन ने पाया कि वर्तमान ट्रेनिंग बजट पर, अप्रशिक्षित मेट्रिक्स (जैसे, पार्टिसिपेशन रेशियो) के माध्यम से एक "बेहतर" फिक्स्ड रिज़र्वोअर सीड चुनना अप्रभावी है। परिणाम रिज़र्वोअर की अंतर्निहित गुणवत्ता के बजाय ट्रेनिंग नॉइज़ और इनिशियलाइजेशन वेरिएंस द्वारा नियंत्रित होते हैं।

4. स्टेटफुल बनाम स्टेटलेस व्यवहार (The Battery)

टेम्पोरल/एजेंसी मेट्रिक्स को सिंबोलिक कंटेंट रिकॉल से अलग करने वाली एक आठ-टास्क "बैटरी" ने एक महत्वपूर्ण विभाजन प्रकट किया:

टेम्पोरल/एजेंसी मेट्रिक्स: "साइलेंस", "टाइम्ड", और "सेल्फ-इनिशिएशन" जैसे मेट्रिक्स को एक स्टेटलेस एब्लेशन (केवल वर्तमान-पास फीचर्स पर LoFA एडेप्टर) द्वारा मैच किया गया। ये व्यवहार रिसोर्वर स्टेट पर निर्भर नहीं थे।
कंटेंट रिकॉल: सिंबोलिक कंटेंट रिकॉल (विशिष्ट टोकन को याद रखना) स्टेटफुलनेस का असली टेस्ट है। हालांकि शुरुआत में बड़े पैमाने पर विफल रहा, इसे बैटरी में केवल विशिष्ट स्थितियों के तहत बनाए रखा जा सकता है: स्टेटलेस शॉर्टकट की एडेप्टर क्षमता को सीमित करना (छोटा LoRA रैंक) और लर्निंग रेट को कम करना। इनके बिना, ऑप्टिमाइज़र एक स्टेटलेस शॉर्टकट ढूंढ लेता है, और रिज़र्वोअर-ड्रिवन सॉल्यूशन कोलैप्स हो जाता है।

5. सुरक्षा और निगरानी के निहितार्थ (Safety and Monitoring Implications)

पेपर प्रस्तावित करता है कि फिक्स्ड रिज़र्वोअर एक लो-कॉस्ट, स्टेबल मॉनिटरिंग सरफेस प्रदान करता है:

इंटरप्टिबिलिटी (Interruptibility): एक पर-टिक एजेंट जिसका रिज़र्वोअर है, वह शून्य लेटेंसी के साथ "STOP" सिग्नल रजिस्टर करता है और फेडिंग मेमोरी के माध्यम से इसे कई पासेज तक बनाए रखता है, जो टर्न-बेस्ड एजेंट्स के विपरीत है।
मॉनिटरेबिलिटी (Monitorability): एक लीनियर रीडआउट स्पार्स ऑटोएनकोडर्स के बिना भी उच्च फिडेलिटी ( $R^2 \approx 0.995$ ) के साथ रिज़र्वोअर स्टेट से आंतरिक प्रोसेस वेरिएबल्स (जैसे, एलैप्स्ड टाइम) को रिकवर कर सकता है। यह मैपिंग मध्यम फाइन-ट्यूनिंग ड्रिफ्ट के प्रति लचीली है क्योंकि रिज़र्वोअर वेट्स फिक्स्ड रहते हैं।

महत्व और दावे (Significance and Claims)

पेपर स्पष्ट रूप से अपने योगदान को छोटे पैमाने पर एक फिजिबिलिटी और डायनेमिक्स स्टडी के रूप में फ्रेम करता है, सामान्य बुद्धिमत्ता या जटिल एजेंटिक रीजनिंग के दावे करने से बचता है।

मुख्य निष्कर्ष: प्राथमिक योगदान इंजेक्शन-डिज़ाइन फाइंडिंग है: कि एक फिक्स्ड, अप्रशिक्षित रिज़र्वोअर एक प्रीट्रेन्ड ट्रांसफॉर्मर में कंटेंट-एड्रेसेबल KV-प्रीफिक्स टोकन्स के रूप में इंजेक्ट होने पर उपयोगी क्रॉस-पास स्टेट ले जा सकता है, बशर्ते रिज़र्वोअर का साइज और स्केलिंग सही हो।
नेगेटिव रिजल्ट्स के रूप में सीमाएं: पेपर योगदान को सीमित करने के लिए नियंत्रित नेगेटिव्स, जैसे GPT-2-medium की विफलता और बैटरी में स्टेटलेस टेम्पोरल मेट्रिक्स, पर जोर देता है।
सैद्धांतिक रुख: लेखक कहते हैं कि हालांकि क्रॉस-पास स्टेट को कॉम्प्लेक्सिटी-थ्योरेटिक तर्कों (TC0/FO(M) बाउंड को लिफ्ट करना) द्वारा प्रेरित किया गया है, वे इसे सिद्ध करने का दावा नहीं करते हैं। कार्य एक परिमित-परिशुद्धता (finite-precision) वाले रिज़र्वोअर को एक ओपन थ्योरेटिकल प्रश्न के रूप में मानता है।
भविष्य का कार्य: "ऑलवेज-अलाइव एजेंट" के विजन को कंप्यूट-लिमिटेड फ्यूचर वर्क के रूप में माना गया है। वर्तमान अध्ययन यह आइसोलेट करता है कि क्या अप्रशिक्षित रिकरेंट डायनेमिक्स स्टेट ले जाने के लिए पर्याप्त हैं, जिससे यह पता चलता है कि प्रशिक्षित रिकरेंस एक पूरक, अधिक महंगी दिशा है।

संक्षेप में, पेपर यह प्रदर्शित करता है कि रिज़र्वोअर को कैसे इंजेक्ट किया जाता है, वह उपयोगिता का निर्णायक कारक है, यह बड़े मॉडल्स के लिए आवश्यक डायनेमिक्स (स्केलिंग, इनपुट स्केलिंग) को परिभाषित करता है, और मल्टी-टास्क सेटिंग्स में स्टेटफुल कंटेंट रिकॉल बनाए रखने का एक नुस्खा प्रदान करता है, जबकि इसकी क्षमता और मॉडल-विशिष्ट ट्रांसफर क्षमता की सीमाओं को स्वीकार करता है।