💬 NLP

Reinforced Fast Weights with Next-Sequence Prediction

यह शोध पत्र REFINE को पेश करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो फास्ट वेट आर्किटेक्चर में नेक्स्ट-टोकन प्रेडिक्शन की सीमाओं को दूर करने के लिए नेक्स्ट-सीक्वेंस प्रेडिक्शन और ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन का उपयोग करता है, जिससे विभिन्न कार्यों में उनकी लॉन्ग-कॉन्टेक्स्ट मॉडलिंग क्षमताओं को महत्वपूर्ण रूप से बढ़ाता है।

मूल लेखक: Hee Seung Hwang, Xindi Wu, Sanghyuk Chun, Olga Russakovsky

प्रकाशित 2026-02-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hee Seung Hwang, Xindi Wu, Sanghyuk Chun, Olga Russakovsky

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ पेपर "Reinforced Fast Weights with Next-Sequence Prediction" (REFINE) का स्पष्टीकरण दिया गया है, जिसे सरल अवधारणाओं और रचनात्मक उपमाओं (analogies) में विभाजित किया गया है।

बड़ी तस्वीर: "फास्ट" मेमोरी की समस्या

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट असिस्टेंट (एक AI मॉडल) है जो किसी विशेष पात्र के बारे में उत्तर देने के लिए एक विशाल, 100 पन्नों का उपन्यास पढ़ने की कोशिश कर रहा है, जिसका उल्लेख पेज 1 पर किया गया था।

स्टैंडर्ड AI (Transformers): इस असिस्टेंट के पास एक आदर्श, अनंत नोटबुक है। वे विवरणों को तुरंत चेक करने के लिए पेज 1 पर वापस जा सकते हैं। लेकिन, जैसे-जैसे किताब बड़ी होती जाती है, नोटबुक भारी होती जाती है, जिससे इसे साथ ले जाना धीमा और महंगा हो जाता है।
फास्ट वेट AI (Fast Weight AI): यह असिस्टेंट अविश्वसनीय रूप से तेज़ और हल्का है। एक नोटबुक के बजाय, उनकी जेब में एक छोटी, जादुई स्टिकी नोट (sticky note) है। पढ़ते समय, वे सबसे महत्वपूर्ण चीजों को याद रखने के लिए उस स्टिकी नोट को लगातार फिर से लिखते रहते हैं। समस्या क्या है? स्टिकी नोट छोटा है। यदि वे सब कुछ याद रखने की कोशिश करते हैं, तो नोट गड़बड़ा जाता है, और कहानी के अंत तक पहुँचते-पहुँचते वे शुरुआत की कहानी भूल जाते हैं।

वर्तमान दोष:
अभी, हम इन "फास्ट वेट" असिस्टेंट्स को Next-Token Prediction (NTP) नामक विधि का उपयोग करके प्रशिक्षित करते हैं।

उपमा: कल्पना कीजिए कि एक शिक्षक असिस्टेंट से पूछता है, "इस वाक्य में अगला शब्द क्या है?"
समस्या: असिस्टेंट अगले शब्द का सटीक अनुमान लगाने में माहिर हो जाता है, लेकिन उन्हें इस बात की परवाह नहीं होती कि पूरा वाक्य अर्थपूर्ण है या नहीं। वे "The cat sat on the..." का सही अनुमान लगा सकते हैं और "mat" (चटाई) कह सकते हैं, लेकिन अगर कहानी वास्तव में एक छत पर बैठी बिल्ली के बारे में थी, तो भी असिस्टेंट "mat" ही कहेगा क्योंकि यह एक सामान्य शब्द है। वे केवल तात्कालिक अगले कदम के लिए अनुकूलित (optimize) हो रहे हैं, लंबी अवधि की कहानी के लिए नहीं। वे "मायोपिक" (निकट-दृष्टि वाले/दूरदर्शी नहीं) हैं।

समाधान: REFINE ("भविष्य को सुरक्षित करने वाली" विधि)

लेखक REFINE पेश करते हैं, एक नई प्रशिक्षण विधि जो असिस्टेंट को केवल एक-एक कदम आगे बढ़ने के बजाय, आगे की सोचने के लिए सिखाती है। वे इसे Next-Sequence Prediction (NSP) कहते हैं।

यह पूछने के बजाय कि "अगला शब्द क्या है?", REFINE पूछता है, "यदि मैं यहाँ रुक जाऊं, तो क्या आप अगले पाँच शब्दों को एक सुसंगत कहानी के रूप में बता सकते हैं?"

यहाँ बताया गया है कि "ट्रेनिंग कैंप" की उपमा का उपयोग करते हुए REFINE कैसे काम करता है:

1. "कठिन स्थानों" को खोजना (Entropy-Based Selection)

कल्पना कीजिए कि एक कोच क्लासरूम में घूम रहा है। हर छात्र से एक ही आसान सवाल पूछने के बजाय, कोच उन छात्रों को देखता है जो भ्रमित दिख रहे हैं या हिचकिचा रहे हैं (उच्च "एंट्रॉपी" या अनिश्चितता)।

पेपर में: AI टेक्स्ट को स्कैन करता है और उन जगहों को ढूंढता है जहाँ वह अगले शब्द के बारे में सबसे कम निश्चित है। ये "कठिन स्थान" हैं जहाँ मेमोरी कमजोर है।

2. "क्या होगा अगर" वाला खेल (Rollout Generation)

एक बार जब कोच को कठिन स्थान मिल जाता है, तो वह कहता है, "ठीक है, यहाँ पढ़ना बंद करो। मैं चाहता हूँ कि तुम अगले 5 शब्दों का अनुमान लगाओ।"

पेपर में: AI एक "रोलआउट" (rollout) जनरेट करता है—जो अब तक जो कुछ भी उसे याद है, उसके आधार पर भविष्य के अनुक्रम (sequence) का एक छोटा सा अनुमान है।

3. "सच्चाई की जाँच" (Reward Assignment)

अब, कोच AI के अनुमान की तुलना किताब के वास्तविक अगले 5 शब्दों से करता है।

पुराना तरीका (NTP): कोच सिर्फ यह देखता है कि पहला शब्द सही था या नहीं।
REFINE का तरीका: कोच पूरे 5-शब्दों के वाक्यांश को देखता है।
- यदि AI ने अनुमान लगाया "The cat sat on the mat," लेकिन किताब में लिखा था "The cat sat on the roof," तो कोच कम स्कोर देता है।
- जादू: भले ही AI ने सटीक शब्द "roof" का अनुमान न लगाया हो, लेकिन अगर उसने कुछ ऐसा अनुमान लगाया जो सही महसूस होता है (जैसे "high place"), तो कोच पार्शियल रिवॉर्ड (आंशिक इनाम) देता है जो इस बात पर आधारित होता है कि शब्दों का अर्थ कितना समान है। इसे Cosine Similarity कहा जाता है। यह AI को कहानी के "वाइब" (vibe) को समझने के लिए पुरस्कृत करता है, न कि केवल सटीक शब्दों को रटने के लिए।

4. "ग्रुप हडल" (RL के साथ Optimization)

अंत में, कोच AI को इकट्ठा करता है और कहता है, "तुमने यहाँ ठीक किया, लेकिन वहाँ गलती की। चलो तुम्हारी मेमोरी (स्टिकी नोट) को एडजस्ट करते हैं ताकि तुम अगली बार बेहतर कर सको।"

पेपर में: यह Reinforcement Learning (RL) का उपयोग करके किया जाता है। AI अपनी आंतरिक "स्टिकी नोट" (फास्ट वेट्स) को अपडेट करता है ताकि वह केवल एक शब्द के बजाय पूरे अनुक्रम (sequence) को सही पाने के लिए रिवॉर्ड को अधिकतम कर सके।

यह सब कुछ कैसे बदल देता है

पेपर ने इसे दो अलग-अलग AI मॉडल्स (LaCT और DeltaNet) पर टेस्ट किया और पाया कि REFINE उन्हें लंबी अवधि की मेमोरी वाले कार्यों में बहुत बेहतर बनाता है।

"Needle in a Haystack" (भूसे के ढेर में सुई) टेस्ट: कल्पना कीजिए कि एक 100 पन्नों की किताब में एक विशिष्ट वाक्य छिपा हुआ है और AI को उसे खोजने के लिए कहा गया है।
- पुरानी विधि: AI किताब के बीच में खो जाता है और सुई को भूल जाता है।
- REFINE: क्योंकि इसे शब्दों के पूरे अनुक्रम की परवाह करने के लिए प्रशिक्षित किया गया था, यह "सुई" को बहुत लंबे समय तक अपनी मेमोरी में बनाए रखता है। इसने प्रदर्शन में भारी सुधार किया (कभी-कभी सफलता दर को दोगुना कर दिया)।

प्रशिक्षण के तीन चरण

पेपर दिखाता है कि REFINE AI के जीवन के तीन अलग-अलग समय पर काम करता है:

मिड-ट्रेनिंग (स्कूली वर्ष): AI को बुनियादी चीजें सीखते समय लंबी किताबें बेहतर ढंग से पढ़ना सिखाना।
पोस्ट-ट्रेनिंग (जॉब ट्रेनिंग): AI को नई लॉन्ग-टर्म मेमोरी स्किल्स का उपयोग करके विशिष्ट निर्देशों (जैसे "सारांश दें") का पालन करना सिखाना।
टेस्ट-टाइम ट्रेनिंग (ऑन-द-जॉब लर्निंग): जब AI वास्तव में एक यूजर के साथ काम कर रहा होता है, तो वह जवाब देने से पहले यूजर के विशिष्ट प्रॉम्प्ट को "स्टडी" करने के लिए REFINE का उपयोग कर सकता है, जिससे वह संदर्भ (context) को तुरंत याद कर लेता है।

सारांश रूपक (Summary Metaphor)

पुराने तरीके (NTP) को एक छात्र को एक बार में एक अंक करके फोन नंबर सुनाना सिखाने के रूप में सोचें। वे अगला अंक सही बता सकते हैं, लेकिन अंत तक पहुँचते-पहुँचते वे पूरा नंबर भूल जाते हैं।

REFINE एक छात्र को पूरे फोन नंबर को एक पैटर्न के रूप में याद रखना सिखाने जैसा है। यह उन्हें जानकारी के स्ट्रक्चर और प्रवाह को समझने के लिए मजबूर करता है, ताकि वे पूरे अनुक्रम को सटीक रूप से याद रख सकें, भले ही वह नंबर 100 अंकों लंबा क्यों न हो।

परिणाम: एक तेज़, हल्का AI जो लंबी कहानी होने पर अपनी मेमोरी नहीं खोता है।

यहाँ पेपर "Reinforced Fast Weights with Next-Sequence Prediction" (REFINE) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

फास्ट वेट मॉडल्स में नेक्स्ट-टोकन प्रेडिक्शन (NTP) की सीमाएँ:

संदर्भ (Context): डॉक्यूमेंट अंडरस्टैंडिंग और मल्टी-शॉट इन-कॉन्टेक्स्ट लर्निंग जैसे कार्यों के लिए लॉन्ग-कॉन्टेक्स्ट मॉडलिंग आवश्यक है। हालाँकि अटेंशन-आधारित ट्रांसफॉर्मर्स यहाँ उत्कृष्ट हैं, लेकिन उनकी मेमोरी और कंप्यूट लागत कॉन्टेक्स्ट की लंबाई के साथ क्वाड्रेटिकली (quadratically) बढ़ती है।
विकल्प (The Alternative): फास्ट वेट आर्किटेक्चर (जैसे DeltaNet, LaCT) एक समाधान प्रदान करते हैं, जो ग्लोबल अटेंशन के स्थान पर एक फिक्स्ड-साइज़ मेमोरी मैट्रिक्स का उपयोग करते हैं जिसे टोकन्स प्रोसेस होने के दौरान डायनामिक रूप से अपडेट किया जाता है। यह सुनिश्चित करता है कि कॉन्टेक्स्ट की लंबाई के बावजूद मेमोरी ओवरहेड स्थिर रहे।
मुख्य समस्या (The Core Issue): अपनी आर्किटेक्चरल दक्षता के बावजूद, फास्ट वेट मॉडल्स को वर्तमान में मानक नेक्स्ट-टोकन प्रेडिक्शन (NTP) ऑब्जेक्टिव (टोकन-दर-टोकन क्रॉस-एन्ट्रॉपी लॉस को कम करना) का उपयोग करके प्रशिक्षित किया जाता है।
- NTP तत्काल सिंगल-टोकन संभावना (likelihood) को ऑप्टिमाइज़ करता है, जो एक प्रीफिक्स के बाद आने वाले सीक्वेंस की सिमेंटिक सुसंगतता (semantic coherence) को अनदेखा कर देता है।
- इससे सब-ऑप्टिमल रिप्रेजेंटेशन होता है जहाँ मॉडल लंबी दूरी की निर्भरताओं (long-range dependencies) को प्रभावी ढंग से कैप्चर करने में विफल रहता है क्योंकि ट्रेनिंग सिग्नल मॉडल को कई स्टेप्स तक एक सुसंगत आंतरिक अवस्था (internal state) बनाए रखने के लिए प्रोत्साहित नहीं करता है।
- हर पोजीशन के लिए पूर्ण मल्टी-टोकन निरंतरता (continuations) उत्पन्न करना कम्प्यूटेशनल रूप से अत्यधिक महंगा है, जिससे मानक सीक्वेंस-लेवल सुपरविजन लागू करना कठिन हो जाता है।

2. कार्यप्रणाली: REFINE

लेखक REFINE (Reinforced Fast weIghts with Next sEquence prediction) प्रस्तावित करते हैं, जो एक नेक्स्ट-सीक्वेंस प्रेडिक्शन (NSP) ऑब्जेक्टिव के तहत फास्ट वेट मॉडल्स को प्रशिक्षित करने के लिए डिज़ाइन किया गया एक रीइन्फोर्समेंट लर्निंग (RL) फ्रेमवर्क है।

मुख्य अवधारणा: नेक्स्ट-सीक्वेंस प्रेडिक्शन (NSP)

NTP के $P(x_{t+1} | x_{\le t})$ को ऑप्टिमाइज़ करने के बजाय, NSP का लक्ष्य भविष्य के टोकन्स के एक सुसंगत सीक्वेंस $P(x_{t+1:t+k} | x_{\le t})$ को ऑप्टिमाइज़ करना है। यह फास्ट वेट्स को ऐसी जानकारी स्टोर करने के लिए मजबूर करता है जो केवल अगले टोकन के बजाय $k$ टोकन्स के क्षितिज (horizon) तक सटीक भविष्यवाणी का समर्थन करती है।

REFINE फ्रेमवर्क

REFIVE, प्रत्येक टोकन के लिए पूर्ण निरंतरता उत्पन्न करने की कम्प्यूटेशनल लागत से बचने के लिए NSP को एक RL समस्या के रूप में स्वरूपित करता है। इसमें चार प्रमुख चरण शामिल हैं:

एन्ट्रॉपी-आधारित टोकन चयन (Entropy-Based Token Selection):
- टोकन्स को यूनिफॉर्मली सैंपल करने के बजाय, मॉडल प्रत्येक स्थिति पर NTP एन्ट्रॉपी ( $H_t$ ) की गणना करता है।
- इनपुट सीक्वेंस को $c$ निरंतर चंक्स (chunks) में विभाजित किया जाता है।
- प्रत्येक चंक से, एक टारगेट टोकन पोजीशन को उसकी एन्ट्रॉपी के आनुपातिक संभावना के साथ सैंपल किया जाता है (उच्च एन्ट्रॉपी उच्च अनिश्चितता/चुनौतीपूर्ण क्षेत्रों को दर्शाती है)। यह ट्रेनिंग को सूचनात्मक भागों पर केंद्रित करता है।
रोलआउट जनरेशन (Rollout Generation):
- प्रत्येक चयनित हाई-एन्ट्रॉपी स्थिति $t_i$ के लिए, मॉडल एक $k$ -टोकन निरंतरता (rollout) $\hat{x}_{t_i+1:t_i+k}$ उत्पन्न करता है।
- मॉडल जेनरेट किए गए रोलआउट और ग्राउंड-ट्रुथ निरंतरता दोनों के लिए हिडन स्टेट्स निकालता है।
रिवॉर्ड असाइनमेंट (Reward Assignment):
- मिड-ट्रेनिंग और पोस्ट-ट्रेनिंग: प्रेडिक्टेड रोलआउट और ग्राउंड ट्रुथ के हिडन स्टेट्स के बीच एक कोसाइन सिमिलैरिटी रिवॉर्ड ( $R_\phi$ ) की गणना की जाती है। यह एक स्मूथ, सिमेंटिक सिग्नल प्रदान करता है जो उन निरंतरताओं को पुरस्कृत करता है जो भले ही ग्राउंड ट्रुथ से अक्षर-दर-अक्षर मेल न खाती हों, लेकिन अर्थपूर्ण रूप से संभावित (plausible) हों।
- टेस्ट-टाइम ट्रेनिंग (TTT): कॉन्टेक्स्ट के सख्त मेमोराइजेशन को लागू करने के लिए एक बाइनरी एक्ज़ैक्ट मैच रिवॉर्ड ( $R_{binary}$ ) का उपयोग किया जाता है।
- हाइब्रिड रिवॉर्ड: पोस्ट-ट्रेनिंग के लिए, जनरलाइजेशन और मेमोराइजेशन के बीच संतुलन बनाने के लिए दोनों रिवॉर्ड्स का मिश्रण उपयोग किया जाता है।
RL के साथ ऑप्टिमाइजेशन (GRPO):
- मॉडल को ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) का उपयोग करके ऑप्टिमाइज़ किया जाता है।
- लॉस फंक्शन NTP लॉस और स्टैंडर्ड NSP लॉस का एक वेटेड सम है ताकि कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) को रोका जा सके।
- ऑब्जेक्टिव अपेक्षित सीक्वेंस-लेवल रिवॉर्ड को मैक्सिमाइज़ करता है: $J(\theta) = \mathbb{E}[R]$ ।

प्रशिक्षण चरणों में प्रयोज्यता (Applicability Across Training Phases)

REFINE "फेज-अगनॉस्टिक" (phase-agnostic) होने के लिए डिज़ाइन किया गया है और इसे तीन चरणों में लागू किया जाता है:

मिड-ट्रेनिंग (Mid-training): लॉन्ग-कॉन्टेक्स्ट अडैप्टेशन में सुधार के लिए प्री-ट्रेनिंग-जैसे कॉर्पोरा पर फास्ट वेट्स को सुदृढ़ करना।
पोस्ट-ट्रेनिंग (Post-training): इसे नेस्टेड लर्निंग के माध्यम से एकीकृत किया जाता है। मॉडल फाइनल रिस्पॉन्स जेनरेट करने से पहले REFINE का उपयोग करके अपने फास्ट वेट्स को प्रॉम्प्ट पर अपडेट करता है, जिसे फिर स्टैंडर्ड SFT के माध्यम से फाइन-ट्यून किया जाता है।
टेस्ट-टाइम ट्रेनिंग (TTT): यह सेल्फ-सुपरवाइज्ड सिग्नल्स का उपयोग करके इन्फरेंस प्रॉम्प्ट पर फास्ट वेट्स को सीधे सुदृढ़ करता है (इसके लिए बाहरी लेबल की आवश्यकता नहीं है)।

3. मुख्य योगदान (Key Contributions)

नया ऑब्जेक्टिव: टोकन-लेवल फीडबैक की सीमाओं को दूर करने के लिए फास्ट वेट मॉडल्स के लिए विशेष रूप से नेक्स्ट-सीक्वेंस प्रेडिक्शन (NSP) ऑब्जेक्टिव का परिचय।
RL फ्रेमवर्क: एक कुशल RL फ्रेमवर्क का प्रस्ताव, जो कम्प्यूट-रिडक्शन के लिए एन्ट्रॉपी-आधारित टोकन सिलेक्शन को सीक्वेंस-लेवल रिवॉर्ड्स के साथ जोड़ता है।
लाइफसाइकिल इंटीग्रेशन: यह प्रदर्शन करना कि यह दृष्टिकोण पूरे मॉडल लाइफसाइकिल (मिड-ट्रेनिंग, पोस्ट-ट्रेनिंग और टेस्ट-टाइम ट्रेनिंग) में प्रभावी है, जो फास्ट वेट्स के लिए पहले से अनएक्सप्लोर्ड वर्सटैलिटी है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने दो मॉडल्स पर REFINE का मूल्यांकन किया: LaCT-760M और DeltaNet-1.3B।

लॉन्ग-कॉन्टेक्स्ट रिट्रीवल (RULER NIAH):
- REFINE ने स्टैंडर्ड सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के साथ NTP को काफी पीछे छोड़ दिया।
- DeltaNet-1.3B: नो मिड-ट्रेनिंग की तुलना में मल्टी-की (Multi-key) NIAH कार्यों में 23.5% का सुधार और SFT मिड-ट्रेनिंग पर 8.8% का सुधार दिखाया।
- LaCT-760M: सिंगल, मल्टी-की, मल्टी-क्वेरी और मल्टी-वैल्यू NIAH कार्यों में लगातार बेहतर प्रदर्शन किया।
लॉन्ग-कॉन्टेक्स्ट QA (LongBench & RULER):
- मिड-ट्रेनिंग: REFINE ने बेसलाइन्स की तुलना में LongBench पर औसत प्रदर्शन में 16.9% (LaCT) और 17.0% (DeltaNet) का सुधार किया।
- पोस्ट-ट्रेनिंग: नेस्टेड REFINE ने नेस्टेड SFT पर SQuADQA स्कोर में 17% (LaCT) और 24.1% (DeltaNet) की वृद्धि की।
- टेस्ट-टाइम ट्रेनिंग: REFINE TTT ने SFT TTT को लगातार पछाड़ दिया, जो बिना अतिरिक्त लेबल के नए कॉन्टेक्स्ट के प्रति बेहतर अनुकूलन क्षमता प्रदर्शित करता है।
एब्लेशन स्टडीज (Ablation Studies):
- रिवॉर्ड फंक्शन: मिड-ट्रेनिंग के दौरान कोसाइन सिमिलैरिटी रिवॉर्ड्स ( $R_\phi$ ) ने बाइनरी एक्ज़ैक्ट मैच रिवॉर्ड्स की तुलना में बेहतर प्रदर्शन किया, जिससे सिद्ध हुआ कि जनरलाइजेशन के लिए सिमेंटिक सिमिलैरिटी स्ट्रिक्ट मैचिंग की तुलना में अधिक प्रभावी है।
- टोकन सिलेक्शन: एन्ट्रॉपी-वेटेड सैंपलिंग ने यूनिफॉर्म, मैक्स-एन्ट्रॉपी और मिन-एन्ट्रॉपी सैंपलिंग को पछाड़ दिया, जिससे पुष्टि हुई कि अनिश्चित क्षेत्रों पर ध्यान केंद्रित करने से बेहतर लर्निंग सिग्नल मिलते हैं।
- रोलआउट लेंथ ( $k$ ): प्रदर्शन $k=5$ पर चरम पर था; लंबे रोलआउट ( $k=7$ ) रिवॉर्ड सिग्नल के क्षरण के कारण घटते रिटर्न (diminishing returns) की ओर ले गए।

5. महत्व (Significance)

अंतर को पाटना: REFINE सफलतापूर्वक फास्ट वेट मॉडल्स के ट्रेनिंग ऑब्जेक्टिव को उनकी आर्किटेक्चरल स्ट्रेंथ (लॉन्ग-टर्म मेमोरी) के साथ संरेखित करता है, जो शॉर्ट-साइटेड NTP प्रतिमान से आगे बढ़ता है।
दक्षता: एन्ट्रॉपी-आधारित सैंपलिंग और RL का उपयोग करके, REFINE हर टोकन के लिए पूर्ण निरंतरता उत्पन्न करने की अत्यधिक लागत के बिना सीक्वेंस-लेवल सुपरविजन प्राप्त करता है।
बहुमुखी प्रतिभा: फ्रेमवर्क यह सिद्ध करता है कि RL को बिना किसी पूर्व इंस्ट्रक्शन ट्यूनिंग के प्री-ट्रेंड फास्ट वेट मॉडल्स पर प्रभावी ढंग से लागू किया जा सकता है, जो मेमोरी-एफिशिएंट आर्किटेक्चर में लॉन्ग-कॉन्टेक्स्ट क्षमताओं को स्केल करने के लिए एक व्यावहारिक मार्ग प्रदान करता है।
स्टेट-ऑफ-द-आर्ट: परिणाम फास्ट वेट मॉडल्स के लिए एक नया बेंचमार्क स्थापित करते हैं, यह दिखाते हुए कि वे सही ऑब्जेक्टिव के साथ प्रशिक्षित होने पर विशिष्ट लॉन्ग-कॉन्टेक्स्ट कार्यों में अटेंशन-आधारित मॉडल्स की बराबरी या उनसे आगे निकल सकते हैं।

संक्षेप में, REFINE यह प्रदर्शित करता है कि टोकन-लेवल से सीक्वेंस-लेवल रीइन्फोर्समेंट लर्निंग में बदलकर, फास्ट वेट आर्किटेक्चरएं अपने ऐतिहासिक लॉन्ग-कॉन्टेक्स्ट मॉडलिंग की सीमाओं को पार कर सकती हैं, जो ट्रांसफॉर्मर्स के लिए एक स्केलेबल और कुशल विकल्प प्रदान करती हैं।