💬 NLP

AlphaToken: Decoupling Adaptation and Stability for Path-Aware Response Token Valuation in LLM Post-Training

अल्फाटोकन (AlphaToken) एक पाथ-अवेयर (path-aware) टोकन मूल्यांकन ढांचे को पेश करता है जो अनुकूलन (adaptation) और स्थिरता (stability) उद्देश्यों को अलग करता है ताकि एलएलएम (LLM) पोस्ट-ट्रेनिंग के दौरान कम-मूल्य वाले रिस्पॉन्स टोकन को चुनिंदा रूप से मास्क किया जा सके, जिससे कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) को कम करते हुए कार्य-विशिष्ट प्रदर्शन को बढ़ाया जा सके।

मूल लेखक: Liu Qing, Ou Wu, Yi Du

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Liu Qing, Ou Wu, Yi Du

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ AlphaToken पेपर का स्पष्टीकरण दिया गया है, जिसे सरल अवधारणाओं और रोज़मर्रा के उदाहरणों में विभाजित किया गया है।

बड़ी समस्या: "अति-उत्साही छात्र" (The "Over-Eager Student")

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली छात्र (एक लार्ज लैंग्वेज मॉडल, या LLM) है जो पहले से ही लगभग हर चीज़ के बारे में थोड़ा-बहुत जानता है: इतिहास, गणित, कोडिंग और विनम्र ईमेल लिखना। यह उनका "प्री-ट्रेन्ड" (पूर्व-प्रशिक्षित) ज्ञान है।

अब, आप उन्हें एक विशिष्ट नया कौशल सिखाना चाहते हैं, जैसे कि कठिन गणित की समस्याओं को हल करना। आप उन्हें ट्यूशन देना शुरू करते हैं (इसे "फाइन-ट्यूनिंग" कहा जाता है)।

समस्या:
यदि आप छात्र को बार-बार गणित के सवाल हल करने का अभ्यास कराते हैं, तो वे गणित में बहुत अच्छे हो सकते हैं। लेकिन, इस प्रक्रिया में, वे विनम्र ईमेल लिखना या ऐतिहासिक तथ्य याद रखना भूल सकते हैं। वे एक "एक ही हुनर वाले खिलाड़ी" (one-trick pony) बन जाते हैं। इसे कैटास्ट्रोफिक फॉरगेटिंग (विस्मृति) कहा जाता है।

मौजूदा तरीके इसे ठीक करने की कोशिश करते हैं, जैसे कि कुछ अभ्यास प्रश्नों को बेतरतीब ढंग से हटा देना या केवल "आसान" प्रश्नों को रखना। लेकिन इस पेपर के लेखक कहते हैं: "यह बहुत ही रैंडम (बेतरतीब) है। हमें यह जानने की ज़रूरत है कि छात्र के उत्तर में वास्तव में कौन से शब्द गणित सीखने के लिए सहायक हैं, और कौन से शब्द केवल शोर (noise) हैं।"

समाधान: AlphaToken (द "स्मार्ट ग्रेडर")

AlphaToken एक नई प्रणाली है जो एक सुपर-स्मार्ट ग्रेडर (मूल्यांकनकर्ता) की तरह काम करती है। पूरे उत्तर को देखने के बजाय, यह मॉडल द्वारा उत्पन्न किए गए हर एक शब्द (टोकन) को देखती है और दो प्रश्न पूछती है:

अनुकूलन (Adaptation): "क्या यह शब्द छात्र को नया गणित कौशल सीखने में मदद करता है?"
स्थिरता (Stability): "क्या यह शब्द छात्र को अपने पुराने ज्ञान (जैसे इतिहास या लेखन) को याद रखने में मदद करता है?"

यदि कोई शब्द दोनों में मदद करता है, तो उसे उच्च स्कोर मिलता है। यदि वह किसी एक को नुकसान पहुँचाता है, तो उसे कम स्कोर मिलता है।

यह कैसे काम करता है: "पथ" का उदाहरण (The "Path" Analogy)

यह पता लगाने के लिए कि कोई शब्द अच्छा है या बुरा, AlphaToken उस शब्द को दो अलग-अलग तरीकों से देखता है, जैसे दो अलग-अलग मानचित्रों से सड़क यात्रा को देखना:

प्रत्यक्ष पथ (The Direct Path - तात्कालिक प्रभाव):
- उदाहरण: कल्पना कीजिए कि आप एक वाक्य लिख रहे हैं। शब्द "क्योंकि" (because) सीधे तौर पर अभी एक कारण समझाने में आपकी मदद करता है।
- AlphaToken क्या करता है: यह जाँचता है कि क्या शब्द वर्तमान समस्या को हल करने में तुरंत मॉडल की मदद करता है।
कारण पथ (The Causal Path - रिपल इफेक्ट/लहर प्रभाव):
- उदाहरण: कल्पना कीजिए कि आप एक पैराग्राफ की शुरुआत में "क्योंकि" शब्द का उपयोग करते हैं। वह एक शब्द यह बदल देता है कि मॉडल अगले पाँच वाक्यों को कैसे समझता है। यह एक लहर की तरह आगे बढ़ता है।
- AlphaToken क्या करता है: यह आगे देखता है कि क्या यह शब्द मॉडल को अनुक्रम (sequence) में बाद में बेहतर उत्तर देने में मदद करता है।

जादुई ट्रिक:
अधिकांश तरीके केवल "प्रत्यक्ष पथ" को देखते हैं। AlphaToken दोनों को देखता है। यह महसूस करता है कि कभी-कभी एक शब्द जो अभी उबाऊ लग सकता है, वह वास्तव में बाद में एक जटिल उत्तर तैयार करने के लिए महत्वपूर्ण होता है।

"नो-रेफरेंस" चुनौती (The "No-Reference" Challenge)

आमतौर पर, यह जाँचने के लिए कि क्या छात्र पुराने कौशल भूल रहा है, आप उन्हें गणित सीखते समय पुराने विषयों (जैसे इतिहास) पर एक टेस्ट देंगे।

समस्या: वास्तविक दुनिया में, कंपनियों के पास अक्सर मूल "इतिहास टेस्ट" का डेटा उपलब्ध नहीं होता है क्योंकि गोपनीयता या लाइसेंसिंग नियम होते हैं। उनके पास केवल नया गणित का डेटा होता है।

AlphaToken का समाधान:
पुराने टेस्ट डेटा की आवश्यकता के बिना, AlphaToken एक गणितीय "घोस्ट मैप" (जिसे Fisher-drift proxy कहा जाता है) का उपयोग करता है।

उदाहरण: कल्पना कीजिए कि आपको गणित की क्लास शुरू होने से पहले छात्र के मस्तिष्क के आकार की याद है। भले ही आपके पास पुराने टेस्ट प्रश्न न हों, AlphaToken जानता है, "यदि छात्र का मस्तिष्क इस मूल आकार से बहुत अधिक बदल जाता है, तो वे चीजें भूल रहे हैं।" यह पुराने टेस्ट प्रश्नों की आवश्यकता के बिना छात्र को स्थिर रखने के लिए इस "शेप चेक" (आकार की जाँच) का उपयोग करता है।

परिणाम: "सेलेक्टिव हाइलाइटर" (The "Selective Highlighter")

एक बार जब AlphaToken प्रत्येक शब्द को स्कोर दे देता है, तो यह एक हाइलाइटर पेन की तरह काम करता है:

उच्च-मूल्य वाले शब्द (High-value words): यह उन्हें रखता है। मॉडल इनसे सीखता है।
कम-मूल्य वाले शब्द (Low-value words): यह उन्हें ढक देता है (मास्क कर देता है)। मॉडल प्रशिक्षण के दौरान उन्हें अनदेखा कर देता है।

इसका मतलब है कि मॉडल अपनी ऊर्जा केवल उत्तर के सबसे महत्वपूर्ण हिस्सों पर खर्च करता है। यह विनम्र ईमेल लिखने जैसे अपने सामान्य ज्ञान को खोए बिना नया गणित कौशल तेजी से सीखता है।

इस पेपर ने क्या पाया

लेखकों ने तीन अलग-अलग AI मॉडलों (Llama, Gemma, और Qwen) पर इसका परीक्षण किया और पाया:

बेहतर संतुलन: मॉडल नए कार्य (गणित/कोडिंग) में बेहतर हुए और साथ ही अपने सामान्य ज्ञान (इतिहास/लेखन) को अन्य तरीकों की तुलना में बहुत बेहतर तरीके से बनाए रखा।
कोई जादू नहीं, सिर्फ गणित: उन्होंने सिद्ध किया कि उनका "घोस्ट मैप" (प्रॉक्सी) वास्तविक पुराने टेस्ट डेटा होने के लगभग बराबर ही काम करता है।
दक्षता (Efficiency): यह प्रशिक्षण प्रक्रिया को बहुत अधिक धीमा नहीं करता है; यह बस प्रशिक्षण को स्मार्ट बनाता है।

सारांश

AlphaToken एक ऐसा टूल है जो AI मॉडलों को पुरानी चीजों को भूले बिना नई चीजें सीखने में मदद करता है। यह एक उत्तर में हर एक शब्द को ग्रेड देकर यह देखता है कि क्या वह नए पाठ में मदद करता है और पुराने ज्ञान की रक्षा करता है, और यह करने के लिए एक चतुर गणितीय ट्रिक का उपयोग करता है, भले ही पुराना टेस्ट डेटा गायब हो।

तकनीकी सारांश: AlphaToken

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) और प्रेफरेंस ऑप्टिमाइजेशन (PO) जैसे पोस्ट-ट्रेनिंग प्रतिमानों (paradigms) के माध्यम से तेजी से अनुकूलित किया जा रहा है। हालांकि डेटा उपयोगिता (data utility) को महत्वपूर्ण माना जाता है, मौजूदा विधियाँ टोकन चयन के लिए मुख्य रूप से स्थानीय ह्यूरिस्टिक्स (जैसे, लॉस गैप्स, परप्लेक्सिटी मास्किंग) पर निर्भर करती हैं या सैंपल स्तर पर कार्य करती हैं। ये दृष्टिकोण व्यक्तिगत रिस्पॉन्स टोकन्स के एक सिद्धांत-आधारित मूल्यांकन (principled valuation) के रूप में टोकन चयन को तैयार करने में विफल रहते हैं। इसके अलावा, वे टारगेट अडैप्टेशन (नए कार्यों को सीखना) और रिटेंशन स्टेबिलिटी (पूर्व-प्रशिक्षित क्षमताओं को संरक्षित करना) के उद्देश्यों को आपस में उलझा देते हैं, जिससे कैटास्ट्रफिक फॉरगेटिंग (catastrophic forgetting) या उप-इष्टतम ट्रेड-ऑफ हो सकता है। एक ऐसे सिद्धांत-आधारित ढांचे की आवश्यकता है जो यह माप सके कि प्रत्येक रिस्पॉन्स टोकन अडैप्टेशन और स्टेबिलिटी दोनों में कैसे योगदान देता है, विशेष रूप से उन परिदृश्यों में जहाँ रिटेंशन डेटा (मूल प्री-ट्रेनिंग कॉर्पस) उपलब्ध नहीं है।

कार्यप्रणाली (Methodology): AlphaToken

AlphaToken एक रिस्पॉन्स टोकन वैल्यूएशन फ्रेमवर्क है जो वैल्यूएशन ऑब्जेक्टिव को अडैप्टेशन और स्टेबिलिटी में विभाजित करता है, जिससे प्रत्येक ऑब्जेक्टिव पाथ-अवेयर (path-aware) बनता है, जो प्रत्यक्ष और डाउनस्ट्रीम कॉज़ल सिग्नल्स (causal signals) दोनों को मॉडल करता है।

1. पाथ-अवेयर वैल्यूएशन डिकंपोजिशन (Path-Aware Valuation Decomposition)

यह फ्रेमवर्क एक रिस्पॉन्स टोकन $y_t$ के मूल्य $\Phi(y_t)$ को उसके ट्रेनिंग ग्रेडिएंट और एक कंपोजिट वैलिडेशन ग्रेडिएंट के बीच संरेखण (alignment) के समान परिभाषित करता है। यह निम्नलिखित में विभाजित होता है:

अडैप्टेशन: टारगेट-टास्क वैलिडेशन ग्रेडिएंट के साथ संरेखण।
स्टेबिलिटी: एक रिटेंशन वैलिडेशन ग्रेडिएंट के साथ संरेखण।

महत्वपूर्ण रूप से, AlphaToken टोकन के प्रभाव को दो पथों के माध्यम से मॉडल करता है:

डायरेक्ट पाथ (Direct Path): स्थिति $t$ पर तत्काल लॉस योगदान।
कॉज़ल पाथ (Causal Path): ऑटोरेग्रेसिव जनरेशन के माध्यम से भविष्य के प्रेडिक्शन ( $y_k, k > t$ ) पर टोकन का प्रभाव। इसे एक वैल्यू-प्रोपैगेशन (Value-Propagation) सन्निकटन (approximation) के माध्यम से कैप्चर किया जाता है, जो क्रॉस-पोजीशन जैकोबियन (cross-position Jacobian) में डोमिनेंट लीनियर वैल्यू-प्रोजेक्शन चैनल को अलग करता है, और उच्च-क्रम के स्कोर-प्रोपैगेशन टर्म्स को छोड़ देता है जो $O(1/\sqrt{d_h})$ के रूप में घटते हैं।

2. डेटा-फ्री रिटेंशन प्रॉक्सी (Data-Free Retention Proxy)

चूंकि लाइसेंसिंग और क्लोज्ड-सोर्स नीतियों के कारण रिटेंशन डेटा आमतौर पर उपलब्ध नहीं होता है, इसलिए AlphaToken वास्तविक रिटेंशन ग्रेडिएंट $\nabla_\theta J_{ret}$ की गणना नहीं कर सकता। इसके बजाय, यह प्री-ट्रेंड रेफरेंस मॉडल ( $\theta_{ref}$ ) पर आधारित एक फिशर-ड्रिफ्ट प्रॉक्सी (Fisher-drift proxy) का उपयोग करके रिटेंशन स्टेबिलिटी का अनुमान लगाता है।

रिटेंशन लॉस को $\theta_{ref}$ के आसपास विस्तारित किया जाता है, जहाँ फर्स्ट-ऑर्डर टर्म नगण्य है और सेकंड-ऑर्डर टर्म को फिशर इंफॉर्मेशन मैट्रिक्स ( $F_{ref}$ ) द्वारा अनुमानित किया जाता है।
प्रॉक्सी ग्रेडिएंट को $g_{prx} = F_{ref}(\theta - \theta_{ref})$ के रूप में परिभाषित किया गया है।
वे टोकन जिनके ट्रेनिंग ग्रेडिएंट्स $g_{prx}$ के साथ संरेखित होते हैं, उन्हें "रिटेंशन-फ्रेंडली" माना जाता है क्योंकि वे रेफरेंस मॉडल से फिशर-वेटेड ड्रिफ्ट को कम करते हैं।

3. घोस्ट डॉट-प्रोडक्ट (GDP) के माध्यम से कुशल गणना

पैरामीटर स्पेस में टोकन-लेवल इनर प्रोडक्ट्स की गणना करना अत्यधिक कठिन ( $O(T|\theta|)$ ) है। AlphaToken टोकन-लेवल वैल्यूएशन के लिए घोस्ट डॉट-प्रोडक्ट (GDP) तकनीक का विस्तार करता है, जो सभी स्कोर को एक्टिवेशन स्पेस में कंप्यूट करता है:

डायरेक्ट/कॉज़ल टारगेट अलाइनमेंट (A–A): पैरामीटर ग्रेडिएंट्स को ट्रेनिंग और वैलिडेशन टोकन्स के बीच एक्टिवेशन-स्पेस डॉट प्रोडक्ट्स में फैक्टराइज़ करता है।
रिटेंशन प्रॉक्सी (A–P): टोकन ग्रेडिएंट को फिक्स्ड पैरामीटर-स्पेस प्रॉक्सी वेक्टर $g_{prx}$ के विरुद्ध लेयर-वाइज स्लाइस $V^l$ का उपयोग करके सीधे कॉन्ट्रैक्ट करता है, जिससे पूर्ण पैरामीटर ग्रेडिएंट्स बनाने की आवश्यकता नहीं होती।

4. वैल्यू-अवेयर पोस्ट-ट्रेनिंग (Value-Aware Post-Training)

कंपोजिट टोकन वैल्यूज ट्रेनिंग के दौरान एक बाइनरी मास्किंग रणनीति का मार्गदर्शन करती है:

SFT: लो-वैल्यू टोकन्स को मास्क (स्किप) किया जाता है, जिससे ग्रेडिएंट फ्लो को हाई-वैल्यू पोजीशंस में पुन: आवंटित किया जाता है।
DPO: यह विधि सीक्वेंस-लेवल लॉस को प्रति-टोकन योगदान में अनरोल करके प्रेफरेंस ऑप्टिमाइजेशन तक विस्तृत होती है। यह चने गए ( $y^+$ ) और रिजेक्टेड ( $y^-$ ) रिस्पॉन्स के लिए उनके कंपोजिट वैल्यूज के आधार पर अलग-अलग मास्क लागू करती है, जिससे $y^+$ में हाई-वैल्यू टोकन्स को सुदृढ़ किया जाता है और $y^-$ में चयनित टोकन्स की संभावना को कम किया जाता है।

मुख्य योगदान (Key Contributions)

सिद्धांत-आधारित वैल्यूएशन फ्रेमवर्क: पेपर रिस्पॉन्स टोकन वैल्यूएशन को अडैप्टेशन और रिटेंशन स्टेबिलिटी को अलग करके और लोकल अपडेट एवं डाउनस्ट्रीम कॉज़ल सिग्नल्स के माध्यम से इसे पाथ-अवेयर बनाकर फॉर्म्युलेट करता है। यह अप्राप्य रिटेंशन ग्रेडिएंट्स को फिशर-वेटेड ड्रिफ्ट प्रॉक्सी से बदल देता है।
एल्गोरिद्मिक एक्सटेंशन: सैंपल-लेवल अलाइनमेंट के लिए GDP पर निर्माण करते हुए, लेखक इसे टोकन-लेवल वैल्यूएशन के लिए विस्तारित करते हैं। इसमें वैल्यू-प्रोपैगेशन सन्निकटन के माध्यम से कॉज़ल क्रॉस-पोजीशन अलाइनमेंट को सपोर्ट करना और एक नए एक्टिवेशन-पैरामीटर कॉन्ट्रैक्शन के माध्यम से फिशर-ड्रिफ्ट स्टेबिलिटी प्राप्त करना शामिल है।
अनुभवजन्य प्रदर्शन (Empirical Performance): लेखक एक टोकन सिलेक्शन विधि विकसित करते हैं जो SFT और PO में लो-यूटिलिटी रिस्पॉन्स टोकन्स को मास्क करती है। प्रयोग दिखाते हैं कि यह दृष्टिकोण विभिन्न बैकबोन (3B से 9B पैरामीटर्स) में समग्र प्रदर्शन को कम से कम 1.54 पॉइंट्स से सुधारता है और कैटास्ट्रफिक फॉरगेटिंग को कम करता है।

प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग तीन बैकबोन (Llama-3.2-3B, Gemma-3-4B, Qwen-3.5-9B) पर SFT (Magicoder dataset) और प्रेफरेंस ऑप्टिमाइजेशन (UltraFeedback dataset) का उपयोग करके किए गए।

सुपरवाइज्ड फाइन-ट्यूनिंग: AlphaToken ने सभी मॉडल्स के लिए सर्वश्रेष्ठ "ओवरऑल" स्कोर (टारगेट और रिटेंशन मेट्रिक्स का औसत) प्राप्त किया, जिसने मजबूत बेसलाइन्स (जैसे, ssTOKEN, STM) को 1.54 से 2.80 पॉइंट्स के अंतर से पीछे छोड़ दिया। इसने टारगेट-टास्क परफॉरमेंस (HumanEval) को बनाए रखा या उससे अधिक किया, जबकि सामान्य क्षमता रिटेंशन (ARC-C, HellaSwag, MMLU, GSM8K) में महत्वपूर्ण सुधार किया।
प्रेफरेंस ऑप्टिमाइजेशन: AlphaToken ने सभी बैकबोन पर सर्वश्रेष्ठ ओवरऑल स्कोर प्राप्त किया, जो सबसे मजबूत प्रतिस्पर्धी बेसलाइन से 1.54 से 1.83 पॉइंट्स बेहतर है। स्टैंडर्ड DPO के विपरीत, जो अक्सर "अलाइनमेंट टैक्स" (रिटेंशन रिग्रेशन) का शिकार होता है, AlphaToken ने प्रेफरेंस विन रेट और जनरल कैपेबिलिटी रिटेंशन दोनों में एक साथ लाभ प्राप्त किया।
एब्लेशन स्टडीज (Ablation Studies):
- टोकन रैंकिंग: AlphaToken के स्कोर (Top- $\rho$ ) के आधार पर टोकन चुनने से रैंडम सिलेक्शन और बॉटम-स्कोर सिलेक्शन की तुलना में काफी बेहतर प्रदर्शन हुआ, जो स्कोर की सूचनात्मकता (informativeness) की पुष्टि करता है।
- कंपोनेंट एनालिसिस: ऑब्जेक्टिव एक्सिस (अडैप्टेशन बनाम स्टेबिलिटी) और पाथ एक्सिस (डायरेक्ट बनाम कॉज़ल) दोनों को पूरक (complementary) दिखाया गया। किसी भी घटक को हटाने से प्रदर्शन गिर गया, जो दर्शाता है कि डायरेक्ट सिग्नल और लॉन्ग-रेंज कॉज़ल सिग्नल अलग और गैर-अतिरेक (non-redundant) जानकारी प्रदान करते हैं।
- प्रॉक्सी वैधता: फिशर-ड्रिफ्ट प्रॉक्सी को एक होल्ड-आउट रिटेंशन सेट से कंप्यूट किए गए ओरकल रिटेंशन ग्रेडिएंट के साथ मजबूत सहसंबंध (Pearson 0.83) दिखाया गया।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि AlphaToken LLMs को नए कार्यों के अनुकूल बनाने और उनकी पूर्व-प्रशिक्षित सामान्य क्षमताओं को संरक्षित करने के बीच के ट्रेड-ऑफ के लिए एक सिद्धांत-आधारित, डेटा-फ्री समाधान प्रदान करता है। इन उद्देश्यों को स्पष्ट रूप से अलग करके और टोकन के कॉज़ल प्रभाव को मॉडल करके, यह विधि पूर्ववर्ती टोकन चयन दृष्टिकोणों की ह्यूरिस्टिक सीमाओं से बचती है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण कंप्यूटेशनल रूप से व्यावहारिक है, जो मानक प्रशिक्षण की तुलना में मामूली ओवरहेड (लगभग 1.17x समय) पेश करता है, जबकि अडैप्टेशन-रिटेंशन ट्रेड-ऑफ में निरंतर सुधार प्रदान करता है। वे AlphaToken को SFT और PO दोनों के लिए लागू होने योग्य एक सामान्य फ्रेमवर्क के रूप में प्रस्तुत करते हैं, जो मूल प्री-ट्रेनिंग कॉर्पस तक पहुंच की आवश्यकता के बिना प्लास्टिसिटी बनाम स्टेबिलिटी को नियंत्रित करने का एक व्यवस्थित तरीका प्रदान करता है।

स्वीकृत सीमाएं (Limitations Acknowledged):

कंप्यूटेशनल ओवरहेड: हालांकि मामूली है, स्कोरिंग लागत स्कल्ड (scaled) होती है संख्या के आधार पर: स्कोर किए गए लेयर्स, कॉज़ल विंडो साइज और वैलिडेशन बैच साइज।
प्रॉक्सी धारणाएं: फिशर-ड्रिफ्ट प्रॉक्सी यह मानती है कि रेफरेंस चेकपॉइंट रिटेंशन लॉस के लिए लगभग स्थिर (near-stationary) है; यह अत्यधिक डोमेन-स्पेशलाइज्ड या कम प्रशिक्षित चेकपॉइंट्स के लिए शोर भरा (noisier) हो सकता है।
हार्ड मास्किंग: वर्तमान कार्यान्वयन बाइनरी टॉप- $\rho$ मास्किंग का उपयोग करता है, जो निरंतर मूल्यों को डिस्क्रीटाइज (discretize) करता है। लेखक भविष्य की दिशाओं के रूप में सॉफ्ट रीवेटिंग या वैल्यू-कंडीशन लर्निंग रेट का सुझाव देते हैं।