🤖 AI

Cornerstones or Stumbling Blocks? Deciphering the Rock Tokens in On-Policy Distillation

यह शोध पत्र "रॉक टोकन्स" (Rock Tokens) को ऑन-पॉलिसी डिस्टिलेशन (On-Policy Distillation) में उच्च-हानि वाले टोकन के एक निरंतर उपसमूह के रूप में पहचानता है जो तर्क क्षमता (reasoning performance) में नगण्य योगदान देने के बावजूद महत्वपूर्ण अनुकूलन संसाधनों का उपभोग करते हैं, जिससे यह सिद्ध होता है कि उन्हें रणनीतिक रूप से दरकिनार करने से मॉडल संरेखण (model alignment) की प्रक्रिया को सुव्यवस्थित किया जा सकता है।

मूल लेखक: Yuxuan Jiang, Runchao Li, Shubhashis Roy Dipta, Dawei Li, Zhao Yang

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuxuan Jiang, Runchao Li, Shubhashis Roy Dipta, Dawei Li, Zhao Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन थोड़े अनाड़ी प्रशिक्षु (Student Model) को एक मास्टर आर्किटेक्ट (Teacher Model) की नकल करके सटीक गणितीय प्रमाण (math proofs) लिखना सिखाने की कोशिश कर रहे हैं।

AI की दुनिया में, इस प्रक्रिया को On-Policy Distillation कहा जाता है। प्रशिक्षु एक प्रमाण लिखता है, शिक्षक उसे सुधारता है, और प्रशिक्षु फिर से प्रयास करता है। आमतौर पर, हम यह मान लेते हैं कि प्रशिक्षु द्वारा की गई हर गलती एक मूल्यवान सबक है। यदि शिक्षक कहता है, "तुमने यह गलत किया," तो प्रशिक्षु इससे सीखता है।

यह शोध पत्र एक आश्चर्यजनक खोज पेश करता है: सभी गलतियाँ सबक नहीं होतीं। वास्तव में, कुछ सबसे सामान्य "गलतियाँ" वास्तव में केवल Stumbling Blocks (ठोकर खिलाने वाले पत्थर) हैं जो समय और ऊर्जा बर्बाद करते हैं, जबकि कुछ बहुत कम ही Cornerstones (आधारशिलाएं) हैं जो पूरे ढांचे को थामे रखती हैं।

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. "Rock Tokens": जिद्दी कंकड़

शोधकर्ताओं ने देखा कि भले ही प्रशिक्षु ने लंबे समय तक अभ्यास किया हो और सामग्री में महारत हासिल कर ली हो, फिर भी कुछ विशिष्ट शब्द और प्रतीक थे जिन्हें शिक्षक बार-बार "सुधार" रहा था। उन्होंने इन्हें Rock Tokens कहा।

वे क्या हैं? ये जटिल गणितीय सूत्र या गहरा तर्क नहीं हैं। ये "उबाऊ" चीजें हैं: स्पेस, नई लाइनें, ब्रैकेट, विराम चिह्न, और सामान्य संक्रमण शब्द जैसे "So," "Wait," या "Let's।"
समस्या: ये टोकन लगातार दिखाई देते हैं (लगभग 18% टेक्स्ट)। हर बार जब प्रशिक्षु इनका उपयोग शिक्षक की तुलना में थोड़ा अलग तरीके से करता है, तो कंप्यूटर एक "उच्च हानि" (high loss/बड़ा एरर) की गणना करता है।
विरोधाभास: भले ही कंप्यूटर इन टोकनों के लिए "ERROR!" चिल्लाता रहता है, प्रशिक्षु उन्हें ठीक करना कभी नहीं सीख पाता। वे पूरे प्रशिक्षण के दौरान जिद्दी रूप से गलत बने रहते हैं। यह एक ऐसे छात्र की तरह है जो हर होमवर्क असाइनमेंट पर तारीख गलत लिखता रहता है, और चाहे शिक्षक कितनी भी बार उसे गोला बनाकर सुधार ले, छात्र उसे उसी तरह करता रहता है।

2. दो बड़ी आश्चर्यजनक बातें

शोधकर्ताओं ने इन "Rock Tokens" के बारे में दो चौंकाने वाले सत्य खोजे:

आश्चर्य A: द ग्रेडिएंट पैराडॉक्स (शोर बनाम संकेत - The Noise vs. The Signal)
आमतौर पर, हम सोचते हैं कि एक बड़ी त्रुटि का अर्थ एक बड़ा सीखने का अवसर है। लेकिन Rock Tokens के लिए, इसके विपरीत सत्य है।

उपमा: कल्पना कीजिए कि एक शिक्षक जहाज को दिशा दिखाने की कोशिश कर रहा है। Rock Tokens उस विशाल, निरंतर लहर की तरह हैं जो नाव के किनारे से टकरा रही है। यह जहाज को जोर से धकेलता है (high gradient), लेकिन क्योंकि लहर इतनी निरंतर और अनुमानित है, जहाज का पतवार (rudction) इसे अनदेखा कर देता है। जहाज उसी दिशा में बहता रहता है।
वास्तविकता: ये टोकन प्रशिक्षण डेटा में बहुत सारा "शोर" (noise) पैदा करते हैं। वे मॉडल को स्मार्ट बनाने के लिए सुधारने की कोशिश करने में कंप्यूटर की प्रसंस्करण शक्ति (processing power) का एक बड़ा हिस्सा खर्च कर देते हैं, लेकिन वे वास्तव में तर्क करने में मॉडल को बेहतर बनाने में मदद नहीं करते हैं। वे केवल संरचनात्मक आदतें हैं जिन्हें तोड़ने के लिए प्रशिक्षु बहुत जिद्दी है।

आश्च्य B: "पिलर" बनाम "स्टंबलिंग ब्लॉक" (Pillar vs. Stumbling Block)
शोधकर्ताओं ने पूछा: "यदि हम इन जिद्दी टोकनों को हटा दें, तो क्या मॉडल क्रैश हो जाएगा?"

उपमा: एक इमारत की कल्पना करें। अधिकांश ईंटें केवल भरने के लिए हैं। लेकिन कुछ विशिष्ट ईंटें Pillars (स्तंभ) हैं—यदि आप उन्हें हटाते हैं, तो छत गिर जाती है। बाकी सब केवल Stumbling Blocks (ठोकर खिलाने वाले पत्थर) हैं—यदि आप उन्हें हटा देते हैं, तो इमारत फिर भी खड़ी रहेगी, शायद और भी बेहतर क्योंकि वह हल्की हो जाएगी।
वास्तविकता: उन्होंने परीक्षण चरण के दौरान इन टोकनों को "हटाकर" यह जांचा।
- परिणाम: 96% से 98% ये जिद्दी टोकन तटस्थ (neutral) थे। उन्हें हटाने से मॉडल के गणित कौशल पर कोई बुरा प्रभाव नहीं पड़ा।
- अपवाद: केवल एक बहुत छोटा हिस्सा (लगभग 1.5% से 3.5%) ही वास्तविक Pillars थे। ये "certain," "strategic," या "initialize" जैसे विशिष्ट शब्द थे जो वास्तव में तर्क के लिए महत्वपूर्ण थे।
- महत्वपूर्ण खोज: यहाँ शून्य (zero) "Stumbling Blocks" थे। इन जिद्दी टोकनों को हटाने से मॉडल कभी भी खराब नहीं हुआ। वे केवल अतिरिक्त भार (dead weight) थे।

3. समाधान: "स्किप" बटन

चूंकि अधिकांश "Rock Tokens" केवल समय बर्बाद कर रहे हैं, इसलिए शोधकर्ताओं ने एक नई रणनीति आजमाई: ग्रेडिएंट को फ्रीज करना (Freeze the Gradients)।

उपमा: प्रशिक्षु को हर बार तारीख लिखने या कॉमा का उपयोग करने के तरीके को फिर से सिखाने के बजाय, शिक्षक कहता है, "ठीक है, हम सहमत हैं कि तुम अपनी तरह से तारीख लिखोगे। आइए उस पर सुधार करने में समय बर्बाद करना बंद करें और वास्तविक गणित पर ध्यान केंद्रित करें।"
परिणाम: जब उन्होंने इन जिद्दी टोकनों को सुधारना बंद कर दिया:
- मॉडल का गणित प्रदर्शन बिल्ly बिल्कुल वैसा ही रहा।
- प्रशिक्षण प्रक्रिया 1.4 से 1.7 गुना तेज़ हो गई।

निचोड़ (The Bottom Line)

यह शोध पत्र तर्क देता है कि AI मॉडल को प्रशिक्षित करने के वर्तमान तरीके में, हम छात्र और शिक्षक के बीच हर एक मामूली अंतर को ठीक करने की कोशिश में जुनूनी हो रहे हैं।

हालाँकि, यह अक्षम है। हम अपने 18% प्रयास उन "उबाऊ" संरचनात्मक भागों (स्पेस, विराम चिह्न, सामान्य शब्द) को संरेखित करने में खर्च कर रहे हैं जिन्हें मॉडल बदलने से इनकार करता है और जिन्हें बदलने की उसे वास्तव में आवश्यकता भी नहीं है।

मुख्य सीख:
AI प्रशिक्षण को तेज़ और अधिक कुशल बनाने के लिए, हमें हर छोटी विसंगति को एक महत्वपूर्ण सबक मानने के बजाय उसे छोड़ देना चाहिए। हमें इन Rock Tokens (जिद्दी, उच्च-आवृत्ति वाले संरचनात्मक त्रुटियों) की पहचान करनी चाहिए और उन्हें स्किप (छोड़ना) करना चाहिए। "Stumbling Blocks" को अनदेखा करके और केवल दुर्लभ "Cornerstones" (वास्तविक तर्क) पर ध्यान केंद्रित करके, हम अपनी तर्क क्षमता खोए बिना बहुत तेज़ी से स्मार्ट मॉडल बना सकते हैं।

तकनीकी सारांश: आधारशिला या बाधा? ऑन-पॉलिसी डिस्टिलेशन में रॉक टोकन का विश्लेषण

1. समस्या विवरण

ऑन-पॉलिसी डिस्टिलेशन (OPD) लार्ज लैंग्वेज मॉडल्स (LLMs) के पोस्ट-ट्रेनिंग पाइपलाइनों का एक आधार स्तंभ बन गया है, जो छात्र मॉडल (student model) की अपनी पॉलिसी से लिए गए ट्राजेक्टरीज का उपयोग करके एक बेहतर शिक्षक (teacher) के साथ टोकन-स्तरीय तर्क शोधन (reasoning refinement) को सक्षम बनाता है। जबकि हाल के 'वेरिफिएबल रिवार्ड्स विद रीइन्फोर्समेंट लर्निंग' (RLVR) संबंधी कार्यों ने यह पहचाना है कि टोकन का एक छोटा समूह (जैसे, उच्च-एंट्रॉपी वाले "फोर्किंग टोकन") तर्क संबंधी लाभों को अत्यधिक रूप से संचालित करता है, OPD के लिए एक समान टोकन-स्तरीय समझ अभी भी अनछुए रह गए हैं।

OPD में, उद्देश्य छात्र और शिक्षक नीतियों के बीच प्रति-टोकन रिवर्स KL डाइवर्जेंस (reverse KL divergence) को कम करना है। सहज रूप से, जैसे-जैसे प्रशिक्षण अभिसरण (converge) होता है, उच्च-हानि (high-loss) वाले टोकन कम होने चाहिए। हालांकि, अनुभवजन्य अवलोकन प्रकट करते हैं कि एक विरोधाभास है: प्रशिक्षण स्पष्ट संतृप्ति (saturation) तक पहुँचने के बाद भी, टोकन का एक बड़ा उपसमूह लगातार उच्च हानि प्रदर्शित करता रहता है। यह कार्य जिस केंद्रीय प्रश्न को संबोधित करता है वह यह है कि क्या ये निरंतर उच्च-हानि वाले टोकन पॉलिसी संरेखण (alignment) के लिए अपरिहार्य "कोर्नरस्टोन्स" (आधारशिला/पिलर्स) हैं या केवल "स्टंबलिंग ब्लॉक्स" (बाधाएं) हैं जो अनावश्यक अनुकूलन रेडंडेंसी (optimization redundancy) पैदा करते हैं।

2. कार्यप्रणाली

2.1 रॉक टोकन की परिभाषा और पहचान

लेखक रॉक टोकन (Rock Tokens) को ऐसे टोकन प्रकारों के रूप में परिभाषित करते हैं जो लंबे ट्राजेक्टरीज में अलग-थलग स्पाइक्स होने के बजाय, समान संदर्भों में स्थिर उच्च-हानि व्यवहार प्रदर्शित करते हैं। पहचान प्रक्रिया में तीन चरण शामिल हैं:

एग्रीगेट बर्डन कैलकुलेशन: प्रत्येक टोकन प्रकार $v$ के लिए एक "रॉक स्कोर" $R(v)$ की गणना करना, जिसे छात्र-जनित ट्राजेक्टरीज में इसके औसत टोकन-स्तरीय लॉस ( $\bar{\ell}_v$ ) और इसकी आवृत्ति ($Freq(v)$) के गुणनफल के रूप में परिभाषित किया गया है।
परसिस्टेंस फ़िल्टरिंग: उन घटनाओं की पहचान करना जो OPD प्रशिक्षण से पहले और बाद में भी उच्च-हानि बनी रहती हैं।
कॉन्टेक्स्ट-कंसिस्टेंसी फ़िल्टरिंग: यह सुनिश्चित करना कि उच्च-हानि वाली घटनाएँ समान स्थानीय संदर्भों में पुनरावृत्त होती हैं (एक कॉन्टेक्स्ट-विंडो समानता मीट्रिक का उपयोग करके)। यह वास्तविक संरचनात्मक विसंगतियों को अलग-थलग स्थितिजन्य शोर (positional noise) से अलग करता है।

अंतिम मीट्रिक, कॉन्टेक्स्ट-अवेयर रॉक स्कोर $R_{ctx}(v)$ , एग्रीगेट बर्डन को कॉन्टेक्स्ट कंसिस्टेंसी के साथ जोड़ता है। चयन स्थिरता (पुनरुत्पादकता) और लॉस कवरेज (कॉर्पस-स्तरीय KL डाइवर्जेंस का ~60% कैप्चर करना) के बीच संतुलन बनाने के लिए एक कटऑफ $K=100$ चुना गया है।

2.2 ग्रेडिएंट ज्योमेट्री और परसिस्टेंस विश्लेषण

यह संबोधित करने के लिए कि क्या रॉक टोकन उपयोगी लर्निंग सिग्नल प्रदान करते हैं, लेखक प्रति-टोकन ग्रेडिएंट की ज्यामिति का विश्लेषण करते हैं:

मैग्निट्यूड बनाम फ्रीक्वेंसी: रॉक टोकन के प्रति-घटना ग्रेडिएंट मैग्निट्यूड की तुलना दुर्लभ उच्च-KL टोकन से करना।
अलाइनमेंट: एक फ्रीक्वेंसी-बैलेंस्ड ग्लोबल डिसेंट दिशा ( $G_{balanced}$ ) के साथ रॉक टोकन ग्रेडिएंट के कोसाइन अलाइनमेंट को मापना।
स्टैग्नेशन (ठहराव): क्या लॉस वास्तव में कम होता है, यह निर्धारित करने के लिए शुरुआती और देर के ट्रेनिंग चेकपॉइंट्स के बीच प्रति-टोकन KL डाइवर्जेंस में परिवर्तन को ट्रैक करना।

2.3 कॉज़ल इंटरवेंशन: नॉकआउट प्रयोग

इन टोकनों की कार्यात्मक आवश्यकता को निर्धारित करने के लिए, लेखक एक इन्फरेंस-टाइम नॉकआउट प्रक्रिया का उपयोग करते हैं। वे एक पॉलिसी $\pi_{\theta}^{\setminus v}$ बनाते हैं जो प्रत्येक डिकोडिंग स्टेप पर एक कैंडिडेट टोकन $v$ के लॉजिट को $-\infty$ पर मजबूर करती है। कॉज़ल प्रभाव को बेंचमार्क सटीकता में परिवर्तन ( $\Delta_B(v)$ ) के रूप में मापा जाता है। टोकन को वर्गीकृत किया गया है:

स्ट्रॉन्ग पिलर्स (मजबूत आधार): हटाने से सटीकता में महत्वपूर्ण गिरावट आती है।
स्ट्रॉन्ग स्टंबलिंग ब्लॉक्स (मजबूत बाधाएं): हटाने से सटीकता में सुधार होता है।
न्यूट्रल (तटस्थ): हटाने से नगण्य प्रभाव पड़ता है।

2.4 चयनात्मक डिस्टिलेशन (ग्रेडिएंट फ्रीजिंग)

OPD प्रशिक्षण के दौरान रॉक टोकन पर प्रभाव का मूल्यांकन करने के लिए, लेखक एक विंडो-अवेयर टोकन रीवेटिंग तंत्र पेश करते हैं। वे OPD प्रशिक्षण के दौरान रॉक टोकनों और उनके संबंधित स्थानीय उच्च-डाइवर्जेंस विंडोज़ के ग्रेडिएंट्स को फ्रीज कर देते हैं (वेट $\lambda=0$ सेट करके)। यह "जस्ट नॉट ट्रेन" रणनीति उन्हें यह अलग करने की अनुमति देती है कि क्या ये टोकन आवश्यक कार्यात्मक एंकर हैं या अनुत्पादक अनुकूलन बोझ।

3. मुख्य निष्कर्ष

3.1 पहचान और व्यापकता

संरचना: रॉक टोकन मुख्य रूप से सिंटैक्टिक और स्ट्रक्चरल स्कैफोल्डिंग हैं, जिनमें LaTeX/गणितीय डेलीमिटर्स, मार्कडाउन/व्हाइटस्पेस संरचनाएं, डिस्कोर्स मार्कर्स (जैसे, "So", "Wait"), और अंक (digits) शामिल हैं। वे सामग्री-युक्त शब्दों के बजाय तर्क के सीमाओं को चिह्नित करते हैं।
व्यापकता: केवल ~6% वोकैबुलरी का प्रतिनिधित्व करने के बावजूद, रॉक टोकन जनरेटेड आउटपुट्स में लगभग 18% कुल टोकन फ्रीक्वेंसी के लिए जिम्मेदार हैं।

3.2 ग्रेडिएंट विरोधाभास

अलाइनमेंट: इस धारणा के विपरीत कि वे शोर (noise) हैं, रॉक टोकन वैश्विक अनुकूलन लक्ष्य के साथ गैर-तुच्छ सकारात्मक दिशात्मक अलाइनमेंट प्रदर्शित करते हैं। वे सही अनुकूलन पथ की ओर संकेत करने वाले ग्रेडिएंट प्रदान करते हैं।
स्टैग्नेशन (ठहराव): अलाइनमेंट के बावजूद, रॉक टोकन प्रशिक्षण के दौरान स्थिर (stagnant) रहते हैं। उनका KL डाइवर्जेंस महत्वपूर्ण रूप से कम नहीं होता है (मीडियन $\Delta KL \approx 0$ ), जबकि दुर्लभ उच्च-KL टोकन पर्याप्त कमी दिखाते हैं।
कारण: लेखक यह परिकल्पना करते हैं कि एडेप्टिव ऑप्टिमाइज़र (जैसे Adam) हेवी-टेल्ड क्लास इम्बैलेंस के कारण इन सर्वव्यापी टोकनों के लिए प्रभावी लर्निंग रेट को दबा देते हैं, जिससे छात्र मॉडल सही दिशात्मक संकेतों की उपस्थिति के बावजूद पूर्व-मौजूदा संरचनात्मक आदतों में फंस जाता है।

3.3 कॉज़ल आवश्यकता (पिलर्स बनाम स्टंबलिंग ब्लॉक्स)

पिलर्स की दुर्लभता: केवल 1.5%–3.5% रॉक टोकन ही "स्ट्रॉन्ग पिलर्स" के रूप में कार्य करते हैं जिनके हटने से तर्क प्रदर्शन गिर जाता है।
स्टंबलिंग ब्लॉक्स की अनुपस्थिति: कोई भी "स्ट्रॉंग स्टंबलिंग ब्लॉक" नहीं पाया गया; रॉक टोकन को हटाने से कभी प्रदर्शन में सुधार नहीं हुआ।
ऑर्थोगोनैलिटी (लंबवतता): एक टोकन की कॉज़ल महत्ता (पिलरहुड) एंट्रॉपी, फ्रीक्वेंसी या रेजिडुअल KL जैसे मानक मीट्रिक्स के ऑर्थोगोनल है। मौजूदा महत्व वर्गीकरण यह अनुमान लगाने में विफल रहते हैं कि कौन से टोकन कॉज़ली आवश्यक हैं।
बफर ज़ोन: छात्र मॉडल कुछ महत्वपूर्ण सिमेंटिक एंकर्स की सुरक्षा के लिए निरंतर रेजिडुअल्स के "बफर ज़ोन" को बनाए रखता प्रतीत होता है, न कि पूरे उच्च-लॉस सेट पर निर्भर करता है।

3.4 प्रशिक्षण दक्षता

चयनात्मक फ्रीजिंग: रॉक टोकनों (और उनके स्थानीय विंडोज़) के ग्रेडिएंट्स को फ्रीज करके, लेखकों ने प्रशिक्षण वॉल-क्लॉक स्पीड में 1.4× से 1.7× की वृद्धि प्राप्त की।
प्रदर्शन प्रभाव: इस त्वरण के परिणामस्वरूप डाउनस्ट्रीम रीजनिंग प्रदर्शन (AIME, HMTT, और MATH बेंचमार्क पर मापा गया) में नगण्य हानि हुई। यह सुझाव देता है कि रॉक टोकनों पर खर्च किया गया अनुकूलन बैंडविड्थ का एक बड़ा हिस्सा रेडंडेंट (अनावश्यक) है।

4. महत्व और दावे

यह पेपर इस पारंपरिक धारणा को चुनौती देता है कि ऑन-पॉलिसी डिस्टिलेशन में लर्निंग के लिए प्रत्येक उच्च-लॉस टोकन का संरेखण अनिवार्य है। लेखक दावा करते हैं:

एक छिपे हुए डायनेमिक की पहचान: उन्होंने "रॉक टोकन" की पहचान की है जो एक निरंतर उच्च-लॉस घटना है, जो RLVR में देखे गए "फोर्किंग टोकन" से अलग, OPD अनुकूलन डायनेमिक्स के एक छिपे हुए पहलू को उजागर करती है।
वर्तमान पाइपलाइनों में अक्षमता: OPD में प्रशिक्षण संकेतों का एक बड़ा हिस्सा छात्र मॉडल के अंतिम तर्क प्रदर्शन में उम्मीद से बहुत कम योगदान देता है।
दक्षता-प्रदर्शन सीमा: यह कार्य प्रदर्शित करता है कि इन "स्टंबिंग ब्लॉक्स" (ग्रेडिएंट फ्रीजिंग के माध्यम से) को रणनीतिक रूप से बायपास करना तर्क अखंडता से समझौता किए बिना एलाइनमेंट प्रक्रिया को महत्वपूर्ण रूप से सुव्यवस्थित कर सकता है। यह बड़े पैमाने पर मॉडल डिस्टिलेशन के लिए एक अधिक कुशल प्रतिमान (paradigm) प्रदान करता है।

पेपर निष्कर्ष निकालता है कि हालांकि रॉक टोकन पूरी तरह से डिस्पोजेबल नहीं हैं (क्योंकि एक छोटा उपसमूह आवश्यक पिलर्स के रूप में कार्य करता है), गैर-समान ग्रेडिएंट आवंटन इन "स्टंबलिंग ब्लॉक्स" को प्रभावी ढंग से बायपास कर सकता है, जिससे ऑन-पॉलिसी अलाइनमेंट में दक्षता-प्रदर्शन सीमा को अनुकूलित किया जा सकता है।

5. सीमाएं

लेखक नोट करते हैं कि उनके अनुभवजन्य मूल्यांकन मुख्य रूप से प्रतिस्पर्धी गणितीय तर्क पर निर्भर हैं, और ओपन-एंडेड जनरेशन या कोडिंग कार्यों में रॉक टोकन की भूमिका भिन्न हो सकती है। इसके अतिरिक्त, अध्ययन एक विशिष्ट 30B-से-4B डिस्टिलेशन पेयरिंग का उपयोग करता है, जिससे विभिन्न आर्किटेक्चरल परिवारों या स्केल्स में सामान्यीकरण (generalizability) एक खुला प्रश्न बना हुआ है। अंत में, शमन रणनीति (mitigation strategy) एक सख्त बाइनरी ग्रेडिएंट-फ्रीज मास्क का उपयोग करती है, जिसे लेखक भविष्य के कार्यों में डायनेमिक रीवेटिंग स्कीम के साथ परिष्कृत किया जा सकता है, ऐसा सुझाव देते हैं।