💬 NLP

SimCT: Recovering Lost Supervision for Cross-Tokenizer On-Policy Distillation

यह शोध पत्र SimCT को प्रस्तुत करता है, जो एक ऑन-पॉलिसी डिस्टिलेशन विधि है जो क्रॉस-टोकेनाइज़र सेटिंग्स में उन खोए हुए टीचर सुपरविजन सिग्नल्स को पुनः प्राप्त करता है जो मल्टी-टोकन कंटीन्यूएशन की तुलना करके प्राप्त किए जाते हैं जिन्हें दोनों मॉडल साकार कर सकते हैं, जिससे सटीक साझा-टोकन मिलान की सीमाओं को दूर किया जाता है और रीजनिंग एवं कोड-जेनरेशन कार्यों पर प्रदर्शन में सुधार किया जाता है।

मूल लेखक: Jie Sun, Mao Zheng, Mingyang Song, Qiyong Zhong, Yilin Cheng, Bichuan Feng, Pengfei Liu, Junfeng Fang, Xiang Wang

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jie Sun, Mao Zheng, Mingyang Song, Qiyong Zhong, Yilin Cheng, Bichuan Feng, Pengfei Liu, Junfeng Fang, Xiang Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "SimCT: Recovering Lost Supervision for Cross-Tokenizer On-Policy Distillation" पेपर का एक सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ अनुवाद दिया गया है।

बड़ी तस्वीर: एक अलग डिक्शनरी वाले छात्र को पढ़ाना

कल्पना कीजिए कि आप एक मास्टर शेफ (शिक्षक/Teacher) हैं जो एक प्रशिक्षु (छात्र/Student) को एक जटिल व्यंजन बनाना सिखाने की कोशिश कर रहे हैं। लक्ष्य यह है कि प्रशिक्षु आपकी सटीक तकनीक और स्वाद को सीख सके।

AI की दुनिया में, इसे नॉलेज डिस्टिलेशन (Knowledge Distillation) कहा जाता है। आमतौर पर, शिक्षक और छात्र एक ही भाषा बोलते हैं। लेकिन इस पेपर में, लेखक एक विशिष्ट समस्या का समाधान करते हैं: क्या होगा अगर शिक्षक और छात्र अलग-अलग बोलियाँ (dialects) बोलते हों?

AI में, इन "बोलियों" को टोकेनाइज़र (Tokenizers) कहा जाता है। टोकेनाइज़र वह उपकरण है जो टेक्स्ट को छोटे-छोटे टुकड़ों (टोकन) में तोड़ देता है ताकि कंप्यूटर उसे पढ़ सके।

शिक्षक का टोकेनाइज़र: शायद शब्द "happy" को दो टुकड़ों में तोड़ता है: "hap" और "py".
छात्र का टोकेनाइज़र: उसी शब्द को तीन टुकड़ों में तोड़ सकता है: "ha", "pp", और "y".

समस्या: "खोया हुआ संकेत" (The "Lost Signal")

पेपर बताता है कि जब ये दोनों मॉडल एक-दूसरे से सीखने की कोशिश करते हैं, तो वे आमतौर पर एक दीवार से टकरा जाते हैं।

पुराना तरीका (साझा शब्दावली/Shared Vocabulary):
कल्पना कीजिए कि शिक्षक कहता है, "नमक डालें।" छात्र केवल "नमक" शब्द को तभी समझ पाता है जब वह बिल्कुल उसी तरह लिखा हो। यदि शिक्षक का डिक्शनरी कहता है "salt" लेकिन छात्र का डिक्शनरी इसे "s" और "alt" में विभाजित करता है, तो छात्र भ्रमित हो जाता है।

परिणाम: मानक विधि (जिसे SimpleOPD कहा जाता है) शिक्षक के निर्देशों के उन हिस्सों को अनदेखा कर देती है जो छात्र के डिक्शनरी से ठीक से मेल नहीं खाते। यह बहुत सारी उपयोगी जानकारी को फेंक देती है। यह ऐसा है जैसे शिक्षक निर्देश चिल्ला रहा हो, और छात्र केवल उन्हीं शब्दों को सुन रहा हो जिन्हें वह जानता है, बाकी सब को नजरअंदाज कर रहा हो।

अनुक्रम बेमेल (The Sequence Mismatch):
यह और भी खराब हो जाता है। भले ही वे दोनों "happy" शब्द को जानते हों, लेकिन वे इस बात पर असहमत हो सकते हैं कि शब्द कहाँ शुरू होता है और कहाँ समाप्त होता है।

शिक्षक: "I am hap py."
छात्र: "I am ha pp y."
यदि शिक्षक उस क्षण छात्र को सुधारने की कोशिश करता है जब छात्र "ha" कहता है, तो शिक्षक पूरे "happy" शब्द को सुधारने की कोशिश कर रहा हो सकता है। वे एक-दूसरे की बात समझे बिना ही बात कर रहे होते हैं।

समाधान: SimCT (एक "यूनिवर्सल ट्रांसलेटर" दृष्टिकोण)

लेखकों ने एक नई विधि प्रस्तावित की है जिसे SimCT (Simple Cross-Tokenizer On-Policy Distillation) कहा जाता है।

शिक्षक और छात्र को हर एक छोटे टुकड़े पर सहमत होने के लिए मजबूर करने के बजाय, SimCT एक साझा आधार (common meeting ground) बनाता है।

उपमा: लेगो ब्रिज (The Lego Bridge)
कल्पना कीजिए कि शिक्षक बड़े लाल ईंटों का उपयोग करके एक दीवार बनाता है। छात्र के पास केवल छोटी नीली ईंटें हैं।

पुराना तरीका: वे ईंट-दर-ईंट मेल करने की कोशिश करते हैं। चूंकि आकार मेल नहीं खाते, इसलिए वे केवल एक छोटा, कमजोर दीवार बना पाते हैं जहाँ आकार आपस में मिलते हैं।
SimCT का तरीका: वे दीवार के आकार को देखते हैं। वे महसूस करते हैं कि शिक्षक की "hap" + "py" ठीक उसी स्थान को कवर करती है जिसे छात्र की "ha" + "pp" + "y" कवर करती है।
SimCT कहता है: "ठीक है, आइए उस पूरे हिस्से को 'Happy' नामक एक इकाई (unit) के रूप में मानें।"

वे "मिनिमल अलाइन्ड यूनिट्स" (Minimal Aligned Units) की एक सूची बनाते हैं। ये टेक्स्ट के वे सबसे छोटे हिस्से हैं जिन पर शिक्षक और छात्र दोनों सहमत हो सकते हैं, भले ही वे उन्हें आंतरिक रूप से अलग-अलग तरीके से तोड़ते हों।

यदि टेक्स्ट "happy" है, तो SimCT उस पूरे शब्द को सीखने की इकाई के रूप में मानता है, चाहे शिक्षक उसे 2 टुकड़ों में देखे या छात्र उसे 3 टुकड़ों में।

यह क्यों महत्वपूर्ण है ("फाइन-ग्रेन्ड" लाभ)

पेपर का तर्क है कि आपको सब कुछ बड़े टुकड़ों (जैसे पूरे वाक्य) में नहीं मिला देना चाहिए। आपको सबसे सूक्ष्म विवरण (finest possible detail) की आवश्यकता है।

उपमा: संगीत कंडक्टर (The Music Conductor)
कल्पना कीजिए कि एक कंडक्टर (शिक्षक) और एक संगीतकार (छात्र) एक गाना बजाने की कोशिश कर रहे हैं।

कोर्स सुपरविजन (खराब): कंडक्टर कहता है, "पूरा गाना ज़ोर से बजाओ।" छात्र को सामान्य विचार मिल जाता है लेकिन वह बारीकियों को मिस कर देता है।
सटीक टोकन मिलान (खराब): कंडक्टर कहता है, "चौथी बीट पर C-शार्प बजाओ।" लेकिन छात्र के शीट म्यूजिक में इसे "D-फ्लैट" कहा गया है। वे बहस करते हैं और बजाना बंद कर देते हैं।
SimCT (अच्छा): कंडक्टर कहता है, "उस विशिष्ट नोट को बजाओ जो C-शार्प/D-फ्लैट जैसा सुनाई देता है।" वे नाम (टोकन) पर नहीं, बल्कि ध्वनि (टेक्स्ट) पर सहमत होते हैं।

पेपर यह सिद्ध करता है कि यदि आप इन छोटी इकाइयों को बड़े टुकड़ों में मिला देते हैं, तो आप शिक्षक जो चाहता है और छात्र जो कर रहा है, उनके बीच के सूक्ष्म अंतर को खो देते हैं। SimCT इन अंतरों को दृश्यमान रखता है, जिससे अधिक सटीक सीखना संभव होता है।

परिणाम: एक स्पष्ट जीत

लेखकों ने गणित की समस्याओं और कोडिंग कार्यों पर विभिन्न AI मॉडलों (Qwen, Phi, Gemma) का उपयोग करके परीक्षण किया।

सेटअप: उन्होंने एक स्मार्ट टीचर मॉडल लिया और एक छोटे छात्र मॉडल को सिखाने की कोशिश की जिसका टोकेनाइज़र अलग था।
प्रतिस्पर्धा: उन्होंने SimCT की तुलना निम्नलिखित से की:
1. SimpleOPD: पुराना तरीका (बेमेल शब्दों को अनदेखा करना)।
2. जटिल विधियाँ (Complex Methods): अन्य विधियाँ जो भारी गणित या अतिरिक्त प्रशिक्षण का उपयोग करके भाषाओं का अनुवाद करने की कोशिश करती हैं।
परिणाम:
- SimCT लगातार जीता। इसने गणित और कोडिंग बेंचमार्क पर अन्य सभी तरीकों की तुलना में छात्र के प्रदर्शन में सुधार किया।
- यह कुशल था। जटिल विधियों के विपरीत, जिन्हें अतिरिक्त कंप्यूटर पावर या नए ट्रेनिंग पैरामीटर्स की आवश्यकता थी, SimCT लगभग उतना ही तेज़ और सस्ता था जितना कि "बेमेल को अनदेखा करने वाला" सरल तरीका, लेकिन इसने सारी खोई हुई जानकारी को वापस पा लिया।

एक वाक्य में सारांश

SimCT एक चतुर तरीका है जो एक AI शिक्षक और छात्र को एक साथ सीखने में मदद करता है, भले ही वे शब्दों को अलग-अलग टुकड़ों में तोड़ते हों, क्योंकि यह उस सबसे छोटे साझा आधार को ढूंढ लेता है जिस पर वे दोनों सहमत होते हैं, बजाय इसके कि उन निर्देशों को फेंक दिया जाए जो पूरी तरह से मेल नहीं खाते।

तकनीकी सारांश: SimCT - क्रॉस-टोकनाइज़र ऑन-पॉलिसी डिस्टिलेशन के लिए खोई हुई सुपरविजन को पुनः प्राप्त करना

1. समस्या विवरण (Problem Statement)

ऑन-पॉलिसी डिस्टिलेशन (OPD) एक बड़े टीचर मॉडल के व्यवहार को छोटे स्टूडेंट मॉडल में स्थानांतरित करने के लिए एक मानक प्रतिमान (paradigm) है। ऑफलाइन डिस्टिलेशन के विपरीत, OPD स्टूडेंट की वर्तमान पॉलिसी द्वारा जनरेट किए गए प्रीफिक्स पर टीचर को क्वेरी करता है, जिससे ट्रेनिंग डिस्ट्रीबशन को इन्फरेंस डिस्ट्रीशन के साथ संरेखित (align) किया जा सके और एरर कंपाउंडिंग (error compounding) को कम किया जा सके।

हालाँकि, मानक OPD अंतर्निहित रूप से यह मान लेता है कि टीचर और स्टूडेंट मॉडल एक ही टोकनाइज़र साझा करते हैं, जिससे उनके नेक्स्ट-टोकन प्रेडिक्शन का टोकन-दर-टोकन मिलान संभव हो पाता है। वास्तविक तैनाती (deployment) परिदृश्यों में, टीचर और स्टूडेंट मॉडल अक्सर अलग-अलग परिवारों के होते हैं जिनमें विषम (heterogeneous) टोकनाइज़र होते हैं। यह बेमेल (mismatch) दो मौलिक बाधाएँ उत्पन्न करता है:

वोकैबुलरी मिसमैच (Vocabulary Mismatch): टोकन के सेट ( $\mathcal{V}_T$ और $\mathcal{V}_S$ ) केवल आंशिक रूप से ओवरलैप होते हैं। केवल साझा टोकनों तक सुपरविजन को सीमित करने से टीचर के आउटपुट डिस्ट्रीशन का एक बड़ा हिस्सा बेकार चला जाता है।
सीक्वेंस मिसमैच (Sequence Mismatch): भले ही अंतर्निहित टेक्स्ट समान हो, अलग-अलग टोकनाइज़र उसे अलग-अलग टोकन सीक्वेंस में विभाजित करते हैं (जैसे, "happy" बनाम "hap" + "py" बनाम "ha" + "pp" + "y")। फलस्वरूप, एक विशिष्ट प्रीफिक्स पर टीचर का नेक्स्ट-टोकन डिस्ट्रीशन, स्टूडेंट के डिस्ट्रीशन के समान टेक्स्ट यूनिट के अनुरूप नहीं होता है, जिससे मानक टोकन-लेवल KL डाइवर्जेंस (divergence) अपरिभाषित हो जाता है।

मौजूदा क्रॉस-टोकनाइज़र समाधान इस अंतर को ब्रिज करने के लिए ऑप्टिमल ट्रांसपोर्ट (जो कंप्यूटेशनल रूप से महंगा है), लर्नड प्रोजेक्शन लेयर्स (जिसके लिए अतिरिक्त पैरामीटर्स की आवश्यकता होती है), या कोर्स-ग्रेन्ड चंक मैचिंग (जो सूक्ष्म सिग्नल को खो देता है) का उपयोग करने का प्रयास करते हैं। ये विधियाँ अक्सर पूर्ण टीचर सिग्नल को रिकवर करने में विफल रहती हैं या महत्वपूर्ण ओवरहेड पेश करती हैं।

2. कार्यप्रणाली: सिंपल क्रॉस-टोकनाइज़र OPD (SimCT)

लेखक SimCT का प्रस्ताव करते हैं, जो OPD ऑब्जेक्टिव फंक्शन को संशोधित करने के बजाय सुपरविजन स्पेस का विस्तार करके खोई हुई सुपरविजन को बहाल करता है।

मुख्य अवधारणा: मिनिमल अलाइन्ड यूनिट्स (Minimal Aligned Units)

केवल समान टोकनों पर भविष्यवाणियों को मजबूर करने के बजाय, SimCT मिनिमल अलाइन्ड यूनिट्स (MAUs) की पहचान करता है। एक MAU को उस सूक्ष्मที่สุด टेक्स्ट कंटीन्यूएशन (text continuation) के रूप में परिभाषित किया गया है जिसे दोनों टोकनाइज़र साकार कर सकते हैं, भले ही वे इसे अलग-अलग टोकन सीक्वेंस में विभाजित करें।

साझा टोकन (Shared Tokens): वे टोकन जो दोनों वोकैबुलरी में मौजूद हैं ( $\mathcal{V}_T \cap \mathcal{V}_S$ ), उन्हें 1:1 अलाइन्ड यूनिट्स के रूप में माना जाता है।
MAUs: उन टेक्स्ट क्षेत्रों के लिए जहाँ टोकनाइज़र असहमत होते हैं, यह विधि सबसे सूक्ष्म बाउंड्री-कंसिस्टेंट पार्टीशन (boundary-consistent partition) का निर्माण करती है जहाँ प्रत्येक यूनिट को टीचर टोकन के एक सीक्वेंस और स्टूडेंट टोकन के एक सीक्वेंस के रूप में दर्शाया जा सकता है।

सुपरविजन स्पेस का निर्माण

SimCT एक सामान्य सुपरविजन स्पेस $\mathcal{U}_{SimCT}$ को परिभाषित करता है:
$\mathcal{U}_{SimCT} = (\mathcal{V}_T \cap \mathcal{V}_S) \cup \mathcal{A}$
जहाँ $\mathcal{A}$ सभी मिनिमल अलाइन्ड यूनिट्स का सेट है।

स्कोरिंग और लॉस (Scoring and Loss)

इस स्पेस पर डिस्ट्रीब्यूशन की तुलना करने के लिए, SimCT स्कोरिंग मैप्स $\Pi_T$ और $\Pi_S$ पेश करता है:

साझा टोकन: स्कोर मूल लॉग-प्रोबेबिलिटी (log-probability) है।
MAUs (Multi-token): स्कोर घटक टोकन का लेंथ-नॉर्मलाइज्ड एवरेज लॉग-लाइक्लीहुड (length-normalized average log-likelihood) है। एक यूनिट $u$ के लिए जिसे मॉडल $M$ द्वारा $k$ टोकन $(v_1, \dots, v_k)$ के रूप में साकार किया गया है:
$s_M(u | x_{<t}) = \frac{1}{k} \sum_{j=1}^k \log p_M(v_j | x_{<t}, v_{<j})$
यह नॉर्मलाइजेशन उन यूनिट्स को दंडित करने से रोकता है जिन्हें एक विशिष्ट टोकनाइज़र के तहत अधिक टोकन की आवश्यकता होती है।

$\mathcal{U}_{SimCT}$ पर अंतिम डिस्ट्रीब्यूशन $q_T$ और $q_S$ इन स्कोर्स को नॉर्मलाइज करके प्राप्त किए जाते हैं। डिस्टिलेशन लॉस मानक रिवर्स-KL डाइवर्जेंस बना रहता है:
$\mathcal{L}_{SimCT} = \text{KL}(q_S(\cdot | x_{<t}) \parallel q_T(\cdot | x_{<t}))$

सैद्धांतिक गुण (Theoretical Properties)

थ्योरम 1 (Theorem 1): MAUs उन सूक्ष्मतम बाउंड्री-कंसिस्टेंट इंटरफेस का निर्माण करते हैं जिन्हें दोनों टोकनाइज़र संयुक्त रूप से व्यक्त कर सकते हैं। कोई भी अधिक सूक्ष्म अपघटन (decomposition) संयुक्त टोकनाइजेबिलिटी को सुरक्षित नहीं रखता है।
प्रपोजिशन 1 (Proposition 1): इन यूनिट्स को मोटा (coarsening) करने से (MAUs को बड़े स्पैन में मिलाने से) टीचर और स्टूडेंट डिस्ट्रीब्यूशन के बीच KL डाइवर्जेंस कम हो जाता है, जो प्रभावी रूप से स्पैन के भीतर के उपयोगी अंतरों को मिटा देता है। अतः, न्यूनतम ग्रैनुलैरिटी (granularity) को बनाए रखना सैद्धांतिक रूप से इष्टतम है।

3. मुख्य योगदान (Key Contributions)

सिग्नल लॉस की पहचान: पेपर यह प्रदर्शित करता है कि मानक क्रॉस-टोकनाइज़र OPD, वोकैबुलरी और सीक्वेंस मिसमैच के कारण, टीचर सिग्नल के एक बड़े हिस्से को चुपचाप त्याग देता है।
सुपरविजन स्पेस का विस्तार: SimCT एक नया सुपरविजन इंटरफेस पेश करता है जो बिना किसी अतिरिक्त ट्रेन करने योग्य पैरामीटर या जटिल ट्रांसपोर्ट गणनाओं के, नॉन-शेयर्ड वोकैबुलरी और नॉन-1:1 अलाइन्ड टेक्स्ट सेगमेंट से सिग्नल को रिकवर करता है।
सैद्धांतिक औचित्य: लेखक सिद्ध करते हैं कि MAUs सबसे सूक्ष्म संभव सुपरविजन ग्रैनुलैरिटी का प्रतिनिधित्व करते हैं और उन्हें मोटा करने से उपयोगी टीचर-स्टूडेंट अंतर अनिवार्य रूप से समाप्त हो जाते हैं।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग दिखाते हैं कि SimCT गणितीय तर्क (mathematical reasoning) और कोड जनरेशन कार्यों में साझा-वोकैबुलरी बेसलाइन्स और अन्य क्रॉस-टोकनाइज़र विधियों से लगातार बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने चार बेंचमार्क (GSM8K, MATH-500, MBPP, और LiveCodeBench-v6) में तीन हेट्रोजेनियस टीचर-स्टूडेंट पेयर्स (Qwen2.5, Phi-4, Gemma-2) पर SimCT का मूल्यांकन किया।

प्रदर्शन लाभ (Performance Gains): SimCT ने SFT वार्म-स्टार्ट्स और सभी बेसलाइन्स (SimpleOPD, DSKD, ALM, GOLD) पर निरंतर सुधार हासिल किया। इसने SFT पर औसतन 6.0% का सापेक्ष लाभ दिया और सर्वश्रेष्ठ क्रॉस-टोकनाइज़र बेसलाइन से काफी आगे निकल गया।
सिग्नल रिकवरी विश्लेषण: एब्लेशन स्टडीज ने पुष्टि की कि लाभ दो प्रकार के फेंके गए सिग्नल्स को रिकवर करने से आते हैं:
- आउट-ऑफ-शेयर्ड-वोकाब (OoSV): साझा वोकैबुलरी के बाहर के उच्च-संभावना वाले टीचर प्रेडिक्शंस।
- अनअलाइन्ड यूनिट्स (Unaligned Units): ऐसे टेक्स्ट सेगमेंट जो 1:1 अलाइन नहीं हो सकते।
  एकीकृत MAU स्पेस के माध्यम से दोनों स्रोतों को रिकवर करने से सर्वोत्तम प्रदर्शन प्राप्त हुआ।
ग्रैनुलैरिटी एब्लेशन (Granularity Ablation): MAUs को मोटे यूनिट्स में मिलाने से प्रदर्शन में गिरावट आई, जो इस सैद्धांतिक भविष्यवाणी के अनुरूप है कि कोर्सनिंग (coarsening) सूक्ष्म-स्तरीय टीचर-स्टूडेंट प्राथमिकताओं को दर्शाने वाले KL सिग्नल को हटा देता है।
दक्षता (Efficiency): SimCT, SimpleOPD की तुलना में केवल मामूली कंप्यूटेशनल ओवरहेड जोड़ता है (8x H20 GPUs पर प्रति रन लगभग 0.16 घंटे) और लर्नड प्रोजेक्शन या ऑप्टिमल ट्रांसपोर्ट की आवश्यकता वाली विधियों की तुलना में काफी तेज़ है।

5. महत्व और दावे (Significance and Claims)

पेपर का तर्क है कि क्रॉस-टोकनाइज़र OPD में प्राथमिक बाधा स्वयं ट्रेनिंग प्रतिमान नहीं है, बल्कि सुपरविजन स्पेस का निर्माण है। "टोकन को मिलाने" से "टेक्स्ट कंटीन्यूएशन को मिलाने" की ओर ध्यान केंद्रित करके, SimCT उस सुपरविजन को रिकवर करता है जो पहले अप्राप्य था।

लेखक दावा करते हैं कि SimCT अलग-अलग टोकनाइज़र वाले मॉडलों के बीच डिस्टिल करने के लिए एक सरल, पैरामीटर-मुक्त और मजबूत समाधान प्रदान करता है। परिणाम बताते हैं कि सूक्ष्मतम संयुक्त रूप से टोकनाइजेबल यूनिट्स को बनाए रखना ऑन-पॉलिसी लर्निंग सिग्नल की गुणवत्ता बनाए रखने के लिए महत्वपूर्ण है। यह कार्य स्थापित करता है कि लॉस फंक्शन को संशोधित करने या जटिल अलाइनमेंट मशीनरी जोड़ने के बजाय, सुपरविजन स्पेस को मिनिमल अलाइन्ड यूनिट्स तक विस्तारित करना एक अधिक प्रभावी रणनीति है।

लेखकों द्वारा नोट की गई सीमाएं:

मूल्यांकन वर्तमान में गणित और कोड डोमेन तक सीमित है।
विधि मानक BPE-शैली के टोकनाइज़र पर निर्भर करती है; मौलिक रूप से भिन्न सेगमेंटेशन व्यवहार वाले टोकनाइज़र के लिए अनुकूलन की आवश्यकता हो सकती है।
वर्तमान कार्यान्वयन टीचर नेक्स्ट-टोकन डिस्ट्रीब्यूशन तक व्हाइट-बॉक्स एक्सेस मानता है; ब्लैक-बॉक्स सेटिंग्स में विस्तार भविष्य के कार्य के लिए छोड़ा गया है।