💬 NLP

Significance-Gain Pair Encoding for LLMs: A Statistical Alternative to Frequency-Based Subword Merging

यह शोध पत्र सिग्निफिकेंस-गेन बीपीई (Significance-Gain BPE) का प्रस्ताव करता है, जो मानक आवृत्ति-आधारित सबवर्ड मर्जिंग का एक सांख्यिकीय रूप से आधारित विकल्प है जो युग्म सामंजस्य (pair cohesion) को मापने के लिए एक ज़ेड-सांख्यिकी (z-statistic) का उपयोग करता है, और WikiText-103 डेटासेट पर भाषा मॉडल के लिए पर्प्लेक्सिटी (perplexity) और बिट्स प्रति कैरेक्टर (bits per character) में महत्वपूर्ण सुधार प्रदर्शित करता है।

मूल लेखक: Azam Nouri

प्रकाशित 2026-03-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Azam Nouri

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को किताब पढ़ना सिखा रहे हैं। ऐसा करने के लिए, आपको किताब को छोटे टुकड़ों (टोकन्स) में तोड़ना होगा जिन्हें रोबोट समझ सके। इस प्रक्रिया को टोकेनाइजेशन (tokenization) कहा जाता है।

लंबे समय से, इसे करने का मानक तरीका (जिसे BPE कहा जाता है) एक लालची बच्चे द्वारा कैंडी खाने जैसा रहा है: "मैं उन दो अक्षरों को ले लूँगा जो सबसे अधिक बार एक साथ आते हैं, उन्हें आपस में जोड़ दूँगा, और उन्हें एक नया शब्द कह दूँगा।"

यदि "th" दस लाख बार आता है, तो रोबोट उन्हें एक साथ जोड़ देता है। यदि "ing" दस लाख बार आता है, तो वह उन्हें भी जोड़ देता है। यह किताब के आकार को छोटा करने (कंप्रेशन) के लिए अच्छा काम करता है, लेकिन इसमें एक दोष है: यह कभी-कभी उन चीजों को भी जोड़ देता है जो बस संयोग से अक्सर एक साथ दिखाई देती हैं, न कि वे जो वास्तव में एक साथ होनी चाहिए।

यह पेपर एक बेहतर तरीके से चीजों को जोड़ने का प्रस्ताव देता है, जिसे सिग्निफिकेंस-गेन BPE (Significance-Gain BPE) कहा जाता है। यहाँ सरल उपमाओं का उपयोग करके इसका विवरण दिया गया है:

1. समस्या: "लोकप्रियता प्रतियोगिता" बनाम "वास्तविक संबंध"

पुराना तरीका (मानक BPE) एक लोकप्रियता प्रतियोगिता की तरह है। यह देखता है कि कौन सबसे अधिक बार एक साथ दिखाई देता है।

दोष: कल्पना कीजिए कि एक पार्टी में "The" और " " (एक स्पेस) लाखों बार एक साथ आते हैं। पुराना तरीका तुरंत "The " को एक साथ जोड़ देगा। लेकिन यह कोई सार्थक शब्द नहीं है; यह बस एक सामान्य पैटर्न है।
समस्या: यह आवृत्ति (frequency) (वे कितनी बार दिखाई देते हैं) को सघनता (cohesion) (वे वास्तव में एक साथ कितने जुड़े हुए हैं) के साथ भ्रमित कर देता है। यह "Un" और "believable" को जोड़ने के बजाय "The " को जोड़ सकता है, क्योंकि शायद "Un" और "believable" उतनी बार एक साथ नहीं आए जितने कि "The " आए थे, भले ही "Unbelievable" एक बहुत अधिक मजबूत और सार्थक इकाई हो।

2. समाधान: "सांख्यिकीय जासूस"

नया तरीका, सिग्निफिकेंस-गेन BPE, एक जासूस की तरह कार्य करता है। यह केवल यह नहीं पूछता, "आपने इन दोनों को कितनी बार एक साथ देखा?" यह पूछता है, "इन दोनों के व्यक्तिगत रूप से सामान्य होने के बावजूद, क्या यह आश्चर्यजनक है कि वे एक साथ दिखाई दिए?"

उपमा: कल्पना कीजिए कि आप एक कॉफी शॉप में हैं।
- पुराना तरीका: "मैं 'Coffee' और 'Shop' को एक साथ 1,000 बार देखता हूँ। चलिए इन्हें जोड़ देते हैं!" (लेकिन शायद 'Coffee' सिर्फ एक बहुत लोकप्रिय शब्द है, और 'Shop' हर जगह है, इसलिए उनका मिलना कोई विशेष बात नहीं है)।
- नया तरीका: "ठीक है, 'Coffee' 10,000 बार आता है और 'Shop' 10,000 बार आता है। सांख्यिकीय रूप से, उन्हें शुद्ध संयोग से केवल 100 बार मिलना चाहिए। लेकिन वे 1,000 बार मिले! यह सांख्यिकीय रूप से महत्वपूर्ण (statistically significant) है। उनके बीच स्पष्ट रूप से एक विशेष बंधन है। चलिए उन्हें जोड़ते हैं!"

यह "आश्चर्य का कारक" (जिसे पेपर में z-statistic कहा गया है) रोबोट को उन शब्दों को खोजने में मदद करता है जो वास्तव में सुसंगत हैं, न कि केवल सामान्य।

3. "गेन" कारक: आकार को न भूलें

नया तरीका एक दूसरा घटक जोड़ता है जिसे गेन (Gain) कहा जाता है।

उपमा: कल्पना कीजिए कि आप एक सूटकेस पैक कर रहे हैं। आप स्थान बचाने के लिए वस्तुओं को एक साथ बांधने के सबसे अच्छे तरीकों को खोजना चाहते हैं।
भले ही दो अक्षरों के बीच एक मजबूत "बंधन" (उच्च सघनता) हो, यदि वे पूरी किताब में केवल दो बार आते हैं, तो उन्हें एक साथ जोड़ने से लगभग कोई जगह नहीं बचती है।
नया तरीका कहता है: "आइए उन चीजों को जोड़ें जिनका बंधन मजबूत है और जो वास्तव में किताब को छोटा करने के लिए पर्याप्त बार आती हैं।" यह अर्थ (सघनता) और दक्षता (कंप्रेशन) के बीच संतुलन बनाता है।

4. परिणाम: एक स्मार्ट रोबोट

लेखकों ने WikiText-103 (विकिपीडिया का एक हिस्सा) नामक डेटासेट पर इसका परीक्षण किया। उन्होंने एक छोटे रोबोट (एक लैंग्वेज मॉडल) को पुराने तरीके और नए तरीके दोनों का उपयोग करके पढ़ना सिखाया।

मेट्रिक: उन्होंने केवल यह नहीं गिना कि रोबोट ने कितने टुकड़े उपयोग किए; उन्होंने यह मापा कि टेक्स्ट को समझने के लिए रोबोट को कितने "सूचना के बिट्स" की आवश्यकता थी। इसे आप इस तरह समझ सकते हैं कि वाक्य को समझने के लिए रोबोट को कितनी "मस्तिष्क शक्ति" की आवश्यकता है।
परिणाम: नए तरीके का उपयोग करने वाले रोबोट को टेक्स्ट को समझने के लिए कम मस्तिष्क शक्ति की आवश्यकता थी।
- इसने कम गलतियाँ कीं (कम "परप्लेक्सिटी")।
- इसने टेक्स्ट को अधिक कुशलता से समझा (लगभग 1% बेहतर "बिट्स प्रति कैरेक्टर" में)।

यह क्यों महत्वपूर्ण है

पुराने तरीके को एक ऐसे लाइब्रेरियन के रूप में सोचें जो केवल इस आधार पर किताबों को ढेर करता है कि कवर पर एक शब्द कितनी बार आता है। नया तरीका उस लाइब्रेरियन की तरह है जो कहानी को समझता है। वह समझता है कि "New" और "York" एक साथ इसलिए आते हैं क्योंकि वे एक विशिष्ट अवधारणा बनाते हैं, न कि इसलिए कि वे केवल लोकप्रिय शब्द हैं।

इस "सांख्यिकीय जासूस" दृष्टिकोण का उपयोग करके, हम AI मॉडल को थोड़ा स्मार्ट और अधिक कुशल बना सकते हैं, जिससे उन्हें समान मात्रा में भाषा सीखने के लिए कम डेटा की आवश्यकता होती है। यह खेल के नियमों में एक छोटा सा बदलाव है, लेकिन यह AI को केवल सामान्य अक्षर युग्मों (पेड़ों) के बजाय अर्थपूर्ण शब्दों (जंगल) को देखने में मदद करता है।

यहाँ अज़म नूरी के शोध पत्र "Significance-Gain Pair Encoding for LLMs: A Statistical Alternative to Frequency-Based Subword Merging" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

सबवर्ड टोकनाइजेशन (जैसे, बाइट पेयर एनकोडिंग - BPE) लार्ज लैंग्वेज मॉडल्स (LLMs) का एक महत्वपूर्ण घटक है, जो अनुक्रम लंबाई (sequence length), शब्दावली आकार (vocabulary size) और सांख्यिकीय संरचना के बीच संतुलन बनाता है।

मानक BPE की सीमा: पारंपरिक BPE केवल कच्ची आवृत्ति ( $c_{xy}$ $c_{x y}$ ) के आधार पर मर्ज जोड़ों का चयन करता है। यह लालची (greedy) दृष्टिकोण तत्काल संपीड़न (compression) को प्राथमिकता देता है लेकिन निम्नलिखित के बीच अंतर करने में विफल रहता है:
1. उच्च मार्जिनल्स (High Marginals): वे जोड़े जो केवल इसलिए बार-बार आते हैं क्योंकि उनके घटक वर्ण व्यक्तिगत रूप से सामान्य हैं (जैसे, व्हाइटस्पेस या सामान्य विराम चिह्न)।
2. वास्तविक सामंजस्य (True Cohesion): वे जोड़े जो इसलिए बार-बार आते हैं क्योंकि वे एक सांख्यिकीय रूप से महत्वपूर्ण, सुसंगत इकाई बनाते हैं (जैसे, मोर्फिम्स या कोलोकेशन्स)।
परिणाम: आवृत्ति-संचालित मर्जिंग "बैकग्राउंड" पैटर्न को अत्यधिक प्राथमिकता दे सकती है और सूचनात्मक भाषाई संरचनाओं को कम प्राथमिकता दे सकती है, जिससे मॉडल को प्रस्तुत किए गए इनपुट की सांख्यिकीय गुणवत्ता कम हो सकती है।

2. कार्यप्रणाली: सिग्निफिकेंस-गेन BPE (Methodology: Significance-Gain BPE)

लेखक सिग्निफिकेंस-गेन BPE का प्रस्ताव करते हैं, जो मानक मर्ज मानदंड के लिए एक 'ड्रॉप-इन रिप्लेसमेंट' है। यह विधि सांख्यिकीय सामंजस्य (statistical cohesion) को संपीड़न लाभ (compression gain) से अलग करती है।

A. सांख्यिकीय सामंजस्य (The Z-Statistic)

कच्ची गणनाओं के बजाय, यह विधि यह मापती है कि एक जोड़ा $(x, y)$ एक स्वतंत्रता नुल मॉडल (independence null model) के तहत कितनी बार अपेक्षित संख्या से अधिक बार आता है (जहाँ उत्तराधिकारी केवल मार्जिनल आवृत्तियों द्वारा निर्धारित होता है)।

अपेक्षित गणना: $E[c_{xy}] = \frac{c_x c_y}{N}$
Z-सांख्यिकी:
$z(x, y) = \frac{c_{xy} - E[c_{xy}]}{\sqrt{E[c_{xy}] + \epsilon}}$
एक उच्च सकारात्मक $z$ -स्कोर इंगित करता है कि जोड़ा सुसंगत है (मार्जिनल्स के संदर्भ में सांख्यिकीय रूप से आश्चर्यजनक है), जो पॉइंटवाइज म्यूचुअल इंफॉर्मेशन (PMI) के समान है, लेकिन दुर्लभ जोड़ों को हावी होने से रोकने के लिए इसे सपोर्ट (support) द्वारा सामान्यीकृत किया गया है।

B. संपीड़न लाभ (Compression Gain)

BPE की दक्षता बनाए रखने के लिए, एक स्पष्ट गेन टर्म (gain term) शामिल किया गया है जो जोड़े की गणना ( $c_{xy}$ ) के समानुपाती है। यह सुनिश्चित करता है कि मर्जेस अभी भी तत्काल अनुक्रम लंबाई में कमी प्रदान करें।

C. स्कोरिंग फंक्शन (The Scoring Function)

अंतिम मर्ज स्कोर इन तत्वों को जोड़ता है:
$\text{score}(x, y) = \underbrace{(\text{Gain Switch})}_{\text{Compression}} \times \underbrace{(z(x, y) \cdot c_{xy}^\alpha)}_{\text{Support-Tempered Cohesion}} - \underbrace{\lambda_{\text{rare}}(c_{xy} + \epsilon)^{-1/2}}_{\text{Rare Penalty}}$

Gain Switch: यदि सक्षम हो, तो स्कोर को संपीड़न वाले जोड़ों को प्राथमिकता देने के लिए $c_{xy}$ से गुणा किया जाता है।
$\alpha$ (अल्फा): यह नियंत्रित करता है कि अतिरिक्त काउंट सपोर्ट, सामंजस्य शब्द को कितनी मजबूती से बढ़ावा देता है (डिफ़ॉल्ट $\alpha=0.25$ )।
$\lambda_{\text{rare}}$ : यह अत्यंत विरल (sparse) जोड़ों को हतोत्साहित करने के लिए एक दंड (penalty) है, भले ही उनमें उच्च $z$ -स्कोर हो।

3. प्रयोगात्मक सेटअप (Experimental Setup)

डेटासेट: WikiText-103 (रॉ), निरंतर कैरेक्टर स्लाइस का उपयोग करते हुए (1M ट्रेन, 200k वैल/टेस्ट)।
आरंभीकरण (Initialization): कैरेक्टर-लेवल बेस (कोई प्री-टोकनाइजेशन नहीं)।
मॉडल: एक छोटा कॉज़ल ट्रांसफॉर्मर (TinyGPT) जिसमें 4 ब्लॉक्स, 4 हेड्स और एम्बेडिंग डायमेंशन 192 है।
मेट्रिक्स:
- टोकन-निर्भर (Token-Dependent): पर्प्लेक्सिटी (PPL) और प्रति टोकन नेगेटिव लॉग-लाइक्लीहुड (NLL)।
- टोकनाइज़र-अपरिवर्तनीय (Tokenizer-Invariant): बिट्स-पर-कैरेक्टर (BPC)। यह प्राथमिक मीट्रिक है, जिसे $BPC = \frac{NLL/\text{token} \times \text{Tokens-Per-Character}}{\ln 2}$ के रूप में गणना की जाती है। यह रॉ टेक्स्ट की लंबाई के सापेक्ष लाइक्लीहुड को सामान्य करता है, जो सेगमेंटेशन के तरीके से स्वतंत्र है।

4. मुख्य परिणाम (Key Results)

अध्ययन एक प्रतिनिधि ऑपरेटिंग पॉइंट पर और शब्दावली आकार स्वीप ( $V \in \{300, \dots, 1200\}$ ) के दौरान स्टैंडर्ड फ्रीक्वेंसी BPE के विरुद्ध सिग्निफिकेंस-गेन BPE की तुलना करता है।

मुख्य ऑपरेटिंग पॉइंट (शब्दावली $\approx$ 600)

मीट्रिक	Standard BPE	Significance-Gain BPE	सुधार (Improvement)
Validation PPL	312.78	271.47	13.21% ↓
Test PPL	323.71	283.85	12.31% ↓
Validation BPC	3.6176	3.5818	0.99% ↓
Test BPC	3.5915	3.5580	0.93% ↓

अवलोकन: सिग्निफिकेंस-गेन BPE, स्टैंडर्ड BPE की तुलना में थोड़े लंबे टोकन अनुक्रम (उच्च Tokens-Per-Character) उत्पन्न करता है, फिर भी बेहतर भविष्य कहनेवाला प्रदर्शन (predictive performance) प्राप्त करता है।
महत्व: BPC में सुधार (लगभग 1%) इस बात की पुष्टि करता है कि मॉडल प्रत्येक इकाई कच्चे टेक्स्ट के लिए अधिक कुशलता से सीखता है, न कि केवल टोकन संपीड़न के कारण।

शब्दावली स्वीप (मैच्ड कंप्रेशन)

समान संपीड़न स्तरों (Tokens-Per-Character को मैच करते हुए) पर मॉडलों की तुलना करते समय:

सिग्निफिकेंस-गेन BPE ने परीक्षण किए गए 5 में से 4 शब्दावली आकारों में कम BPC प्राप्त किया।
एकमात्र गिरावट $V=800$ पर देखी गई, जो सुझाव देती है कि लाभ सभी हाइपरपैरामीटर सेटिंग्स में समान नहीं है, लेकिन आम तौर पर मजबूत है।

5. मुख्य योगदान (Key Contributions)

सिग्निफिकेंस-गेन ऑब्जेक्टिव: एक नया मर्ज मानदंड जो स्वतंत्रता नुल मॉडल के तहत $z$ -सांख्यिकी का उपयोग करके सांख्यिकीय जुड़ाव (cohesion) को संपीड़न (compression) से स्पष्ट रूप से अलग करता है।
कठोर मूल्यांकन पाइपलाइन: एक हल्का ढांचा जो केवल PPL का उपयोग करके टोकनाइज़र की तुलना करने की सामान्य खामी को दूर करते हुए, दोनों टोकन-निर्भर (PGL) और टोकन-अपरिवर्तनीय (BPC) मेट्रिक्स की रिपोर्ट करता है।
अनुभवजन्य सत्यापन (Empirical Validation): प्रदर्शित किया कि सांख्यिकीय रूप से आधारित मर्ज चयन विभिन्न संपीड़न व्यवस्थाओं में बेहतर भविष्य कहनेवाला दक्षता (कम BPC) प्रदान करता है।

6. महत्व और भविष्य का कार्य (Significance and Future Work)

सैद्धांतिक बदलाव: पेपर तर्क देता है कि सबवर्ड टोकनाइजेशन को केवल एक संपीड़न ह्यूरिस्टिक नहीं होना चाहिए, बल्कि एक सांख्यिकीय मॉडलिंग चरण होना चाहिए जो हाई-मार्जनल नॉइज़ के बजाय अर्थपूर्ण कोलोकेशन्स को प्राथमिकता देता है।
व्यावहारिक प्रभाव: एक छोटे मॉडल और डेटासेट के साथ भी, विधि सुसंगत लाभ प्रदान करती है, जो बताता है कि यह बड़े LLMs तक स्केल करने योग्य है जहाँ टोकन दक्षता महत्वपूर्ण है।
सीमाएं:
- वर्तमान परिणाम सिंगल-रन हैं (कोई मल्टी-सीड अनसर्टेन्टी क्वांटिफिकेशन नहीं)।
- स्वतंत्रता नुल मॉडल लंबी-दूरी की निर्भरताओं (long-range dependencies) की अनदेखी करता है।
- भविष्य के कार्य में यह विश्लेषण करना होगा कि नए ऑब्जेक्टिव द्वारा किस प्रकार के विशिष्ट मर्जेस (मोर्फिम्स बनाम विराम चिह्न) को प्राथमिकता दी जाती है।

निष्कर्ष: सिग्निफिकेंस-गेन BPE, मानक फ्रीक्वेंसी-आधारित मर्जिंग के लिए एक सांख्यिकीय रूप से सिद्धांत-आधारित विकल्प प्रदान करता है, जो कच्चे टेक्स्ट के प्रति चरित्र के आधार पर बेहतर भविष्य कहनेवाला दक्षता के साथ, भाषा मॉडलों में फीड किए जाने वाले टोकन स्ट्रीम की गुणवत्ता में सुधार करता है।