🤖 machine learning

Real-Time Text Transmission via LLM-Based Entropy Coding over Fixed-Rate Channels

यह योगदान फिक्स्ड-रेट चैनलों पर LLM-आधारित एंट्रॉपी कोडिंग के माध्यम से वास्तविक समय में टेक्स्ट ट्रांसमिशन में संपीड़न (compression) और विलंबता (latency) के बीच के ट्रेड-ऑफ का परीक्षण करता है और यह दर्शाता है कि जबकि शून्य एल्गोरिद्मिक विलंबता वाले ओवरसाइज़्ड चैनलों के लिए हफमैन कोडिंग इष्टतम है, बड़े भाषा मॉडल बिटरेट को महत्वपूर्ण रूप से कम करते हैं, जिससे इष्टतम कोडर का चयन बदल जाता है, जिसके परिणाम GPT-2 से Llama 3.2 तक 25-गुने पैरामीटर रेंज में मान्य किए गए हैं।

मूल लेखक: Vishnu Teja Kunde, Jean-Francois Chamberland, Krishna R. Narayanan, Jamison Ebert

प्रकाशित 2026-05-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Vishnu Teja Kunde, Jean-Francois Chamberland, Krishna R. Narayanan, Jamison Ebert

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक लाइव रेडियो प्रसारण भेजने की कोशिश कर रहे हैं, जिसमें कोई व्यक्ति एक किताब जोर से पढ़ रहा है, और इसे अपने एक मित्र को भेजना है। आपके मित्र के रेडियो की सूचना प्राप्त करने की गति एक निश्चित सीमा तक सीमित है (जैसे कि एक संकीर्ण पाइप)। पाठक एक स्थिर गति से बोलता है, लेकिन चुने गए शब्द अप्रत्याशित होते हैं। कुछ शब्द बहुत सामान्य होते हैं (जैसे "the"), जबकि कुछ दुर्लभ और आश्चर्यजनक होते हैं (जैसे "wonderful")।

यह लेख इस बारे में है कि इन शब्दों को एक डिजिटल डेटा स्ट्रीम में पैक करने का सबसे अच्छा तरीका क्या है ताकि वे बिना किसी ट्रैफिक जाम में फंसे, तेजी से और स्पष्ट रूप से पहुंच सकें।

मुख्य विचार: भविष्यवाणी ही संपीड़न (Compression) है

लेखक एक चतुर तरकीब का उपयोग करते हैं: भविष्य की भविष्यवाणी करना।
कल्पना कीजिए कि एक अत्यंत बुद्धिमान सहायक (एक AI) पाठक के बगल में खड़ा है। पाठक के शब्द बोलने से पहले, वह सहायक अनुमान लगाता है कि अगला शब्द क्या होगा।

यदि सहायक 99% आश्वस्त है कि पाठक "the" कहेगा, तो उसे केवल इस बात की पुष्टि करने के लिए एक बहुत छोटा, लगभग अदृश्य संकेत भेजने की आवश्यकता होती है।
यदि पाठक कुछ आश्चर्यजनक कहता है, तो सहायक एक लंबा और अधिक विस्तृत संकेत भेजता है।

सहायक जितना बेहतर अनुमान लगाएगा, संदेश भेजने के लिए उतने ही कम "बिट्स" (डिजिटल निर्माण खंड) की आवश्यकता होगी। यही "प्रेडिक्ट-एंड-एनकोड" (अनुमान लगाओ और एनकोड करो) विधि है।

ट्रैफिक जाम की समस्या

यहाँ एक पेच है: पाठक एक स्थिर गति से बोलता है, लेकिन प्रत्येक शब्द के डिजिटल संकेत का "आकार" बदलता रहता है।

सामान्य शब्द = छोटे संकेत।
दुर्लभ शब्द = बड़े संकेत।

ये संकेत एक निश्चित गति वाले पाइप के माध्यम से भेजे जाते हैं। यदि कुछ बड़े संकेत एक साथ आते हैं, तो वे भेजे जाने से पहले एक प्रतीक्षा पंक्ति (क्यू) में लग जाते हैं। इससे विलंब (delay) होता है। पाठक ने अपना वाक्य समाप्त कर लिया हो सकता है, लेकिन श्रोता इसे कुछ सेकंड बाद सुन पाता है क्योंकि "बड़े संकेत" ट्रैफिक में फंसे हुए हैं।

लेख यह सवाल पूछता है: हम संकेतों को छोटा रखने (संपीड़न) और यह सुनिश्चित करने के बीच संतुलन कैसे बनाएं कि वे ट्रैफिक में न फंसें (विलंब)?

उम्मीदवार: पैकिंग के विभिन्न तरीके

शोधकर्ताओं ने इन संकेतों को पैक करने के लिए पांच अलग-अलग तरीकों का परीक्षण किया:

परफेक्ट थ्योरिस्ट (शैनन - Shannon): यह एक "जादुई" तरीका है। यह प्रत्येक शब्द के लिए बिल्कुल सही मात्रा में जगह का उपयोग करता है, न उससे अधिक और न ही कम। इसमें कोई विलंब नहीं है, लेकिन इसे वास्तविक जीवन में बनाना असंभव है क्योंकि इसके लिए "आंशिक" बिट्स (जैसे कि एक निर्माण खंड का 0.5 हिस्सा) भेजने की आवश्यकता होती है।
इंस्टेंट पैकर (हफमैन - Huffman): यह तरीका केवल पूरे निर्माण खंडों का उपयोग करता है। यह "परफेक्ट थ्योरिस्ट" की तुलना में थोड़ा कम कुशल है (यह थोड़ी सी जगह बर्बाद करता है), लेकिन इसका एक बड़ा लाभ है: इसे तुरंत अनपैक किया जा सकता है। जैसे ही कोई शब्द आता है, श्रोता को पता चल जाता है कि वह क्या है। कोई प्रतीक्षा नहीं।
पेशेंट पैकर (अरिथमेटिक कोडिंग - Arithmetic Coding): यह "परफेक्ट थ्योरिस्ट" के लगभग समान कुशल है। हालांकि, यह एक पहेली की तरह है जहाँ आप चित्र तभी देख पाते हैं जब आपके पास सभी टुकड़े आ जाते हैं। श्रोता को वर्तमान शब्द को डिकोड करने के लिए भविष्य के शब्दों से कुछ बिट्स एकत्र करने और प्रतीक्षा करने की आवश्यकता होती है। यह एक अंतर्निहित विलंब पैदा करता है, चाहे कंप्यूटर कितना भी तेज क्यों न हो।
ग्रुप पैकर (rANS): यह तरीका शब्दों को बैचों में पैक करने के लिए इंतजार करता है (जैसे बस के भरने का इंतजार करना ताकि वह रवाना हो सके)। यदि आप एक बड़े बस (एक बड़ा बैच) का इंतजार करते हैं, तो आप बहुत जगह बचाते हैं। लेकिन लाइन में खड़े पहले व्यक्ति को तब तक इंतजार करना पड़ता है जब तक कि बाकी सभी लोग नहीं आ जाते और बस रवाना नहीं हो जाती। यह एक ऐसा विलंब पैदा करता है जो समूह के आकार पर निर्भर करता है।
पुराने जमाने का पैकर (Gzip): यह फाइलों के लिए एक मानक तरीका है, लेकिन लाइव भाषण के लिए यह बहुत खराब है। यह स्मार्ट AI सहायक का उपयोग किए बिना कच्चे टेक्स्ट में पैटर्न खोजने की कोशिश करता है। अंत में, बहुत बड़े संकेत भेजे जाते हैं, जिससे भारी ट्रैफिक जाम होता है।

बड़ी खोज: बड़ा AI नियमों को बदल देता है

शोधकर्ताओं ने इसका परीक्षण दो AI सहायकों के साथ किया:

GPT-2: एक छोटा, पुराना सहायक।
Llama 3.2: एक बहुत बड़ा, अधिक बुद्धिमान सहायक (25 गुना बड़ा)।

परिणाम:
अधिक बुद्धिमान सहायक (Llama) अगला शब्द अनुमान लगाने में इतना सक्षम था कि संकेत अविश्वसनीय रूप से छोटे हो गए। क्योंकि संकेत इतने छोटे थे, वे अब ट्रैफिक में जमा नहीं हो रहे थे। पाइप अचानक "ओवरसाइज्ड" (यानी उसमें बहुत अतिरिक्त जगह थी) हो गया।

इसका मतलब क्या है:

जब AI कमजोर होता है: संकेत बड़े होते हैं। ट्रैफिक जाम वास्तविक होता है। आपको "पेशेंट पैकर" (अरिथमेटिक कोडिंग) की आवश्यकता होती है ताकि पाइप से हर बिट की जगह निकाली जा सके, भले ही इसका मतलब यह हो कि श्रोता को कुछ सेकंड इंतजार करना पड़े।
जब AI मजबूत होता है: संकेत बहुत छोटे होते हैं। ट्रैफिक जाम गायब हो जाता है। इस स्थिति में, "इंस्टेंट पैकर" (हफमैन) विजेता होता है। यह तेज़ है, सरल है, और बर्बाद हुई थोड़ी सी जगह का कोई महत्व नहीं रह जाता क्योंकि पाइप में बहुत खाली जगह है।

"मानवीय कारक" का रूपक

लेख यह भी नोट करता है कि वास्तविक जीवन में लोग एक आदर्श, समान गति से नहीं बोलते हैं। कभी वे तेजी से बोलते हैं, तो कभी धीरे। यह सुनिश्चित करने के लिए कि रेडियो सिस्टम सबसे तेज़ बोलने वाले व्यक्ति के लिए भी काम करे, इंजीनियरों को पाइप को इतना चौड़ा बनाना होगा कि वह सबसे तेज़ बोलने वाले को संभाल सके।

इसका मतलब है कि एक औसत व्यक्ति के लिए, पाइप वास्तव में बहुत बड़ा और खाली होता है। चूंकि पाइप इतना चौड़ा है, इसलिए "इंस्टेंट पैकर" (हफमैन) लगभग हमेशा सबसे अच्छा विकल्प होता है। आपको जटिल, विलंबित तरीकों की आवश्यकता नहीं है क्योंकि ट्रैफिक जाम शायद ही कभी होता है।

निष्कर्ष

लेख निष्कर्ष निकालता है कि जैसे-जैसे AI की बुद्धिमत्ता बढ़ती है, समस्या बदल जाती है। हमें स्थान बचाने के लिए एक जटिल एनकोडिंग एल्गोरिदम चुनने की चिंता कम करने की आवश्यकता है। इसके बजाय, हमें भविष्यवक्ता (Predictor) के रूप में AI को बेहतर बनाने पर ध्यान केंद्रित करना चाहिए।

यदि AI पर्याप्त बुद्धिमान है, तो सबसे सरल और तेज़ तरीका (हफमैन) सबसे अच्छा बन जाता है क्योंकि "ट्रैफिक" इतना हल्का है कि हमें कारों को बहुत सघनता से पैक करने की आवश्यकता नहीं है। ट्रेड-ऑफ अब यह नहीं है कि "बॉक्स को कैसे पैक किया जाए," बल्कि यह है कि "जो व्यक्ति बॉक्स में क्या जाएगा इसका अनुमान लगा रहा है, वह कितना बुद्धिमान है।"

तकनीकी निष्कर्ष: LLM-आधारित एंट्रॉपी कोडिंग के माध्यम से फिक्स्ड-रेट चैनलों पर वास्तविक समय में टेक्स्ट ट्रांसमिशन

समस्या विवरण
यह कार्य "प्रेडिक्ट-देन-कोड" (predict-then-code) रणनीतियों का उपयोग करने वाले वास्तविक समय के टेक्स्ट ट्रांसमिशन सिस्टम में संपीड़न (compression) और विलंबता (latency) के बीच निहित ट्रेड-ऑफ की जांच करता है। ऐसे सिस्टम में, एक कारण (causal) लार्ज लैंग्वेज मॉडल (LLM) एक अनुक्रम में अगले टोकन की भविष्यवाणी करता है, और एक एंट्रॉपी कोडर इन संभावनाओं को परिवर्तनीय लंबाई वाले बिटस्ट्रीम में परिवर्तित करता है। इस बिटस्ट्रीम को बाद में एक फिक्स्ड-रेट चैनल पर प्रसारित किया जाता है।

मुख्य चुनौती टोकन के परिवर्तनीय बिट लंबाई (जो टेक्स्ट की पूर्वानुमेयता द्वारा निर्धारित होता है) और चैनल की निरंतर सेवा दरों के बीच परस्पर क्रिया से उत्पन्न होती है। यह विसंगति एक कतार (queue) बनाती है जहाँ प्रति टोकन विलंबता बिट लंबाई के माध्य और विचरण, कोडर की एल्गोरिद्मिक विलंबता, और चैनल क्षमता पर निर्भर करती है। जबकि पिछले अध्ययनों ने संपीड़न दरों पर ध्यान केंद्रित किया है, वास्तविक समय की स्थितियों के तहत विभिन्न कोडिंग योजनाओं के विलंबता निहितार्थों—विशेष रूप से कंप्यूटेशनल विलंबता (हार्डवेयर-निर्भर) और एल्गोरिद्मिक विलंबता (कोडर की संरचना के प्रति निहित) के बीच अंतर—को काफी हद तक अनछुआ छोड़ दिया गया है।

कार्यप्रणाली
लेखक स्ट्रीमिंग टेक्स्ट ट्रांसमिशन के लिए एक कतारिंग मॉडल विकसित करते हैं, जहाँ वर्ण (characters) एक निश्चित दर ( $\lambda$ ) पर आते हैं, टोकनाइज़ किए जाते हैं, एक LLM द्वारा अनुमानित किए जाते हैं, और बिट्स में एनकोड किए जाते हैं। ये बिट्स एक फर्स्ट-इन-फर्स्ट-आउट (FIFO) कतार में प्रवेश करते हैं जिसे स्थिर क्षमता $C$ वाले चैनल द्वारा सेवा दी जाती है।

अध्ययन दो LLM स्केल्स (GPT-2 जिसमें 124M पैरामीटर्स हैं और Llama 3.2 जिसमें 3B पैरामीटर्स हैं) के माध्यम से छह कोडिंग योजनाओं का मूल्यांकन करता है, जो पांच सार्वजनिक डोमेन टेक्स्ट का उपयोग करते हैं:

शैनन कोडिंग (Shannon Coding): एक आदर्श बेंचमार्क जो प्रत्येक टोकन को $-\log_2 q(x_n|x_{<n})$ बिट्स आवंटित करता है। इसमें कोई एल्गोरिद्मिक विलंबता नहीं है लेकिन यह व्यावहारिक रूप से अवास्तविक है।
हफमैन कोडिंग (Huffman Coding): एक एडेप्टिव, संदर्भ-निर्भर कोड जो पूर्णांक (integer), प्रीफिक्स-फ्री कोडवर्ड असाइन करता है। इसमें कोई एल्गोरिद्मिक विलंबता नहीं है लेकिन यह पूर्णांक बिट्स के कारण ओवरहेड उठाता है।
अरिथमेटिक कोडिंग (AC): एक स्ट्रीमिंग योजना जो उच्च सटीकता के साथ शैनन सीमा के करीब पहुँचती है, लेकिन 'विलंबित डिकोडेबिलिटी' (delayed decodability) पेश करती है। डिकोडर को वर्तमान वाले को हल करने के लिए भविष्य के टोकनों से बिट्स को संचित करना पड़ता है, जिससे अंतर्निहित एल्गोरिद्मिक विलंबता उत्पन्न होती है।
rANS (Asymmetric Numeral Systems): विभिन्न ब्लॉक आकारों ( $K$ ) के साथ मूल्यांकित। यह $K$ टोकनों को एनकोड करने से पहले बफर करता है, जो स्टेट ओवरहेड के अमोर्टाइजेशन के माध्यम से संपीड़न दक्षता और बढ़ी हुई बफर विलंबता के बीच व्यापार करता है।
Gzip (DEFLATE): तत्काल डिकोडेबिलिटी सुनिश्चित करने के लिए प्रति-टोकन फ्लश ( $Z\_SYNC\_FLUSH$ ) के साथ उपयोग किया गया। यह LLM भविष्यवाणियों पर निर्भर रहने के बजाय अपने स्वयं के डिक्शनरी पर निर्भर रहता है, जिससे काफी अधिक बिट लागत होती है।

प्रयोग $\lambda = 20$ वर्ण प्रति सेकंड (लगभग 240 शब्द प्रति मिनट) की स्रोत दर का अनुकरण करते हैं। चैनल दर $C$ को मॉडल-आधारित स्रोत दर के सापेक्ष बदला जाता है ताकि ओवर-प्रोविजन्ड (over-provisioned), क्षमता-निकट, और अंडर-कैपेसिटी व्यवस्थाओं का विश्लेषण किया जा सके।

मुख्य योगदान

क्यूइंग मॉडल: एक मॉडल जो एल्गोरिद्मिक विलंबता (कोडर के लिए अंतर्निहित) को कंप्यूटेशनल विलंबता से अलग करता है, और विश्लेषण करता है कि कैसे परिवर्तनीय कोडवर्ड वास्तविक समय में फिक्स्ड-रेट चैनलों के साथ परस्पर क्रिया करते हैं।
अनुभवजन्य स्केलिंग विश्लेषण: 25-गुना पैरामीटर रेंज (GPT-2 बनाम Llama 3.2) में संपीड़न-विलंबता ट्रेड-ऑफ का मूल्यांकन, यह प्रदर्शित करता है कि कैसे बेहतर मॉडल गुणवत्ता इष्टतम कोडिंग रणनीति को बदल देती है।
पारेटो फ्रंटियर (Pareto Frontier) की पहचान: विशिष्ट कोडर (जैसे, हफमैन बनाम अरिथमेटिक) को प्राथमिकता दी जाने वाली ऑपरेटिंग व्यवस्थाओं की पहचान करने के लिए संपीड़न-विलंबता सीमा को मैप करना।

परिणाम

मॉडल की गुणवत्ता का प्रभाव: Llama 3.2 ने GPT-2 की तुलना में क्रॉस-एन्ट्रॉपी को लगभग 38% कम कर दिया (बिट्स प्रति वर्ण में मापा गया)। यह कमी प्रभावी रूप से सिस्टम को क्षमता-निकट व्यवस्था से ओवर-प्रोविजन्ड व्यवस्था में स्थानांतरित करके चैनल को "ओवर-प्रोविजन" करती है।
कोडर प्रदर्शन:
- अरिथमेटिक कोडिंग: लगभग-इष्टतम संपीड़न (0% ओवरहेड) प्राप्त किया लेकिन महत्वपूर्ण एल्गोरिद्मिक विलंबता (परीक्षण दरों पर लगभग 2.5 सेकंड का लुकअहेड) से ग्रस्त रहा।
- हफमैन कोडिंग: शैनन-निकट संपीड़न प्राप्त किया जिसमें कोई एल्गोरिद्मिक विलंबता नहीं थी। GPT-2 के तहत, इसने पूर्णांक राउंडिंग प्रभावों के कारण मामूली नकारात्मक ओवरहेड (−1%) दिखाया; Llama 3.2 के तहत, इसका ओवरहेड मामूली (~5%) था।
- rANS: इसने एक स्पष्ट ट्रेड-ऑफ प्रदर्शित किया जहाँ बड़े ब्लॉक आकार ( $K$ ) संपीड़न में सुधार करते हैं लेकिन विलंबता को रैखिक रूप से बढ़ाते हैं। हालाँकि, आधुनिक टोकनाइज़र (BPE/SentencePiece) पहले से ही वर्णों को 3-4 वर्णों की इकाइयों में समूहबद्ध करते हैं, जिसका अर्थ है कि हफमैन का 1-बिट ओवरहेड पर्याप्त रूप से अमोर्टाइज हो जाता है, जिससे कई व्यवस्थाओं में rANS का संपीड़न लाभ कम महत्वपूर्ण हो जाता है।
- Gzip: खराब प्रदर्शन किया (10-12x शैनन ओवरहेड) क्योंकि यह LLM प्रेडिक्टिव पावर का लाभ उठाने में असमर्थ था और प्रति टोकन फ्लश की लागत अधिक थी।
व्यवस्था परिवर्तन (Regime Shifts): ओवर-प्रोविजन्ड चैनलों में (जो वास्तविक सिस्टम में सबसे तेज़ बोलने वालों के लिए आकार देने के दौरान सामान्य है), हफमैन कोडिंग अपनी सादगी और एल्गोरिद्मिक विलंबता की कमी के कारण व्यावहारिक विकल्प साबित हुई। अरिथमेटिक कोडिंग का संपीड़न लाभ केवल क्षमता सीमा के पास महत्वपूर्ण था।

महत्ता और दावे
यह कार्य तर्क देता है कि आधुनिक टोकनाइज़र और शक्तिशाली LLM के कारण वास्तविक समय की कोडिंग का परिदृश्य मौलिक रूप से बदल गया है।

टोकनाइजेशन एक समाधान के रूप में: वर्णों को टोकन में समूहबद्ध करके, आधुनिक टोकनाइज़र हफमैन के 1-बिट पूर्णांक ओवरहेड के सापेक्ष प्रभाव को कम करते हैं, जिससे हफमैन कोडिंग rANS या अरिथमेटिक कोडिंग जैसी अधिक जटिल योजनाओं के लिए एक व्यवहार्य, विलंबता-मुक्त विकल्प बनाती है।
डिज़ाइन ट्रेड-ऑफ में बदलाव: प्राथमिक डिज़ाइन चुनौती अब सबसे कुशल कोडर का चयन करना (एक एल्गोरिद्मिक प्रश्न) नहीं है, बल्कि उपयुक्त प्रेडिक्टर चुनना (एक AI इंजीनियरिंग प्रश्न) है। प्रेडिक्टर की गुणवत्ता में सुधार (जैसे, GPT-2 से Llama 3.2 पर स्विच करना) स्रोत दर को कम करता है, जो संभावित रूप से सिस्टम को एक ओवर-प्रोविजन्ड व्यवस्था में स्थानांतरित कर देता है जहाँ सरल, विलंबता-मुक्त कोडर इष्टतम होते हैं।
व्यावहारिक सिफारिश: वास्तविक समय के स्पीच/टेक्स्ट ट्रांसमिशन के लिए, जहाँ चैनल आमतौर पर पीक दरों (औसत मामले को ओवर-प्रोविजन करने के लिए) के लिए आकार दिए जाते हैं, LLM प्रेडिक्टर के साथ हफमैन कोडिंग व्यावहारिक विकल्प है। यह कोई एल्गोरिद्मिक विलंबता नहीं देता है, सरल कार्यान्वयन प्रदान करता है, और इसका संपीड़न ओवरहेड टोकन के कंडीशनल एंट्रॉपी के सापेक्ष नगण्य है।

लेखक निष्कर्ष निकालते हैं कि जबकि अरिथमेटिक कोडिंग सैद्धांतिक रूप से इष्टतम के करीब रहती है, इसकी अंतर्निहित विलंबता अक्सर व्यावहारिक, ओवर-प्रोविजन्ड परिदृश्यों में अनुचित होती है। ध्यान को कोडर की एल्गोरिद्मिक जटिलता के बजाय प्रेडिक्टर की गुणवत्ता और अनुमान लागत (inference costs) को अनुकूलित करने की ओर स्थानांतरित किया जाना चाहिए।