🤖 machine learning

The Efficiency Gap in Byte Modeling

यह शोध पत्र बाइट-स्तरीय मॉडलिंग को मास्क्ड डिफ्यूजन के साथ संयोजित करने की कम्प्यूटेशनल लागत की जांच करता है, जो यह प्रकट करता है कि संदर्भ भंगुरता (context fragility) के कारण बाद वाला मॉडल ऑटोरेग्रेसिव मॉडलों की तुलना में अधिक तीव्र स्केलिंग दंड (scaling penalty) से ग्रस्त है, जिससे यह सुझाव मिलता है कि भविष्य के मोडैलिटी-अज्ञेय (modality-agnostic) डिजाइनों को कुशल बने रहने के लिए नए संरचनात्मक पूर्वाग्रहों (structural biases) की आवश्यकता है।

मूल लेखक: Celine Lee, Jing Nathan Yan, Chen Liang, Jiaxin Shi, Yin Zhang, Jeremiah Liu, Pengcheng Yin, Fernando Pereira, Ed Chi, Derek Cheng, Alexander M. Rush, Ruoxi Wang

प्रकाशित 2026-05-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Celine Lee, Jing Nathan Yan, Chen Liang, Jiaxin Shi, Yin Zhang, Jeremiah Liu, Pengcheng Yin, Fernando Pereira, Ed Chi, Derek Cheng, Alexander M. Rush, Ruoxi Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को पढ़ना और लिखना सिखाने की कोशिश कर रहे हैं। लंबे समय से, इसे करने का मानक तरीका रोबोट को "चंक्स" (जैसे पूरे शब्द या सामान्य शब्दांश) का एक शब्दकोश देना और उसे सख्ती से बाएं से दाएं, एक बार में एक चंक करके पढ़ना सिखाना रहा है। यह कुशल है, लेकिन यह रोबोट को केवल उन विशिष्ट चंक्स तक ही सीमित कर देता है जिन्हें वह जानता है।

हाल ही में, शोधकर्ताओं ने दो नए, अधिक क्रांतिकारी विचार आजमाए:

"रॉ बाइट" (Raw Byte) दृष्टिकोण: रोबोट को चंक्स का शब्दकोश देने के बजाय, उन्होंने उसे कच्ची वर्णमाला (प्रत्येक एकल अक्षर और प्रतीक) दी। यह रोबमाट को वर्णमाला के तैयार शब्दों के बजाय व्यक्तिगत अक्षरों को दिखाकर पढ़ाने जैसा है। यह अधिक सार्वभौमिक है क्योंकि यह कुछ भी पढ़ सकता है, लेकिन इससे वाक्य अविश्वसनीय रूप से लंबे हो जाते हैं।
"डिफ्यूजन" (Diffusion) दृष्टिकोण: बाएं से दाएं पढ़ने के बजाय, उन्होंने रोबोट को एक साथ पूरे वाक्य का अनुमान लगाना सिखाया, रिक्त स्थानों को किसी भी क्रम में भरते हुए, जैसे कि एक जिग्सॉ पहेली (jigsaw puzzle) को हल करना जहाँ आप टुकड़ों को कहीं भी रख सकते हैं।

यह शोध पत्र इस बात की जांच करता है कि इन दोनों क्रांतिकारी विचारों को मिलाने पर क्या होता है: रोबोट को कच्चे अक्षरों (raw letters) का उपयोग करके जिग्सॉ पज्ज़ल विधि से पढ़ाना।

बड़ी खोज: उपकरणों का बेमेल होना

शोधकर्ताओं ने पाया कि जबकि एक रोबोट एक-एक करके (बाएं-से-दाएं) पढ़ने पर कच्चे अक्षर सीखने में सक्षम हो सकता है, वह एक जिग्सॉ पहेली के रूप में कच्चे अक्षरों को पढ़ने में बहुत संघर्ष करता है।

सरल उपमाओं का उपयोग करते हुए इसका विवरण यहाँ दिया गया है:

1. "बाएं-से-दाएं" पढ़ने वाला (Autoregressive)
कल्पना कीजिए कि आप ईंट-दर-ईंट एक दीवार बना रहे हैं।

चंक्स के साथ (मानक): आपके पास ईंटों के पहले से बने ब्लॉक (शब्द) हैं। आप बस उन्हें एक के ऊपर एक रखते हैं। यह तेज़ है।
कच्चे अक्षरों के साथ: आपको व्यक्तिगत ईंटों को एक के ऊपर एक रखना होगा। इसमें अधिक समय और काम लगता है, लेकिन क्योंकि आप एक सीधी रेखा में निर्माण कर रहे हैं, इसलिए आप पैटर्न को आसानी से देख सकते हैं। एक बार जब आप एक शब्द की पहली कुछ ईंटें बिछा देते हैं, तो शब्द का बाकी हिस्सा स्पष्ट हो जाता है। रोबोट पिछले अक्षर के आधार पर अगले अक्षर की "भविष्यवाणी" करना सीख जाता है।
परिणाम: भले ही इसकी शुरुआत धीमी होती है, रोबोट अंततः बराबरी कर लेता है। यदि आप उसे पर्याप्त समय और ईंटें देते हैं, तो वह अपने आप शब्दों के पैटर्न को पहचानना सीख जाता है, ठीक वैसे ही जैसे कोई इंसान अक्षरों की आवाज़ निकालकर पढ़ना सीखता है।

2. "जिग्सॉ पहेली" वाला पाठक (Diffusion)
कल्पना कीजिए कि आप एक जिग्सॉ पहेली सुलझाने की कोशिश कर रहे हैं, लेकिन आप किसी भी टुकड़े को उठा सकते हैं और उसे बोर्ड पर कहीं भी एक साथ फिट करने की कोशिश कर सकते हैं।

चंक्स के साथ (मानक): पहेली के टुकड़े बड़े और स्पष्ट होते हैं (जैसे बिल्ली की आँख का एक हिस्सा)। यह अनुमान लगाना आसान है कि "बिल्ली की आँख" वाला टुकड़ा कहाँ जाएगा क्योंकि उसका एक स्पष्ट आकार होता है।
कच्चे अक्षरों के साथ: पहेली के टुकड़े बहुत छोटे, अर्थहीन धूल के कणों की तरह होते हैं (व्यक्तिगत अक्षर)। एक अकेला अक्षर "e" अपने आप में बहुत कुछ नहीं बताता।
समस्या: एक जिग्सॉ पहेली में, आपको यह जानने के लिए संदर्भ (context) की आवश्यकता होती है कि एक टुकड़ा कहाँ जाना चाहिए। यदि आप टुकड़ों को यादृच्छिक रूप से बिखेर देते हैं और रोबोट से पूछते हैं कि वे बिना किसी स्पष्ट क्रम के कहाँ होने चाहिए, तो वह खो जाता है। शोध पत्र इसे "संदर्भ भंगुरता" (Context Fragility) कहता है।
- जब रोबोट किसी शब्द के बीच में एक अक्षर का अनुमान लगाने की कोशिश करता है बिना यह जाने कि उससे पहले या बाद में क्या आया था, तो उसे कोई सुराग नहीं मिलता।
- बाएं-से-दाएं पढ़ने वाले के विपरीत, जो एक स्थिर इतिहास बनाता है, जिग्सॉ पाठक संदर्भ को बार-बार तोड़ता रहता है। यह ऐसा है जैसे आप एक वाक्य पूरा करने की कोशिश कर रहे हों और कोई आपके द्वारा लिखे गए शब्दों को बार-बार मिटाता जा रहा हो।

"दक्षता अंतराल" (The Efficiency Gap)

शोध पत्र ने यह देखने के लिए बड़े पैमाने पर प्रयोग किए कि रोबोट को कुशल होने के लिए कितने "कंप्यूटिंग पावर" (ऊर्जा और समय) की आवश्यकता होती है।

बाएं-से-दाएं वाला रोबोट: कच्चे अक्षरों के साथ सीखने में इसे चंक्स की तुलना में थोड़ी अधिक ऊर्जा लगती है, लेकिन जैसे-जैसे रोबोट स्मार्ट होता जाता है, यह अंतर कम होता जाता है। अंततः, यह चंक-रीडर जितना ही कुशल हो जाता है।
जिग्सॉ वाला रोबोट: अंतर बहुत बड़ा है और कभी खत्म नहीं होता। जिग्सॉ रोबोट को चंक-रीडर के समान प्रदर्शन करने के लिए, आपको इसे लाखों गुना अधिक कंप्यूटिंग पावर देने की आवश्यकता होगी। शोध पत्र सुझाव देता है कि जबकि बाएं-से-दाएं वाला रोबोट $10^{22}$ ऑपरेशन्स के बजट के साथ बराबरी कर सकता है, जिग्सॉ रोबोट को इसके करीब आने के लिए $10^{26}$ ऑपरेशन्स की आवश्यकता हो सकती है।

यह क्यों होता है?

शोधकर्ताओं ने यह पता लगाने के लिए कुछ जासूसी कार्य किया कि ऐसा क्यों होता है। उन्होंने पाया कि:

कच्चे अक्षरों को अर्थपूर्ण होने के लिए एक "कहानी" की आवश्यकता होती है। एक अकेला अक्षर बिना आसपास के अक्षरों के अर्थहीन है।
बाएं-से-दाएं विधि स्वाभाविक रूप से वह कहानी बनाती है, जिससे रोबोट यह सीख पाता है कि "q" के बाद आमतौर पर "u" आता है।
जिग्सॉ विधि उस कहानी को नष्ट कर देती है। यादृच्छिक क्रम में टुकड़ों का अनुमान लगाकर, यह "स्थानीय निरंतरता" (local contiguity - यह तथ्य कि अक्षर एक विशिष्ट क्रम में एक-दूसरे के बगल में बैठते हैं) को तोड़ देता है। उस स्थिर क्रम के बिना, रोबोट कच्चे अक्षरों का अर्थ नहीं समझ पाता, चाहे वह कितना भी अभ्यास क्यों न कर ले।

मुख्य निष्कर्ष

शोध पत्र निष्कर्ष निकालता है कि हालांकि एक "सार्वभौमिक" रोबोट बनाने की कोशिश करना जो कच्चे अक्षर पढ़ सके, एक अच्छा विचार है, लेकिन आप उसे सिखाने के लिए किस विधि का उपयोग करते हैं, यह अत्यंत महत्वपूर्ण है।

यदि आप उसे क्रम में (बाएं-से-दाएं) पढ़ना सिखाते हैं, तो वह कच्चे अक्षरों को कुशलतापूर्वक संभाल सकता है। लेकिन यदि आप उसे यादृच्छिक, "जिग्सॉ" शैली में पढ़ना सिखाने की कोशिश करते हैं, तो कच्चे अक्षर बहुत नाजुक और बिखरे हुए होते हैं जिससे रोबोट उनके अर्थ को समझ नहीं पाता। जिग्सॉ विधि को कच्चे अक्षरों के साथ काम करने के लिए, हमें पूरी तरह से नए तरीके आविष्कार करने होंगे जो रोबोट को वाक्य की "कहानी" को थामे रखने में मदद करें, अन्यथा यह अविश्वसनीय रूप से अक्षम रहेगा।

तकनीकी सारांश: बाइट मॉडलिंग में दक्षता अंतराल (The Efficiency Gap in Byte Modeling)

समस्या विवरण

आधुनिक लार्ज लैंग्वेज मॉडल्स (LLMs) ऐतिहासिक रूप से दो संरचनात्मक पूर्वधारणाओं (structural priors) पर निर्भर रहे हैं: सबवर्ड टोकनाइजेशन (जैसे BPE, WordPiece) और ऑटोरेग्रेसिव (AR) क्रम। हालांकि ये प्रभावी हैं, लेकिन ये विशिष्ट सीमाएं थोपते हैं: सबवर्ड टोकनाइजेशन एक स्थिर संपीड़न परत (compression layer) के रूप में कार्य करता है जो आउट-ऑफ-डिस्ट्रीब्यूशन मोडैलिटीज के प्रति सामान्यीकरण को बाधित कर सकता है, और AR क्रम एक एकदिशीय पूर्वाग्रह लागू करता है जो गैर-अनुक्रमिक तर्क (non-sequential reasoning) के लिए 'लुक-अहेड प्लानिंग' को कमजोर कर सकता है।

इन बाधाओं को दूर करने के लिए दो वैकल्पिक प्रतिमान (paradigms) उभरे हैं:

बाइट-लेवल मॉडलिंग: यह स्थिर, सांख्यिकीय रूप से व्युत्पन्न शब्दावलियों (vocabularies) को दरकिनार करते हुए सीधे कच्चे UTF-8 बाइट्स पर कार्य करके सार्वभौमिकता प्रदान करता है।
मास्क्ड डिफ्यूजन मॉडलिंग (MDM): यह ऑर्डर-एग्नोस्टिक इन्फरेंस के माध्यम से समानांतर, गैर-अनुक्रमिक पीढ़ी संचालित करता है।

इन प्रतिमानों का प्रतिच्छेदन एक पूर्ण एंड-टू-एंड, मोडैलिटी-एग्नोस्टिक जेनेरेटिव प्रोटोटाइप का प्रतिनिधित्व करता है। हालांकि, सबवर्ड टोकनाइजेशन और कॉज़ल ऑर्डरिंग जैसी संरचनात्मक पूर्वधारणाओं को हटाने से एक महत्वपूर्ण कम्प्यूटेशनल लागत आती है। यह कार्य इस लागत को मापने और इस बात को समझने की समस्या को संबोधित करता है कि डेटा प्रतिनिधित्व (बाइट बनाम सबवर्ड) और मॉडलिंग उद्देश्य (AR बनाम MDM) के बीच की अंतःक्रिया स्केलिंग दक्षता को कैसे प्रभावित करती है।

कार्यप्रणाली (Methodology)

लेखक मॉडलिंग उद्देश्यों और डेटा प्रतिनिधित्व के बीच की अंतःक्रिया को अलग करने के लिए एक कंप्यूट-मैच्ड स्केलिंग स्टडी का उपयोग करते हैं। कुल फ्लोटिंग-पॉइंट ऑपरेशंस (FLOPs) पर आधारित निष्पक्ष तुलना सुनिश्चित करने के लिए, वे 48M से 1.23B नॉन-एम्बेडिंग पैरामीटर्स के पैरामीटर स्वीप के माध्यम से एक मानक ट्रांसफार्मर बैकबोन का उपयोग करते हैं।

डेटा और टोकनाइजेशन: मॉडल्स को Slimpajama-627B डेटासेट पर प्री-ट्रेन किया गया है। दो इनपुट रिप्रजेंटेशन की तुलना की गई है:
- बाइट-लेवल: $V=256$ के आकार की शब्दावली के साथ कच्चे UTF-8 बाइट्स।
- BPE-लेवल: मानक Llama 2 टोकनाइज़र के साथ $V=32,000$ ।
- नॉर्मलाइजेशन: कॉन्टेक्स्ट विंडोज को प्रति स्टेप कच्चे डेटा के समान आयतन (बाइट मॉडल के लिए 8192 बाइट्स बनाम BPE मॉडल के लिए 1792 टोकन) को प्रोसेस करने के लिए नॉर्मलाइज़ किया गया है।
उद्देश्य:
- ऑटोरेग्रेसिव (AR): मानक कॉज़ल मास्किंग।
- मास्क्ड डिफ्यूजन (MDM): बाइडायरेक्शनल अटेंशन के साथ एक निरंतर-समय डिस्क्रीट डिफ्यूजन फ्रेमवर्क, जो ट्रेनिंग के लिए लीनियर मास्किंग और इन्फरेंस के लिए कोसाइन मास्किंग का उपयोग करता है।
मूल्यांकन मीट्रिक: कच्चे डेटासेट के आकार के विरुद्ध प्रेडिक्टिव प्रदर्शन को नॉर्मलाइज़ करने के लिए बिट्स-पर-बाइट (BPB) का उपयोग किया गया है, जो इसे विस्क्रीटाइजेशन रणनीतियों से अलग करता है।
मैकेनिस्टिक विश्लेषण: अध्ययन में "कॉन्टेक्स्ट फ्रैजिलिटी" (context fragility) की जांच करने के लिए नियंत्रित परम्यूटेशन प्रयोग शामिल हैं। ये प्रयोग अनुक्रमों (ग्लोबल रैंडम, इंटर-ब्लॉक, और इंट्रा-ब्लॉक) पर स्टैटिक परम्यूटेशन लागू करते हैं ताकि स्थानीय निरंतरता (local contiguity) और वैश्विक कॉज़ल ऑर्डर को नष्ट करने के प्रभाव को मापा जा सके।

मुख्य परिणाम

1. विचलित स्केलिंग प्रक्षेपवक्र (Divergent Scaling Trajectories)

बाइट मॉडलिंग का प्रदर्शन दंड (penalty) एकसमान नहीं है; यह मॉडलिंग उद्देश्य पर अत्यधिक निर्भर है।

ऑटोरेग्रेसिव (AR) मॉडल्स: AR बाइट मॉडल्स शुरुआत में BPE समकक्षों से पीछे रहते हैं लेकिन जैसे-जैसे स्केल बढ़ता है, वे प्रदर्शन समानता (performance parity) की ओर अभिसरित (converge) होते हैं। उच्च कंप्यूट बजट ( $F \approx 10^{22}$ FLOPs) पर, अंतर काफी कम हो जाता है, जो यह सुझाव देता है कि AR मॉडल्स अपने स्थिर कॉज़ल इतिहास के माध्यम से कच्चे बाइट प्रोसेसिंग की लागत को कम कर सकते हैं।
मास्क्ड डिफ्यूजन (MDM) मॉडल्स: इसके विपरीत, बाइट-लेवल MDMs अपने BPE समकक्षों की तुलना में निरंतर और पर्याप्त प्रदर्शन अंतराल (performance offset) प्रदर्शित करते हैं। बढ़ी हुई क्षमता और कंप्यूट के बावजूद, वे इस अंतर को पाटने में विफल रहते हैं। IsoFLOPs एक्सट्रपलेशन बताता है कि जबकि AR मॉडल्स $F \approx 1.3 \times 10^{22}$ पर समानता प्राप्त कर सकते हैं, MDMs को समान समानता प्राप्त करने के लिए $F \approx 4.2 \times 10^{26}$ तक के बजट की आवश्यकता हो सकती है।

2. डाउनस्ट्रीम टास्क प्रदर्शन

जीरो-शॉट रीजनिंग बेंचमार्क (ARC-Easy, BoolQ, आदि) पर मूल्यांकन BPB रुझानों की पुष्टि करता है:

AR बाइट मॉडल्स प्रतिस्पर्धी प्रदर्शन दिखाते हैं, और क्षमता बढ़ने के साथ BPE बेसलाइन्स के साथ अंतर को कम करते हैं।
MDM बाइट मॉडल्स स्थिर (stagnate) हो जाते हैं। क्षमता वृद्धि का लाभ उठाने के बावजूद, MDM बाइट प्रदर्शन उतार-चढ़ाव दिखाता है और सार्थक स्केलिंग दिखाने में विफल रहता है, जो लगातार उनके BPE समकक्षों से कम प्रदर्शन करता है।

3. मैकेनिस्टिक अंतर्दृष्टि: कॉन्टेक्स्ट फ्रैजिलिटी (Context Fragility)

पेपर में पहचान की गई है कि कॉन्टेक्स्ट फ्रैजिलिटी ही इस असमानता का मूल कारण है।

AR में इमर्जेंट सेगमेंटेशन: AR बाइट मॉडल्स में प्रेडिक्टिव एंट्रॉपी के विश्लेषण से पता चलता है कि वे स्वाभाविक रूप से हाई-एंट्रॉपी क्षेत्रों को सबवर्ड यूनिट्स (BPE सीमाओं) की शुरुआत के साथ संरेखित करना सीखते हैं। स्थिर कॉज़ल इतिहास AR मॉडल्स को एक वर्डपीस के भीतर इंटर-बाइट ट्रांजिशन को हल करने की अनुमति देता है।
MDM में फ्रैजिलिटी: MDM ऑब्जेक्टिव उस स्थानीय निरंतरता को नष्ट कर देता है जो कच्चे बाइट्स से सिमेंटिक्स को हल करने के लिए आवश्यक है। एक गारंटीकृत कॉज़ल इतिहास या पूर्व-रचित (pre-composed) सेमेंटिक यूनिट्स के बिना, मॉडल को खंडित संदर्भों के एक कॉम्बिनेटोरियल सेट से सिमेंटिक्स को हल करना पड़ता है।
परम्यूटेशन प्रयोग: नियंत्रित प्रयोगों से पता चलता है कि बाइट मॉडल्स, क्रम की अखंडता (sequential integrity) के नुकसान के प्रति अद्वितीय रूप से संवेदनशील हैं। जबकि स्थानीय निरंतरता (इंटर-ब्लॉक परम्यूटेशन) को बनाए रखना रिकवरी में मदद करता है, वैश्विक कॉज़ल ऑर्डर (इंट्रा-ब्लॉक परम्यूटेशन) का विनाश प्रदर्शन को गंभीर रूप से प्रभावित करता है, जो कुछ मेट्रिक्स में ग्लोबल रैंडम शेफलिंग से भी अधिक है। यह पुष्टि करता है कि बाइट-लेवल टेक्स्ट डिफ्यूजन एक मौलिक संरचनात्मक बेमेल (structural mismatch) से ग्रस्त है: यह सबवर्ड टोकन के एनकैप्सुलेशन और स्थिर एंकरों के बिना, अत्यंत सूक्ष्म (granular) इकाइयों पर कार्य करता है।

महत्व और दावे

यह पेपर दावा करता है कि प्री-मॉडल सबवर्ड टोकनाइजेशन को बायपास करने की व्यवहार्यता सार्वभौमिक नहीं है, बल्कि यह मॉडलिंग उद्देश्य पर निर्भर है।

ऑब्जेक्टिव-डिपेंडेंट एफिशिएंसी: बाइट मॉडलिंग की कम्प्यूटेशनल लागत ऑर्डर-एग्नोस्टिक उद्देश्यों (MDM) के लिए कॉज़ल उद्देश्यों (AR) की तुलना में काफी अधिक है।
संरचनात्मक बेमेल (Structural Mismatch): निष्कर्ष बताते हैं कि ऑर्डर-एग्नोस्टिक प्रकृति, ग्रैनुलर बाइट-लेवल रिप्रजेंटेशन के साथ खराब तरीके से इंटरैक्ट करती है। पूर्व-रचित सेमेंटिक यूनिट्स की कमी और स्थिर कॉज़ल इतिहास की अनुपस्थिति एक "कॉन्टेक्स्ट फ्रैजिलिटी" पैदा करती है जो बाइट रिजीम में कुशल स्केलिंग को रोकती है।
भविष्य की दिशाएं: लेखक निष्कर्ष निकालते हैं कि भविष्य के मोडैलिटी-एग्नोस्टिक डिजाइनों को, जो बाइट-लेवल रिप्रजेंटेशन के साथ डिफ्यूजन उद्देश्यों का उपयोग करने का लक्ष्य रखते हैं, एक व्यवहार्य स्केलिंग प्रक्षेपवक्र बनाए रखने के लिए वैकल्पिक संरचनात्मक पूर्वाग्रहों (जैसे, पदानुक्रमित मास्किंग, इष्टतम शब्दावलियाँ, या हाइब्रिड बैकबोन) को शामिल करना चाहिए। वे यह दावा नहीं करते कि बाइट-लेवल MDM असंभव है, बल्कि यह कि इसे पहचाने गए दक्षता अंतराल को दूर करने के लिए विशिष्ट आर्किटेक्चरल अनुकूलन की आवश्यकता है।

यह कार्य डेटा प्रतिनिधित्व और मॉडलिंग उद्देश्यों के बीच के ट्रेड-ऑफ की एक मौलिक समझ प्रदान करता है, यह रेखांकित करता है कि केवल टोकनाइज़र को हटाना कुशल समानांतर पीढ़ी के लिए पर्याप्त नहीं है जब तक कि डेटा की अंतर्निहित संरचनात्मक निर्भरताओं को संबोधित न किया जाए।