Adaptive Targeted Dynamic Chunking for Tokenization-Free Hierarchical Model
यह शोध पत्र एडेप्टिव टार्गेटेड डायनेमिक चंकिंग (ATDC) को प्रस्तुत करता है, जो एक करिकुलम लर्निंग-आधारित तंत्र है जो फाइनवेब-एड्यू (FineWeb-Edu) 100B डेटासेट पर स्थिर प्रशिक्षण और प्रतिस्पर्धी प्रदर्शन प्राप्त करने के लिए टोकनाइजेशन-मुक्त पदानुक्रमित मॉडलों में संपीड़न अनुपातों को गतिशील रूप से अनुकूलित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को किताबों के एक विशाल पुस्तकालय को पढ़ना और समझना सिखाने की कोशिश कर रहे हैं।
पुराना तरीका: "सबवर्ड" (Subword) अनुवादक
परंपरागत रूप से, हम रोबोट को पढ़ने के लिए पहले शब्दों को छोटे, पूर्व-निर्धारित टुकड़ों में तोड़ने के लिए प्रशिक्षित करते हैं जिन्हें "टोकन" कहा जाता है। इसे एक ऐसे अनुवादक की तरह समझें जो केवल कोड शब्दों के एक सीमित सेट को बोल सकता है।
- समस्या: यदि रोबोट को ऐसा शब्द मिलता है जिसे उसने पहले नहीं देखा है (जैसे कोई टाइपिंग की गलती, नया स्लैंग शब्द, या किसी दूसरी भाषा का नाम), तो अनुवादक अटक जाता है। वह शब्द को निरर्थक टुकड़ों में तोड़ सकता है या उसे पढ़ने से मना कर सकता है। यह वैसा ही है जैसे आप एक वाक्य पढ़ने की कोशिश कर रहे हों जहाँ कुछ शब्द गायब हों और अनुवादक बाकी हिस्से का केवल अनुमान लगा रहा हो।
नया विचार: कच्चे बाइट्स (Raw Bytes) को पढ़ना
इस शोध पत्र में शोधकर्ताओं ने एक अलग दृष्टिकोण प्रस्तावित किया है: टोकनाइज़ेशन-मुक्त मॉडल (Tokenization-Free Models)। एक अनुवादक का उपयोग करने के बजाय, वे रोबोट को सीधे "बाइट्स" (पाठ के डिजिटल निर्माण खंडों) को पढ़ना सिखाते हैं।
- उपमा: कल्पना कीजिए कि रोबोट पूरे अक्षरों को पहचानने के बजाय स्क्रीन पर मौजूद व्यक्तिगत पिक्सेल (pixels) को देखकर पढ़ना सीख रहा है। यह बहुत लचीला है और टाइपिंग की गलतियों या अजीब फोंट को आसानी से संभाल सकता है क्योंकि यह कच्चे डेटा को देखता है।
- चुनौती: पिक्सेल-दर-पिक्सेल पढ़ना अविश्वसनीय रूप से धीमा और अक्षम है। यदि आपके पास एक पूरा उपन्यास है, तो रोबोट को लाखों छोटे पिक्सेल को एक-एक करके प्रोसेस करना होगा। वह अभिभूत (overwhelmed) हो जाता है।
समाधान: "एडेप्टिव टार्गेटेड डायनेमिक चंकिंग" (ATDC)
गति की समस्या को ठीक करने के लिए, शोधकर्ताओं ने एक स्मार्ट सिस्टम बनाया जिसे ATDC कहा जाता है। इसे एक स्मार्ट संपादक (Smart Editor) के रूप में समझें जो कच्चे पिक्सेल और रोबोट के मस्तिष्क के बीच बैठा है।
1. "करिकुलम लर्निंग" (Curriculum Learning) दृष्टिकोण (प्रशिक्षण शिविर)
कल्पना कीजिए कि आप एक छात्र को किताब का सारांश लिखना सिखा रहे हैं।
- चरण 1 (शुरुआती): शुरुआत में, आप छात्र को हर एक वाक्य को सावधानी से पढ़ने के लिए कहते हैं। वे कुछ भी छोड़ते नहीं हैं। यह उन्हें बिना भ्रमित हुए बुनियादी बातें सीखने में मदद करता है।
- चरण 2 (विशेषज्ञ): जैसे-जैसे छात्र अधिक समझदार होता है और कहानी को बेहतर समझने लगता है, आप उनसे कहते हैं, "ठीक है, अब तुम वाक्यों को पैराग्राफ में समूहित (group) करना शुरू कर सकते हो। तुम स्पष्ट हिस्सों को छोड़ सकते हो और बड़े विचारों पर ध्यान केंद्रित कर सकते हो।"
- शोध पत्र का दावा: ATDC सिस्टम बिल्कुल यही करता है। यह पाठ को बहुत कम कंप्रेस (compress) करके शुरू करता है (लगभग सब कुछ पढ़ता है) और धीरे-धीरे मॉडल को बेहतर होने के साथ अधिक कंप्रेस करना सिखाता है (बाइट्स को बड़े टुकड़ों में समूहित करना)।
2. "स्मार्ट संपादक" (डायनेमिक चंकिंग)
रोबोट को निश्चित आकार के ब्लॉकों में पाठ को समूहित करने के लिए मजबूर करने के बजाय (जैसे कि "हमेशा 6 बाइट्स को एक साथ रखें"), ATDC सिस्टम एक लचीले संपादक की तरह कार्य करता है।
- उपमा: कल्पना कीजिए कि आप एक वाक्य पढ़ रहे हैं: "The quick brown fox jumps."
- एक निश्चित संपादक (Fixed Editor) इसे अजीब तरह से काट सकता है: "The qu" | "ick bro" | "wn fox" | " jumps." यह अर्थ को तोड़ देता है।
- ATDC संपादक अर्थ को देखता है। वह देखता है कि "The quick brown fox" एक पूर्ण विचार है, इसलिए वह इसे एक साथ रखता है। वह केवल वहीं विभाजित होता है जहाँ अर्थ वास्तव में बदलता है।
- परिणाम: मॉडल महत्वपूर्ण शब्दों को बरकरार रखता है (जैसे "checking" को एक इकाई के रूप में रखना) बजाय इसके कि उन्हें बीच में ही काट दिया जाए।
उन्होंने क्या पाया?
शोधकर्ताओं ने इस नए सिस्टम (H-Net with ATDC) का परीक्षण पुराने टोकन-आधारित मॉडलों (जैसे Llama 3.2) और अन्य बाइट-लेवल मॉडलों के विरुद्ध किया।
- बेहतर समझ: नए सिस्टम ने टोकन-आधारित मॉडलों की तुलना में भाषा को बेहतर ढंग से सीखा (जिसे "बिट्स-पर-बाइट" द्वारा मापा गया), भले ही नए सिस्टम में कम "मस्तिष्क कोशिकाएं" (पैरामीटर्स) थीं।
- बेहतर लचीलापन (Superior Resilience): जब उन्होंने मॉडल का परीक्षण अस्त-व्यस्त टेक्स्ट के साथ किया—जिसमें टाइपिंग की गलतियाँ, अजीब कैपिटलाइज़ेशन, या रैंडम कैरेक्टर डिलीशन शामिल थे—तो नया सिस्टम अच्छी तरह से काम करता रहा। पुराने टोकन-आधारित मॉडल भ्रमित हो गए और विफल हो गए।
- उपमा: यदि आप "Helo" जैसी टाइपिंग की गलती के साथ एक वाक्य लिखते हैं, तो पुराना मॉडल शायद नहीं जानता होगा कि "Helo" क्या है। नया मॉडल बस 'H-e-l-o' अक्षरों को देखता है और समझ जाता है कि यह "Hello" है।
- स्मार्ट ग्रुपिंग: उन्होंने मॉडल द्वारा शब्दों को समूहित करने के तरीके को विज़ुअलाइज़ किया। नए सिस्टम ने "checking" जैसे शब्दों को एक ही टुकड़े में एक साथ रखा, जबकि पुराने निश्चित सिस्टम ने इसे "ch" और "ecking" में तोड़ दिया था।
सारांश
यह शोध पत्र "रॉ डेटा" पढ़ने वाले मॉडलों को तेज़ और स्मार्ट बनाने की एक विधि पेश करता है। एक करिकुलम (आसान से कठिन की ओर बढ़ना) और एक स्मार्ट संपादक (जो निश्चित नियमों के बजाय अर्थ के आधार पर टेक्स्ट को समूहित करता है) का उपयोग करके, उन्होंने एक ऐसा मॉडल बनाया जो:
- कच्चे डेटा मॉडलों की तुलना में तेज़ पढ़ता है।
- पारंपरिक मॉडलों की तुलना में अस्त-व्यस्त टेक्स्ट को बेहतर समझता है।
- जैसे-जैसे यह समझदार होता जाता है, अपनी कंप्रेशन रणनीति को अनुकूलित करके अधिक कुशलता से सीखता है।
लेखकों का निष्कर्ष है कि यह दृष्टिकोण AI मॉडलों को कठोर, पूर्व-निर्धारित शब्दावली सूचियों पर निर्भर किए बिना मजबूत, लचीला और कुशल बनाने की दिशा में एक महत्वपूर्ण कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।