Token-Native Storage: Read and Write in your Agent's Language
यह शोध पत्र "टोकन-नेटिव स्टोरेज" (token-native storage) का समर्थन करता है, जो एक ऐसा प्रतिमान (paradigm) है जहाँ टेक्स्ट को UTF-8 वर्णों के बजाय सीधे BPE टोकन आईडी के रूप में संग्रहीत किया जाता है, यह तर्क देते हुए कि यह दृष्टिकोण बार-बार अनुवाद और पुन: टोकनीकरण की आवश्यकता को समाप्त करके AI एजेंटों के लिए स्टोरेज आकार को काफी कम करता है और रीड/राइट ऑपरेशन्स को तेज़ करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मशीनों की भाषा बनाम मनुष्यों की भाषा
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को एक लाइब्रेरी (पुस्तकालय) पढ़ना सिखाने की कोशिश कर रहे हैं। किताबें मानवीय भाषा में लिखी गई हैं, जिनमें वे अक्षर और शब्द हैं जिन्हें हम देख और समझ सकते हैं। लेकिन रोबोट अक्षरों को "देखता" नहीं है; वह नंबर देखता है। रोबोट के लिए, "cat" शब्द कोई शब्द नहीं है; यह एक विशिष्ट कोड है, जैसे कि कोई गुप्त आईडी नंबर। आधुनिक आर्टिफिशियल इंटेलिजेंस इसी तरह काम करता है: यह टेक्स्ट को "टोकन्स" नामक छोटे टुकड़ों में तोड़कर और प्रत्येक टुकड़े को एक अद्वितीय नंबर देकर प्रोसेस करता है।
द दशकों से, कंप्यूटर टेक्स्ट को उसी तरह स्टोर करते आए हैं जैसे हम लिखते हैं: अक्षरों की स्ट्रिंग्स (जैसे UTF-8) के रूप में। यह हमारे लिए तो बहुत अच्छा है, लेकिन रोबोट्स के लिए यह थोड़ा बोझिल है। हर बार जब कोई रोबोट लाइब्रेरी से कोई किताब पढ़ना चाहता है, तो उसे मानवीय अक्षरों को अपने गुप्त नंबरों में अनुवादित करना पड़ता है, अपना काम करना पड़ता है, और फिर जवाब दिखाने के लिए नंबरों को वापस अक्षरों में बदलना पड़ता है। यह अनुवाद प्रक्रिया समय और स्थान लेती है, ठीक वैसे ही जैसे हर बार एक अकेला पेज पढ़ने के लिए पूरी किताब को किसी विदेशी भाषा में अनुवाद करने की आवश्यकता हो। जैसे-जैसे रोबोट हमारी डिजिटल दुनिया में अधिक पढ़ना और लिखना शुरू कर रहे हैं, यह निरंतर अनुवाद एक बाधा (bottleneck) बनता जा रहा है, जो चीजों को धीमा कर रहा है और अतिरिक्त जगह घेर रहा है।
पेपर का बड़ा विचार: अनुवाद करना बंद करें, "रोबोट" की भाषा बोलना शुरू करें
यह पेपर, जिसका शीर्षक "टोकन-नेटिव स्टोरेज" (Token-Native Storage) है, यह तर्क देता है कि हमें रोबोट्स को हर बार डेटाबेस एक्सेस करते समय मानवीय टेक्स्ट को अनुवाद करने के लिए मजबूर करना बंद कर देना चाहिए। इसके बजाय, लेखक सुझाव देते हैं कि हमें टेक्स्ट को ठीक वैसे ही स्टोर करना चाहिए जैसा रोबोट उसे देखता है: टोकन नंबरों की एक सूची के रूप में। वे इसे "टोकन-नेटिव स्टोरेज" कहते हैं।
इसे इस तरह सोचें: वर्तमान में, हमारी डिजिटल लाइब्रेरी एक ऐसे संग्रहालय की तरह है जहाँ हर पेंटिंग पर एक सुरक्षात्मक मानव-पठनीय लेबल लिपटा हुआ है। रोबोट को पेंटिंग दिखाने के लिए, हमें उसे खोलना पड़ता है, लेबल को रोबोट-कोड में अनुवादित करना पड़ता है, रोबोट को देखने देना पड़ता है, और फिर उसे वापस लपेटना पड़ता है। लेखक एक नए प्रकार के संग्रहालय का प्रस्ताव देते हैं जहाँ पेंटिंग्स पहले से ही रोबोट की मूल भाषा में टंगी हुई हैं। जब रोबोट अंदर आता है, तो वह बिना किसी अनरैपिंग या अनुवाद के कलाकृति को तुरंत देख सकता है।
उन्होंने क्या पाया:
शोधकर्ता ने इस विचार का परीक्षण किया और पाया कि टेक्स्ट को टोकन नंबरों के रूप में स्टोर करना न केवल तेज़ है, बल्कि यह अक्षरों के रूप में स्टोर करने की तुलना में कम जगह भी लेता है।
- गति (Speed): जब कोई रोबोट इस नए प्रकार के स्टोरेज से पढ़ता है, तो वह अनुवाद के चरण को पूरी तरह से छोड़ देता है। पेपर में इसे पुराने तरीके की तुलना में लगभग 10 से 600 गुना तेज़ बताया गया है, जो कार्य पर निर्भर करता है। यह एक वाक्य पूरा होने तक अनुवादक के इंतजार करने और सीधे विचार को सुनने के बीच के अंतर जैसा है।
- स्थान (Space): क्योंकि टोकन नंबर छोटे पूर्णांक (जैसे 1, 2, 3) होते हैं न कि अक्षरों की लंबी स्ट्रिंग्स, वे स्वाभाविक रूप से अधिक सघन (compact) होते हैं। बिना किसी फैंसी कंप्रेशन ट्रिक्स के भी, इन नंबरों को एक साथ पैक करने से जगह बचती है। अंग्रेजी टेक्स्ट पर, केवल इस रॉ पैकिंग ने मानक टेक्स्ट स्टोरेज की तुलना में 2.25 गुना कम जगह ली। जब उन्होंने एक सरल कंप्रेशन ट्रिक जोड़ी (नंबरों को इस तरह पुनर्व्यवस्थित करना कि सबसे आम नंबर सबसे छोटे हों), तो वे डेटा को और भी छोटा करने में सफल रहे, जो मानक टेक्स्ट से 3.30 गुना छोटा था।
वे किसके विरुद्ध तर्क दे रहे हैं:
यह पेपर स्पष्ट रूप से उन सिस्टम्स के लिए मानवीय रूप से पठनीय अक्षरों (UTF-8) के रूप में टेक्स्ट स्टोर करने के वर्तमान मानक के विरुद्ध तर्क देता है जहाँ रोबट मुख्य पाठक और लेखक हैं। वे बताते हैं कि टेक्स्ट को मानवीय प्रारूप में रखने से सिस्टम को हर एक रीड और राइट ऑपरेशन पर "अनुवाद टैक्स" (translation tax) चुकाना पड़ता है। वे इस विचार के भी विरुद्ध तर्क देते हैं कि हमें जगह बचाने के लिए जटिल, भारी कंप्रेशन एल्गोरिदम की आवश्यकता है; उन्होंने पाया कि केवल टोकन नंबरों के क्रम को बदलने से (खोज के समय के बजाय आवृत्ति के आधार पर) बिना किसी धीमे, जटिल डीकंप्रेशन टूल के बहुत तेज़ डिकोडिंग संभव है।
वे कितने आश्वस्त हैं?
लेखक अपने मापन को लेकर बहुत आश्वस्त हैं। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने अंग्रेजी लेखों, कंप्यूटर कोड और हिंदी टेक्स्ट सहित वास्तविक दुनिया के डेटा पर परीक्षण किए। उन्होंने अपने नए तरीके की तुलना मौजूदा सर्वोत्तम कंप्रेशन टूल्स (जैसे zstd और gzip) से की और पाया कि उनका टोकन-नेटिव दृष्टिकोण गति और आकार दोनों में उन्हें लगातार पछाड़ता या उनके बराबर रहता है। उन्होंने माइक्रोसेकंड (दस लाखवें सेकंड) में डेटा को पढ़ने और लिखने के समय को मापा, जिससे यह सिद्ध हुआ कि गति का अंतर वास्तविक और महत्वपूर्ण है।
"फ्रीक्वेंसी ऑर्डर" (आवृत्ति क्रम) वाली ट्रिक
पेपर का सबसे चतुर हिस्सा एक सुझाव है कि AI लैब्स को अपनी टोकन सूचियों को कैसे व्यवस्थित करना चाहिए। वर्तमान में, टोकन नंबर कुछ हद तक यादृच्छिक (randomly) रूप से दिए जाते हैं, जो इस बात पर आधारित होते हैं कि AI ने प्रशिक्षण के दौरान उन्हें कब खोजा था। लेखक ने पाया कि यदि आप इन नंबरों को इस तरह से पुनर्व्यवस्थित करते हैं कि सबसे सामान्य शब्दों को सबसे छोटे नंबर (जैसे 1, 2, 3) मिलें और दुर्लभ शब्दों को बड़े नंबर मिलें, तो आप डेटा को बहुत बेहतर तरीके से कंप्रेस कर सकते हैं।
वे इसे "+freq" विधि कहते हैं। यह एक अलमारी व्यवस्थित करने जैसा है: यदि आप अपने सबसे अधिक पहने जाने वाले कपड़ों को सबसे आसानी से पहुँचने वाली शेल्फ (छोटे नंबरों) पर रखते हैं, तो आप समय और स्थान दोनों बचाते हैं। ऐसा करके, वे जटिल कंप्रेशन के लगभग सभी लाभ प्राप्त कर सके लेकिन एक डिकोडिंग गति जो 7 गुना तेज़ थी। वे AI कंपनियों से अनुरोध कर रहे हैं कि वे अपनी टोकन सूचियों को इस "फ्रीक्वेंसी ऑर्डर" में प्रकाशित करें ताकि हर कोई इस मुफ्त स्पीड बूस्ट का लाभ उठा सके।
बाधा: एक ही भाषा बोलना
पेपर स्वीकार करता है कि इसमें एक बड़ी समस्या है। इस सिस्टम को पूरी तरह से काम करने के लिए, सिस्टम के हर रोबोट को एक ही "टोकन भाषा" (एक ही शब्दावली) बोलनी होगी। अभी, अलग-अलग AI मॉडल अक्सर अलग-अलग डिक्शनरी का उपयोग करते हैं। यदि एक रोबोट एक ऐसी डिक्शनरी का उपयोग करता है जहाँ "cat" नंबर 500 है, और दूसरा एक ऐसी डिक्शनरी का उपयोग करता है जहाँ "cat" नंबर 12 है, तो वे स्टोरेज को आसानी से साझा नहीं कर सकते।
लेखक का सुझाव है कि इसका समाधान मानकीकरण (standardization) है, ठीक वैसे ही जैसे हम सभी एक ही वर्णमाला (ASCII) या मानव टेक्स्ट के लिए एक ही कैरेक्टर एनकोडिंग (UTF-8) का उपयोग करने पर सहमत हुए थे। यदि AI की दुनिया एक साझा "टोकन अल्फाबेट" पर सहमत हो जाती है, तो यह टोकन-नेटिव स्टोरेज नया मानक बन सकता है, जिससे हमारे डिजिटल इंफ्रास्ट्रक्चर उन रोबोट्स के लिए तेज़ और सस्ता हो जाएगा जो इसे चलाते हैं।
संक्षेप में, पेपर सुझाव देता है कि जैसे-जैसे रोबोट हमारे डिजिटल पढ़ने और लिखने का कार्यभार संभाल रहे हैं, हमें उनके डेटा को मानवीय प्रारूप में स्टोर करना बंद कर देना चाहिए और उसे उस प्रारूप में स्टोर करना शुरू करना चाहिए जिसे पढ़ने के लिए वे पैदा हुए हैं। यह फाइल सेव करने के तरीके में एक छोटा सा बदलाव है, लेकिन यह भविष्य में भारी मात्रा में समय और पैसा बचा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।