A Pilot Study of Autocompleting Tokenizers

हर दिन, करोड़ों लोग स्मार्टफोन या कंप्यूटर पर संदेश टाइप करने के लिए ऐसी प्रणालियों का उपयोग करते हैं जो उनके वाक्य पूरा करने से पहले ही अगले शब्द का अनुमान लगा लेती हैं। ये ऑटोकम्प्लीट (autocomplete) सुविधाएँ इसलिए काम करती हैं क्योंकि मानव भाषा पैटर्नों से भरी होती है; एक बार जब आप वाक्य की शुरुआत देख लेते हैं, तो बाकी हिस्सा अक्सर एक अनुमानित पथ का अनुसरण करता है। यही भविष्यवाणी का सिद्धांत आधुनिक आर्टिफिशियल इंटेलिजेंस के केंद्र में निहित है, विशेष रूप से उन बड़े कंप्यूटर मॉडलों में जो अनुवाद और टेक्स्ट जनरेशन को शक्ति प्रदान करते हैं। 'ट्रांसफॉर्मर' (Transformers) के रूप में जाने जाने वाले ये मॉडल अविश्वसनीय रूप से शक्तिशाली हैं, लेकिन उन्हें कार्य करने के लिए भारी मात्रा में डेटा की आवश्यकता होती है। टेक्स्ट को प्रोसेस करने के लिए, वे वाक्यों को 'टोकन' नामक छोटी इकाइयों में तोड़ देते हैं। वर्षों से, मानक तरीका अक्षरों को ऐसे समूहों में बांटना रहा है जो पूरे शब्दों या शब्दों के हिस्सों का प्रतिनिधित्व करते हैं, एक ऐसी तकनीक जो डेटा को प्रबंधनीय रखती है। हालाँकि, एक सरल विकल्प भी मौजूद है: टेक्स्ट को व्यक्तिगत 'बाइट्स' (bytes) में तोड़ना, जो डिजिटल सूचना की सबसे छोटी इकाइयाँ हैं। यह बाइट-स्तर का दृष्टिकोण सार्वभौमिक है और इसके लिए विभिन्न भाषाओं के लिए किसी विशेष डिक्शनरी की आवश्यकता नहीं होती, लेकिन यह ऐसे लंबे अनुक्रम (sequences) बनाता है जो कंप्यूटर को धीमा कर देते हैं और मॉडल को कम प्रभावी बना देते हैं।

विलियम्स कॉलेज के शोधकर्ताओं ने इस समस्या को हल करने के लिए एक सरल प्रश्न पूछकर शुरुआत की: यदि एक कंप्यूटर एक अनुक्रम में अगले अक्षर की उच्च सटीकता के साथ भविष्यवाणी कर सकता है, तो क्या उसे वाक्य को समझने के लिए वास्तव में उस अक्षर को देखने की आवश्यकता है? उन्होंने एक नई विधि प्रस्तावित की जो एक स्मार्ट फिल्टर की तरह कार्य करती है, जो टेक्स्ट के उन हिस्सों को हटा देती है जो बहुत अधिक स्पष्ट हैं और उपयोगी नहीं हैं। एक छोटे, हल्के प्रोग्राम को 'ऑटोकम्प्लीट असिस्टेंट' के रूप में प्रशिक्षित करके, उन्होंने उन बाइट्स की पहचान की जो इतने अनुमानित थे कि मुख्य अनुवाद मॉडल के देखने से पहले ही उन्हें सुरक्षित रूप से हटाया जा सकता था। इसका परिणाम टेक्स्ट का एक संकुचित (compressed) संस्करण है जो काफी छोटा है लेकिन फिर भी इसमें सारा आवश्यक अर्थ समाहित है। उनके प्रयोगों ने दिखाया कि अंग्रेजी और फ्रेंच जैसी भाषाओं के लिए, वे बिना किसी अनुवाद गुणवत्ता को खोए लगभग एक-तिहाई वर्णों को हटा सकते थे। यह निष्कर्ष बताता है कि हम इन शक्तिशाली AI प्रणालियों में जो डेटा फीड करते हैं उसका एक बड़ा हिस्सा अनावश्यक है, और अनुमानित हिस्सों को हटाकर, हम दुनिया को समझने की क्षमता से समझौता किए बिना इन मॉडलों को तेज़ और अधिक कुशल बना सकते हैं।

इस कार्य का मूल एक तीन-चरणीय प्रक्रिया में निहित है जो यह बदल देता है कि मशीन में टेक्स्ट कैसे भेजा जाता है। सबसे पहले, एक छोटा, तेज़ मॉडल मूल टेक्स्ट को बाइट-दर-बाइट पढ़ता है, और जो उसने पहले देखा है उसके आधार पर अगले हिस्से की भविष्यवाणी करता है। यदि मॉडल अगले अक्षर के बारे में बहुत आश्वस्त है, तो वह उस अक्षर को 'अनुमानित' के रूप में चिह्नित करता है। दूसरे चरण में, सिस्टम इन चिह्नित अक्षरों को अनुक्रम से हटा देता है। यह सुनिश्चित करने के लिए कि मुख्य मॉडल गायब हिस्सों से भ्रमित न हो, सिस्टम पिछले बाइट को संशोधित करता है ताकि यह संकेत मिल सके कि एक अक्षर हटाया गया है, जिससे मॉडल संदर्भ (context) से उस अंतराल का अनुमान लगा सके। अंत में, इस संक्षिप्त, संकुचित अनुक्रम को एक बड़े, मानक अनुवाद मॉडल को भेजा जाता है, जो फिर लक्ष्य भाषा में आउटपुट उत्पन्न करता है। शोधकर्ताओं ने इन गायब हिस्सों को संभालने के कई तरीकों का परीक्षण किया, और पाया कि सबसे प्रभावी तरीका इस प्रकार का मार्कर उपयोग करना था जो पिछले बाइट को बदलकर केवल एक अक्षर की अनुपस्थिति को नोट करता है, जिससे मुख्य मॉडल संदर्भ से शेष भाग का अनुमान लगा सके।

जब टीम ने अंग्रेजी से फ्रेंच में अनुवाद करने के लिए इस तकनीक को लागू किया, तो परिणाम चौंकाने वाले थे। उन्होंने पाया कि वे अनकंप्रेस्ड संस्करण के समान ही अनुवाद की गुणवत्ता बनाए रखते हुए स्रोत टेक्स्ट को उसके मूल आकार के लगभग 68 प्रतिशत तक संकुचित कर सकते हैं। कुछ मामलों में, संकुचित संस्करण का प्रदर्शन थोड़ा बेहतर भी रहा। शोधकर्ताओं ने इस पद्धति का परीक्षण बहुत अलग लेखन प्रणालियों और संरचनाओं वाली भाषाओं पर भी किया, जिसमें फिनिश शामिल है (जिसकी व्याकरण जटिल है), रूसी (जो एक अलग वर्णमाला का उपयोग करती है), और चीनी (जहाँ अक्षर ध्वनियों के बजाय पूरे शब्दों का प्रतिनिधित्व करते हैं)। इन सभी मामलों में, दृष्टिकोण ने अच्छी तरह से काम किया, टेक्स्ट की लंबाई को फिनिश के लिए 0.646, रूसी के लिए 0.468 और चीनी के लिए 0.668 के अनुपात में कम किया, जबकि अनुवाद की गुणवत्ता को बनाए रखा या उसमें सुधार किया। इतनी विविध भाषाओं में यह निरंतरता बताती है कि अनुमानित और अनावश्यक जानकारी को हटाने की क्षमता मानव भाषा का एक मौलिक गुण है, न कि केवल अंग्रेजी की कोई विशेषता।

अध्ययन ने इस स्मार्ट कंप्रेशन पद्धति की तुलना टेक्स्ट को छोटा करने के सरल, कम परिष्कृत तरीकों से भी की, जैसे कि सभी स्वरों (vowels) को हटाना या प्रत्येक शब्द के केवल पहले कुछ अक्षरों को रखना। ये कच्चे तरीके अनुवाद की गुणवत्ता बनाए रखने में विफल रहे, जिससे सिद्ध हुआ कि कुंजी केवल अक्षरों को हटाना नहीं है, बल्कि सही अक्षरों को हटाना है। शोधकर्ताओं ने प्रदर्शित किया कि एक मॉडल का उपयोग करके यह पहचानने के बाद कि टेक्स्ट के कौन से हिस्से वास्तव में अनुमानित हैं, वे शोर (noise) को हटाकर सिग्नल को बरकरार रख सकते हैं। यह दृष्टिकोण बड़े भाषा मॉडलों को चलाने की कम्प्यूटेशनल लागत को कम करने का एक व्यावहारिक तरीका प्रदान करता है, जिससे संभावित रूप से उन्हें कम शक्तिशाली हार्डवेयर पर तेज़ी से चलाया जा सकता है। यह कार्य सुझाव देता है कि वर्तमान में हम कंप्यूटर को प्रोसेस करने के लिए जो बाइट्स मजबूर करते हैं उनमें से कई अनावश्यक हैं, और यह मानकर कि मॉडल स्वयं अंतराल को भर सकता है, हम कम प्रयास के साथ समान परिणाम प्राप्त कर सकते हैं। हालांकि यह अध्ययन एक पायलट जांच है, इसके निष्कर्ष अधिक कुशल AI प्रानों की ओर एक स्पष्ट मार्ग प्रदान करते हैं जो हर एक अक्षर को स्पष्ट रूप से प्रोसेस करने के भारी बोझ के बिना विविध भाषाओं को संभाल सकते हैं।