You Can Learn Tokenization End-to-End with Reinforcement Learning
यह शोध पत्र वेरिएन्स को कम करने के लिए स्कोर फंक्शन अनुमानों (score function estimates) और टाइम डिस्काउंटिंग (time discounting) के साथ सुदृढीकरण लर्निंग (reinforcement learning) का उपयोग करके एंड-टू-एंड टोकनाइज़ेशन सीखने का प्रस्ताव देता है, जो यह प्रदर्शित करता है कि यह दृष्टिकोण 100 मिलियन पैरामीटर स्केल पर पूर्ववर्ती स्ट्रेट-थ्रू (straight-through) विधियों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कंप्यूटर स्वाभाविक रूप से मानव भाषा को नहीं समझते; वे केवल संख्याओं को समझते हैं। इस अंतर को पाटने के लिए, टेक्स्ट को प्रोसेस करने वाले आर्टिफिशियल इंटेलिजेंस सिस्टम को पहले शब्दों और वाक्यों को संख्याओं की एक ऐसी धारा में अनुवादित करना होता है जिसे वे पचा सकें। वर्षों तक, ऐसा करने के लिए मानक विधि एक कठोर, पूर्व-निर्धारित कदम रही है जिसे टोकनाइज़ेशन (tokenization) कहा जाता है। इस प्रक्रिया को एक ऐसे लाइब्रेरियन की तरह समझें जो, किसी पुस्तक को मशीन द्वारा पढ़े जाने से पहले, उसे एक निश्चित नियम पुस्तिका के आधार पर विशिष्ट, पूर्व-निर्धारित टुकड़ों में काट देता है। यह नियम पुस्तिका तय करती है कि एक शब्द कहाँ समाप्त होता है और दूसरा कहाँ शुरू होता है, और अक्सर सामान्य अक्षर संयोजनों को एक साथ जोड़ देती है। हालाँकि यह अच्छी तरह से काम करता है, लेकिन यह एक मैनुअल, स्थिर कदम है जो आर्टिफिशियल इंटेलिजेंस के मस्तिष्क से बाहर, सीखने की प्रक्रिया से अलग स्थित है। जैसे-जैसे ये डिजिटल दिमाग बड़े और अधिक सक्षम होते जा रहे हैं, वैज्ञानिक यह सोचने लगे हैं कि क्या यह कठोर, पूर्व-निर्धारित दृष्टिकोण उन्हें पीछे खींच रहा है, और क्या मशीन खुद टेक्स्ट को इस तरह काटने के लिए सीख सकती है जो उसके अपने आंतरिक तर्क के अनुकूल हो।
ETH ज्यूरिख के शोधकर्ताओं की एक टीम ने उस प्रश्न का उत्तर देने की दिशा में एक महत्वपूर्ण कदम उठाया है, जिसमें उन्होंने एक आर्टिफिशियल इंटेलिजेंस को बिना किसी पूर्व-लिखित नियमों के, शून्य से अपना टेक्स्ट खुद काटने के लिए प्रशिक्षित किया है। अपने नए कार्य में, उन्होंने प्रदर्शित किया कि एक कंप्यूटर मॉडल को यह तय करने के लिए प्रशिक्षित किया जा सकता है कि टेक्स्ट के टुकड़ों के बीच की सीमाएँ ठीक कहाँ रखी जाएँ, और यह केवल अपनी गलतियों को कम करने की कोशिश करके संभव हुआ। एक निश्चित मैनुअल का पालन करने या स्पेस और विराम चिह्नों के आधार पर एक चतुर अनुमान लगाने के बजाय, मॉडल 'ट्रायल-एंड-एरर' (प्रयास और त्रुटि) के दृष्टिकोण का उपयोग करता है, जो ठीक वैसा ही है जैसे कोई जानवर भूलभुलैया में रास्ता बनाना सीखता है। यह स्टोकेस्टिक रूप से (stochastically) अनुमान लगाता है कि कट कहाँ लगाया जाना चाहिए, देखता है कि वह टेक्स्ट के अगले भाग की कितनी अच्छी भविष्यवाणी करता है, और फिर अपनी रणनीति को समायोजित करता है। यदि कोई अनुमान बेहतर भविष्यवाणी की ओर ले जाता है, तो मॉडल उस निर्णय को सुदृढ़ करता है; यदि वह भ्रम की स्थिति पैदा करता है, तो वह कुछ और आज़माता है। समय के साथ, मॉडल भाषा को तोड़ने का अपना इष्टतम तरीका खोज लेता है, प्रभावी रूप से भाषा सीखते समय टोकनाइज़ेशन के नियमों को स्वयं ही सिखा लेता है।
शोधकर्ताओं ने पाया कि जब उन्होंने मॉडल को इस तरह सीखने दिया, तो इसने स्वाभाविक रूप से वहीं कट लगाना शुरू कर दिया जहाँ मनुष्य लगाते हैं, जैसे कि शब्दों के बीच के स्पेस पर या वाक्यों के अंत में, भले ही इसे ऐसा करने के लिए कोई निर्देश नहीं दिया गया था। यह तब हुआ जब मॉडल को व्याकरण या भाषा की संरचना के बारे में कोई विशिष्ट निर्देश नहीं दिया गया था। सौ मिलियन से अधिक पैरामीटर्स वाले डेटासेट का उपयोग करते हुए किए गए परीक्षणों में, यह स्व-शिक्षित दृष्टिकोण उन पिछले तरीकों की तुलना में अधिक प्रभावी साबित हुआ जो एक अलग, कम प्रत्यक्ष गणितीय तकनीक का उपयोग करके सीमाओं को सीखने की कोशिश करते थे। नया तरीका न केवल बेहतर परिणाम देता था, बल्कि उन प्रणालियों के प्रदर्शन से भी मेल खाता था जो पारंपरिक, हस्तनिर्मित नियम पुस्तिकाओं पर निर्भर करती हैं, बावजूद इसके कि इसे उन नियमों का कोई पूर्व ज्ञान नहीं था।
इस खोज के सबसे आश्चर्यजनक पहलुओं में से एक यह है कि मॉडल ने कुशल होना सीखा। इसने डेटा के बाइट्स को ऐसे टुकड़ों में समूहित करना सीख लिया जो उसके विशिष्ट कार्य के लिए सार्थक थे, चाहे वह सामान्य टेक्स्ट पढ़ना हो या कंप्यूटर कोड को समझना हो। जब शोधकर्ताओं ने पायथन (Python) कोड पर मॉडल का परीक्षण किया, तो इसने फंक्शन के नामों की शुरुआत में नए टुकड़े बनाना सीखा और कुछ सामान्य वाक्यांशों को एक साथ रखा, जो कोड की संरचना की उसकी सहज समझ को दर्शाता है। यह सुझाव देता है कि मॉडल केवल पैटर्न को याद नहीं कर रहा है, बल्कि वह सक्रिय रूप से एक ऐसी रणनीति विकसित कर रहा है जो उसके द्वारा प्रोसेस किए जा रहे टेक्स्ट के अर्थ के साथ मेल खाती है।
अध्ययन ने एक प्रमुख बाधा को भी संबोधित किया जिसने पहले इस प्रकार के सीखने को कठिन बना दिया था: लर्निंग सिग्नल में शोर (noise)। क्योंकि टेक्स्ट को काटने का निर्णय एक बाइनरी विकल्प है—या तो आप यहाँ काटते हैं या नहीं—तो मॉडल को यह बताना गणितीय रूप से कठिन है कि सुधार कैसे किया जाए। शोधकर्ताओं ने इसे 'रिनफोर्समेंट लर्निंग' (reinforcement learning) से तकनीक उधार लेकर हल किया, जो एक ऐसा क्षेत्र है जहाँ एजेंट पुरस्कारों और दंडों के माध्यम से सीखते हैं। उन्होंने एक ऐसी विधि पेश की जो शोर को कम करती है, जिससे मॉडल यह देख पाता कि लंबी टेक्स्ट स्ट्रिंग में उसके कौन से विशिष्ट निर्णयों के कारण सफलता या विफलता हुई। इसने मॉडल को बिना अत्यधिक कंप्यूटिंग शक्ति की आवश्यकता के प्रभावी ढंग से सीखने में सक्षम बनाया।
हालाँकि वर्तमान प्रयोग विशिष्ट आकार के मॉडलों पर किए गए थे, लेकिन परिणाम आर्टिफिशियल इंटेलिजेंस के भविष्य के लिए एक सम्मोहक दृष्टि प्रदान करते हैं। टेक्स्ट को तैयार करने के लिए एक अलग, पूर्व-निर्धारित चरण की आवश्यकता को हटाकर, शोधकर्ताओं ने दिखाया है कि भाषा प्रसंस्करण एक पूर्णतः एकीकृत, एंड-टू-एंड लर्निंग प्रक्रिया बन सकती है। मॉडल न केवल बोलना सीखता है; वह सुनना भी सीखता है और दुनिया को सबसे कुशल तरीके से समझने के लिए उसे विभाजित करना भी सीखता है। यह दृष्टिकोण अंततः ऐसे सिस्टम की ओर ले जा सकता है जो उन भाषाओं और डेटा प्रकारों को संभाल सकें जिनके लिए कोई मानव-डिज़ाइन किया गया नियम पुस्तिका मौजूद नहीं है, जिससे आर्टिफिशियल इंटेलिजेंस अधिक अनुकूलन योग्य और समावेशी बन सके। यह कार्य सुझाव देता है कि जिस तरह से हम मशीनों को डेटा खिलाते हैं, उसका कठोर, शिल्पकार-निर्मित डिज़ाइन जल्द ही एक अधिक तरल, स्व-खोज पद्धति द्वारा प्रतिस्थापित किया जा सकता है, जहाँ मशीन अपने स्वयं के शब्दों में दुनिया को पढ़ने का सबसे अच्छा तरीका खुद सीख लेती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।