कल्पना कीजिए कि आप एक रोबोट को एक कहानी समझना सिखाने की कोशिश कर रहे हैं। आप उसे केवल एक तस्वीर नहीं देते; आप उसे एक पूरा वाक्य, शब्द दर शब्द देते हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "सीक्वेंशियल डेटा" (sequential data) कहा जाता है। लंबे समय तक, इन कहानियों को संभालने के लिए रोबोट को सिखाने का सबसे अच्छा तरीका "अटेंशन" (attention) नामक एक विशेष उपकरण का उपयोग करना रहा है। अटेंशन को एक जादुई हाइलाइटर की तरह समझें। जब रोबोट एक वाक्य पढ़ता है, तो हाइलाइटर केवल एक शब्द पर नहीं रुकता; वह पूरे वाक्य को स्कैन करता है, यह तय करता है कि कौन से शब्द एक-दूसरे के लिए सबसे महत्वपूर्ण हैं। यदि रोबोट "The cat sat on the mat" पढ़ता है, तो "sat" देखते समय हाइलाइटर "cat" पर सबसे अधिक चमक सकता है, और "on" देखते समय "mat" पर। यह रोबोट को शब्दों के क्रम के बजाय उनका अर्थ समझने में मदद करता है।

लेकिन रोबोट वास्तव में इस हाइलाइटर का उपयोग करना कैसे सीखता है? यह "स्टोकेस्टिक ग्रेडिएंट डिसेंट" (Stochastic Gradient Descent - SGD) नामक एक विधि का उपयोग करता है। कल्पना कीजिए कि रोबोट एक हाइकर (पगडंडी पर चलने वाला) है जो एक धुंधली घाटी के सबसे निचले बिंदु (सबसे अच्छे संभावित उत्तर) को खोजने की कोशिश कर रहा है। हाइकर पूरे दृश्य को नहीं देख सकता, इसलिए वह नीचे की ओर छोटे, यादृच्छिक (random) कदम लेता है, अपने पैरों से जमीन को महसूस करता है। यदि वह ऐसा कदम लेता है जिससे वह और नीचे जाता है, तो वह उसी दिशा में आगे बढ़ता रहता है। यदि उसे कोई बाधा आती है, तो वह एक अलग दिशा आजमाता है। वैज्ञानिकों का बड़ा सवाल यह है: हाइकर कितनी तेजी से तलहटी तक पहुँच सकता है? क्या घाटी का आकार मायने रखता है? क्या केवल एक स्थिर तस्वीर को देखने की तुलना में, शब्दों के एक "अनुक्रम" (sequence) के माध्यम से चलना खेल को बदल देता है?

स्विट्जरलैंड और फ्रांस के शीर्ष संस्थानों के शोधकर्ताओं की एक टीम द्वारा लिखा गया यह शोध पत्र इसी सटीक प्रश्न में गहराई से उतरता है। उन्होंने इस "अटेंशन" तंत्र के एक एकल स्तर का उपयोग करके डेटा के अनुक्रमों से सीखने वाले एक रोबोट का एक सरलीकृत गणितीय मॉडल बनाया। वे यह देखना चाहते थे कि रोबोट की सीखने की गति दो चीजों के आधार पर कैसे बदलती है: शब्दों का अनुक्रम कितना लंबा है, और क्या रोबोट के पास एक विशेष "पोजीशनल एनकोडिंग" (एक तरीका जिससे उसे पता चलता है कि पहला शब्द पहला है, दूसरा दूसरा है, इत्यादि) है। उन्होंने पाया कि रोबोट की सीखने की गति केवल इस बात पर निर्भर नहीं करती कि रोबोट कितना स्मार्ट है, बल्कि उस पहेली की छिपी हुई संरचना पर निर्भर करती है जिसे वह हल करने की कोशिश कर रहा है।

दो-चरणीय यात्रा

शोधकर्ताओं ने पाया कि रोबोट की सीखने की यात्रा दो विशिष्ट चरणों में होती है, जैसे कि दो स्तरों वाला एक वीडियो गेम।

स्तर 1: समतल भूमि से बाहर निकलना (Escaping the Flatlands)
जब रोबोट शुरू करता है, तो वह कुछ नहीं जानता। उसकी आंतरिक सेटिंग्स यादृच्छिक होती हैं, जैसे कि एक हाइकर को एक पूरी तरह से सपाट, धुंधले मैदान के बीच में छोड़ दिया गया हो। इस "गैर-सूचनात्मक" (uninformative) अवस्था में, रोबोगी सही उत्तर का अनुमान लगाने के लिए उतना ही सक्षम है जितना गलत का। सीखने का पहला चरण इस सपाट मैदान से बाहर निकलने का संघर्ष है। रोबोट को एक सूक्ष्म ढलान खोजने की आवश्यकता है जो उसे सही दिशा की ओर संकेत दे। शोधकर्ताओं ने पाया कि यह कितना कठिन है, यह उनके द्वारा कहे गए "सीक्वेंस इंफॉर्मेशन एक्सपोनेंट" (SIE) पर निर्भर करता है।

SIE को पहेली की "कठिनाई रेटिंग" के रूप में समझें।

• यदि पहेली सरल है (SIE = 1), तो सपाट मैदान में एक कोमल, स्पष्ट ढलान है। रोबोट जल्दी रास्ता खोज लेता है।
• यदि पहेली कठिन है (SIE = 2 या अधिक), तो मैदान अधिक सपाट है, या ढलान छिपी हुई है। रोबोट को जमीन के झुकाव को महसूस करने के लिए कई कदम लेने पड़ते हैं। शोधकर्ताओं ने सिद्ध किया कि इन कठिन पहेलियों के लिए, रोबोट को डेटा के आकार के एक विशिष्ट तरीके से बढ़ने वाले कदमों की आवश्यकता होती है। उदाहरण के लिए, यदि पहेली "कठिन" है (SIE = 2), तो रोबोट को शुरू करने के लिए डेटा के आकार के वर्ग के अनुपात में कदम लेने पड़ सकते हैं।

स्तर 2: फिनिश लाइन की ओर दौड़ (The Sprint to the Finish)
एक बार जब रोबोट समतल भूमि से बाहर निकल जाता है और एक हल्की ढलान पा लेता है, तो दूसरा चरण शुरू होता है। यह "अलाइनमेंट" (alignment) चरण है। रोबोट अचानक तेज चलने लगता है, सही उत्तर की ओर तेजी से बढ़ता है। शोधकर्ताओं ने दिखाया कि एक बार जब रोबोट को थोड़ी सी समझ मिल जाती है, तो वह घातीय रूप से (exponentially) तेजी से सही पैटर्न को पकड़ लेता है। कठिन काम हमेशा शुरुआत का होता है; अंत आमतौर पर एक दौड़ होती है।

स्थिति और लंबाई का जादू

इस शोध पत्र का सबसे रोमांचक हिस्सा यह है कि रोबोट की "पोजीशनल एनकोडिंग" खेल को कैसे बदल देती है। कई AI मॉडलों में, रोबोट स्वाभाविक रूप से यह नहीं जानता कि "शब्द 1" "शब्द 2" से पहले आता है। हमें इसे एक विशेष कोड देना पड़ता है, जैसे कि एक नंबर टैग, ताकि यह बताया जा सके कि प्रत्येक शब्द पंक्ति में कहाँ स्थित है।

टीम ने पाया कि ये पोजीशन टैग जोड़ने से सीखने की गति को बदलने वाला एक तंत्र काम कर सकता है। कुछ मामलों में, टैग शुरुआत में "सपाट मैदान" के आकार को बदल देते हैं। एक सपाट, भ्रमित करने वाले ढेर के बजाय, टैग शुरुआत से ही एक ढलान बना देते हैं। इसका मतलब है कि रोबोट यादृच्छिक अनुमान की "औसतता" से बहुत तेजी से बाहर निकल सकता है। वास्तव में, कुछ प्रकार की पहेलियों के लिए, पोजीशन टैग जोड़ने से रोबोट को आवश्यक कदमों की संख्या एक बहुत बड़ी संख्या से घटकर बहुत छोटी संख्या रह जाती है। यह अंधेरे में घास के ढेर में सुई खोजने और एक चुंबक होने के बीच के अंतर जैसा है जो सुई को तुरंत बाहर खींच लेता है।

उन्होंने अनुक्रम की लंबाई (शब्दों की संख्या) का सीखने पर पड़ने वाले प्रभाव को भी देखा। उन्होंने एक "टाइड" (tied) मॉडल (जहाँ रोबोट अनुक्रम के हर शब्द के लिए समान नियमों का उपयोग करता है) की तुलना एक "अनटाइड" (untied) मॉडल (जहाँ रोबोट के पास प्रत्येक शब्द के लिए एक अद्वितीय सेट के नियम हैं) से की।

आश्चर्यजनक रूप से, "टाइड" मॉडल अक्सर बहुत तेजी से सीखता है। कल्पना कीजिए कि आप एक गाना सीखने की कोशिश कर रहे हैं। यदि आपको हर एक नोट के लिए एक पूरी तरह से नया धुन सीखना पड़ता है (अनटाइड), तो इसमें बहुत समय लगता है। लेकिन यदि आप महसूस करते हैं कि गाना एक दोहराव वाले पैटर्न का पालन करता है (टाइड), तो आप केवल उस एक पैटर्न में महारत हासिल करके पूरी चीज़ सीख सकते हैं। शोधकर्ताओं ने दिखाया कि कई समस्याओं के लिए, टाइड मॉडल को अनुक्रम की लंबाई के वर्ग के अनुपात में कदमों में सीखा जा सकता है, जबकि अनटाइड मॉडल संघर्ष कर सकता है या बहुत अधिक समय ले सकता है। हालांकि, उन्होंने "पैथोलॉजिकल" (pathological) मामले भी पाए—बहुत विशिष्ट, अजीब पहेलियाँ जहाँ टाइड मॉडल फंस जाता है क्योंकि वह पैटर्न जिसे वह ढूंढ रहा है वह खुद को रद्द कर देता है, जबकि अनटाइड मॉडल, अपनी लचीलेपन के साथ, इसे अभी भी हल कर सकता है।

फेज डायग्राम: सफलता और विफलता का मानचित्र

अंत में, टीम ने एक "फेज डायग्राम" (phase diagram) बनाया, जो सीखने के लिए एक मौसम मानचित्र की तरह है। उन्होंने दो प्रकार के कार्यों को मिलाया: "सिमेंटिक" कार्य (जहाँ शब्दों का अर्थ मायने रखता है, जैसे "cat" + "sat") और "पोजीशनल" कार्य (जहाँ क्रम मायने रखता है, जैसे "first" + "second")।

उन्होंने पाया कि कार्य कितना अर्थ (meaning) बनाम स्थिति (position) पर निर्भर करता है, इसके आधार पर रोबोट अलग तरह से व्यवहार करता है।

• कभी-कभी, रोबोट स्वाभाविक रूप से वैश्विक सर्वोत्तम उत्तर (वास्तविक अर्थ) पा लेता है।
• अन्य समय में, वह धोखा खा जाता है। वह एक "लोकल मिनिमम" (local minimum) में फंस सकता है, जो जमीन में एक छोटे गड्ढे की तरह है जो घाटी के निचले हिस्से जैसा दिखता है लेकिन वह नहीं है। रोबोट वहां फंस जाता है, यह सोचकर कि उसने जीत लिया है, लेकिन वास्तव में उसने गलत चीज़ सीखी है (उदाहरण के लिए, उसने शब्दों के अर्थ के बजाय उनकी स्थिति पर ध्यान देना सीख लिया)।

शोधकर्ताओं ने दिखाया कि एक विशिष्ट टिपिंग पॉइंट (tipping point) होता है। यदि कार्य मुख्य रूप से स्थिति के बारे में है, तो रोबोट पोजीशनल उत्तर की ओर जाएगा। यदि यह मुख्य रूप से अर्थ के बारे में है, तो यह अर्थ की ओर जाएगा। लेकिन बीच में, रोबोट की शुरुआती स्थिति और वह विशिष्ट "ढलान" जो वह बिल्कुल शुरुआत में महसूस करता है, यह निर्धारित करती है कि वह सफल होगा या किसी स्थानीय जाल में फंस जाएगा।

इसका क्या अर्थ है

यह शोध पत्र केवल यह नहीं कहता कि "AI बेहतर हो रहा है।" यह एक कठोर, गणितीय मानचित्र प्रदान करता है कि क्यों अटेंशन-आधारित मॉडल अनुक्रमों को संभालने में इतने अच्छे हैं। यह सिद्ध करता है कि डेटा की संरचना (अनुक्रम) और जिस तरह से हम इसे रोबोट को देते हैं (पोजीशनल एनकोडिंग), वे केवल मामूली विवरण नहीं हैं; वे मौलिक लीवर हैं जो यह नियंत्रित करते हैं कि रोबोट कितनी तेजी से और कितनी अच्छी तरह सीखता है।

लेखकों ने अपने इन परिणामों को दिखाने के लिए भारी गणितीय प्रमाणों और कंप्यूटर सिमुलेशन के मिश्रण का उपयोग किया। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने गणना की कि विभिन्न स्थितियों के तहत रोबोट को सीखने के लिए कितने चरणों की आवश्यकता होती है। उन्होंने दिखाया कि जबकि अटेंशन तंत्र शक्तिशाली हैं, वे जादुई नहीं हैं—उनकी विशिष्ट सीमाएं और विशिष्ट ताकतें हैं। यदि आप उन्हें सही प्रकार का डेटा स्ट्रक्चर और शुरुआती संकेत (पोजीशनल एनकोडिंग) देते हैं, तो वे अविश्वसनीय गति के साथ जटिल अनुक्रमिक पहेलियों को हल कर सकते हैं। लेकिन यदि पहेली इस तरह से संरचित है कि वह सुरागों को छिपा देती है, तो सबसे बुद्धिमान रोबोट भी चक्कर काटता रह सकता है।

संक्षेप में, यह कार्य अगली पीढ़ी के AI के लिए "लर्निंग कर्व" (सीखने की वक्र) की स्पष्ट समझ देता है। यह हमें बताता है कि बेहतर रोबोट बनाने के लिए, हमें उन्हें केवल बड़ा नहीं बनाना चाहिए; हमें उन समस्याओं की ज्यामिति को समझना होगा जिन्हें वे हल करने की कोशिश कर रहे हैं और उन्हें शुरुआती रेखा से आगे बढ़ने के लिए सही प्रकार की "पोशनल" मदद देनी होगी।