चलते हुए लक्ष्य की पहेली (The Puzzle of the Moving Target)

कल्पना कीजिए कि आप एक रोबोट को एक बेहतरीन बातचीत करने वाला बनाना सिखा रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इन रोबोट्स को "एजेंट्स" कहा जाता है, और ये विशाल "लैंग्वेज मॉडल्स" द्वारा संचालित होते हैं—जो बेहद स्मार्ट कंप्यूटर हैं जिन्होंने इंटरनेट पर लगभग सब कुछ पढ़ लिया है, लेकिन बिना मदद के वे अपने आप नई चीजें नहीं सीख सकते। उन्हें उपयोगी बनाने के लिए, इंसान उन्हें "स्किल्स" (कौशल) देते हैं, जो बुनियादी तौर पर निर्देशों या नियमों के सेट होते हैं, जैसे कि ग्राहक की शिकायत को कैसे संभालना है या फ्लाइट कैसे बुक करनी है, इसका कोई रेसिपी जैसा निर्देश।

बड़ी समस्या यह है कि इन रोबोट्स को बेहतर कैसे बनाया जाए बिना उन इंसानों की एक फौज को काम पर रखे, जिन्हें हर एक जवाब को ग्रेड देने के लिए नियुक्त करना पड़े। गणित या कोडिंग में, यह आसान है: यदि आप कोड बदलते हैं, तो आप उसे चलाकर देख सकते हैं कि वह अभी भी काम करता है या नहीं। जवाब या तो सही होता है या गलत, और यह सिर्फ इसलिए नहीं बदलता क्योंकि आपने इसे अलग तरीके से लिखा है। लेकिन एक वास्तविक बातचीत में, चीजें बहुत उलझी हुई होती हैं। यदि एक रोबಗೊಳ उपयोगकर्ता को अपना जवाब बदलता है, तो उपयोगकर्ता की प्रतिक्रिया भी बदल जाती है। यह टेनिस सीखने की कोशिश करने जैसा है जहाँ आप मैच का वीडियो देखकर सीख रहे हैं, लेकिन हर बार जब आप अपने दिमाग में अपना स्विंग बदलते हैं, तो वीडियो में गेंद जादुई रूप से किसी दूसरी जगह पर चली जाती है। आप यह कैसे बता सकते हैं कि आपका नया स्विंग बेहतर है, क्योंकि "लक्ष्य" (गेंद) लगातार अपनी जगह बदल रहा है। यह पेपर ठीक इसी सिरदर्द को हल करता है: आप एक रोबोट को बातचीत करने के बेहतर कौशल कैसे सिखा सकते हैं जब उसे मिलने वाला फीडबैक लगातार बदल रहा हो?

भविष्य की भविष्यवाणी करने का जादू (बिना टाइम ट्रैवल के)

इस पेपर के लेखकों ने, जो एक बड़ी टेक कंपनी में कार्यरत हैं, इस "चलते हुए लक्ष्य" वाली समस्या का एक चतुर समाधान निकाला है। एक नए जवाब से उपयोगकर्ता क्या करेगा, इसका अनुमान लगाने की कोशिश करने के बजाय (जिसे पुराने डेटा पर जांचना असंभव है), उन्होंने रोबोट को पहले एक अलग कौशल सिखाने का फैसला किया: भविष्य की भविष्यवाणी करना।

इसे एक स्पोर्ट्स कोच की तरह समझें जो गेम फुटेज की समीक्षा कर रहा है। कोच खिलाड़ी की पिछली चालों को बदलने की कोशिश नहीं करता यह देखने के लिए कि क्या होता। इसके बजाय, कोच एक विशिष्ट खेल को देखता है जो पहले ही हो चुका है और पूछता है, "इस खिलाड़ी ने यहाँ जो किया, उसके आधार पर दूसरी टीम आगे क्या करने वाली थी?"

इस अध्ययन में, शोधकर्ताओं ने एक सेल्स असिस्टेंट बॉट और वास्तविक ग्राहकों के बीच हुई रिकॉर्ड की गई बातचीत का एक समूह लिया। उन्होंने बातचीत के एक विशिष्ट क्षण को देखा जहाँ बॉट ने एक उत्तर दिया, और फिर उन्होंने देखा कि ग्राहक ने वास्तव में आगे क्या किया। क्या ग्राहक ने कहा "बहुत अच्छा, धन्यवाद!" और आगे बढ़ गया? या उन्होंने कहा, "इससे मदद नहीं मिली," और एक नया सवाल पूछा?

टीम ने एक विशेष "प्रेडिक्शन स्किल" (भवितावाणी कौशल) को प्रशिक्षित किया जो बॉट के उत्तर को देखे और अनुमान लगाए: "क्या उपयोगकर्ता इससे खुश होगा, या वह उलझा हुआ रह जाएगा?" यहाँ असली जादू यह है कि क्योंकि बातचीत पहले ही हो चुकी है, शोधकर्ताओं को जवाब पता है। वे यह जांच सकते हैं कि उनका अनुमान सही था या गलत। यह एक उलझी हुई, चलती हुई लक्ष्य वाली समस्या को एक स्थिर, हल होने वाली पहेली में बदल देता है।

रोबोट खुद को विकसित करना कैसे सीखता है

एक बार जब रोबोट यह अनुमान लगाने में बहुत कुशल हो गया कि उपयोगकर्ता संतुष्ट होगा या नहीं, तो शोधकर्ताओं ने उस कौशल का उपयोग बॉट के वास्तविक उत्तरों को सुधारने के लिए किया। यहाँ वह चरण-दर-चरण प्रक्रिया दी गई है जिसका उन्होंने उपयोग किया:

1. द क्रिटिक (आलोचक): रोबोट एक आलोचक के रूप में कार्य करता है। वह एक बातचीत को देखता है और कहता है, "मेरे सीखे गए नियमों के आधार पर, बॉट द्वारा दिया गया यह विशिष्ट उत्तर उपयोगकर्ता को नाखुश करने वाला था क्योंकि यह बहुत अस्पष्ट था।"
2. द एडिटर (संपादक): फिर रोबोट उस समस्या को ठीक करने के लिए निर्देशों का एक नया सेट (एक "स्किल") लिखने की कोशिश करता है।
3. द टेस्ट (परीक्षण): इन नए निर्देशों को उपयोग करने की अनुमति मिलने से पहले, "क्रिटिक" उन्हें पुराने, रिकॉर्ड किए गए डेटा के विरुद्ध जाँचता है। क्रिटिक पूछता है, "यदि हम इन नए नियमों को मूल उत्तरों के परिणाम की भविष्यवाणी करने के लिए लागू करते हैं जो हमने पहले ही देखे हैं, तो क्या हमारी भविष्यवाणी की सटीकता में सुधार होता है?"
4. द गेटकीपर (द्वारपाल): यदि नए नियम मूल डेटा के बारे में भविष्यवाणियों को अधिक सटीक बनाते हैं, तो बदलाव को रखा जाता है। यदि वे चीजों को बदतर बनाते हैं या मदद नहीं करते हैं, तो बदलाव को फेंक दिया जाता है।

इसे "वैलिडेशन-गेटेड" (सत्यापन-गेटेड) इवोल्यूशन कहा जाता है। यह एक सख्त संपादक की तरह है जो आपको कहानी में बदलाव तभी करने देता है जब आप मूल ड्राफ्ट का उपयोग करके साबित कर सकें कि आपके बदलाव तर्कसंगत हैं। महत्वपूर्ण रूप से, पेपर नोट करता है कि जबकि यह प्रक्रिया एक बेहतर "क्रिटिक" बनाती है जो समझती है कि एक अच्छा उत्तर क्या होता है, यह दावा नहीं करती कि अंतिम "आंसर" (उत्तर) स्किल स्वयं अभी पूरी तरह से परफेक्ट है। प्रेडिक्शन स्किल एक डायग्नोस्टिक टूल बन जाता है जो ठीक से बताता है कि उत्तर में क्या गलत है, लेकिन उत्तर निर्माण का वास्तविक सुधार एक अलग चरण है जिसके लिए अभी सत्यापन की आवश्यकता है।

परिणाम: 75% और "सेल्स असिस्टेंट" टेस्ट

टीम ने इस पद्धति का परीक्षण एक वास्तविक दुनिया के सेल्स असिस्टेंट डेटासेट पर किया। उन्होंने डेटा को बहुत सावधानी से साफ किया, उन भ्रमित करने वाली बातचीत को हटा दिया जहाँ यह स्पष्ट नहीं था कि उपयोगकर्ता खुश था या नहीं। उन्होंने यह सुनिश्चित किया कि परीक्षण के लिए उनके पास "खुश" और "नाखुश" उदाहरणों की समान संख्या हो।

परिणाम क्या रहा? विकसित प्रेडिक्शन स्किल सफलतापूर्वक अनुमान लगाने में सक्षम था कि उपयोगकर्ता संतुष्ट होगा या नहीं—75% से अधिक समय तक।

यह एक बड़ी बात है क्योंकि एक रैंडम गेस (यादृच्छिक अनुमान) केवल 50% बार ही सही होता है। तथ्य यह है कि रोबोट ने एक "नकली" समाधान (जैसे केवल "ठीक है" कहना या एक जेनेरिक लिंक भेजना) और एक "वास्तविक" समाधान (एक विशिष्ट, कार्रवाई योग्य योजना देना) के बीच अंतर करना सीख लिया, यह दर्शाता है कि उसने वास्तव में कुछ उपयोगी सीखा है।

इसका क्या अर्थ है (और क्या नहीं है)

पेपर इस बारे में बहुत ईमानदार है कि यह विधि क्या कर सकती है और क्या नहीं। यह ऑफलाइन लर्निंग के लिए एक शक्तिशाली उपकरण है। इसका मतलब है कि डेवलपर्स अपने कंप्यूटर पर हजारों अलग-अलग बातचीत के नियमों को आजमा सकते हैं बिना वास्तविक ग्राहकों को परेशान किए। वे बुरे विचारों को फ़िल्टर कर सकते हैं और केवल सबसे अच्छे विचारों को वास्तविक दुनिया में ला सकते हैं।

हालाँकि, लेखक सावधान करते हैं कि यह कोई जादुई छड़ी नहीं है जो सब कुछ हल कर दे।

• यह कोई भविष्य बताने वाला यंत्र (Crystal Ball) नहीं है: केवल इसलिए कि रोबोट पुराने डेटा के आधार पर भविष्यवाणी करता है कि उपयोगकर्ता खुश होगा, यह गारंटी नहीं देता कि एक बिल्कुल नया प्रकार का उत्तर लाइव चैट में पूरी तरह से काम करेगा। वास्तविक दुनिया हमेशा बदलती रहती है।
• इसे अंतिम जांच की आवश्यकता है: पेपर का तर्क है कि आपको अभी भी यह सुनिश्चित करने के लिए मानव न्यायाधीशों या लाइव टेस्ट की आवश्यकता है कि अंतिम रोबोट वास्तव में अच्छा है। प्रेडिक्शन स्किल एक सुरक्षा जाल और एक मार्गदर्शक है, अंतिम निर्णायक नहीं।

संक्षेप में, यह पेपर "चलते हुए लक्ष्य" की समस्या को रोकने का एक शानदार तरीका प्रदान करता है। पिछली बातचीत के परिणामों की भविष्यवाणी करने के लिए AI को सिखाकर, उन्होंने एक स्थिर प्रशिक्षण मैदान तैयार किया है। यह AI को अपने स्वयं के कौशल विकसित करने की अनुमति देता है, यह सीखने के लिए कि एक विनम्र लेकिन बेकार उत्तर और एक जो वास्तव में किसी समस्या को हल करता है, के बीच अंतर कैसे किया जाए, और यह सब वास्तविक उपयोगकर्ताओं को बुरे प्रयोगों से सुरक्षित रखते हुए किया जाता है। यह उन रोबोट्स की ओर एक कदम है जो खुद को बेहतर सुनने वाला बनाने के लिए खुद को सिखा सकते हैं, एक समय में एक रिकॉर्ड की गई बातचीत के साथ।