Learning User Simulators with Turing Rewards
यह शोध पत्र ट्यूरिंग-आरएल (Turing-RL) प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो एक डिस्क्रिमिनेटिव ट्यूरिंग रिवॉर्ड के माध्यम से वास्तविक मनुष्यों से अविभेद्यता के लिए अनुकूलन करके उपयोगकर्ता सिम्युलेटर को प्रशिक्षित करता है, जो कन्वर्सेशनल चैट और रेडिट फोरम दोनों डोमेन में पारंपरिक रिस्पॉन्स-मैचिंग बेसलाइन की तुलना में बेहतर प्रदर्शन प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को किसी विशिष्ट व्यक्ति, जैसे कि आपके मित्र "एलेक्स" की तरह बनने के लिए सिखाने की कोशिश कर रहे हैं।
आमतौर पर, जब हम AI को प्रशिक्षित करते हैं, तो हम एक सख्त शिक्षक की तरह व्यवहार करते हैं। हम रोबोट को एक प्रश्न और एलेक्स द्वारा दिया गया सटीक उत्तर दिखाते हैं, और कहते हैं, "इसे याद कर लो! अगर तुमने कुछ और कहा, तो तुम गलत हो।" रोबट एलेक्स के शब्दों को यथासंभव करीब से कॉपी करने की कोशिश करता है।
लेकिन इस शोध पत्र के लेखक तर्क देते हैं कि यह दृष्टिकोण मूल बात को समझने में विफल रहता है। असली लोग उलझे हुए और रचनात्मक होते हैं। यदि आप कल एलेक्स से वही प्रश्न पूछें, तो वे एक पूरी तरह से अलग उत्तर दे सकते हैं जो फिर भी 100% "एलेक्स" ही होगा। एक रोबोट जो केवल एक विशिष्ट उत्तर को रट लेता है, वह एक तोते की तरह है; वह एलेक्स की तरह तभी लगता है जब वह ठीक उसी वाक्यांश को दोहराता है।
नया विचार: "ट्यूरिंग टेस्ट" कोच
एक सख्त शिक्षक होने के बजाय, लेखक एक नई विधि का प्रस्ताव करते हैं जिसे Turing-RL कहा जाता है। इसे एक "ट्यूरिंग टेस्ट" कोच के साथ रोबोट को प्रशिक्षित करने के रूप में समझें।
यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:
- सेटअप: रोबोट (छात्र) को एक बातचीत का इतिहास और एक प्रॉम्प्ट दिया जाता है। उसे अनुमान लगाना होता है कि एलेक्स आगे क्या कहेगा।
- प्रतियोगिता: रोबोट कुछ संभावित उत्तर तैयार करता है। साथ ही, हमारे पास वास्तविक उत्तर है जो एलेक्स ने अतीत में वास्तव में दिया था।
- जज (न्यायाधीश): एक बहुत ही बुद्धिमान AI (जज) रोबोट के उत्तर और वास्तविक मानव के उत्तर को देखता है। उसे इस बात की परवाह नहीं है कि शब्द समान हैं या नहीं। इसके बजाय, वह पूछता है: "इन दोनों में से कौन सा अधिक वास्तविक मानव जैसा लगता है?"
- पुरस्कार: यदि रोबोट का उत्तर इतना प्रभावशाली है कि जज अंतर नहीं कर पाता कि वह असली इंसान है या नहीं, तो रोबोट को उच्च स्कोर (एक "ट्यूरिंग रिवॉर्ड") मिलता है। यदि जज उसे एक रोबोट के रूप में पहचान लेता है, तो उसे कम स्कोर मिलता है।
रोबोट इस खेल को जीतने की कोशिश करके सीखता है। वह सटीक शब्दों को कॉपी करने की कोशिश करना छोड़ देता है और उस वाइब (vibe), शैली और व्यक्तित्व को पकड़ने की कोशिश करने लगता है जो उस इंसान का है।
यह क्यों महत्वपूर्ण है (परिणाम)
शोधकर्ताओं ने इसका परीक्षण दो अलग-अलग "प्लेग्राउंड" पर किया:
- चैट (Chat): एक अनौपचारिक टेक्स्ट मैसेज बातचीत की तरह।
- रेडिट (Reddit): किसी समाचार लेख के कमेंट सेक्शन की तरह।
उन्होंने अपने नए "ट्यूरिंग कोच" तरीके की तुलना पुराने "सख्त शिक्षक" तरीकों (जो केवल शब्दों को मिलाने की कोशिश करते हैं) से की।
निष्कर्ष स्पष्ट थे:
- "ट्यूरिंग" रोबोट को पहचानना बहुत कठिन था। जब मनुष्यों और अन्य AI ने बातचीत को देखा, तो वे पुराने तरीकों की तुलना में रोबोट और वास्तविक व्यक्ति के बीच अंतर उतनी ही बार कर पाए।
- उन्होंने अर्थ नहीं खोया। भले ही रोबोट सटीक शब्दों की नकल नहीं कर रहे थे, फिर भी उन्होंने ऐसी बातें कहीं जो प्रासंगिक थीं और जिनका अर्थ निकलता था। वे केवल मानव जैसा ही नहीं सुनाई दिए; वे उस विशिष्ट मानव जैसे भी सुनाई दिए।
- पुराने तरीके विफल रहे। केवल शब्दों को कॉपी करने के लिए प्रशिक्षित रोबोट अक्सर उबाऊ, रोबोटिक, या बहुत अधिक मददगार दिखने की कोशिश करते हुए (जैसे कि कस्टमर सर्विस बॉट) लगे, बजाय इसके कि वे एक वास्तविक व्यक्ति की तरह चैट करते।
मुख्य निष्कर्ष
यह शोध पत्र सुझाव देता है कि यदि आप एक ऐसा सिम्युलेटर बनाना चाहते हैं जो एक वास्तविक व्यक्ति की तरह व्यवहार करे, तो आपको AI को "सही" उत्तर से अलग कुछ कहने के लिए दंडित नहीं करना चाहिए। इसके बजाय, आपको उसे एक वास्तविक मानव जैसा सुनाई देने के लिए पुरस्कृत करना चाहिए।
यह एक छात्र को स्क्रिप्ट रटने के बजाय उन्हें मानव की तरह सुधार (improvisation) करने के लिए सिखाने के बीच का अंतर है। शोध पत्र दिखाता है कि सुधार वाला दृष्टिकोण (Turing-RL) बहुत अधिक विश्वसनीय डिजिटल मानव बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।