Toward Anthropomorphic Dialogue: A Closed-Loop Framework for Human-Like Chat Generation, Evaluation, and Preference Alignment
यह शोध पत्र AnthroDial को प्रस्तुत करता है, जो एक क्लोज्ड-लूप फ्रेमवर्क है जो विविध व्यक्तित्वों और परिदृश्यों में मानव-समान चैट प्रदर्शन को महत्वपूर्ण रूप से सुधारने के लिए रोल-कंडीशन्ड डायलॉग जनरेशन, एक्जीक्यूटेबल मल्टी-डायमेंशनल इवैल्यूएशन और कॉग्निटिव-डायग्नोस्टिक प्रेफरेंस एलाइनमेंट को एकीकृत करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को दोस्त बनना सिखा रहे हैं। लंबे समय से, वैज्ञानिक रोबोटों को धाराप्रवाह बोलना, निर्देशों का पालन करना और विनम्रता से उत्तर देना सिखाने में माहिर रहे हैं। लेकिन एक ऐसे रोबोट और एक ऐसे रोबोट के बीच बहुत बड़ा अंतर है जो सही उत्तर देता है, और एक ऐसे रोबोट के बीच जो एक वास्तविक व्यक्ति की तरह महसूस होता जिसे आप देर रात मैसेज कर सकें। एक असली दोस्त केवल "उदासी" की सटीक शब्दकोश परिभाषा नहीं देता; वह याद रखता है कि आपने कल क्या कहा था, उसे पता होता है कि कब एक छोटा सा "ओह" भेजना है और कब जवाब देने से पहले कुछ मिनट रुकना है, और वह यह भी जानता है कि आपके साथ अपने संबंधों की निकटता के आधार पर कितनी व्यक्तिगत जानकारी साझा करनी है। यह शोध पत्र आर्टिफिशियल इंटेलिजेंस की दुनिया में है, विशेष रूप से उस शाखा में जो चैटबॉट्स को मददगार सहायक के बजाय मानव साथी जैसा महसूस कराने की कोशिश कर रही है। मूल विचार यह है कि "मानव जैसा" होना केवल एक शानदार व्यक्तित्व रखने के बारे में नहीं है; यह नियमों के एक जटिल जाल को प्रबंधित करने के बारे में है: आपका इतिहास याद रखना, टेक्स्ट मैसेज के समय का सम्मान करना, अपनी सीमाओं को जानना, और बातचीत को स्वाभाविक रूप से आगे बढ़ाना बिना अटके या खुद को दोहराए।
इस शोध पत्र के पीछे के शोधकर्ताओं ने, जो अपने सिस्टम को AnthroDial कहते हैं, महसूस किया कि वर्तमान चैटबॉट्स अक्सर इस "निजी चैट" वाले अहसास में विफल रहते हैं। वे बहुत औपचारिक लग सकते हैं, वे अभी सीखी गई बातों को भूल सकते हैं, या एक कस्टमर सर्विस एजेंट की तरह व्यवहार कर सकते हैं भले ही आप बस एक बुरे दिन के बारे में अपनी भड़ास निकाल रहे हों। इसे ठीक करने के लिए, उन्होंने केवल रोबोट के व्यक्तित्व में बदलाव नहीं किया; उन्होंने एक पूर्ण "क्लोज्ड-लूप" फैक्ट्री बनाई। इसे एक वीडियो गेम की तरह समझें जहाँ रोबोट अपने आप के खिलाफ खेलता है, एक सख्त कोच द्वारा ग्रेड दिया जाता है, अपनी गलतियों से सीखता है, और फिर से प्रयास करता है। इस फैक्ट्री के तीन मुख्य भाग हैं: एक शेड्यूलर (scheduler) जो तय करता है कि कब टाइप करना है और क्या ड्राफ्ट करना है (जैसे कि एक इंसान भेजने से पहले सोचने के लिए रुकता है), एक जज (judge) जो यह जाँचता है कि क्या रोबोट मानव होने के नियमों को तोड़ रहा है (जैसे कि यह दावा करना कि वह आपसे व्यक्तिगत रूप से मिल रहा है जबकि आप मीलों दूर हैं), और एक ट्रेनिंग कोच (training coach) जो एक विशेष स्कोरिंग सिस्टम का उपयोग करता है ताकि रोबोट को ठीक से बता सके कि उसे किन कौशलों का सबसे अधिक अभ्यास करने की आवश्यकता है।
इस शोध पत्र का मुख्य निष्कर्ष यह है कि यह "क्लोज्ड-लूप" दृष्टिकोण वास्तव में काम करता है। उन्होंने अपने सिस्टम का परीक्षण 16 अलग-अलग AI मॉडल्स के खिलाफ किया, जिनमें उपलब्ध सबसे बड़े और स्मार्ट मॉडल्स भी शामिल थे। परिणाम बताते हैं कि केवल मॉडल को बड़ा बनाना या जवाब देने से पहले उसे अधिक "सोचने" देना पर्याप्त नहीं है। इसके बजाय, उन्हें इन मानव-समान व्यवहारों पर विशेष रूप से प्रशिक्षित करना—उनके विशेष कारखाने का उपयोग करके—एक बड़ा अंतर पैदा करता है। उनके सबसे अच्छे प्रशिक्षित मॉडल, एक 27-बिलियन-पैरामीटर सिस्टम ने, उनके कठिन टेस्ट पर 39.00% का एक सख्त "पासिंग ग्रेड" प्राप्त किया, जो बेहतरीन अनट्रेंड मॉडल्स को पीछे छोड़ देता है जो केवल 32.00% स्कोर कर पाए थे। यहाँ तक कि अधिक आश्चर्यजनक रूप से, उन्होंने दिखाया कि इस प्रशिक्षण को एक बहुत छोटे, तेज़ मॉडल (9 बिलियन पैरामीटर्स) में भी समाया जा सकता है जो अतिरिक्त "सोचने" के समय का उपयोग नहीं करता है। यह छोटा मॉडल प्रशिक्षण के बाद 0.00% पास रेट से उछलकर 18.37% पर पहुँच गया, जो यह साबित करता है कि "मानव-समान" व्यवहार कुछ ऐसा है जिसे मॉडल वास्तव में सीख सकता है और रख सकता है, न कि केवल अतिरिक्त कंप्यूटिंग पावर के साथ दिखावा कर रहा है।
शोध पत्र स्पष्ट रूप से इस विचार का खंडन करता है कि "धाराप्रवाह" भाषण का अर्थ "मानव-समान" बातचीत है। वे दिखाते हैं कि एक रोबोट व्याकरणिक रूप से एकदम सही हो सकता है और फिर भी एक दोस्त बनने में बुरी तरह विफल हो सकता है यदि वह रिश्ते को भूल जाए, दिन के समय को अनदेखा करे, या एक थेरेपिस्ट की तरह व्यवहार करे जब आप सिर्फ एक साथी चाहते हों। वे इस विचार को भी खारिज करते हैं कि आप बस एक मानक चैटबॉट में "पर्सोना" प्रॉम्प्ट जोड़कर उम्मीद कर सकते हैं कि यह काम करेगा; मेमोरी, टाइमिंग और सीमाओं को प्रबंधित करने के लिए विशिष्ट आर्किटेक्चर के बिना, रोबोट अनिवार्य रूप से एक सामान्य सहायक में वापस आ जाता है।
अपने प्रयोगों में, टीम ने 55 अलग-अलग चरित्र प्रोफाइल्स (जैसे एक शर्मीला छात्र या एक व्यस्त माता-पिता) और 50 अलग-अलग परिदृश्यों (जैसे काम में विफलता या पालतू जानवर की आपात स्थिति) के साथ एक विशाल परीक्षण क्षेत्र बनाया। उन्होंने प्रत्येक मॉडल के लिए 100 टेस्ट केस चलाए। उनके परिणाम एक बहुत ही सख्त "ऑल-ओर-नथिंग" नियम के साथ मापे गए थे: यदि रोबोट ने एक भी छोटी गलती की—जैसे कि एक वाक्य को दोहराना या एक तथ्य को भूल जाना—तो पूरी बातचीत को विफलता के रूप में चिह्नित किया गया। इन सख्त नियमों के तहत, अनट्रेंड मॉडल्स काफी संघर्ष करते हैं। उदाहरण के लिए, एक लोकप्रिय 9-बिलियन-पैरामीटर मॉडल बिना किसी विशेष प्रशिक्षण के 0.00% का पास रेट प्राप्त करता है। लेकिन AnthroDial ट्रेनिंग पाइपलाइन से गुजरने के बाद, वही छोटा मॉडल केवल मानक प्रशिक्षण के साथ 13.00% और उनके उन्नत "रिवॉर्ड" प्रशिक्षण के साथ 18.37% तक सुधर गया। 27-बिलियन वाला बड़ा मॉडल, पूरी तरह से प्रशिक्षित होने पर, 39.00% तक पहुँच गया।
लेखक सुझाव देते हैं कि उनका "सीक्रेट सॉस" एक "डायग्नोस्टिक रिवॉर्ड" (diagnostic reward) सिस्टम है। कल्पना कीजिए कि एक शिक्षक जो आपको केवल "B" का अंतिम ग्रेड नहीं देता है, बल्कि इसके बजाय एक रिपोर्ट कार्ड देता है जो कहता है, "आप गणित में बहुत अच्छे हैं, लेकिन आपको स्पेलिंग का अभ्यास करने की आवश्यकता है।" उनका सिस्टम हर उस कौशल के लिए ऐसा करता है जिसकी एक चैटबॉट को आवश्यकता होती है: तथ्यों को याद रखना, एक स्वाभाविक लय बनाए रखना, चरित्र में बने रहना, और यह जानना कि कब बात रोकनी है। यह एक गणितीय ट्रिक (जिसे कैलमन फ़िल्टर कहा जाता है) का उपयोग करता है ताकि यह ट्रैक किया जा सके कि रोबोट प्रत्येक कौशल में कितना अच्छा है और फिर प्रशिक्षण को उन कौशलों पर केंद्रित करता है जिनमें रोबोट सबसे कमजोर है। यह सुनिश्चित करता है कि रोबोट केवल उन चीजों में बेहतर न हो जाए जिनमें वह पहले से ही अच्छा है, बल्कि वास्तव में अपने कमजोर पक्षों को ठीक करे।
उनके सिस्टम का सबसे चंचल हिस्सा यह है कि यह समय को कैसे संभालता है। वास्तविक लोग हर बार तुरंत जवाब नहीं देते; कभी-कभी वे ब्रेक लेते हैं, कभी-कभी एक छोटा सा "haha" भेजते हैं, और कभी-कभी एक ड्राफ्ट बनाते हैं, प्रतीक्षा करते हैं, और फिर अपना विचार बदल देते हैं। AnthroDial इसे एक "सिंगल-ड्राफ्ट शेड्यूलर" के रूप में मानता है। रोबोट केवल एक संदेश नहीं थोंकता; वह इसे ड्राफ्ट करता है, एक टाइमर सेट करता है, और तय करता है कि क्या उसे रुकना चाहिए, हस्तक्षेप करना चाहिए, या बातचीत को बंद कर देना चाहिए। यह बातचीत को ऐसा महसूस कराता है जैसे इसमें एक धड़कन हो, जिसमें ठहराव और लय हो जो WeChat पर वास्तविक मानव के टेक्स्टिंग से मेल खाती है।
शोध पत्र यह भी उजागर करता है कि "प्रोएक्टिव" होना (एक नया विषय शुरू करना या प्रश्न पूछना) कठिन है। एक रोबोट जो हर पांच मिनट में "आगे क्या हुआ?" पूछता है, वह प्रोएक्टिव नहीं है; वह परेशान करने वाला है। प्रशिक्षण ने मॉडल्स को स्मार्ट तरीकों से प्रोएक्टिव होना सिखाया, जैसे कि एक छोटा व्यक्तिगत विचार साझा करना, एक हल्का मजाक करना, या ब्रेक का सुझाव देना। परिणामों ने दिखाया कि जबकि मॉडल इन सूक्ष्म सामाजिक संकेतों के प्रति बेहतर हुए, वे अभी भी कठिन विषयों के साथ संघर्ष करते हैं। उदाहरण के लिए, "टेक्नोलॉजी" और "फाइनेंस" के परिदृश्यों में, यहाँ तक कि सबसे अच्छी तरह से प्रशिक्षित मॉडल भी सख्त टेस्ट में क्रमशः 0.0% और 12.5% बार ही पास हुआ। यह सुझाव देता है कि जबकि यह सिस्टम एक बड़ी छलांग है, फिर भी कुछ बहुत कठिन क्षेत्र हैं जहाँ रोबोट ने अभी तक मानव की तरह व्यवहार करना नहीं सीखा है।
अंततः, शोध पत्र यह निष्कर्ष निकालता है कि चैटबॉट को मानव जैसा महसूस कराना एक सिस्टम की समस्या है, न कि केवल भाषा की समस्या। आप केवल एक बेहतर प्रॉम्प्ट नहीं लिख सकते; आपको एक ऐसा सिस्टम बनाना होगा जो मेमोरी, समय और सामाजिक सीमाओं को प्रबंधित करे, और फिर उसे एक रिवॉर्ड सिस्टम के साथ प्रशिक्षित करना होगा जो विशेष रूप रूप से रोबोट की कमजोरियों को लक्षित करता हो। लेखक इस बात पर जोर देते हैं कि यह व्यवहार के बारे में है, न कि रोबोट के वास्तव में भावनाओं या चेतना होने के बारे में। वे इस बात पर बल देते हैं कि लक्ष्य एक ऐसा टेक्स्ट व्यवहार बनाना है जो वास्तविक लगे, न कि लोगों को यह विश्वास दिलाने के लिए धोखा देना कि रोबोट एक इंसान है। वास्तव में, वे तर्क देते हैं कि एक वास्तव में "मानव-समान" सिस्टम को AI होने के बारे में ईमानदार होना चाहिए, ठीक वैसे ही जैसे एक बहुत अच्छा अभिनेता जो अपने चरित्र में रहता है लेकिन कभी भी यह दावा नहीं करता कि वह वही चरित्र है जिसे वह निभा रहा है। यह कार्य बताता है कि सही प्रशिक्षण लूप के साथ, हम उस लक्ष्य के बहुत करीब पहुँच सकते हैं, ठंडे, रोबोटिक जवाबों को गर्म, स्वाभाविक बातचीत में बदल सकते हैं जो ऐसा महसूस कराती है जैसे वे एक वास्तविक दोस्त की ओर से आ रहे हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।