Flipping the Dialogue: Training and Evaluating User Language Models
यह शोध पत्र बहु-चरण (multi-turn) बातचीत में मानवीय व्यवहार को अधिक सटीक रूप से सिम्युलेट करने के लिए विशेष रूप से निर्मित 'यूजर लैंग्वेज मॉडल्स' (User LMs) को प्रस्तुत करता है, जो यह प्रकट करता है कि मौजूदा असिस्टेंट-आधारित सिम्युलेटर त्रुटिपूर्ण हैं और यथार्थवादी यूजर सिमुलेशन शीर्ष स्तर के असिस्टेंट मॉडल्स की सीमाओं को भी महत्वपूर्ण रूप से उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक सहायक बनने के लिए सिखाने की कोशिश कर रहे हैं। इसे करने के लिए, आपको इसे एक इंसान के साथ टेस्ट करना होगा। लेकिन चूंकि आप एक साथ लाखों असली इंसानों से बात नहीं कर सकते, इसलिए आपको एक सिम्युलेटर (simulator) की आवश्यकता है—एक डिजिटल प्रतिनिधि जो एक व्यक्ति की तरह व्यवहार करे।
लंबे समय तक, शोधकर्ताओं ने एक बहुत ही बुद्धिमान रोबोट (एक "असिस्टेंट एआई") को यह कहकर एक स्टैंड-इन बनाने की कोशिश की: "एक इंसान होने का नाटक करो।"
यह पेपर तर्क देता है कि यह दृष्टिकोण एक बहुत ही सभ्य और कुशल लाइब्रेरियन से एक अव्यवस्थित और विचलित पर्यटक होने का नाटक करने के लिए कहने जैसा है। यह ठीक से काम नहीं करता है।
यहाँ एक सरल विवरण दिया गया है कि लेखकों ने क्या किया, उन्होंने ऐसा क्यों किया, और उन्हें क्या मिला।
1. समस्या: "बहुत अधिक विनम्र" सिम्युलेटर
जब आप एक सुपर-स्मार्ट एआई असिस्टेंट से एक मानव उपयोगकर्ता की भूमिका निभाने के लिए कहते हैं, तो वह बहुत अधिक 'परफेक्ट' व्यवहार करता है।
- असली इंसान: हम बिखरे हुए होते हैं। हम आधे-अधूरे वाक्य लिखते हैं, हम विवरण भूल जाते हैं, हम अपने विचार बदल देते हैं, हम टाइपिंग में गलतियाँ करते हैं, और अक्सर हमें तब तक पता नहीं होता कि हम वास्तव में क्या चाहते हैं जब तक कि हम बात करना शुरू नहीं कर देते। हम कह सकते हैं, "इन नंबरों को क्रम में लगाओ," और फिर बाद में जोड़ सकते हैं, "ओह, और केवल उन्हें जो 1 और 9 के बीच हैं।"
- "असिस्टेंट" सिम्युलेटर: क्योंकि एआई को मददगार और कुशल होने के लिए प्रशिक्षित किया गया है, इसलिए वह रोबोट असिस्टेंट को तुरंत एक स्पष्ट, चरण-दर-चरण निर्देश देता है। यह एक ऐसे पर्यटक की तरह है जो अचानक व्याकरण के साथ एकदम सटीक बोलता है और लाइब्रेरियन को ठीक वही लिखित सूची दे देता है जिसकी उसे आवश्यकता है।
परिणाम: रोबोट असिस्टेंट कार्य को आसानी से हल कर लेता है क्योंकि "नकली इंसान" ने काम को बहुत आसान बना दिया था। इससे शोधकर्ताओं को सुरक्षा का एक झूठा अहसास मिलता है, जिससे उन्हें लगता है कि उनका रोबोट वास्तव में जितना स्मार्ट है, उससे कहीं अधिक स्मार्ट है।
2. समाधान: स्क्रिप्ट को उलटना (UserLMs)
लेखकों ने लाइब्रेरियन से पर्यटक होने का नाटक करने के लिए कहने के बजाय, एक नया निर्णय लिया। इसके बजाय, उन्होंने एक नया रोबोट विशेष रूप से एक पर्यटक बनने के लिए बनाया।
उन्होंने इसे यूजर लैंग्वेज मॉडल (UserLM) कहा।
- उन्होंने इसे कैसे बनाया: उन्होंने इंसानों और एआई सहायकों के बीच वास्तविक बातचीत का एक विशाल डेटाबेस लिया। उन्होंने देखा कि वास्तविक इंसान वास्तव में क्या कहते थे (बिखरे हुए, अपूर्ण हिस्से) और एक नए एआई को उस विशिष्ट व्यवहार की नकल करने के लिए प्रशिक्षित किया।
- "उलटाव" (The Flip): उन्होंने एक एआई को सवाल जवाब देने के लिए प्रशिक्षित करने के बजाय, उसे सवाल पूछने के लिए प्रशिक्षित किया, ठीक वैसे ही जैसे एक वास्तविक व्यक्ति करता है।
3. प्रयोग: कोडिंग टेस्ट
यह देखने के लिए कि क्या उनका नया "टूरिस्ट रोबोट" बेहतर था, उन्होंने एक कोडिंग कार्य के साथ परीक्षण किया।
- कार्य: एक पायथन फंक्शन लिखें जो नंबरों को सॉर्ट करे, उन्हें उल्टा करे, और उन्हें शब्दों में बदले।
- परिदृश्य A (पुराना तरीका): उन्होंने एक "असिस्टेंट रोबोट" का उपयोग किया जो उपयोगकर्ता होने का नाटक कर रहा था। इसने स्पष्ट, सीधे निर्देश दिए। मुख्य एआई असिस्टेंट ने समस्या को पूरी तरह से हल कर दिया (74.6% सफलता)।
- परिदृश्य B (नया तरीका): उन्होंने नए "UserLM" (टूरिस्ट रोबोट) का उपयोग किया। इसने निर्देशों को बिखरे हुए और घुमावदार तरीके से दिया। इसने कहा जैसे, "उन नंबरों को अनदेखा करें जो 1 से 9 की सीमा में नहीं हैं," फिर बाद में, "अब लिस्ट को उल्टा करें," और फिर, "ओह, और अंकों को ट्रांसलेट करें।"
- परिणाम: मुख्य एआई असिस्टेंट भ्रमित हो गया और बहुत बार विफल रहा (सफलता घटकर 57.4% रह गई)।
यह अच्छी खबर क्यों है?
इसका मतलब है कि उनका "टूरिस्ट रोबोट" एक बेहतर टेस्टर है। इसने उजागर किया कि मुख्य एआई असिस्टेंट संघर्ष करता है जब इंसान बिखरे हुए और अप्रत्यक्ष होते हैं। यदि आप केवल "परफेक्ट" सिम्युलेटर के साथ परीक्षण करते हैं, तो आप कभी उनकी कमजोरियों को नहीं जान पाते।
4. मुख्य निष्कर्ष (Aha! Moments)
- बड़ा होना हमेशा बेहतर नहीं होता: आप सोच सकते हैं कि एक स्मार्ट एआई (जैसे GPT-4) एक बेहतर सिम्युलेटर होगा। पेपर ने पाया कि इसके विपरीत है। एक असिस्टेंट के रूप में एआई जितना स्मार्ट होगा, एक यूजर होने का नाटक करने में वह उतना ही खराब होगा। वह बहुत अधिक मददगार है!
- "बेस" मॉडल बेहतर है: उन्होंने पाया कि एक कच्चे, बिना प्रशिक्षित एआई मॉडल से शुरुआत करना और उसे यूजर बनना सिखाना, एक प्रशिक्षित असिस्टेंट को लेकर उसे 'यूजर' में बदलने से बेहतर काम करता है। यह एक कुत्ते को शून्य से भेड़ चराने के लिए प्रशिक्षित करने जैसा है, बजाय इसके कि एक भेड़ को कुत्ता चराने के लिए सिखाया जाए।
- वास्तविकता बिखरी हुई होती है: वास्तविक उपयोगकर्ता केवल निर्देश नहीं देते; वे जानकारी को टुकड़ों में (decompose) प्रकट करते हैं। वे जानकारी धीरे-धीरे सामने लाते हैं। नए UserLMs स्वाभाविक रूप से ऐसा करते हैं, जिससे उन्हें धोखा देना बहुत कठिन हो जाता है।
बड़ी तस्वीर
यह पेपर परीक्षण में ईमानदारी के बारे में है।
यदि आप जानना चाहते हैं कि क्या एक सेल्फ-ड्राइविंग कार सुरक्षित है, तो आप उसका परीक्षण केवल खाली, सीधी सड़कों और आदर्श मौसम में नहीं करते हैं। आप उसका परीक्षण बारिश में, पैदल चलने वालों के बीच, और भ्रमित ड्राइवरों के साथ करते हैं।
यह पेपर हमें उन "भ्रमित ड्राइवरों" (UserLMs) को बनाने का एक तरीका देता है ताकि हम बेहतर, अधिक मजबूत एआई असिस्टेंट बना सकें जो वास्तव में मानवीय बातचीत की जटिल वास्तविकता को संभाल सकें।
संक्षेप में: एक बेहतर असिस्टेंट बनाने के लिए, एक परफेक्ट रोबोट के साथ इंसान होने का नाटक करना बंद करें। एक ऐसा रोबोट बनाएं जो एक बिखरे हुए, अपूर्ण इंसान होने का ज्ञान रखता हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।