Neural Models and Language Model Prompting for the Multidimensional Evaluation of Open-Ended Conversations
यह शोध पत्र DSTC-12 चुनौती में ओपन-एंडेड बातचीत के मूल्यांकन को संबोधित करता है, जिसमें छोटे पैमाने के लैंग्वेज मॉडल प्रॉम्प्टिंग की तुलना प्रशिक्षित एनकोडर-आधारित रिग्रेशन और क्लासिफिकेशन मॉडल्स से की गई है, और यह पाया गया है कि जहाँ प्रॉम्प्टिंग ने मामूली सहसंबंध और दूसरा स्थान प्राप्त किया, वहीं छोटे प्रशिक्षित मॉडल्स ने एनोटेशन स्कोर वितरण शिफ्ट के कारण उत्पन्न टेस्ट सेट की चुनौतियों के बावजूद उच्च वैलिडेशन प्रदर्शन दिखाया।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक नया, सुपर-स्मार्ट रोबोट दोस्त बनाया है जो लोगों के साथ किसी भी विषय पर बातचीत कर सकता है। आपको लगता है कि यह बहुत बढ़िया है, लेकिन आप कैसे जानेंगे कि यह वास्तव में अच्छा है? क्या यह मज़ेदार है? क्या यह मददगार है? क्या यह एक असली इंसान जैसा लगता है?
यही वह समस्या है जिसे इस पेपर के लेखकों ने हल किया। वे एक बड़ी प्रतियोगिता (जिसे DSTC-12 कहा जाता है) में शामिल हुए जहाँ लक्ष्य एक "रोबोट जज" बनाना था जो इंसानों की तरह ही इन बातचीतों को स्वचालित रूप से ग्रेड दे सके।
यहाँ उनकी यात्रा की कहानी सरल भाषा में दी गई है:
चुनौती: "व्यक्तिगत" (Subjective) समस्या
बातचीत को ग्रेड देना मुश्किल है। यदि आप किसी इंसान से पूछें, "क्या वह चैट अच्छी थी?", तो वे कह सकते हैं, "खैर, यह अच्छी थी, लेकिन थोड़ी उबाऊ थी।" दूसरा व्यक्ति कह सकता है, "यह एकदम परफेक्ट थी!" इंसान उलझे हुए और व्यक्तिगत राय वाले होते हैं।
आयोजकों ने टीम को 185 बातचीत का एक डेटासेट दिया। प्रत्येक बातचीत को मनुष्यों द्वारा 10 अलग-अलग "आयामों" (dimensions) पर ग्रेड दिया गया था (जैसे रिपोर्ट कार्ड के 10 विषयों की तरह):
- सहानुभूति (Empathy): क्या रोबोट को परवाह थी?
- विश्वास (Trust): क्या आप रोबोट पर विश्वास कर सकते थे?
- प्रासंगिकता (Relevance): क्या इसने प्रश्न का उत्तर दिया?
- पहल करना (Proactivity): क्या इसने बातचीत को जारी रखा?
- ...और छह अन्य।
पेच यह था कि टेस्ट डेटा को ग्रेड देने वाले मनुष्यों ने उन नियमों का उपयोग नहीं किया जो ट्रेनिंग डेटा को ग्रेड देने वाले मनुष्यों ने किए थे। यह ऐसा है जैसे आपने एक गणित की परीक्षा के लिए एक ऐसी किताब से पढ़ाई की जहाँ "2+2=4" था, लेकिन वास्तविक परीक्षा में पूछा गया "2+2=5"।
चार रणनीतियाँ (प्रतियोगी)
टीम ने अपने "रोबोट जज" को बनाने के लिए चार अलग-अलग तरीके आजमाए, लेकिन उनके पास एक सख्त नियम था: वे विशाल, बहुत महंगे कंप्यूटरों का उपयोग नहीं कर सकते थे। उन्हें "छोटे" मॉडल (जैसे एक सुपरकंप्यूटर के बजाय एक स्मार्ट स्मार्टफोन ऐप) का उपयोग करना था।
1. "प्रॉम्प्टिंग" दृष्टिकोण (नकल करने वाला)
- यह कैसे काम करता है: उन्होंने एक स्मार्ट AI (जैसे एक चैटबॉट) लिया और बस उससे पूछा, "हे, 1 से 10 के पैमाने पर, यह बातचीत कितनी अच्छी थी?" उन्होंने इसे अलग-अलग तरीकों से पूछा: "एक विशेषज्ञ की तरह व्यवहार करें," "एक थके हुए कर्मचारी की तरह व्यवहार करें," या पहले कुछ उदाहरण दें।
- उपमा: यह एक पेशेवर आलोचक को काम पर रखने जैसा है और उससे एक नाटक पढ़ने और उसकी समीक्षा लिखने के लिए कहने जैसा है।
- परिणाम: यह ठीक-ठाक था। इसने पूरी दौड़ नहीं जीती, लेकिन यह आश्चर्यजनक रूप से सुसंगत था। यह एकमात्र ऐसा नहीं था जो नियमों के बदलने पर भ्रमित हो गया।
2. "रिग्रेशन" दृष्टिकोण (गणित का जादूगर)
- यह कैसे काम करता है: उन्होंने एक छोटे कंप्यूटर प्रोग्राम को बातचीत को देखना और एक विशिष्ट संख्या की भविष्यवाणी करना सिखाया (जैसे 10 में से 7.4)। इसने हजारों उदाहरणों को देखकर और पैटर्न खोजकर सीखा।
- उपमा: यह एक मौसम पूर्वानुमानकर्ता की तरह है। वे पिछले डेटा (आर्द्रता, हवा, दबाव) को देखते हैं और सटीक तापमान की गणना करते हैं।
- परिणाम: अभ्यास टेस्ट (वैलिडेशन) पर, यह एक सुपरस्टार था! इसने लगभग पूरी तरह से स्कोर की भविष्यवाणी की। लेकिन वास्तविक टेस्ट पर, यह क्रैश हो गया। क्यों? क्योंकि इसने अभ्यास टेस्ट को बहुत अच्छी तरह से याद कर लिया था (ओवरफिटिंग) और वास्तविक टेस्ट के अजीब नियमों को नहीं संभाल सका।
3. "वर्गीकरण" (Classification) दृष्टिकोण (छँटाई करने वाला)
- यह कैसे काम करता है: एक संख्या का अनुमान लगाने के बजाय, इस मॉडल ने बस एक श्रेणी चुनी: "खराब," "ठीक," या "अच्छा।"
- उपमा: यह एक शिक्षक की तरह है जो निबंधों को तीन ढेरों में रखता है: "सुधार की आवश्यकता है," "पास," और "A+" बिना कोई विशिष्ट ग्रेड दिए।
- परिणाम: यह इस बात के बारे में सबसे अधिक "ईमानदार" था कि इसने कितने आयामों को सही पकड़ा। इसने 10 में से 6 विषयों पर बेसलाइन (मानक जज) को हराया, विशेष रूप से सहानुभूति (Empathy) पर। यह बातचीत के भाव को पहचानने में सबसे अच्छा था।
4. "हाइब्रिड" दृष्टिकोण (समिति)
- यह कैसे काम करता है: उन्होंने गणित के जादूगर और नकल करने वाले के सबसे अच्छे हिस्सों को मिलाने की कोशिश की। "यदि गणित का जादूगर 'प्रासंगिकता' के लिए अच्छा है, तो उसका उपयोग करें। यदि नकल करने वाला 'सहानुभूति' के लिए अच्छा है, तो उसका उपयोग करें।"
- उपमा: यह एक जूरी की तरह है जहाँ आप प्रत्येक विशिष्ट प्रश्न के लिए सबसे अच्छे विशेषज्ञ को चुनते हैं।
- परिणाम: यह अच्छा नहीं रहा। क्योंकि टेस्ट डेटा ट्रेनिंग डेटा से बहुत अलग था, इसलिए अभ्यास टेस्ट के लिए "सबसे अच्छे" विशेषज्ञ वास्तविक टेस्ट के लिए गलत विशेषज्ञ निकले।
बड़ा मोड़: "टूटा हुआ पैमाना"
इस पेपर में सबसे महत्वपूर्ण खोज वह नहीं थी जो सबसे अच्छा मॉडल था। यह डेटा के बारे में थी।
लेखकों ने महसूस किया कि टेस्ट बातचीत को मापने वाला "पैमाना" टूटा हुआ था।
- ट्रेनिंग चरण में, "प्रासंगिकता" को 0 से 100 तक स्कोर किया जा सकता था।
- टेस्ट चरण में, "प्रासंगिकता" अचानक 1 से 10 तक स्कोर की गई।
यह एक कुत्ते को गेंद लाने के लिए प्रशिक्षित करने जैसा है, लेकिन टेस्ट के दिन, आपने एक फ्रिसबी फेंकी और उससे उसे लाने की उम्मीद की। मॉडल भ्रमित हो गए क्योंकि बीच में ही नियम बदल गए थे।
अंतिम निर्णय
- क्या वे जीते? नहीं। "बेसलाइन" (आयोजकों द्वारा प्रदान किया गया एक मानक, पूर्व-निर्मित जज) ने वास्तव में पूरी दौड़ जीती।
- क्या वे हार गए? वास्तव में नहीं। उन्होंने साबित किया कि छोटे, सरल मॉडल भी उतने ही अच्छे हो सकते हैं जितने कि विशाल, महंगे मॉडल, यदि आप उनका सही तरीके से उपयोग करते हैं।
- सबक: आप सिर्फ एक स्मार्ट रोबोट जज नहीं बना सकते और उम्मीद नहीं कर सकते कि यह हर जगह काम करेगा। यदि बातचीत को ग्रेड देने का तरीका बदल जाता है (या यदि डेटा अव्यवस्थित है), तो सबसे स्मार्ट AI भी भ्रमित हो जाएगा।
संक्षेप में: टीम ने रोबोट चैट को ग्रेड देने के लिए चार अलग-अलग उपकरण बनाए। हालांकि इनमें से कोई भी समग्र रूप से मानक उपकरण को नहीं हरा सका, लेकिन उन्होंने दिखाया कि सरल उपकरण बहुत प्रभावी हो सकते हैं, और उन्होंने इन AI सिस्टमों के परीक्षण करने के वर्तमान तरीके में एक प्रमुख खामी को उजागर किया: हमें यह सुनिश्चित करने की आवश्यकता है कि खेल के नियम अभ्यास से लेकर वास्तविक मैच तक समान रहें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।