The Authenticity Gap in Human Evaluation
यह शोध पत्र तर्क देता है कि NLG के लिए मानक मानव मूल्यांकन प्रोटोकॉल अक्सर त्रुटिपूर्ण धारणाओं और लिकर्ट स्केल (Likert scale) की सीमाओं के कारण वास्तविक प्राथमिकताओं को पकड़ने में विफल रहते हैं, और एक नई "सिस्टम-लेवल प्रोबेबिलिस्टिक असेसमेंट" (SPA) पद्धति प्रस्तावित करता है जो उन स्थानों पर मॉडल रैंकिंग को सफलतापूर्वक पुनर्प्राप्त करती है जहाँ पारंपरिक दृष्टिकोण विफल हो जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कंप्यूटर की भाषा की दुनिया में, जहाँ मशीनों को कहानियाँ लिखना, प्रश्न पूछना और बातचीत करना सिखाया जाता है, वहाँ एक निरंतर समस्या बनी रहती है: हम यह कैसे जानें कि मशीन वास्तव में अच्छा काम कर रही है या नहीं? वर्षों से, मानक तरीका यह रहा है कि लोगों को कंप्यूटर द्वारा लिखे गए टेक्स्ट को पढ़ने और उसे एक स्कोर देने के लिए नियुक्त किया जाए, ठीक वैसे ही जैसे किसी टैलेंट शो में जज होते हैं। इन मानवीय रेटिंग्स को परम सत्य माना जाता है, वह 'गोल्ड स्टैंडर्ड' जिसके विरुद्ध सभी नए कंप्यूटर प्रोग्रामों को मापा जाता है। तर्क सरल लगता है: यदि कोई कंप्यूटर ऐसी कहानी लिखता है जिसे लोग उच्च रेटिंग देते हैं, तो वह एक अच्छा लेखक है। लेकिन यह दृष्टिकोण एक छिपे हुए अनुमान पर निर्भर करता—कि जब कोई व्यक्ति किसी टेक्स्ट को एक नंबर देता है, तो वह नंबर उसकी वास्तविक भावना को पूरी तरह से पकड़ लेता है। यह मान लेता है कि एक "अच्छे" स्कोर और एक "महान" स्कोर के बीच की दूरी सभी के लिए समान है, और इन स्कोरों का औसत निकालने से हमें सटीक रूप से पता चल जाता है कि कौन सा कंप्यूटर बेहतर है।
स्टैनफोर्ड यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने इस प्रक्रिया को करीब से देखने का निर्णय लिया, न केवल यह देखने के लिए कि क्या जज अपना काम कर रहे हैं, बल्कि यह पूछने के लिए कि क्या स्कोरिंग प्रणाली ही दोषपूर्ण थी। उन्होंने इस समस्या को इस तरह से देखा जैसे अर्थशास्त्री मानव विकल्पों को समझते हैं, और कंप्यूटर की टेक्स्ट उत्पन्न करने की क्षमता को एक प्रकार के जुए (गैंबल) के रूप में देखा। जब एक कंप्यूटर लिखता है, तो वह एक एकल, निश्चित परिणाम नहीं देता; वह परिणामों की एक श्रृंखला उत्पन्न करता है, जिनमें से कुछ शानदार और कुछ भयानक होते हैं। शोधकर्ताओं ने पाया कि इन परिणामों को रेट करने के लिए मनुष्यों से पूछने का मानक तरीका अक्सर उस चीज़ को पकड़ने में विफल रहता है जिसे लोग वास्तव में पसंद करते हैं। वास्तव में, उन्होंने पाया कि इन रेटिंग्स का औसत निकालने की क्रिया कभी-कभी परिणामों को उलट सकती है, जिससे एक खराब कंप्यूटर बेहतर दिखने लगता है, या इस तथ्य को छिपा देती है कि मनुष्य मशीन और इंसान के बीच अंतर कर सकते हैं।
इसे ठीक करने के लिए, शोधकर्ताओं ने राय मांगने का एक बिल्कुल नया तरीका प्रस्तावित किया। एक व्यक्ति से एक कहानी को एक से पांच के पैमाने पर रेट करने के बजाय, उन्होंने उनसे दो कंप्यूटरों को अगल-बगल देखने और यह अनुमान लगाने के लिए कहा कि कुल मिलाकर एक दूसरे से बेहतर होने की संभावना कितनी है। यह विधि, जिसे वे 'सिस्टम-लेवल प्रोबेबिलिस्टिक असेसमेंट' कहते हैं, मानव जज को एक स्कोर के कैलकुलेटर के रूप में नहीं, बल्कि एक संभावना का अनुमान लगाने वाले विशेषज्ञ के रूप में देखती है। जब उन्होंने एक शक्तिशाली लैंग्वेज मॉडल के विभिन्न संस्करणों का उपयोग करके इस नए तरीके का पुराने तरीके के विरुद्ध परीक्षण किया, तो परिणाम चौंकाने वाले थे। पुराना तरीका, जो वर्षों से उद्योग का मानक रहा है, उन मॉडलों के बीच स्पष्ट अंतर का पता लगाने में विफल रहा जो स्पष्ट रूप से दिखने चाहिए थे। यह पहचान नहीं सका कि एक बड़ा, अधिक उन्नत कंप्यूटर छोटे कंप्यूटर से बेहतर था, और इसने यहाँ तक सुझाव दिया कि एक कंप्यूटर एक मानव लेखक से काफी बेहतर था, जो पिछले शोधों के विपरीत है।
हालाँकि, नए तरीके ने बिल्कुल वैसा ही काम किया जैसा शोधकर्ताओं को उम्मीद थी। जब लोगों ने संभावना-आधारित दृष्टिकोण का उपयोग किया, तो उन्होंने लगातार कंप्यूटर मॉडलों का सही क्रम पहचाना, यह पहचानते हुए कि बड़े, अधिक जटिल सिस्टम बेहतर कहानियाँ बनाते हैं। उन्होंने यह भी सही ढंग से पहचाना कि जबकि सबसे छोटा कंप्यूटर स्पष्ट रूप से मानव से बदतर था, सबसे बड़ा कंप्यूटर एक मानव लेखक के समान ही था। यह सफलता अधिक लोगों या अधिक डेटा के कारण नहीं थी; शोधकर्ताओं ने दोनों परीक्षणों के लिए अपने नब्बे स्वयंसेवकों के एक ही समूह का उपयोग किया था। अंतर पूरी तरह से इस बात में था कि प्रश्न कैसे पूछा गया था। मानक तरीका, जो एक निश्चित पैमाने पर रेटिंग मांगता है, लोगों को ऐसे निर्णय लेने के लिए मजबूर करता है जिन्हें करने के लिए उनका मस्तिष्क सुसज्जित नहीं है। यह मान लेता है कि तीन और चार के बीच का अंतर हर व्यक्ति के लिए एक जैसा होता है, एक ऐसा अनुमान जो वास्तविकता में शायद ही कभी सच होता है।
शोधकर्ताओं ने दिखाया कि यह दोष केवल एक मामूली तकनीकी त्रुटि नहीं है, बल्कि मानव प्राथमिकता के बारे में मौलिक गलतफहमी है। जब लोगों को एक पैमाने पर टेक्स्ट को रेट करने के लिए कहा जाता है, तो वे अक्सर बिंदुओं के बीच की दूरी का अनुमान लगा रहे होते हैं, और वे अनुमान एक व्यक्ति से दूसरे व्यक्ति में बहुत भिन्न हो सकते हैं। एक व्यक्ति सोच सकता है कि चार का स्कोर तीन से केवल थोड़ा बेहतर है, जबकि दूसरा सोच सकता है कि यह दोगुना बेहतर है। जब आप इन परस्पर विरोधी विचारों का औसत निकालते हैं, तो परिणाम एक धुंधला संकेत बन जाता है जो सच्चाई को धुंधला कर देता है। नया तरीका इस भ्रम को दूर करता है क्योंकि यह लोगों को पीछे हटकर बड़ी तस्वीर देखने के लिए कहता है। एक एकल वाक्य का निर्णय करने के बजाय, वे पूरे सिस्टम का निर्णय करते हैं, यह अनुमान लगाते हैं कि यदि वे कई उदाहरण देखते हैं, तो वे एक कंप्यूटर को दूसरे पर कितनी बार प्राथमिकता देंगे। यह दृष्टिकोण स्वीकार करता है कि मनुष्य हर संभव आउटपुट को नहीं देख सकते जो एक कंप्यूटर उत्पन्न कर सकता है, लेकिन वे फिर भी एक नमूने के आधार पर यह समझने में सक्षम हैं कि कौन सा सिस्टम श्रेष्ठ है।
इस निष्कर्ष के निहितार्थ केवल कहानी लिखने वाले कंप्यूटरों के परीक्षण तक ही सीमित नहीं हैं। यह कृत्रिम बुद्धिमत्ता (AI) के क्षेत्र को अपनी प्रगति का मूल्यांकन करने के तरीके को चुनौती देता है। वर्षों से, शोधकर्ताओं ने नए मॉडल बनाए हैं और दावा किया है कि वे बेहतर हैं क्योंकि उन्हें मानव न्यायाधीशों से उच्च औसत स्कोर प्राप्त हुआ है। यदि वे स्कोर मानवीय प्राथमिकताओं के प्रति गणितीय रूप से निष्ठावान नहीं हैं, तो उनमें से कई दावे गलत हो सकते हैं। अध्ययन सुझाव देता है कि क्षेत्र को सरल रेटिंग पैमानों से हटकर ऐसे तरीकों की ओर बढ़ने की आवश्यकता है जो मानव निर्णय की जटिलता का सम्मान करते हैं। संभावनाओं का अनुमान लगाकर, हम एक स्पष्ट और अधिक ईमानदार तस्वीर प्राप्त कर सकते हैं कि ये मशीनें वास्तव में क्या करने में सक्षम हैं।
अपने प्रयोगों में, शोधकर्ताओं ने कहानियों का एक विशिष्ट सेट उपयोग किया और स्वयंसेवकों को एक लैंग्वेज मॉडल के विभिन्न संस्करणों की तुलना करने के लिए कहा, जिसमें एक छोटे, बुनियादी संस्करण से लेकर एक विशाल, उन्नत संस्करण तक शामिल थे। उन्होंने वास्तविक मानव लेखकों द्वारा लिखी गई कहानियों को भी एक बेंचमार्क के रूप में शामिल किया। परिणाम स्पष्ट थे: नए तरीके ने सभी अपेक्षित प्राथमिकताओं को पुनः प्राप्त किया, कंप्यूटरों को सबसे खराब से सबसे अच्छे के क्रम में सही ढंग से रैंक किया और मानव लेखक को भी सही स्थान पर रखा। पुराने तरीके ने, उसी स्वयंसेवकों और उन्हीं कहानियों का उपयोग करने के बावजूद, केवल पाँच में से दो अपेक्षित प्राथमिकताओं को ही प्राप्त किया। यह मध्य-आकार के कंप्यूटरों के बीच के अंतर को पहचानने में विफल रहा और सबसे आश्चर्यजनक रूप से, इसने निष्कर्ष निकाला कि मानव लेखक सबसे बड़े कंप्यूटर की तुलना में काफी खराब था। यह त्रुटि वर्तमान मूल्यांकन प्रथाओं में एक खतरनाक अंध बिंदु को उजागर करती है, जहाँ एक दोषपूर्ण प्रोटोकॉल शोधकर्ताओं को यह विश्वास दिला सकता है कि उनकी मशीनों ने मानव क्षमता को पार कर लिया है, जबकि उन्होंने ऐसा नहीं किया है।
शोधकर्ताओं ने इस नए दृष्टिकोण का इमेज जनरेशन (चित्र निर्माण) पर भी परीक्षण किया, जिसमें लोगों से यह तय करने को कहा गया कि किस कंप्यूटर ने बेहतर चित्र बनाए। परिणाम फिर से सफल रहे, जिससे पता चला कि यह विधि विभिन्न प्रकार के रचनात्मक कार्यों में भी काम करती है। उन्होंने पाया कि जितने अधिक उदाहरण लोग देखते हैं, वे अपनी प्राथमिकताओं के बारे में उतने ही निश्चित होते जाते हैं, लेकिन उदाहरणों की एक छोटी संख्या के साथ भी, संभावना-आधारित विधि सही विजेता का पता लगाने में सक्षम थी। यह सुझाव देता है कि विधि मजबूत और कुशल है, जो बिना अत्यधिक डेटा की आवश्यकता के विश्वसनीय उत्तर प्रदान करने में सक्षम है। यह मानव ध्यान की सीमाओं का सम्मान करती है और फिर भी मानवीय प्राथमिकता के सार को पकड़ लेती है।
अंततः, यह कार्य हमारे उपकरणों को वास्तविकता के साथ संरेखित करने के बारे में है। कृत्रिम बुद्धिमत्ता के मूल्यांकन के लिए मानक प्रोटोकॉल उन धारणाओं की नींव पर बनाया गया है जो इस बात से मेल नहीं खाते कि मनुष्य वास्तव में कैसे सोचते या महसूस करते हैं। संख्याओं के बजाय संभावना के ईमानदार अनुमानों पर ध्यान केंद्रित करके, शोधकर्ताओं ने अधिक सटीक और विश्वसनीय मूल्यांकन की दिशा में एक मार्ग प्रशस्त किया है। यह एक अनुस्मारक है कि बेहतर मशीनें बनाने की खोज में, हमें पहले यह सुनिश्चित करना होगा कि उन्हें मापने के हमारे तरीके भी पुख्ता हों। लक्ष्य केवल यह जानना नहीं है कि कौन सा कंप्यूटर जीतता है, बल्कि यह समझना है कि उस जीत का भविष्य के मानव-कंप्यूटर संपर्क के लिए वास्तव में क्या अर्थ है। जैसे-जैसे ये सिस्टम हमारे जीवन में एकीकृत होते जा रहे हैं, मूल्यांकन को सही करना केवल एक शैक्षणिक अभ्यास नहीं है; यह सुनिश्चित करने के लिए एक आवश्यकता है कि हम जिस तकनीक का निर्माण कर रहे हैं वह वास्तव में उन लोगों की सेवा करे जो इसका उपयोग करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।