Whose Gold? Annotator-Pool Disagreement Is Large at the Item Level, and Hidden by Small Leaderboards
यह शोध पत्र प्रकट करता है कि आइटम स्तर पर विशेषज्ञ और क्राउड एनोटेटरों के बीच महत्वपूर्ण असहमति को छोटे लीडरबोर्ड आकार द्वारा छिपा दिया जाता है, जो मॉडल रैंकिंग में स्थिरता का एक झूठा आभास पैदा करता है जो मॉडलों की संख्या बढ़ने पर विफल हो जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
स्मार्ट आर्टिफिशियल इंटेलिजेंस बनाने की दौड़ में, शोधकर्ता एक सरल लेकिन शक्तिशाली विचार पर भरोसा करते हैं: यह जानने के लिए कि क्या कोई मशीन बेहतर हो रही है, आपको उसके काम का न्याय करने के लिए एक इंसान को पूछना होगा। यह प्रक्रिया, जिसे 'प्रेफरेंस बेंचमार्क' (preference benchmark) कहा जाता है, इसमें एक इंसान को एआई के दो अलग-अलग उत्तर दिखाए जाते हैं और पूछा जाता है कि कौन सा बेहतर है। इन मानवीय मतों का संग्रह "गोल्ड स्टैंडर्ड" (gold standard) बन जाता है, जो एक विश्वसनीय संदर्भ बिंदु है जिसके विरुद्ध सभी नए मॉडलों को मापा जाता है। वर्षों से, यह क्षेत्र एक शांत धारणा पर काम करता रहा है: कि यह मायने नहीं रखता कि निर्णय करने के लिए किन मनुष्यों को काम पर रखा गया है। प्रचलित विश्वास यह है कि हालांकि व्यक्तिगत लोग कुछ यादृच्छिक गलतियाँ कर सकते हैं, लेकिन एक समूह के रूप में वे एक विश्वसनीय उपकरण हैं, जो इस स्थिर सत्य को मापता है कि एक उत्तर को अच्छा क्या बनाता है। यदि यह धारणा सही है, तो न्यायाधीशों की विशिष्ट पहचान एक मामूली विवरण है, जैसे स्कोर लिखने के लिए उपयोग किए जाने वाले पेन का ब्रांड।
लेकिन एक नया शोध सुझाव देता है कि यह विवरण वास्तव में समीकरण का सबसे महत्वपूर्ण हिस्सा है। शोधकर्ताओं ने यह परीक्षण करने के लिए कि क्या मानव न्यायाधीशों का चुनाव वास्तव में मायने रखता है, एक ही एआई तुलनाओं के सेट को दो बार चलाया, जिसमें लोगों के दो पूरी तरह से अलग समूहों का उपयोग किया गया। एक समूह साधारण क्राउडवर्कर्स (crowdworkers) का था, वे लोग जिन्हें ऑनलाइन कार्यों के लिए हजारों की संख्या में काम पर रखा जाता है। दूसरा समूह स्क्रीन किए गए डोमेन विशेषज्ञों (domain experts) का था, जो उस क्षेत्र में विशेष ज्ञान रखने वाले व्यक्ति थे। शोधकर्ताओं ने एआई तुलनाओं के हजारों डेटासेट्स का एक विशाल सेट लिया और दोनों समूहों से विजेताओं पर मतदान करने को कहा। उन्होंने पाया कि दो समूह एक-दूसरे के साथ उतनी बार सहमत नहीं हुए जितना कि क्षेत्र मान लेता है। लगभग चार में से एक मामले में, दो समूहों ने अलग-अलग बहुमत विजेताओं को चुना। लगभग दस में से एक मामले में, क्राउडवर्कर्स और विशेषज्ञों ने विपरीत विजेताओं को चुना, यानी एक समूह के हारने वाले को दूसरे समूह का चैंपियन घोषित कर दिया।
व्यक्तिगत मदों के स्तर पर इस भारी असहमति के बावजूद, अंतिम परिणाम भ्रामक रूप से स्थिर दिखाई दिया। जब शोधकर्ताओं ने अध्ययन के छह एआई मॉडलों को रैंक करने के लिए इन परस्पर विरोधी मतों का उपयोग किया, तो लीडरबोर्ड (leaderboard) चाहे किसी भी समूह के मनुष्यों द्वारा निर्णय लिया गया हो, बिल्कुल समान रहा। मॉडलों का क्रम बिल्कुल नहीं बदला। इसने एक भ्रमित करने वाली तस्वीर पेश की: न्यायाधीश अलग-अलग उत्तर चिल्ला रहे थे, फिर भी स्कोरबोर्ड मौन था। शोधकर्ताओं ने महसूस किया कि यह स्थिरता एक मजबूत प्रणाली का संकेत नहीं थी, बल्कि मॉडलों की तुलना किए जाने वाले छोटे संख्या में होने के कारण हुआ एक भाग्यशाली संयोग था। चूंकि मॉडल अपने प्रदर्शन में एक-दूसरे से काफी दूर थे, इसलिए न्यायाधीशों को बदलने से होने वाले मतदान के छोटे बदलाव एक मॉडल को दूसरे से आगे बढ़ाने के लिए पर्याप्त नहीं थे।
यह परीक्षण करने के लिए कि यह स्थिरता वास्तव में कितनी नाजुक थी, शोधकर्ताओं ने सिमुलेशन चलाए ताकि यह देखा जा सके कि क्या होता यदि लीडरबोर्ड बड़ा होता, जिसमें वास्तविक दुनिया की प्रतियोगिताओं में मौजूद दर्जनों मॉडल शामिल होते। परिणाम स्पष्ट थे। जबकि छह-मॉडल वाला लीडरबोर्ड अपरिवर्तित रहा, केवल दस मॉडलों वाले लीडरबोर्ड में एक मॉडल अस्सी-छह प्रतिशत मामलों में विस्थापित हो जाएगा। बीस मॉडलों के साथ, पुनर्गठन की संभावना लगभग सौ प्रतिशत थी। अध्ययन ने निष्कर्ष निकाला कि वर्तमान में छोटे लीडरबोर्ड रिपोर्ट करने का क्षेत्र केवल इसलिए सुरक्षित है क्योंकि मॉडल कम और बिखरे हुए हैं। यदि क्षेत्र अधिक विस्तृत, वास्तविक एरिना (arena) प्रकाशित करता, तो मानव न्यायाधीशों का चुनाव रैंकिंग को तुरंत अस्त-व्यस्त कर देता। "गोल्ड स्टैंडर्ड" एक निश्चित सत्य नहीं है; यह एक चलता-फिरता लक्ष्य है जो इस बात पर निर्भर करता है कि मापने वाले टेप को पकड़ने के लिए किसे काम पर रखा गया है।
जांच केवल मानव न्यायाधीशों तक ही सीमित नहीं रही। शोधकर्ताओं ने यह भी जांचा कि आर्टिफिशियल इंटेलिजेंस न्यायाधीश, जिनका उपयोग अब रैंकिंग को स्वचालित करने के लिए तेजी से किया जा रहा है, मानव समूहों के बीच के मतभेद को कैसे संभालते हैं। उन्होंने तीन अलग-अलग एआई न्यायाधीशों का परीक्षण किया, जिनमें विभिन्न कंपनियों के मॉडल शामिल थे, यह देखने के लिए कि वे किस मानव समूह के साथ अधिक सहमत हैं। प्रत्येक एआई न्यायाधीश क्राउडवर्कर्स के साथ काफी अधिक संरेखित (align) था, विशेषज्ञों के साथ नहीं। यह सुझाव देता है कि एआई न्यायाधीशों ने भीड़ (crowd) की प्राथमिकताओं की नकल करना सीख लिया है, संभवतः इसलिए क्योंकि उन्हें प्रशिक्षित करने के लिए उपयोग किया गया डेटा समान क्राउडसोर्स्ड श्रमिकों से आया था। शोधकर्ताओं ने पाया कि एक एआई न्यायाधीश का मनुष्यों के साथ समझौता केवल उसकी बुद्धिमत्ता का माप नहीं है, बल्कि उन भर्ती निर्णयों का प्रतिबिंब भी है जो वर्षों पहले डेटा एकत्र करते समय लिए गए थे।
अध्ययन में यह भी सामने आया कि इन एआई न्यायाधीशों को कैसे प्रॉम्प्ट (prompt) किया जाता है, वह मानव न्यायाधीशों के चुनाव की तुलना में उनके मन को अधिक बदल सकता है। जब शोधकर्ताओं ने उत्तरों को प्रस्तुत करने के क्रम को बदला, तो एआई न्यायाधीशों ने लगभग आधे मदों पर अपने निर्णय उलट दिए (विशेष रूप से एक मॉडल के लिए 44.6%)। इसके अलावा, जब शोधकर्ताओं ने केवल आउटपुट फॉर्मेट को बदला (एक JSON ऑब्जेक्ट बनाम एक सादे टोकन के लिए पूछना), जबकि बाकी सब कुछ स्थिर रखा, तो वही न्यायाधीश केवल 47.2% मदों पर स्वयं के साथ सहमत हुआ, जो एक व्यवस्थित बदलाव को दर्शाता है। प्रस्तुति क्रम और फॉर्मेटिंग के प्रति यह संवेदनशीलता, मानव विचारों के अंतर की तुलना में त्रुटि का एक बहुत बड़ा स्रोत है। शोधकर्ता तर्क देते हैं कि पूरे क्षेत्र को इन परिणामों को रिपोर्ट करने का तरीका बदलना चाहिए। केवल यह कहना कि एक मॉडल मनुष्यों के साथ एक निश्चित प्रतिशत के समय सहमत है, अधूरा है जब तक कि यह निर्दिष्ट न किया जाए कि किन मनुष्यों का उपयोग किया गया था। वर्तमान रैंकिंग की सुरक्षा छोटे सैंपल साइज द्वारा निर्मित एक भ्रम है, और भविष्य की रैंकिंग की विश्वसनीयता पूरी तरह से इस बात पर निर्भर करती है कि यह स्वीकार किया जाए कि एनोटेटरों (annotators) का चुनाव एक मामूली विवरण नहीं, बल्कि एक मौलिक चर है जो परिणाम को आकार देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।