Finding the Signal in the Spam: Jointly Learning Rewards and Worker Reliability from Pairwise Comparisons
यह शोध पत्र एक EM-आधारित एल्गोरिदम का प्रस्ताव करता है जो शोर युक्त युग्म तुलनाओं (pairwise comparisons) से आइटम रिवॉर्ड्स और वर्कर विश्वसनीयता को संयुक्त रूप से सीखता है, जिसमें बोल्ट्ज़मैन-रेशनल मॉडल को एक सुलभ मैट्रिक्स सेंसिंग समस्या में बदलने के लिए पोला-गामा लेटेंट वेरिएबल्स का लाभ उठाया गया है, जो क्राउडसोर्सिंग परिदृश्यों में स्पैमर्स और प्रतिकूल वर्कर्स के विरुद्ध बेहतर मजबूती प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप शहर में सबसे अच्छा पिज्जा खोजने की कोशिश कर रहे हैं। आप अपने सौ दोस्तों से पूछते हैं कि कौन सा स्लाइस बेहतर है: पेपरोनी या चीज़। आपके अधिकांश दोस्त आपको ईमानदार और विचारशील उत्तर देते हैं। लेकिन कुछ लोग बस अंदाज़ा लगा रहे हैं क्योंकि वे भूखे हैं और उन्होंने पिज्जा को देखा नहीं है। एक दोस्त शरारती है जो केवल मुश्किल पैदा करने के लिए हमेशा गलत विकल्प चुनता है। एक और दोस्त इतना थका हुआ है कि वह बिना टॉपिंग्स देखे हर बार बस बाईं ओर का बटन दबा देता है। यदि आप केवल वोटों की गिनती करते हैं, तो आपकी "सबसे अच्छे पिज्जा" की सूची इन अविश्वसनीय आवाजों से खराब हो जाएगी। यह क्राउडसोर्सिंग (crowdsourcing) की मूल समस्या है: लोगों के एक समूह से निर्णय लेना, लेकिन इस तथ्य से निपटना कि हर कोई ध्यान नहीं दे रहा है, और कुछ लोग सक्रिय रूप से आपको धोखा देने की कोशिश कर रहे हैं।
कंप्यूटर विज्ञान की दुनिया में, इसे "पेयरवाइज कंपैरिजन (pairwise comparisons) से सीखना" कहा जाता है। यह इसी तरह है जिससे रिकमेंडेशन सिस्टम तय करते हैं कि अगली फिल्म आपको कौन सी दिखानी है, या एआई (AI) मॉडल मानवीय फीडबैक की तुलना करके बेहतर निबंध लिखना कैसे सीखते हैं। लक्ष्य हर वस्तु के लिए एक छिपे हुए "स्कोर" या "रिवॉर्ड" को खोजना है जो इस आधार पर हो कि किसने किसे हराया। लेकिन इसे सटीक रूप से करने के लिए, आपको एक पेचीदा पहेली सुलझानी होगी: आप कैसे जानते हैं कि कौन से दोस्त सच बोल रहे हैं और कौन स्पैम कर रहे हैं, खासकर जब आपके पास जांच करने के लिए कोई "गोल्ड स्टैंडर्ड" उत्तर कुंजी उपलब्ध नहीं है? यह शोध पत्र ठीक उसी उलझन में गहराई से उतरता है, जो सिग्नल (वास्तविक प्राथमिकताएं) को स्पैम (शोर/नॉइज़) से अलग करने की कोशिश करता है।
शोधकर्ता, जो आईआईटी बॉम्बे की एक टीम है, इस पहेली को सुलझाने के लिए एक चतुर नया तरीका प्रस्तावित करते हैं जिसे BoRaEM कहा जाता है। यह मान लेने के बजाय कि हर कोई समान रूप से बुद्धिमान है या पहले से ही "अच्छे श्रमिकों" की एक अलग सूची खोजने के बजाय, उनकी विधि दो चीजें एक साथ सीखती है: प्रत्येक वस्तु का वास्तविक स्कोर और प्रत्येक कार्यकर्ता की सक्षमता। वे "बोल्ट्ज़मैन-रेशनल" (Boltzmann-rational) नामक एक गणितीय मॉडल का उपयोग करते हैं, जो कल्पना करता है कि प्रत्येक कार्यकर्ता के पास एक "तार्किकता डायल" (rationality dial) होता है। यदि डायल 1 पर सेट है, तो कार्यकर्ता एक पूर्ण विशेषज्ञ है। यदि यह 0 पर सेट है, तो वह एक रैंडम स्पैमर है जो बटन दबा रहा है। यदि यह -1 पर सेट है, तो वह परिणाम बिगाड़ने वाला एक विरोधी (adversary) है।
उनके पेपर का जादुई करतब "पोल्या-गामा" (Polya-Gamma) वेरिएबल्स नामक एक गणितीय चालाकी है। इसे एक रेसिपी में गुप्त सामग्री जोड़ने जैसा समझें जो एक बिखरी हुई, असंभव-से-पकाने वाली समीकरण को एक सुचारू, आसानी से हल होने वाले समीकरण में बदल देती है। यह उन्हें 'एक्सपेक्टेशन-मैक्सिमाइजेशन' (EM) नामक एल्गोरिदम का उपयोग करने की अनुमति देता है ताकि वे स्कोर और श्रमिकों के कौशल का अनुमान लगाने के लिए बार-बार अनुमान लगाएं, और फिर उन अनुमानों को तब तक परिष्कृत करें जब तक कि वे सबसे संभावित उत्तर पर न पहुंच जाएं। उन्होंने गणितीय रूप से सिद्ध किया कि यह प्रक्रिया स्थिर है और एक अच्छे समाधान की ओर अग्रसर होगी, भले ही डेटा शोर भरा हो।
जब उन्होंने नकली डेटा और वास्तविक दुनिया के डेटासेट (जैसे कि चेहरे की तुलना करके यह देखना कि कौन अधिक उम्र का दिखता है या पढ़ने के अंशों की कठिनाई का आकलन करना) पर इसका परीक्षण किया, तो उनकी विधि सबसे अलग रही। उन सिमुलेशन में जहाँ उन्होंने 44% तक स्पैमर्स डाले थे—चाहे वे रैंडम क्लिकर हों या दुर्भावनापूर्ण झूठ बोलने वाले—BoRaEM ने अपना धैर्य बनाए रखा। जबकि पुराने तरीके विफल हो गए, BoRaEM मजबूत बना रहा और सही रैंकिंग की पहचान की। यह शोध पत्र सुझाव देता है कि यह संयुक्त रूप से सीखने से कि कौन विश्वसनीय है और वस्तुओं का मूल्य क्या है, हम चीजों को रैंक करने के लिए बहुत अधिक भरोसेमंद सिस्टम बना सकते हैं, यहाँ तक कि झूठ बोलने वालों की भीड़ भरी दुनिया में भी। यह सब कुछ तुरंत ठीक करने वाली कोई जादुई छड़ी नहीं है, लेकिन यह झूठ बोलने वाले भीड़ के बीच सच खोजने का एक मजबूत, सैद्धांतिक रूप से स्थापित तरीका प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।