Generalized Rank-based Evaluation for Knowledge Graph Completion: Perspectives, Framework, and Analyses
यह शोध पत्र PROBE को प्रस्तुत करता है, जो नॉलेज ग्राफ कम्प्लीशन के लिए एक सामान्यीकृत मूल्यांकन ढांचा है जो एक नवीन रैंक ट्रांसफार्मर और एग्रीगेटर के माध्यम से प्रेडिक्टिव शार्पनेस और लोकप्रियता-बायस रोबस्टनेस के अनदेखे दृष्टिकोणों को संबोधित करता है, जो मौजूदा मेट्रिक्स की तुलना में मॉडल प्रदर्शन का अधिक सैद्धांतिक रूप से सुदृढ़ और अधिक विश्वसनीय मूल्यांकन प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक हायरिंग मैनेजर हैं जो किसी काम के लिए सबसे अच्छा उम्मीदवार चुनने की कोशिश कर रहे हैं। आपके पास दो आवेदक हैं, एलिस और बॉब।
- एलिस एक "स्प्रिन्टर" (धावक) है। वह 50% टेस्ट में शीर्ष स्थान (रैंक #1) प्राप्त करती है, लेकिन बाकी 50% में, वह सबसे अंतिम स्थान पर आती है।
- बॉब एक "मैराथन धावक" है। वह कभी भी रैंक #1 नहीं पाता, लेकिन वह हर एक टेस्ट में लगातार टॉप 5 में रहता है।
आपके लिए बेहतर कर्मचारी कौन है? इसका उत्तर पूरी तरह से इस पर निर्भर करता है कि आपको किस तरह के काम के लिए उनकी आवश्यकता है।
- यदि आपको एक ड्रग डिस्कवरी साइंटिस्ट (दवा की खोज करने वाले वैज्ञानिक) की आवश्यकता है, तो आपको एक स्प्रिन्टर की आवश्यकता है। एक गलत अनुमान खतरनाक हो सकता है, इसलिए आपको तुरंत सबसे सटीक उत्तर चाहिए। आप बॉब को दंडित करना चाहेंगे क्योंकि वह #1 नहीं है, भले ही वह आमतौर पर अच्छा होता है।
- यदि आपको एक मूवी ऐप के लिए रेकमेंडेशन इंजन की आवश्यकता है, तो आप मैराथन धावक को पसंद कर सकते हैं। जब तक उपयोगकर्ता को टॉप 5 में एक अच्छी मूवी मिल रही है, इससे कोई फर्क नहीं पड़ता कि वह नंबर #1 विकल्प था या नहीं। आप बॉब को क्योंकि वह लगातार भरोसेमंद है, उसे पुरस्कृत करना चाहेंगे।
समस्या: पुराना पैमाना टूट गया है
वर्षों से, नॉलेज ग्राफ कम्प्लीशन (जो कंप्यूटर को छूटे हुए तथ्यों को भरने में मदद करता है, जैसे "फ्रांस का राष्ट्रपति कौन है?") के क्षेत्र में प्रदर्शन को मापने के लिए एक एकल, कठोर पैमाने का उपयोग किया जाता रहा है। इस पैमाने को MRR (मीन रेसिप्रोकल रैंक) कहा जाता है।
लेख तर्क देता है कि यह पुराना पैमाना दोषपूर्ण है क्योंकि यह ऐसा व्यवहार करता है जैसे इसे केवल स्प्रिंटर्स की परवाह है। यह कड़ाई से दंडित करता है यदि कोई व्यक्ति रैंक #1 नहीं है। यह एक छिपे हुए पूर्वाग्रह को भी अनदेखा करता है: यह उन लोगों को पसंद करता है जो प्रसिद्ध (लोकप्रिय) हैं और उन लोगों को अनदेखा करता है जो दुर्लभ लेकिन महत्वपूर्ण हैं।
लेखक, मून, कांग और को कहते हैं: "हमें एक नया पैमाना चाहिए जिसे काम के अनुसार बदला जा सके।"
समाधान: PROBE (एक समायोज्य पैमाना)
वे PROBE नामक एक नया फ्रेमवर्क पेश करते हैं। इसे एक एकल पैमाने के रूप में नहीं, बल्कि दो डायल वाले एक स्मार्ट, एडजस्टेबल मापने वाले टेप के रूप में सोचें।
डायल 1: प्रेडिक्टिव शार्पनेस (द "स्ट्रिक्टनेस" नॉब)
यह डायल यह नियंत्रित करता है कि आप रैंक #1 होने के प्रति कितनी परवाह करते हैं बनाम "काफी अच्छा" होने के प्रति।
- इसे ऊपर घुमाएं (हाई शार्पनेस): आप एक सख्त बॉस हैं। यदि आप रैंक #1 नहीं हैं, तो आपको भारी दंड मिलता है। यह चिकित्सा जैसे उच्च-जोखिम वाले क्षेत्रों के लिए अच्छा है।
- इसे नीचे घुमाएं (लो शार्पनेस): आप एक उदार बॉस हैं। यदि आप टॉप 5 या 10 में हैं, तो आपको एक अच्छा स्कोर मिलता है। यह मूवी या समाचार रिकमेंड करने के लिए अच्छा है।
पेपर दिखाता है कि मौजूदा मेट्रिक्स (जैसे MRR) इस तरह फंसे हुए हैं कि उनका "स्ट्रिक्टनेस" नॉब पूरी तरह से ऊपर की ओर है। वे उन मॉडल्स को अनुचित रूप से दंडित करते हैं जो लगातार अच्छे हैं लेकिन शायद ही कभी पूर्ण होते हैं। PROBE आपको उस नॉब को अपनी वास्तविक दुनिया की जरूरतों के अनुसार सेट करने की अनुमति देता है।
डायल 2: पॉपुलैरिटी-बायस रोबस्टनेस (द "फेम" नॉब)
वास्तविक दुनिया का डेटा अजीब होता है। कुछ तथ्य बहुत आम होते हैं (जैसे "पेरिस फ्रांस में है"), जबकि अन्य दुर्लभ होते हैं (जैसे "यह विशिष्ट दुर्लभ बीमारी इस विशिष्ट जीन को प्रभावित करती है")।
- समस्या: पुराने पैमाने लोकप्रिय तथ्यों को पसंद करते हैं। वे आसान, लोकप्रिय उत्तरों को सही बताने के लिए बड़े अंक देते हैं, और दुर्लभ वाले को अनदेखा करते हैं। यह एक छात्र की तरह है जो "1+1=2" जानने के लिए A+ प्राप्त करता है लेकिन एक नई, जटिल वैज्ञानिक खोज को सीखने में विफल रहता है।
- PROBE का समाधान: यह डायल आपको यह बताने की अनुमति देता है: "मुझे प्रसिद्ध तथ्यों की परवाह नहीं है; मुझे दुर्लभ तथ्यों की परवाह है।"
- यदि आप इस डायल को ऊपर घुमाते हैं, तो यह दुर्लभ, अस्पष्ट तथ्यों को सही बताने के लिए अधिक अंक देता है और सामान्य तथ्यों के लिए कम अंक देता है।
- यह उन मॉडल्स को खोजने में मदद करता है जो वास्तव में नए, छिपे हुए कनेक्शन खोजने के लिए स्मार्ट हैं, न कि केवल सबसे लोकप्रिय चीजों को याद करने के लिए।
यह कैसे काम करता है (पर्दे के पीछे का जादू)
पेपर मूल्यांकन प्रक्रिया को तीन सरल चरणों में तोड़ता है:
- प्रेडिक्शन (अनुमान): कंप्यूटर उत्तर का अनुमान लगाता है और एक रैंक प्राप्त करता है (जैसे, "मुझे लगता है कि उत्तर #42 है")।
- ट्रांसफॉर्मेशन (शार्पनेस डायल): सिस्टम उस रैंक को एक स्कोर में बदल देता है। यदि आप हाई शार्पनेस चाहते हैं, तो #42 को बहुत खराब स्कोर मिलेगा। यदि आप लो शार्पनेस चाहते हैं, तो #42 को एक अच्छा स्कोर मिलेगा।
- एग्रीगेशन (फेम डायल): सिस्टम सभी स्कोर को जोड़ता है, लेकिन वे भारित (weighted) होते हैं। यदि प्रश्न किसी दुर्लभ तथ्य के बारे में था, तो यह अधिक गिनता है। यदि प्रश्न किसी प्रसिद्ध तथ्य के बारे में था, तो यह कम गिनता है।
उन्होंने क्या पाया
लेखकों ने छह अलग-अलग कंप्यूटर मॉडल्स को छह अलग-अलग वास्तविक दुनिया के नॉलेज बेस (जैसे तथ्यों का विशाल डेटाबेस) पर टेस्ट किया।
- "वन साइज फिट्स ऑल" का झूठ: उन्होंने पाया कि पुराना पैमाना (MRR) अक्सर "गलत" विजेता चुन लेता है। एक मॉडल जो पुराने पैमाने पर शानदार दिखता है, वह वास्तव में दुर्लभ तथ्यों को खोजने में बहुत बुरा हो सकता है या वास्तविक दुनिया के उपयोग के लिए बहुत अस्थिर हो सकता है।
- पॉपुलैरिटी ट्रैप: जो मॉडल्स पुराने पैमाने पर चैंपियन दिखते थे, वे अक्सर केवल "फेम-चेज़र्स" (प्रसिद्धि के पीछे भागने वाले) थे। वे लोकप्रिय चीजों के बारे में सवालों के जवाब देने में बेहतरीन थे लेकिन दुर्लभ, महत्वपूर्ण चीजों के मामले में बुरी तरह विफल रहे।
- निरंतरता (Consistency): जब उन्होंने मॉडल्स का परीक्षण एक "परफेक्ट वर्ल्ड" (जहाँ सभी तथ्य ज्ञात हैं) बनाम एक "रियल वर्ल्ड" (जहाँ तथ्य गायब हैं) में किया, तो पुराना पैमाना भ्रमित हो गया और उसने अपना निर्णय बदल दिया। PROBE सुसंगत रहा। इसने सही ढंग से पहचाना कि सबसे अच्छा मॉडल कौन सा है, चाहे कितनी भी जानकारी गायब क्यों न हो।
मुख्य निष्कर्ष
पेपर तर्क देता है कि हम अब AI मॉडल्स को आंकने के लिए केवल एक मानक स्कोर का उपयोग नहीं कर सकते। जिस तरह आप स्प्रिंटर्स को मापने के लिए डिज़ाइन किए गए रूलर का उपयोग मैराथन धावक को आंकने के लिए नहीं कर सकते, हमें उन मॉडल्स को आंकने के लिए "सख्त, प्रसिद्धि-प्रेमी" मेट्रिक का उपयोग नहीं करना चाहिए जिन्हें लचीला और निष्पक्ष होने की आवश्यकता है।
PROBE शोधकर्ताओं और डेवलपर्स को यह कहने की क्षमता देता है कि: "इस विशिष्ट काम के लिए, मुझे एक ऐसे मॉडल की आवश्यकता है जो #1 होने के प्रति सख्त हो," या "इस काम के लिए, मुझे एक ऐसे मॉडल की आवश्यकता है जो दुर्लभ, छिपे हुए तथ्यों को खोजने में अच्छा हो।" यह मूल्यांकन को निष्पक्ष, लचीला और वास्तव में वास्तविक जीवन के लिए उपयोगी बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।