Conditional Evaluation of Language Models with Cheap Auxiliary Signals
यह शोध पत्र LACE को प्रस्तुत करता है, जो एक अर्ध-पर्यवेक्षित (semi-supervised) एस्टिमेटर है जो प्रत्येक आइटम के लिए गोल्ड लेबल की आवश्यकता के बिना, कुशल और निष्पक्ष रूप से कंडीशनल लैंग्वेज मॉडल परफॉरमेंस प्रोफाइल्स का अनुमान लगाने के लिए सस्ते, संभावित रूप से पक्षपाती सहायक संकेतों का लाभ उठाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, एक कंप्यूटर प्रोग्राम दुनिया को कितनी अच्छी तरह समझता है, इसका मापन करना एक जटिल चुनौती बन गया है। वैज्ञानिक केवल यह नहीं जानना चाहते कि क्या कोई मॉडल सामान्य रूप से बुद्धिमान है; वे यह भी समझना चाहते हैं कि वह वास्तव में कहाँ उत्कृष्ट है और कहाँ लड़खड़ाता है। क्या एक भाषा मॉडल बीजगणित (algebra) की समस्याओं को हल करने में निपुण है लेकिन ज्यामिति (geometry) में संघर्ष करता है? क्या यह हाई स्कूल के विज्ञान के प्रश्नों के लिए विश्वसनीय है लेकिन प्राथमिक ग्रेड की सामग्री के सामने कमजोर हो जाता है? इन सवालों के जवाब देने के लिए, शोधकर्ता एक मॉडल के प्रदर्शन को विशिष्ट प्रोफाइल्स में विभाजित करते हैं, जैसे कि कठिनाई स्तर या विषय श्रेणियाँ। हालाँकि, इन विशिष्ट समूहों के लिए वास्तविक सटीकता निर्धारित करना महंगा और धीमा है। इसके लिए अक्सर मानव विशेषज्ञों द्वारा प्रत्येक उत्तर को ग्रेड देने की आवश्यकता होती है, जो आधुनिक बेंचमार्क के हजारों आइटम्स के लिए करना बहुत महंगा है।
सौभाग्य से, इन उत्तरों के बारे में जानकारी एकत्र करने के सस्ते तरीके मौजूद हैं। आधुनिक सिस्टम अन्य आर्टिफिशियल इंटेलिजेंस मॉडल्स का उपयोग जवाबों को परखने के लिए, उत्तरों की आपस में तुलना करने के लिए, या मॉडल से यह पूछने के लिए कर सकते हैं कि वह अपने स्वयं के काम के बारे में कितना आश्वस्त महसूस करता है। ये संकेत (signals) हर एक आइटम के लिए एकत्र करने में तेज़ और सस्ते होते हैं, लेकिन ये अपूर्ण हैं। वे पक्षपाती हो सकते हैं, प्रश्न पूछने के तरीके से आसानी से भ्रमित हो सकते हैं, या कुछ प्रकार की समस्याओं के बारे में बस गलत हो सकते हैं। शोधकर्ताओं के लिए केंद्रीय प्रश्न यह रहा है कि क्या ये त्रुटिपूर्ण, सस्ते संकेत अभी भी महंगे मानव ग्रेडिंग को पूरी तरह से बदलने की आवश्यकता के बिना, एक मॉडल के वास्तविक प्रदर्शन की हमारी समझ को बेहतर बनाने में मदद कर सकते हैं।
सांख्यिकीविदों और कंप्यूटर वैज्ञानिकों की एक टीम ने इस समस्या को हल करने के लिए LACE नामक एक नई विधि विकसित की है, जिसका अर्थ है 'लोकल ऑगमेंटेड कंट्रोल-वेरिएट इवैल्यूएशन' (Local Augmented Control-Variate Evaluation)। सस्ते संकेतों को एकदम सटीक बनाने की कोशिश करने के बजाय, शोधकर्ताओं ने एक ऐसी प्रणाली डिजाइन की है जो शोर (noise) को कम करने के लिए उनका उपयोग करती है, जबकि महंगे मानव ग्रेड को सत्य के आधार (anchor of truth) के रूप में बनाए रखती है। मुख्य विचार यह है कि प्रश्नों के विशिष्ट समूहों को देखना, जैसे कि सभी कठिन गणित के प्रश्न, और यह देखना कि उस विशिष्ट समूह के भीतर सस्ते संकेत कैसे व्यवहार करते हैं। प्रश्नों के पूरे पूल के लिए औसत सस्ते संकेत स्कोर की तुलना केवल उन प्रश्नों के औसत स्कोर से करके जिन्हें वास्तव में मनुष्यों द्वारा ग्रेड किया गया था, यह विधि वास्तविक सटीकता का अधिक सटीक अनुमान लगा सकती है। यह मानव ग्रेड से अनुमानित (predictable) हिस्से वाले सस्ते संकेत को घटाकर काम करता है, जिससे प्रभावी रूप से "स्टैटिक" (static) हट जाता है और मॉडल के वास्तविक कौशल की एक स्पष्ट तस्वीर मिलती है।
शोधकर्ताओं ने गणित, विज्ञान और सामान्य ज्ञान को कवर करने वाले आठ अलग-अलग बेंचमार्क पर, तीन अलग-अलग लार्ज लैंग्वेज मॉडल्स का उपयोग करके इस दृष्टिकोण का परीक्षण किया। उन्होंने एक ऐसी स्थिति का अनुकरण किया जहाँ उत्तरों का केवल एक छोटा हिस्सा—500 में से 50 से 200 आइटम—मानवों द्वारा ग्रेड किया गया था, जबकि सस्ते संकेत सभी आइटम्स के लिए उपलब्ध थे। परिणाम चौंकाने वाले थे। इस नई विधि ने मानव ग्रेडों का अकेले उपयोग करने की तुलना में प्रदर्शन अनुमानों की सटीकता में लगभग पांच से छह गुना सुधार किया। कुछ विशिष्ट मामलों में, यह सुधार और भी अधिक था, जो ग्यारह गुना तक अधिक कुशल रहा। इसका अर्थ यह है कि परिणामों में विश्वास के समान स्तर प्राप्त करने के लिए, शोधकर्ताओं को बहुत कम महंगे मानव लेबल की आवश्यकता होगी, या वे समान लागत के लिए बहुत अधिक विस्तृत अंतर्दृष्टि प्राप्त कर सकते हैं।
महत्वपूर्ण रूप से, अध्ययन ने दिखाया कि यह सुधार तब भी बना रहता है जब सस्ते संकेत पक्षपाती या गलत अंशांकन (miscalibrated) वाले हों। इस विधि के लिए यह आवश्यक नहीं है कि AI जज पूरी तरह से सटीक हों; इसके लिए केवल यह आवश्यक है कि वे विशिष्ट समूहों के भीतर मानव ग्रेड के उतार-चढ़ाव (variation) की व्याख्या कर सकें। शोधकर्ताओं ने यह भी प्रदर्शित किया कि यह विधि दो अलग-अलग मॉडलों की सीधे तुलना करने के लिए और स्कोर को इस तरह से समायोजित करने के लिए काम करती है जैसे कि एक मॉडल वास्तविक दुनिया के परिवेश में कैसा प्रदर्शन करेगा, न कि केवल एक परीक्षण पर। उन्होंने गणितीय रूप से सिद्ध किया कि यह विधि निष्पक्ष (unbiased) है और यह उपलब्ध सस्ते संकेतों की गुणवत्ता के अनुसार स्वतः अनुकूलित हो जाती है। यदि सस्ते संकेत किसी विशेष क्षेत्र में बहुत सहायक हैं, तो यह विधि उनका भारी उपयोग करती है; यदि वे किसी अन्य क्षेत्र में बेकार हैं, तो यह उन्हें अनदेखा कर देती है और मानव ग्रेड पर भरोसा करती है।
इन निष्कर्षों से आर्टिफिशियल इंटेलिजेंस के मूल्यांकन के लिए एक व्यावहारिक मार्ग का सुझाव मिलता है। उच्च-गुणवत्ता वाले थोड़े से मानव फीडबैक को बड़ी मात्रा में शोर वाले, सस्ते डेटा के साथ जोड़कर, शोधकर्ता एक मॉडल की क्षमताओं का बहुत अधिक विस्तृत मानचित्र बना सकते हैं। यह चिकित्सा निदान या शैक्षिक उपकरणों जैसे विशिष्ट कार्यों के लिए किस मॉडल का उपयोग किया जाए, इस बारे में सूक्ष्म निर्णय लेने की अनुमति देता है, वह भी प्रत्येक इंटरेक्शन को ग्रेड करने की अत्यधिक लागत के बिना। यह कार्य पुष्टि करता है कि महंगे गोल्ड-स्टैंडर्ड लेबल ही सत्य का एकमात्र स्रोत होने की आवश्यकता नहीं है; जब उन्हें प्रचुर मात्रा में उपलब्ध सहायक डेटा के साथ बुद्धिमानी से उपयोग किया जाता है, तो वे यह प्रकट कर सकते हैं कि बुद्धिमान प्रणालियाँ वास्तव में कैसे प्रदर्शन करती हैं, जिसका चित्र कहीं अधिक स्पष्ट और कुशल होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।