A Jury, Not an Electorate: Label-Free Reliability Estimation for Ensembles of Language Models

आर्टिफिशियल इंटेलिजेंस की तेजी से विकसित होती दुनिया में, शोधकर्ता अक्सर कठिन समस्याओं को हल करने के लिए "एन्सेम्बल लर्निंग" (ensemble learning) नामक रणनीति का उपयोग करते हैं। एक एकल, विशाल कंप्यूटर प्रोग्राम पर सही उत्तर खोजने के लिए निर्भर रहने के बजाय, वे विभिन्न प्रोग्रामों का एक समूह इकट्ठा करते हैं, जिनमें से प्रत्येक को अलग-अलग डेटा पर प्रशिक्षित किया गया होता है या अलग-अलग खूबियों के साथ डिजाइन किया गया होता है, और उन सभी से एक ही कार्य पर काम करने के लिए कहते हैं। उम्मीद यह है कि जहाँ एक प्रोग्राम लड़खड़ा सकता है, वहीं दूसरा सफल हो जाएगा, और उनके प्रयासों को मिलाकर, समूह उस स्तर की सटीकता प्राप्त कर सकता है जो कोई भी अकेला सदस्य अकेले नहीं पहुँच सकता। हालाँकि, एक निरंतर चुनौती यह रही है कि समूह के किस सदस्य पर भरोसा किया जाए जब वे असहमत हों। पारंपरिक तरीके अक्सर एक चुनाव की तरह काम करते हैं, जहाँ प्रत्येक मॉडल को एक वोट मिलता है, और चुना गया उत्तर वही होता है जिसे सबसे अधिक समर्थन प्राप्त होता है। यह दृष्टिकोण मानता है कि समूह का सामूहिक ज्ञान बहुमत में निहित है, लेकिन यह इस संभावना को नजरअंदाज कर देता है कि सबसे लोकप्रिय उत्तर गलत हो सकता है, या एक शांत, अधिक विश्वसनीय विशेषज्ञ को एक शोर करने वाले, कम सटीक विशेषज्ञ द्वारा दबाया जा रहा है।

एक नया अध्ययन इस समस्या के बारे में सोचने का एक अलग तरीका प्रस्तावित करता है, यह सुझाव देते हुए कि आर्टिफिशियल इंटेलिजेंस मॉडलों के एक समूह को एक निर्वाचक मंडल के रूप में नहीं, बल्कि एक जूरी (न्यायपीठ) के रूप में माना जाना चाहिए। एक अदालत में, जूरी केवल इस बात की गिनती नहीं करती कि कितने लोग किसी निर्णय पर सहमत हैं; इसके बजाय, वे प्रत्येक गवाह की गवाही सुनते हैं और इस आधार पर निर्णय लेते हैं कि कौन विश्वसनीय है, जो वे कहते हैं और उनकी कहानियाँ एक-दूसरे से कैसे मेल खाती हैं। इस कार्य के पीछे के शोधकर्ताओं ने पूछा कि क्या भाषा मॉडलों का एक समूह ऐसा ही कर सकता है: क्या वे बिना यह जाने कि सही उत्तर क्या है, केवल अपने उत्तरों के पैटर्न से प्रत्येक सदस्य की विश्वसनीयता का अनुमान लगा सकते हैं। उन्होंने एक ऐसी प्रणाली बनाई जहाँ मॉडल गवाह के रूप में कार्य करते हैं, और सिस्टम यह सीखने में सक्षम है कि किन लोगों पर भरोसा करना है जिनकी गवाही लगातार सत्य के साथ मेल खाती है, भले ही सिस्टम स्वयं कभी सत्य को नहीं देखता है।

शोधकर्ताओं ने इस विचार का परीक्षण 1,560 प्रश्नों के एक बेंचमार्क पर किया, जिसमें गणित और विज्ञान से लेकर कानून और सामान्य तर्क तक विषयों की एक विस्तृत श्रृंखला शामिल थी। उन्होंने विशेषज्ञों के रूप में कार्य करने के लिए आकार और प्रशिक्षण में भिन्नता वाले नौ अलग-अलग भाषा मॉडलों को एकत्र किया। एक मानक सेटअप में, इन मॉडलों को प्रश्नों का एक सेट दिया जाता है, और उनके उत्तरों को एक साधारण बहुमत मत या एक भारित औसत (weighted average) का उपयोग करके संयोजित किया जाता है जहाँ भार उन प्रश्नों के सेट पर मॉडलों के प्रदर्शन के आधार पर निर्धारित किया जाता है जिनके उत्तर ज्ञात होते हैं। हालाँकि, नई विधि, विश्वास निर्धारित करने के लिए सही उत्तरों को देखने के चरण को छोड़ देती है। इसके बजाय, यह मॉडलों द्वारा पूछे गए प्रश्नों के उत्तरों का विश्लेषण करने के लिए एक गणितीय प्रक्रिया का उपयोग करती है। यह देखते हुए कि कौन से मॉडल एक-दूसरे के साथ सहमत हैं और कौन से असहमत हैं, सिस्टम यह अनुमान लगाता है कि प्रत्येक मॉडल कितना विश्वसनीय है। यह सही उत्तर को एक छिपे हुए तथ्य के रूप में मानता है जिसे मॉडल रिपोर्ट करने की कोशिश कर रहे हैं, और यह गणना करता है कि समूह की प्रतिक्रियाओं के विन्यास के आधार पर प्रत्येक मॉडल के सच बोलने की कितनी संभावना है।

इस प्रयोग के परिणाम आश्चर्यजनक थे। जूरी-आधारित प्रणाली, जिसने सही उत्तरों को देखे बिना ही अपने सदस्यों पर भरोसा करना सीखा, ने पूरे बेंचमार्क पर 76.9 प्रतिशत की सटीकता हासिल की। यह प्रदर्शन एक साधारण बहुमत मत से काफी बेहतर था, जो 63.0 प्रतिशत था, और इसने समूह के सर्वश्रेष्ठ एकल मॉडल को भी पछाड़ दिया, जिसने 75.0 प्रतिशत तक की उपलब्धि प्राप्त की। शायद सबसे महत्वपूर्ण बात यह है कि जूरी ने ठीक उसी तरह के संयोजन नियमों का उपयोग करने वाले सिस्टम के समान प्रदर्शन किया, जिसे भार निर्धारित करने के लिए सही उत्तरों के साथ प्रशिक्षित किया गया था। यह निष्कर्ष बताता है कि डेटा को लेबल करने की जटिल प्रक्रिया, जिससे यह सिखाया जाता है कि किस मॉडल पर भरोसा करना है, पूरी तरह से आवश्यक नहीं है; सिस्टम केवल यह सुनकर कि वे क्या कहते हैं, सही गवाहों पर भरोसा करना सीख सकता है। अध्ययन ने यह भी पाया कि एक मॉडल द्वारा दिए जाने वाले संभावित उत्तरों की पूरी श्रृंखला को बनाए रखने से, न कि केवल उसके शीर्ष विकल्प को, परिणामों में उल्लेखनीय सुधार हुआ। जब सिस्टम ने उत्तरों के संभाव्यता वितरण (probability distribution) पर विचार किया, तो इसे एक साधारण मत की तुलना में 8.4 प्रतिशत अंक का अतिरिक्त लाभ हुआ, और विशेषज्ञों को सही ढंग से भारित करने से 5.5 अंक और बढ़ गए।

शोधकर्ता इस विचार को खारिज करने के लिए सावधान रहे कि यह सफलता केवल अधिक डेटा या बेहतर नमूनाकरण तकनीकों के कारण थी। उन्होंने अपनी विधि की तुलना कई अन्य उन्नत तकनीकों से की जो बिना लेबल के मॉडलों को संयोजित करने का प्रयास करती हैं, और जूरी ने लगातार उनसे बेहतर प्रदर्शन किया। उदाहरण के लिए, इसने बिना लेबल वाली सबसे मजबूत वैकल्पिक विधि को 5.5 प्रतिशत अंकों से हराया। अध्ययन ने यह भी जांचा कि क्या सिस्टम केवल भाग्यशाली था या वह वास्तव में सही पैटर्न सीख रहा था। उन्होंने जूरी का विभिन्न मॉडलों के उपसमुच्चयों पर परीक्षण किया और पाया कि इसने लगभग सभी संयोजनों में समान-भार वाले मतदान और सर्वश्रेष्ठ एकल विशेषज्ञ दोनों से लगातार बेहतर प्रदर्शन किया। एकमात्र समय जब जूरी ने सर्वश्रेष्ठ एकल मॉडल में सुधार नहीं किया, वह तब था जब समूह में बहुत कमजोर विशेषज्ञ शामिल थे, एक ऐसी स्थिति जहाँ कोई भी संयोजन विधि वास्तविक रूप से मदद नहीं कर सकती थी।

इस कार्य के सबसे महत्वपूर्ण पहलुओं में से एक यह है कि यह इस धारणा को चुनौती देता है कि सर्वोत्तम परिणाम प्राप्त करने के लिए पर्यवेक्षण (supervision) हमेशा आवश्यक है। आर्टिफिशियल इंटेलिजेंस के कई क्षेत्रों में, मानक अभ्यास एक बड़े डेटासेट पर एक सिस्टम को प्रशिक्षित करना है जहाँ सही उत्तर ज्ञात होते हैं, ताकि सिस्टम सीख सके कि कौन से मॉडल अच्छे हैं। यह नया दृष्टिकोण दिखाता है कि मॉडलों को संयोजित करने के लिए, सिस्टम सीधे मॉडलों के बीच सहमति और असहमति से विश्वसनीयता का अनुमान लगा सकता है। शोधकर्ताओं ने पाया कि जूरी और पर्यवेक्षित (supervised) प्रणाली के बीच का अंतर इतना कम था कि मॉडलों के फिट होने की प्राकृतिक भिन्नता को ध्यान में रखते हुए यह सांख्यिकीय रूप से महत्वपूर्ण नहीं था। इसका तात्पर्य यह है कि संयोजन नियम को प्रशिक्षित करने के लिए डेटा को लेबल करने का अतिरिक्त प्रयास कई मामलों में सार्थक नहीं हो सकता है।

अध्ययन ने यह भी देखा कि सिस्टम अनिश्चितता को कैसे संभालता है। जब मॉडलों से उत्तर बनाने के लिए कहा जाता है, तो वे अक्सर एक एकल निश्चित कथन के बजाय संभावनाओं की एक श्रृंखला उत्पन्न करते हैं। जूरी विधि इन पूर्ण वितरणों का उपयोग करती है, जो इसे एक साधारण मत की तुलना में अधिक सूक्ष्मता कैप्चर करने की अनुमति देती है। उदाहरण के लिए, यदि एक मॉडल गलत उत्तर के प्रति बहुत आश्वस्त है जबकि दूसरा सही उत्तर के प्रति थोड़ा कम आश्वस्त है, तो सिस्टम साक्ष्य को उचित रूप से तौल सकता है। शोधकर्ताओं ने पाया कि यह दृष्टिकोण गणित की समस्याओं पर विशेष रूप से प्रभावी था, जहाँ समूह के सर्वश्रेष्ठ एकल मॉडल को संघर्ष करना पड़ा, लेकिन जूरी अन्य मॉडलों की ताकत का लाभ उठाकर सही समाधान तक पहुँचने में सक्षम रही।

हालाँकि यह विधि शक्तिशाली है, शोधकर्ताओं ने इसकी कुछ सीमाओं का उल्लेख किया। सिस्टम के लिए यह आवश्यक है कि समूह का प्रत्येक मॉडल एक उत्तर प्रदान करे, और जनरेटिव कार्यों के लिए, इसे उत्तरों का एक विश्वसनीय वितरण बनाने के लिए कई नमूने चलाने की आवश्यकता होती है। यह एक मॉडल से उत्तर मांगने की तुलना में कम्प्यूटेशनल लागत को बढ़ाता है। हालाँकि, अध्ययन बताता है कि सटीकता में महत्वपूर्ण लाभ के कारण यह लागत उचित है। शोधकर्ताओं ने यह भी देखा कि सिस्टम का अपने उत्तरों पर आत्मविश्वास अक्सर उसकी वास्तविक सटीकता से अधिक था, जिसका अर्थ है कि वह कभी-कभी गलत उत्तर के बारे में बहुत आश्वस्त महसूस करता था। यह आर्टिफिशियल इंटेलिजेंस में एक सामान्य समस्या है, और शोधकर्ताओं ने नोट किया कि सिस्टम के आत्मविश्वास स्कोर को विश्वसनीय माप के रूप में उपयोग करने से पहले उसे पुन: अंशांकित (recalibration) करने की आवश्यकता होगी।

अंततः, यह शोध इस बारे में एक नया दृष्टिकोण प्रदान करता है कि हम आर्टिफिशियल इंटेलिजेंस की सामूहिक बुद्धिमत्ता का लाभ कैसे उठा सकते हैं। मॉडलों को एक निर्वाचक मंडल के बजाय एक जूरी के रूप में मानकर, हम ऐसे सिस्टम बना सकते हैं जो अपने हिस्सों के योग से अधिक स्मार्ट हैं, बिना पहले से उत्तर जाने। केवल गवाही से विश्वास सीखने की क्षमता आर्टिफिशियल इंटेलिजेंस का उपयोग करने के अधिक कुशल और अनुकूलनीय तरीकों के द्वार खोलती है, जहाँ सिस्टम नए समस्याओं का सामना करते समय यह परिष्कृत कर सकता है कि किन विशेषज्ञों पर भरोसा करना है। निष्कर्ष बताते हैं कि इन समूहों की पूर्ण क्षमता को अनलॉक करने की कुंजी उन्हें सहमत होने के लिए मजबूर करने में नहीं है, बल्कि उन्हें एक-दूसरे को सुनने और अपनी आवाजों की विश्वसनीयता का न्याय करने में सक्षम बनाने में है।