Estimating Uncertainty in Classifier Performance with Applications to Large Language Models and Nested Data
यह शोध पत्र सामाजिक विज्ञान टेक्स्ट वर्गीकरण की विशिष्ट स्थितियों—जैसे कि छोटे नमूना आकार और नेस्टेड डेटा—के तहत क्लासिफायर प्रदर्शन मेट्रिक्स के लिए कॉन्फिडेंस इंटरवल विधियों का मूल्यांकन करता है, जो यह प्रदर्शित करता है कि मानक दृष्टिकोण अक्सर गलत कवरेज प्रदान करते हैं और मशीन लर्निंग अनुप्रयोगों में पारदर्शिता और सत्यापन में सुधार के लिए एग्रेस्टी-कौल, विल्सन और पदानुक्रमित बूटस्ट्रैपिंग जैसे बेहतर विकल्पों की सिफारिश करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शेफ हैं जिसने अभी-अभी एक "परफेक्ट चॉकलेट केक" के लिए एक नया नुस्खा बनाया है। आप दुनिया को बताना चाहते हैं कि यह कितना अच्छा है। आप सिर्फ यह नहीं कहेंगे, "यह 90% स्वादिष्ट है।" आपको इसे साबित करना होगा। इसलिए, आप 20 लोगों को इसे चखने के लिए आमंत्रित करते हैं। उनमें से 18 लोग कहते हैं, "हाँ, यह बहुत बढ़िया है!"
कंप्यूटर विज्ञान और लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया में, शोधकर्ता बिल्कुल यही करते हैं। वे कंप्यूटर को टेक्स्ट पढ़ने और उसे श्रेणियों (जैसे "गुस्सा," "खुशी," या "स्पैम") में वर्गीकृत करने के लिए प्रशिक्षित करते हैं। अपने कंप्यूटर को स्मार्ट साबित करने के लिए, वे उसे पहले से ग्रेड किए गए टेक्स्ट का एक नमूना दिखाते हैं और एक स्कोर की गणना करते हैं, जैसे कि "रिकॉल" (यानी, कंप्यूटर ने कितने "गुस्से" वाले टेक्स्ट खोजे?)।
समस्या: आत्मविश्वास का "अनुमान लगाने वाला खेल"
यह पेपर तर्क देता है कि शोधकर्ता वर्तमान में "अनुमान लगाने वाले खेल" (Guessing Game) का एक खतरनाक खेल खेल रहे हैं। वे अपना स्कोर रिपोर्ट करते हैं (जैसे, "90% सटीकता!")، लेकिन वे शायद ही कभी यह बताते हैं कि वे उस नंबर के बारे में कितने आश्वस्त हैं।
इसे मौसम के पूर्वानुमान की तरह समझें। यदि एक मौसम विज्ञानी कहता है, "बारिश की 90% संभावना है," तो यह उपयोगी है। लेकिन यदि वे केवल यह कहते हैं कि "बारिश होगी," बिना यह बताए कि यह किसी सैटेलाइट इमेज पर आधारित है या केवल एक अनुमान पर, तो आप उन पर भरोसा नहीं कर सकते।
इस पेपर में, लेखिका काइलई एंग्लिन कहती हैं कि जब शोधकर्ता अपने कंप्यूटर का परीक्षण करने के लिए लोगों के छोटे समूहों का उपयोग करते हैं, या जब "बारिश" (वह विशिष्ट टेक्स्ट जिसे वे खोज रहे हैं) बहुत दुर्लभ होती है, तो "कितने आश्वस्त हैं" (जिसे कॉन्फिडेंस इंटरवल कहा जाता है) की गणना करने के मानक तरीके अक्सर टूट जाते हैं। वे एक ऐसे पैमाने की तरह हैं जो अप्रत्याशित रूप से छोटा और बड़ा होता रहता है।
"टूटे हुए पैमाने" (पुराने तरीके)
यह पेपर निश्चितता को मापने के कई तरीकों का परीक्षण करता है। यह पाता है कि आज उपयोग किए जाने वाले दो सबसे आम तरीके रबर से बने पैमाने की तरह हैं:
- वाल्ड इंटरवल (The Wald Interval): यह "पाठ्यपुस्तक" वाला तरीका है। यह तब ठीक काम करता है जब आपके पास एक बहुत बड़ी भीड़ और औसत परिणाम हों। लेकिन यदि आपके पास एक छोटा समूह है या बहुत उच्च स्कोर (जैसे 95%) है, तो यह पैमाना बहुत अधिक सिकुड़ जाता है। यह कहता है, "हमें 95% विश्वास है कि स्कोर 94% और 96% के बीच है," जबकि वास्तव में, वास्तविक स्कोर 80% से 100% के बीच कहीं भी हो सकता है। यह सटीकता का एक झूठा अहसास देता है।
- बेसिक बूटस्ट्रैप (The Basic Bootstrap): यह एक ऐसा तरीका है जहाँ आप कंप्यूटर पर हजारों बार प्रयोग का अनुकरण (simulate) करते हैं ताकि देखा जा सके कि क्या होता है। पेपर पाता है कि इसका मानक संस्करण भी "लड़खड़ाता" है और अक्सर जोखिम को कम करके आंकता है, खासकर छोटे समूहों के साथ।
"बेहतर पैमाने" (नए सुझाव)
पेपर उन पुराने रबर के पैमानों को बदलकर अधिक मजबूत पैमानों का उपयोग करने का सुझाव देता है जो उतना अधिक न खिंचें।
- स्वतंत्र टेक्स्ट के लिए (द "सोलो" टेस्ट): यदि प्रत्येक टेक्स्ट अलग व्यक्ति से आता है और पूरी तरह से अद्वितीय है, तो लेखिका एग्रेस्टी-कुल (Agresti-Coull) विधि का उपयोग करने की सलाह देती हैं। इसे अपने कैलकुलेशन में थोड़ा सा "सुरक्षा पैडिंग" जोड़ने के रूप में समझें। यह सरल है, गणना करने में आसान है, और यह पैमाने को बहुत अधिक सिकुड़ने से रोकता है।
- जटिल मेट्रिक्स के लिए (जैसे F1): कुछ स्कोर अलग-अलग चीजों के जटिल संयोजन होते हैं (जैसे F1 स्कोर)। आप इनके लिए सरल फॉर्मूले का उपयोग नहीं कर सकते। लेखिका स्यूडो-काउंट रेगुलराइजेशन (Pseudo-Count Regularization) नामक एक नया तरीका प्रस्तावित करती हैं। कल्पना कीजिए कि आप एक केक बना रहे हैं, लेकिन आपको डर है कि आपके पास पर्याप्त सामग्री नहीं है। आप शुरू करने से पहले अपने मिश्रण में एक "भूतिया सामग्री" (एक नकली अंडा और एक नकली कप आटा) जोड़ देते हैं। यह रेसिपी को स्थिर करता है ताकि यदि आपके पास केवल कुछ वास्तविक सामग्रियां हों, तो आपका अंतिम परिणाम विफल न हो। यह विधि कंप्यूटर सिमुलेशन को बहुत अधिक विश्वसनीय बनाती है।
"इको चैंबर" की समस्या (नेस्टेड डेटा)
यहीं मामला पेचीदा हो जाता है। असल जिंदगी में, लोग केवल एक वाक्य नहीं लिखते; वे कई चीजें लिखते हैं। एक थेरेपिस्ट 30 नोट्स लिख सकता है; एक छात्र 20 निबंध लिख सकता है। ये टेक्स्ट एक व्यक्ति के भीतर "नेस्टेड" (nested) होते हैं। वे स्वतंत्र नहीं हैं; वे एक ही आवाज, शैली और विशिष्टताओं को साझा करते हैं।
पेपर बताता है कि यदि आप एक व्यक्ति के 30 नोट्स को 30 अलग-अलग लोगों के 30 नोट्स के रूप में मानते हैं, तो आप धोखा दे रहे हैं। आप खुद को यह विश्वास दिलाकर धोखा दे रहे हैं कि आपके पास उतना डेटा है जितना वास्तव में नहीं है। यह एक ही केक को चखने के लिए एक ही दोस्त को 30 बार पूछने जैसा है और उसे 30 अलग-अलग राय के रूप में गिनना। आपको 30 राय नहीं मिल रही हैं; आपको एक ही राय 30 बार मिल रही है।
जब आप इस "इको चैंबर" प्रभाव को नजरअंदाज करते हैं:
- आपके कॉन्फिडेंस इंटरवल बहुत संकीर्ण (narrow) हो जाते हैं। आप सोचते हैं कि आप 95% आश्वस्त हैं, लेकिन वास्तव में आप केवल 65% आश्वस्त हो सकते हैं।
- समाधान: पेपर इस समस्या को ठीक करने के दो मुख्य तरीके सुझाता है:
- गणित को एडजस्ट करें: एक ऐसा फॉर्मूला उपयोग करें जो आपके "प्रभावी सैंपल साइज" को कम करता है ताकि यह ध्यान में रखा जा सके कि टेक्स्ट आपस में संबंधित हैं। यह ऐसा है जैसे कहना, "हमारे पास 30 नोट्स हैं, लेकिन क्योंकि वे सभी एक ही व्यक्ति के हैं, वे केवल 10 स्वतंत्र विचारों के रूप में गिने जाते हैं।"
- हायरार्किकल बूटस्ट्रैप (The Hierarchical Bootstrap): कंप्यूटर सिमुलेशन में केवल व्यक्तिगत नोट्स को इधर-उधर घुमाने के बजाय, आप पहले लोगों को शफल करते हैं, और फिर उनके अंदर के नोट्स को शफल करते हैं। यह इस तथ्य का सम्मान करता है कि नोट्स एक विशिष्ट व्यक्ति के हैं।
बड़ी सीख
पेपर का मुख्य संदेश रिपोर्टिंग में ईमानदारी का आह्वान है।
- केवल स्कोर न बताएं। यदि आप कहते हैं कि आपका कंप्यूटर 90% सटीक है, तो आपको यह भी कहना चाहिए, "हमें 95% विश्वास है कि वास्तविक संख्या X और Y के बीच है।"
- सही उपकरणों का उपयोग करें। छोटे या उच्च प्रदर्शन वाले डेटासेट के लिए पुराने, रबर के पैमानों (Wald या बेसिक Bootstrap) का उपयोग न करें। अधिक मजबूत वाले (Agresti-Coull या नया Pseudo-Count तरीका) का उपयोग करें।
- क्लस्टर्स (Clusters) से सावधान रहें। यदि आपका डेटा एक ही व्यक्ति द्वारा कई बार लिखे गए टेक्स्ट से आता है, तो आपको ओवरकॉन्फिडेंस से बचने के लिए अपने गणित को एडजस्ट करने की आवश्यकता है।
इन बेहतर तरीकों का उपयोग करके, शोधकर्ता यह दावा करने से बच सकते हैं कि वे उतना जानते हैं जितना वे वास्तव में नहीं जानते। यह उन्हें यह समझने में मदद करता है कि उन्हें कब अधिक डेटा (अधिक लोग, अधिक टेक्स्ट) एकत्र करने की आवश्यकता है ताकि वे केवल यह उम्मीद करने के बजाय कि उनका छोटा सैंपल साइज पर्याप्त है, वास्तव में विश्वसनीय परिणाम प्राप्त कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।