Laplace-PSN-IRT: Uncertainty Quantification for Neural Item Response Theory Models of LLM Benchmarks
यह शोध पत्र Laplace-PSN-IRT को प्रस्तुत करता है, जो एक पोस्ट-हॉक बेयसियन विधि है जो कैलिब्रेटेड अनिश्चितता परिमाणीकरण के साथ न्यूरल आइटम रिस्पॉन्स थ्योरी मॉडलों को संवर्धित करती है, यह प्रकट करते हुए कि कई LLM बेंचमार्क रैंकिंग सांख्यिकीय रूप से अविभेद्य हैं और यह प्रदर्शित करते हुए कि पोस्टीरियर-एक्सपेक्टेड फिशर इंफॉर्मेशन पारंपरिक पॉइंट एस्टीमेट्स की तुलना में अधिक स्थिर और सटीक आइटम चयन प्रदान करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप साल के सर्वश्रेष्ठ वीडियो गेम की रैंकिंग बनाने की कोशिश कर रहे हैं। आपके पास खेलों की एक विशाल सूची और खिलाड़ियों का एक बहुत बड़ा समूह है। यह तय करने के लिए कि "सर्वश्रेष्ठ" कौन है, आप बस यह गिन सकते हैं कि प्रत्येक खिलाड़ी ने कितने खेल जीते। लेकिन क्या होगा अगर खेल खुद ही खराब हों? क्या होगा अगर कुछ इतने आसान हों कि एक नौसिखिया भी जीत जाए, जबकि कुछ इतने कठिन हों कि कोई उन्हें पूरा ही न कर सके? उस स्थिति में, आपकी रैंकिंग आपको खिलाड़ियों के वास्तविक कौशल के बजाय उन खराब खेलों के बारे में अधिक बताती है। यह समस्या आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में भी आ रही है। वैज्ञानिक यह परीक्षण करने के लिए कि लार्ज लैंग्वेज मॉडल्स (LLMs) कितने स्मार्ट हैं, "बेंचमार्क" (चुनौतीपूर्ण प्रश्नों के सेट) का उपयोग करते हैं। लेकिन ठीक उन खराब वीडियो गेम्स की तरह, इन बेंचमार्क में अक्सर ऐसे प्रश्न होते हैं जो या तो बहुत आसान होते हैं या बहुत कठिन, जिससे यह बताना असंभव हो जाता है कि कौन सा AI वास्तव में बेहतर है, या वे केवल विशिष्ट प्रश्नों के सेट पर भाग्यशाली रहे हैं।
इसे ठीक करने के लिए, शोधकर्ता 'आइटम रिस्पांस थ्योरी' (IRT) नामक एक सांख्यिकीय उपकरण का उपयोग करते हैं। IRT को एक सुपर-स्मार्ट रेफरी के रूप में सोचें जो केवल जीत और हार नहीं गिनता है। इसके बजाय, यह एक साथ दो छिपी हुई चीजों को समझने की कोशिश करता है: एक मॉडल कितना "कुशल" (skilled) है, और प्रत्येक प्रश्न कितना "कठिन" या "भेदभावपूर्ण" (discriminating) है। एक अच्छा प्रश्न बस इतना ही कठिन होना चाहिए कि वह विशेषज्ञों को नौसिखियों से अलग कर सके। हाल ही में, PSN-IRT नामक एक नई विधि ने न्यूरल नेटवर्क (एक प्रकार का AI मस्तिष्क) का उपयोग करके इस रेफरी के काम को बहुत तेज़ी से करने का प्रयास किया। हालाँकि, इसमें एक पेंच था: इसने एक मॉडल के कौशल और एक प्रश्न की कठिनाई के लिए केवल एक एकल, सटीक संख्या प्रदान की। यह एक रेफरी की तरह था जो कहता, "खिलाड़ी A 95.2% कुशल है," बिना यह स्वीकार किए कि, "लेकिन मैं 100% सुनिश्चित नहीं हूँ; शायद वे वास्तव में 94% या 96% हों।" यह जाने बिना कि उन नंबरों पर कितना भरोसा किया जाए, यह जानना कठिन है कि रैंकिंग वास्तविक है या केवल एक इत्तेफाक।
यहीं पर नया पेपर, "Laplace-PSN-IRT," अनिश्चितता (uncertainty) की एक परत जोड़ने के लिए आता है। लेखकों ने मौजूदा PSN-IRT सिस्टम में "लैपलेस एप्रोक्सिमेशन" (Laplace approximation) नामक एक चतुर गणितीय तकनीक जोड़ी। कल्पना कीजिए कि आपके पास एक पर्वत श्रृंखला का मानचित्र है (AI मॉडल का प्रशिक्षण)। पुराना तरीका केवल सबसे ऊंचे शिखर की ओर इशारा करता था और कहता, "यह उच्चतम बिंदु है।" नया तरीका उस शिखर के चारों ओर एक धुंधला बादल बनाता है, जो दिखाता है कि उच्चतम बिंदु कहाँ हो सकता है। यह बादल एक "पोस्टीरियर डिस्ट्रीब्यूशन" (posterior distribution) का प्रतिनिधित्व करता है, जो एक फैंसी तरीका है यह कहने का कि, "यहाँ संभावनाओं की वह सीमा है जिसके बारे में हम आश्वस्त हैं।"
शोधकर्ताओं ने पाया कि जब उन्होंने 12 अलग-अलग AI मॉडल्स के लिए इन धुंधले बादलों को देखा, तो वे लगभग हर जगह एक-दूसरे के ऊपर ओवरलैप (overlap) कर रहे थे। इन मॉडल्स के बीच 66 संभावित मुकाबलों में से, केवल 2 जोड़े ही एक-दूसरे से स्पष्ट रूप से भिन्न थे। अन्य 64 जोड़े इतने करीब थे कि सांख्यिकीय रूप से, आप उनमें अंतर नहीं कर सकते थे। यह उन धावकों को रैंक करने की कोशिश करने जैसा है जो एक दौड़ में एक सेकंड के बहुत छोटे हिस्से के भीतर ही फिनिश लाइन पार करते हैं; यह कहना कि एक "प्रथम" है, काफी हद तक केवल अनुमान लगाना है।
पेपर ने यह भी समाधान निकाला कि मॉडल्स का परीक्षण करने के लिए सर्वोत्तम प्रश्नों को कैसे चुना जाए। पुरानी विधि कठिनाई के एक एकल "पॉइंट एस्टीमेट" (point estimate) के आधार पर प्रश्न चुनती थी। लेखकों ने दिखाया कि यह दृष्टिकोण नाजुक है। यदि आप कठिनाई के एकल अनुमान के आधार पर एक प्रश्न चुनते हैं, तो वह उन मॉडल्स के लिए बेकार (या सैचुरेटेड/saturated) हो जाता है जो उस अनुमान से थोड़े अधिक स्मार्ट या थोड़े कम स्मार्ट हैं। यह एक गणित के टेस्ट प्रश्न को चुनने जैसा है जो 5वीं कक्षा के बच्चे के लिए तो एकदम सही है; यह 10वीं कक्षा के छात्र या पहली कक्षा के छात्र के बारे में कुछ भी नहीं बताता। नई विधि, जो सभी संभावित कठिनाइयों (उस "धुंधले बादल") के औसत पर काम करती है, यह सुनिश्चित करती है कि प्रश्न कौशल की एक बहुत व्यापक रेंज में उपयोगी बने रहें।
जब लेखकों ने इस नई विधि का परीक्षण यह देखने के लिए किया कि क्या वे प्रश्नों के एक छोटे उपसमुच्चय (जैसे 29,000 के बजाय 100 या 1,000 आइटम) का उपयोग करके पूर्ण रैंकिंग को फिर से बना सकते हैं, तो "धुंधले बादल" वाली विधि 10 में से 8 मामलों में बेहतर काम करती रही। यह पुराने एकल-संख्या वाले तरीके की तुलना में अधिक स्थिर और विश्वसनीय थी। हालाँकि, लेखकों ने सावधानीपूर्वक नोट किया कि बहुत छोटे टेस्ट साइज (50 आइटम) पर, पुराना तरीका कभी-कभी थोड़ा बेहतर प्रदर्शन करता था, जो संभवतः केवल संयोग से हुआ। उन्होंने यह भी स्वीकार किया कि चूंकि वे अपने परिणामों की तुलना वास्तविक दुनिया की "मानवीय प्राथमिकता" (human preference) रैंकिंग से नहीं कर सके (क्योंकि पुराना डेटा खो गया था), इसलिए उन्हें एक आंतरिक "ओरेकल" (एक आदर्श रैंकिंग जो उनके अपने मॉडल द्वारा उत्पन्न की गई थी) के विरुद्ध परीक्षण करना पड़ा। हालांकि उनकी विधि अधिकांश परिदृश्यों में पुराने तरीके को हरा देती है, लेकिन दोनों में से कोई भी विधि इस आंतरिक ओरेकल के विरुद्ध रैंडम गेस (random guess) को लगातार नहीं हरा सकी, जो यह सुझाव देता है कि परफेक्ट छोटा टेस्ट सेट चुनने की समस्या अभी भी बहुत कठिन है।
संक्षेप में, यह पेपर यह दावा नहीं करता है कि उसने AI रैंकिंग के रहस्य को सुलझा लिया है। इसके बजाय, यह एक बहुत ही आवश्यक "कॉन्फिडेंस मीटर" (confidence meter) प्रदान करता है। यह हमें दिखाता है कि अधिकांश समय, शीर्ष AI मॉडल्स के बीच का अंतर बहुत कम होता है और अनिश्चितता इतनी अधिक होती है कि हम विश्वास के साथ यह नहीं कह सकते कि कौन वास्तव में बेहतर है। यह हमें चेतावनी भी देता है कि कठिनाई के एकल अनुमान के आधार पर परीक्षण प्रश्न चुनना जोखिम भरा है, और यह सुझाव देता है कि संभावनाओं की पूरी रेंज को देखना हमें एक स्पष्ट और अधिक ईमानदार तस्वीर देता है कि ये मॉडल्स वास्तव में क्या कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।