Statistical Methods for Multiple Language Model Comparison on a Shared Evaluation
यह शोधपत्र एक एकीकृत रैंडम-इफेक्ट्स मॉडल प्रस्तावित करता है जो साझा, क्लस्टर्ड मूल्यांकनों पर कई भाषा मॉडलों की कठोरता से तुलना करने के लिए मानक पेयर्ड सांख्यिकीय विधियों का विस्तार करता है, और सिमुलेशन तथा वास्तविक डेटा के माध्यम से यह प्रदर्शित करता है कि सटीक पेयरवाइज रैंकिंग, प्रश्न-स्तर के सहसंबंधों और बहु-तुलनाओं दोनों को उचित रूप से ध्यान में रखने पर निर्भर करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, शोधकर्ता लगातार ऐसे नए कंप्यूटर प्रोग्राम विकसित कर रहे हैं जिन्हें मानव भाषा को समझने और उत्पन्न करने के लिए डिज़ाइन किया गया है। यह निर्धारित करने के लिए कि कौन सा प्रोग्राम सबसे अधिक बुद्धिमान है, वे उन्हें परीक्षणों की एक श्रृंखला से गुजारते हैं, जो छात्रों के लिए एक मानकीकृत परीक्षा की तरह है। ये परीक्षण इतिहास और विज्ञान से लेकर तर्क और गणित तक के विषयों पर हजारों प्रश्नों से बने होते हैं। वर्षों से, इन प्रोग्रामों की तुलना करने का मानक तरीका उनके औसत स्कोर को देखना रहा है। यदि एक प्रोग्राम दूसरे की तुलना में सही उत्तरों का उच्च प्रतिशत प्राप्त करता है, तो उसे विजेता घोषित कर दिया जाता है। हालांकि, यह सरल दृष्टिकोण अक्सर एक महत्वपूर्ण विवरण को अनदेखा कर देता है: प्रश्न स्वयं सभी एक समान नहीं होते हैं। कुछ प्रश्न स्वाभाविक रूप से कठिन होते हैं, और एक ही विषय के भीतर के प्रश्न, जैसे कि गणित के प्रश्नों का एक सेट, आपस में सह-संबंधित (correlated) होते हैं। यदि दो प्रोग्राम दोनों एक ही कठिन गणित के प्रश्नों के साथ संघर्ष करते हैं, तो उनके स्कोर आपस में जुड़े होते हैं, स्वतंत्र नहीं। इन संबंधों की अनदेखी करना किसी प्रोग्राम को वास्तव में बेहतर या बदतर दिखा सकता है, जिससे उन लीडरबोर्ड्स पर भ्रमित या गलत रैंकिंग मिल सकती है जो इस क्षेत्र का मार्गदर्शन करते हैं।
एक शोधकर्ता ने एक साथ कई भाषा मॉडलों की तुलना करने का अधिक कठोर तरीका विकसित करके इस समस्या को ठीक करने का प्रयास किया। प्रत्येक प्रश्न को एक अलग घटना मानने के बजाय, उन्होंने एक ऐसा सांख्यिकीय ढांचा प्रस्तावित किया जो परीक्षण की अपनी संरचना को स्वीकार करता है। उन्होंने विभिन्न कंप्यूटर प्रोग्रामों को मुख्य रुचि के विषयों के रूप में माना, जबकि प्रश्नों और उन समूहों को, जिनसे वे प्रश्न संबंधित हैं, एक यादृच्छिक भिन्नता (random variations) के रूप में देखा जो सभी को प्रभावित करती है। एक एकल, एकीकृत सांख्यिकीय मॉडल का उपयोग करके, वे इस तथ्य का लेखा-जोखा रख सके कि प्रत्येक प्रोग्राम के लिए प्रश्नों का वही सेट उपयोग किया गया था। इस दृष्टिकोण ने उन्हें मॉडल के वास्तविक कौशल को विशिष्ट प्रश्नों की कठिनाई और प्रश्नों के श्रेणियों जैसे कि पठन बोध या अनुवाद में उनके प्राकृतिक समूहीकरण से अलग करने की अनुमति दी।
शोधकर्ता ने अपने तरीके का परीक्षण MMLU-Pro नामक एक प्रमुख बेंचमार्क से प्राप्त वास्तविक डेटा का उपयोग करके किया, जिसमें 14 विभिन्न विषय क्षेत्रों में 12,000 से अधिक प्रश्न शामिल हैं। उन्होंने समान आकार के छह लोकप्रिय भाषा मॉडलों को चुना और उन सभी से बिल्कुल एक ही 1,497 प्रश्नों के उत्तर प्राप्त किए। जब उन्होंने अपने नए तरीके का उपयोग करके परिणामों का विश्लेषण किया, तो उन्होंने पाया कि मॉडलों की तुलना करने का मानक तरीका अक्सर गलत निष्कर्षों की ओर ले जाता है। अपने सिमुलेशन अध्ययनों में, उन्होंने दिखाया कि यदि आप केवल मॉडलों की जोड़ी-दर-जोड़ी तुलना करते हैं और इस तथ्य को ठीक नहीं करते कि आप एक साथ कई तुलनाएं कर रहे हैं, तो आपके पास यह घोषित करने की उच्च संभावना होती है कि एक अंतर मौजूद है जबकि वह वास्तव में केवल यादृच्छिक शोर (random noise) होता है। अपने वास्तविक परीक्षण में, उन्होंने पाया कि मॉडलों के बीच कौन सा मॉडल बेहतर है, इस बारे में कई दावे उचित सांख्यिकीय सुधार लागू करने के बाद गायब हो गए। उदाहरण के लिए, एक मॉडल दूसरे से थोड़े अंतर से बेहतर दिखाई दे रहा था, लेकिन कई तुलनाओं और प्रश्नों की संरचना को ध्यान में रखने के बाद, वह अंतर सांख्यिकीय रूप से महत्वपूर्ण नहीं रह गया।
अध्ययन ने प्रश्नों को कैसे समूहित किया जाता है, इसके महत्व पर भी प्रकाश डाला। जब प्रश्नों को विषय के आधार पर क्लस्टर किया जाता है, जैसे कि गणित के प्रश्नों का एक ब्लॉक, तो उन प्रश्नों पर मॉडलों का प्रदर्शन सह-संबंधित होता है। शोधकर्ता ने पाया कि इस क्लस्टरिंग की अनदेखी करने से स्कोर में अनिश्चितता को लगभग तीन गुना तक कम करके आंका जा सकता है। अपने मिश्रित-प्रभाव मॉडल (mixed-effects model) का उपयोग करके, जो इन समूहों को यादृच्छिक कारकों के रूप में मानता है, वे सटीक रूप से माप सके कि स्कोर में कितनी भिन्नता विषय वस्तु बनाम मॉडल की वास्तविक क्षमता से आई थी। इससे पता चला कि जबकि विषय क्लस्टरिंग एक भूमिका निभाती है, लेकिन मुख्य चालक मॉडलों के स्वयं के गुण थे, लेकिन केवल तभी जब सांख्यिकीय शोर को उचित रूप से नियंत्रित किया गया था।
अंततः, यह शोध पत्र एक स्पष्ट सेट के सुझाव प्रदान करता है कि इस क्षेत्र को आगे कैसे बढ़ना चाहिए। शोधकर्ता का तर्क है कि कई मॉडलों के बीच किसी भी रैंकिंग की घोषणा करने से पहले, वैज्ञानिकों को पहले एक व्यापक परीक्षण चलाना चाहिए ताकि यह देखा जा सके कि क्या समूह के बीच कोई अंतर है। यदि वह परीक्षण एक अंतर दिखाता है, तो उन्हें मॉडलों की दो-दो करके तुलना करने के लिए विशिष्ट, सुधारात्मक तरीकों का उपयोग करना चाहिए, यह सुनिश्चित करते हुए कि गलत अलार्म की संभावना कम रहे। वे यह भी सलाह देते हैं कि जब प्रश्न विषय के आधार पर समूहित हों, तो इन समूहों को संख्याओं को मैन्युअल रूप से समायोजित करने के बजाय सांख्यिकीय मॉडल में शामिल किया जाना चाहिए। इन चरणों का पालन करके, समुदाय यह सुनिश्चित कर सकता है कि जिन लीडरबोर्ड्स पर वे भरोसा करते हैं, वे डेटा के विश्लेषण के तरीके से उत्पन्न कृत्रिम प्रभावों के बजाय आर्टिफिशियल इंटेलिजेंस में वास्तविक सुधारों को दर्शाते हैं। यह कार्य यह दावा नहीं करता है कि इसने मूल्यांकन की हर समस्या को हल कर दिया है, लेकिन यह उच्च दांव वाले और कम त्रुटि मार्जिन वाले क्षेत्र में निष्पक्ष और सटीक तुलना करने के लिए एक ठोस, सिद्ध आधार प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।