There Is No Neutral Harness: Modern LLM Leaderboards Are Manufactured by Config-Fragile Items
यह शोध पत्र यह प्रदर्शित करता है कि आधुनिक LLM लीडरबोर्ड मौलिक रूप से अविश्वसनीय हैं क्योंकि मूल्यांकन हारनेस कॉन्फ़िगरेशन (जैसे कि प्रॉम्प्ट की शब्दावली और स्कोरिंग विधियाँ) प्रदर्शन भिन्नता के प्राथमिक चालक हैं, जो अक्सर मॉडलों की वास्तविक क्षमताओं की तुलना में उनकी रैंकिंग को अधिक निर्धारित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से विकसित होती दुनिया में, शोधकर्ता इस बात को मापने के लिए कि कंप्यूटर प्रोग्राम भाषा को कितनी अच्छी तरह समझते हैं, मानकीकृत परीक्षणों पर भरोसा करते हैं। ये परीक्षण, जिन्हें अक्सर बेंचमार्क कहा जाता है, एक मॉडल के सामने कई-विकल्पीय प्रश्नों की एक श्रृंखला प्रस्तुत करते हैं और यह रिकॉर्ड करते हैं कि उसने कितने उत्तर सही दिए। परिणामी स्कोर को मशीन की बुद्धिमत्ता के बारे में एक निश्चित तथ्य के रूप में माना जाता है, जिससे वैज्ञानिकों को विभिन्न मॉडलों की आपस में तुलना करने और एक विजेता घोषित करने की अनुमति मिलती है। वर्षों से, समुदाय इस धारणा के तहत काम कर रहा है कि हालांकि किसी मॉडल का प्रदर्शन यादृच्छिक संयोग के कारण थोड़ा उतार-चढ़ाव भरा हो सकता है, लेकिन समग्र रैंकिंग तकनीक की क्षमताओं के बारे में एक स्थिर सत्य को दर्शाती है। एक मॉडल वास्तव में दूसरे से अधिक स्मार्ट है या नहीं, इसका उत्तर एक एकल संख्या को देखकर दिया गया है: सही उत्तरों का प्रतिशत।
हालांकि, एक नया शोध सुझाव देता है कि यह एकल संख्या बहुत अधिक जटिल कहानी बताती है। अध्ययन से पता चलता है कि मॉडल को प्राप्त स्कोर न केवल उसकी बुद्धिमत्ता का माप है, बल्कि उन विशिष्ट नियमों का भी उत्पाद है जिनका उपयोग उसके मूल्यांकन के लिए किया जाता है। ये नियम, जिन्हें 'इवैल्यूएशन हारनेस' (मूल्यांकन ढांचा) कहा जाता है, उन विकल्पों को शामिल करते हैं जो सतह पर मामूली लगते हैं: उत्तर विकल्पों के सूचीबद्ध होने का क्रम, मशीन को दिए गए निर्देशों की सटीक शब्दावली, और यह तय करने का तरीका कि कोई उत्तर सही है या नहीं। जबकि ये विकल्प अक्सर मनमाने ढंग से या सुविधा के आधार पर चुने जाते हैं, शोधकर्ता ने पाया कि उन्हें बदलने से लीडरबोर्ड पूरी तरह से बदला जा सकता है, जिससे एक मॉडल जो अंतिम स्थान पर था, शीर्ष प्रदर्शन करने वाला बन सकता है, या इसके विपरीत। निष्कर्ष यह संकेत देते हैं कि आर्टिफिशियल इंटेलिजेंस को रैंक करने का वर्तमान तरीका पहले की तुलना में बहुत कम स्थिर है, और "सर्वश्रेष्ठ" मॉडल पूरी तरह से इस बात पर निर्भर करता है कि परीक्षण कैसे आयोजित किया गया है।
इस छिपी हुई अस्थिरता को उजागर करने के लिए, कैलिफोर्निया विश्वविद्यालय, सैन डिएगो के एक शोधकर्ता ने एक विशाल प्रयोग डिजाइन किया, जिसमें परीक्षण के नियमों को स्वयं एक चर (variable) के रूप में माना गया। एक एकल परीक्षण चलाने और उसके परिणाम को स्वीकार करने के बजाय, उन्होंने एक ही परीक्षा आयोजित करने के छब्बीस अलग-अलग तरीकों का एक ग्रिड बनाया। उन्होंने चार प्रमुख परिवारों के बारह अलग-अलग भाषा मॉडलों को एक ही 3,679 बहु-विकल्पीय प्रश्नों के उत्तर देने के लिए कहा। प्रत्येक प्रश्न के लिए, उन्होंने मॉडलों को परीक्षण के नियमों के हर संभावित संयोजन के माध्यम से चलाया। इसमें उत्तरों के क्रम को बदलना, प्रश्नों को पूछने के तरीके को बदलना, और उत्तरों को स्कोर करने के दो अलग-अलग तरीकों के बीच स्विच करना शामिल था: एक जहाँ मॉडल एक टेक्स्ट प्रतिक्रिया उत्पन्न करता है, और दूसरा जहाँ कंप्यूटर प्रत्येक विकल्प की गणितीय संभावना की गणना करता है।
परिणाम चौंकाने वाले थे। जब शोधकर्ता ने एक एकल मॉडल के स्कोर को देखा, तो उन्हें सटीकता का एक एकल बिंदु नहीं मिला। इसके बजाय, उन्हें स्कोर की एक विस्तृत सीमा मिली। शीर्ष प्रदर्शन करने वाले मॉडलों में से एक के लिए, स्कोर नियमों के छब्बीस में से किस सेट का उपयोग किया गया है, इस पर निर्भर करते हुए, 31 प्रतिशत के निम्न स्तर से लेकर 89 प्रतिशत के उच्च स्तर तक रहा। इसका अर्थ यह है कि एक ही मशीन, उसी आंतरिक कोड और उसी ज्ञान के साथ, केवल इसलिए कि टेस्ट एडमिनिस्ट्रेटर ने अक्षरों का क्रम या प्रॉम्प्ट की शैली बदल दी, सही उत्तरों के लगभग सभी उत्तरों के लिए श्रेय प्राप्त कर सकती है या एक-तिहाई से कम उत्तर पाने के लिए विफल हो सकती है। औसतन, 85 प्रतिशत उत्तर जिन्हें मानक नियमों के तहत मॉडल द्वारा सही माना गया था, उन्हें एक अलग, समान रूप से वैध नियमों के सेट के तहत गलत माना जा सकता था।
सबसे महत्वपूर्ण खोज यह थी कि ये उतार-चढ़ाव परीक्षण के दौरान समान रूप से फैले हुए यादृच्छिक शोर (random noise) नहीं थे। अस्थिरता ठीक उन्हीं प्रश्नों पर केंद्रित थी जो मॉडलों को एक-दूसरे से अलग करते थे। जब शोधकर्ता ने उन प्रश्नों को देखा जिन्हें दो पड़ोसी मॉडल नियमों के बावजूद सही या गलत दोनों मानते थे, तो मॉडल अनिवार्य रूप से बराबरी पर थे। वे अंतर जो रैंकिंग बनाते थे, केवल उन प्रश्नों में मौजूद थे जहाँ मॉडल अनिश्चित थे। वास्तव में, अगल-बगल रैंक किए गए मॉडलों के जोड़ों के लिए, उनके स्कोर के बीच का लगभग सारा अंतर—औसतन 96 प्रतिशत—इन अस्थिर प्रश्नों के कारण था। यदि उन प्रश्नों को हटा दिया जाता जो बार-बार बदलते रहते थे, तो रैंकिंग गायब हो जाती, और मॉडल अविभेद्य हो जाते।
यह नाजुकता इस बात का प्रमाण थी कि "विजेता" की पहचान मॉडलों का एक निश्चित गुण नहीं थी, बल्कि मूल्यांकनकर्ता द्वारा किया गया एक चुनाव था। नियमों के एक सेट के तहत, एक विशिष्ट मॉडल प्रथम स्थान प्राप्त कर सकता था, जबकि नियमों के एक अलग सेट के तहत, एक पूरी तरह से अलग मॉडल जीत सकता था। इस अध्ययन में, चार अलग-अलग मॉडल इस बात पर निर्भर करते हुए नंबर एक स्थान पर पहुँच सके कि कौन सा कॉन्फ़िगरेशन उपयोग किया गया था। एक मॉडल जो मानक नियमों के तहत बारह में से ग्यारहवें स्थान पर था, एक अलग स्कोरिंग पद्धति के तहत पहले स्थान पर पहुँच गया। शोधकर्ता ने नोट किया कि उत्तर को स्कोर करने का तरीका चुनना—चाहे मॉडल द्वारा लिखे गए टेक्स्ट को पढ़ना हो या संभावनाओं की गणना करना—सबसे शक्तिशाली कारक था, जिसने विकल्पों के क्रम या प्रॉम्प्ट की शब्दावली की तुलना में रैंकिंग में अधिक बदलाव किए।
अध्ययन ने इस क्षेत्र के एक लोकप्रिय चलन का भी परीक्षण किया: समय बचाने के लिए इन बड़े परीक्षणों को सबसे अधिक "सूचनात्मक" प्रश्नों के एक छोटे समूह तक सिकोड़ना। तर्क यह था कि कुछ सौ अच्छी तरह से चुने गए प्रश्न पूरे परीक्षण का प्रतिनिधित्व कर सकते हैं। शोधकर्ता ने पाया कि यह अभ्यास वास्तव में समस्या को और खराब कर देता है। वे प्रश्न जिन्हें सबसे अधिक सूचनात्मक होने के लिए चुना जाता है, वे वही हैं जो परीक्षण के नियमों के प्रति सबसे अधिक संवेदनशील होते हैं। इन कठिन, उच्च-दांव वाले प्रश्नों को रखकर, संकुचित बेंचमार्क उन पूर्ण परीक्षणों की तुलना में और भी अधिक अस्थिर हो जाते हैं जिनका वे स्थान लेते हैं। एक छोटा परीक्षण स्पष्ट तस्वीर प्रदान नहीं करता है; यह एक अधिक नाजुक तस्वीर प्रदान करता है, जहाँ रैंकिंग सेटअप में मामूली समायोजन के आधार पर बदलने की संभावना और भी अधिक होती है।
अंततः, यह शोध पत्र तर्क देता है कि मॉडल की क्षमता के बारे में सत्य के रूप में एक एकल संख्या रिपोर्ट करने का वर्तमान अभ्यास भ्रामक है। स्कोर केवल मॉडल का गुण नहीं है; यह एक विशिष्ट सेट के नियमों के साथ मॉडल की अंतःक्रिया का गुण है। शोधकर्ता सुझाव देते हैं कि भविष्य की रिपोर्टों को लीडरबोर्ड को एक निश्चित पदानुक्रम के रूप में मानना बंद कर देना चाहिए और स्कोर की संभावित सीमा प्रस्तुत करना शुरू करना चाहिए। वे प्रस्ताव करते हैं कि मॉडलों की तुलना करते समय, वैज्ञानिकों को उन प्रश्नों पर ध्यान केंद्रित करना चाहिए जहाँ मॉडल स्थिर और सहमत हैं, बजाय उन प्रश्नों के जहाँ नियम परिणाम को निर्धारित करते हैं। जब तक समुदाय इन परीक्षणों को चलाने के एक एकल, अपरिवर्तनीय तरीके पर सहमत नहीं हो जाता, तब तक रैंकिंग मूल्यांकनकर्ता के चयन का प्रतिबिंब बनी रहेगी, न कि कृत्रिम बुद्धिमत्ता का एक निश्चित माप।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।