Certifying Compressed Language Models: An Audit and a Statistical Toolkit
यह शोध पत्र संकुचित भाषा मॉडलों (compressed language models) को उनके मूल मॉडलों के समान प्रमाणित करने के लिए नेट एक्यूरेसी डेल्टा (net accuracy deltas) पर वर्तमान निर्भरता की आलोचना करता है, जो यह प्रकट करता है कि ऐसे मेट्रिक्स महत्वपूर्ण आइटम-स्तरीय असहमति को छिपाते हैं, और एक कठोर सांख्यिकीय टूलकिट का प्रस्ताव करता है जिसमें घोषित मार्जिन के साथ युग्मित तुल्यता परीक्षण (paired equivalence testing) और साक्ष्य पर्याप्तता सुनिश्चित करने के लिए प्रति-आइटम आउटपुट रिलीज शामिल हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, लार्ज लैंग्वेज मॉडल्स वे इंजन हैं जो राइटिंग असिस्टेंट से लेकर जटिल तर्क करने वाले टूल्स तक सब कुछ संचालित करते हैं। ये इंजन विशाल होते हैं, जिन्हें चलाने के लिए अक्सर बहुत बड़े कंप्यूटरों की आवश्यकता होती है। इन्हें लैपटॉप या फोन जैसे रोजमर्रा के उपकरणों पर उपयोगी बनाने के लिए, शोधकर्ता 'कंप्रेशन' (संपीड़न) नामक एक प्रक्रिया का उपयोग करते हैं। यह एक भारी सूटकेस को कैरी-ऑन बैग में फिट करने के लिए उसे छोटा करने के समान है। लक्ष्य मॉडल को छोटा और तेज़ बनाना है, बिना उसकी सही उत्तर देने की क्षमता खोए। वर्षों से, एक संपीड़ित (compressed) मॉडल के सफल होने को सिद्ध करने का मानक तरीका इसके परीक्षण पर प्राप्त कुल स्कोर को देखना था। यदि संपीड़ित संस्करण मूल के लगभग समान स्कोर प्राप्त करता था, तो यह दावा किया जाता था कि दोनों प्रभावी रूप से समान हैं, और गुणवत्ता में कोई भी कमी नगण्य थी।
जॉर्जिया इंस्टीट्यूट ऑफ टेक्नोलॉजी के एक शोधकर्ता ने इस लंबे समय से चली आ रही प्रथा को चुनौती दी है। उनका तर्क है कि केवल अंतिम स्कोर को देखना एक कार के प्रदर्शन का आकलन केवल उसकी शीर्ष गति से करने जैसा है, यह अनदेखा करते हुए कि क्या ब्रेक काम कर रहे हैं या इंजन झटके ले रहा है। उनका कार्य प्रकट करता है कि दो मॉडल्स के कुल स्कोर लगभग समान हो सकते हैं, फिर भी व्यक्तिगत प्रश्नों पर उनका व्यवहार पूरी तरह से अलग हो सकता है। यह देखते हुए कि मॉडल विशिष्ट मदों (items) पर कैसे उत्तर देते हैं, शोधकर्ता ने पाया कि "लगभग-पूर्ण" कंप्रेशन के दावों को पुष्ट करने के लिए सामान्य साक्ष्य अक्सर बहुत कमजोर होते हैं। उन्होंने रिपोर्टिंग के लिए एक नया, अधिक सख्त मानक प्रस्तावित किया है, जो शोधकर्ताओं को मजबूर करता है कि वे प्रत्येक मद (item) के आधार पर अपना काम दिखाएं और पहले से ही यह घोषित करें कि वे कितना त्रुटि स्तर स्वीकार करने के लिए तैयार हैं।
शोधकर्ता ने एक विशाल सार्वजनिक परीक्षण परिणामों के संग्रह की जांच करके शुरुआत की, जिसमें मॉडल्स और कार्यों के 1,700 से अधिक जोड़ों को देखा गया। उन्होंने एक छिपा हुआ पैटर्न खोजा: जबकि संपीड़ित मॉडल्स के कुल स्कोर अक्सर मूल के बहुत करीब होते थे, व्यक्तिगत उत्तर अक्सर भिन्न होते थे। कई मामलों में, संपीड़ित मॉडल उस प्रश्न का सही उत्तर देता था जिसे मूल गलत बताता था, और इसके विपरीत भी। इन विपरीत परिवर्तनों ने औसत में एक-दूसरे को संतुलित कर दिया, जिससे एक शुद्ध स्कोर (net score) दिखाई दिया जो पूर्ण लग रहा था। हालांकि, अंतर्निहित व्यवहार वास्तव में बदल गया था। शोधकर्ता ने पाया कि व्यक्तिगत उत्तरों के सही से गलत होने की दर, अंतिम स्कोर के सूक्ष्म अंतर की तुलना में लगभग पांच गुना अधिक थी। इसका अर्थ यह है कि जब कोई रिपोर्ट कहती है कि एक मॉडल "समतुल्य" है, तो वह संभवतः एक छोटे शुद्ध नंबर के पीछे बड़ी मात्रा में आंतरिक उथल-पुथल (churn) को छिपा रही होती है।
यह देखने के लिए कि क्या यह समस्या मूल मॉडल के विरुद्ध दो अलग-अलग कंप्रेशन विधियों की तुलना करने के मामले में अधिक गंभीर थी, शोधकर्ता ने एक नियंत्रित प्रयोग चलाया। उन्होंने दो लोकप्रिय कंप्रेशन तकनीकों को लिया और उन्हें समान सेटिंग्स का उपयोग करके एक ही मॉडल्स पर लागू किया, और गणना के शुरुआती डेटा में मामूली बदलावों के साथ परीक्षणों को कई बार चलाया। आठ विशिष्ट परीक्षण मामलों में से पांच में, विजेता यह बदलकर बदल गया कि किस बदलाव का उपयोग किया गया था। कभी एक विधि बेहतर थी; कभी दूसरी। इसने दिखाया कि दो संपीड़ित मॉडल्स के बीच का चुनाव अक्सर अस्थिर होता है और कंप्यूटर की गणना में एक रैंडम सीड (random seed) जैसी मामूली चीज़ से भी बदला जा सकता है। प्रमाण की समानता सबसे कमजोर वहां थी जहां विशेषज्ञों को निर्णय लेने की आवश्यकता होती है: जब वे यह तय कर रहे हों कि किस संपीड़ित संस्करण का उपयोग किया जाए।
शोधकर्ता ने हाल के 17 वैज्ञानिक पत्रों, आधिकारिक मॉडल कार्ड्स और वेंडर डॉक्यूमेंटेशन के दावों का ऑडिट किया, जिनमें दावा किया गया था कि उनके संपीड़ित मॉडल मूल के समतुल्य हैं। उन्होंने पाया कि इनमें से किसी भी दावे ने परीक्षण शुरू होने से पहले त्रुटि के किसी विशिष्ट संख्यात्मक मार्जिन की घोषणा नहीं की थी। इसके बजाय, उन्होंने परिणाम बाद में रिपोर्ट किए। इसके अलावा, इनमें से किसी भी स्रोत ने विस्तृत, मद-दर-मद (item-by-item) उत्तर जारी नहीं किए जिनकी आवश्यकता किसी बाहरी व्यक्ति द्वारा दावों को सत्यापित करने के लिए होती है। इन व्यक्तिगत आउटपुट्स के बिना, यह जांचना असंभव है कि क्या मॉडल वास्तव में विनिमेय (interchangeable) हैं या परिणाम केवल एक सांख्यिकीय संयोग हैं। पांच दावों का तो मूल्यांकन ही नहीं किया जा सका क्योंकि उनमें सैंपल साइज या बेसलाइन स्कोर जैसी बुनियादी जानकारी का अभाव था। ऑडिट ने निष्कर्ष निकाला कि क्षेत्र वर्तमान में अपने सबसे महत्वपूर्ण दावों को सत्यापित करने के लिए आवश्यक उपकरणों से वंचित है।
इसे ठीक करने के लिए, शोधकर्ता ने पांच स्पष्ट चरणों वाला एक नया रिपोर्टिंग मानक प्रस्तावित किया। पहला, लेखकों को कोई भी परीक्षण चलाने से पहले एक विशिष्ट त्रुटि मार्जिन घोषित करना चाहिए, यह बताते हुए कि वे कितना अंतर स्वीकार्य मानेंगे। दूसरा, उन्हें एक पेयर्ड स्टैटिस्टिकल टेस्ट (paired statistical test) चलाना चाहिए जो एक ही विशिष्ट प्रश्नों पर मॉडल्स की तुलना करता है। तीसरा, उन्हें न केवल अंतिम स्कोर अंतर, बल्कि उन व्यक्तिगत उत्तरों के परिवर्तन की दर भी रिपोर्ट करनी चाहिए, जिसे वे 'चर्न' (churn) कहते हैं। चौथा, उन्हें यह दिखाना चाहिए कि उन्होंने विश्वसनीय निष्कर्ष निकालने के लिए पर्याप्त मदों का परीक्षण किया है, जिसके लिए शोधकर्ता द्वारा बनाए गए नए तालिकाओं का उपयोग किया गया है जो देखे गए चर्न के आधार पर आवश्यक सैंपल साइज की गणना करती हैं। अंत में, उन्हें प्रत्येक प्रश्न के लिए व्यक्तिगत उत्तर जारी करने चाहिए ताकि कोई भी गणित की जांच कर सके।
शोधकर्ता इस बात पर जोर देते हैं कि उनके निष्कर्ष यह साबित नहीं करते कि कोई विशिष्ट संपीड़ित मॉडल खराब है या ऑडिट किए गए पत्रों के लेखक गलत थे। इसके बजाय, वे दिखाते हैं कि प्रदान किया गया साक्ष्य समानता सिद्ध करने के लिए अपर्याप्त है। एक मॉडल पूरी तरह से ठीक हो सकता है, लेकिन सही प्रकार के डेटा और पूर्व-घोषित मानक के बिना, कोई भी निश्चित रूप से नहीं जान सकता। नया मानक केवल एक नंबर रिपोर्ट करने के बजाय एक सत्यापन योग्य गुणवत्ता प्रमाण पत्र प्रदान करने पर ध्यान केंद्रित करता है। पारदर्शिता और कठोर योजना की आवश्यकता के माध्यम से, यह क्षेत्र "नगण्य गिरावट" के अस्पष्ट वादों से आगे बढ़कर ठोस प्रमाण देने की ओर बढ़ सकता है कि एक संपीड़ित मॉडल वास्तव में उपयोग के लिए तैयार है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।