Efficient Sequential Evaluation of Large Language Models
यह शोध पत्र टेस्ट सुपरमार्टिंगेल (test supermartingales) के माध्यम से कॉन्फिडेंस सीक्वेंस (confidence sequences) का निर्माण करके और मूल्यांकन लागत को कम करने के लिए एडेप्टिव क्वेरीइंग नियमों (adaptive querying rules) को डिजाइन करके बड़े भाषा मॉडलों के कुशल अनुक्रमिक मूल्यांकन (sequential evaluation) के लिए एक ढांचा प्रस्तावित करता है, जबकि यह भी प्रकट करता है कि सरल यूनिफॉर्म सैंपलिंग (uniform sampling) कभी-कभी जटिल एडेप्टिव रणनीतियों से बेहतर प्रदर्शन कर सकती है क्योंकि इसमें प्रेडिक्शन मिसमैच (prediction mismatches) और डिस्ट्रीब्यूशन स्पाइकीनेस (distribution spikiness) होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक न्यायाधीश हैं जो यह पता लगाने की कोशिश कर रहे हैं कि एक नया, अत्यंत बुद्धिमान रोबोट सवालों के जवाब देने में कितना अच्छा है। आपके पास हजारों सवालों का एक विशाल बैंक है, लेकिन हर एक सवाल की जांच करना बहुत लंबा समय लेता है और इसमें बहुत अधिक खर्च आता है। इसलिए, आप रोबोट के समग्र स्कोर का एक अच्छा अंदाजा लगाने के लिए केवल कुछ ही सवाल पूछने का निर्णय लेते हैं। पेचीदा हिस्सा यह जानना है कि कब रुकना है। यदि आप बहुत जल्दी रुक जाते हैं, तो आपका अनुमान बहुत गलत हो सकता है; यदि आप बहुत देर तक प्रतीक्षा करते हैं, तो आपने समय बर्बाद किया है। सांख्यिकी (statistics) की दुनिया में, एक विशेष उपकरण है जिसे "कॉन्फिडेंस सीक्वेंस" (confidence sequence) कहा जाता है, जो एक सिकुड़ते हुए सुरक्षा जाल की तरह काम करता है। एक सामान्य जाल के विपरीत, जो केवल तभी काम करता है जब आप एक विशिष्ट समय पर रुकने का वादा करते हैं, यह सुरक्षा जाल तब भी मान्य रहता है जब आप अब तक देखे गए डेटा के आधार पर अपना निर्णय बदलते हैं। यह गारंटी देता है कि रोबोट का वास्तविक स्कोर हमेशा उस जाल के भीतर रहेगा, भले ही आप यह बदलने का निर्णय लें कि आपको कब रुकना है।
अब, कल्पना कीजिए कि आपके पास एक क्रिस्टल बॉल (या इस मामले में, एक इतिहास की पुस्तक) है जो दिखाती है कि पिछले रोबोटों ने इन्हीं सवालों के जवाब कैसे दिए थे। आप उस इतिहास का उपयोग यह अनुमान लगाने के लिए कर सकते हैं कि नया रोबोट किन सवालों को आसान या कठिन पाएगा। मुख्य सवाल यह है कि आप उस क्रिस्टल बॉल का उपयोग अगले कौन से सवाल पूछने के लिए करने में ऐसा कर सकते हैं जो सबसे अच्छे हों, ताकि आपका सुरक्षा जाल यथासंभव तेजी से सिकुड़ सके? यह वही पहेली है जिसे चिया-यू हू (Chia-Yu Hsu) और शुभंशु शेखर (Shubhanshu Shekhar) अपने शोध पत्र, "एफिशिएंट सीक्वेंशियल इवैल्यूएशन ऑफ लार्ज लैंग्वेज मॉडल्स" (Efficient Sequential Evaluation of Large Language Models) में सुलझा रहे हैं। वे एक नए लार्ज लैंग्वेज मॉडल (LLM) का परीक्षण करने का सबसे कुशल तरीका खोजने की कोशिश कर रहे हैं, जिसमें कम सवाल पूछकर भी वे गणितीय रूप से परिणाम के प्रति आश्वस्त हो सकें।
लेखक एक खेल की रूपरेखा तैयार करते हैं जहाँ वे उस सुरक्षा जाल (कॉन्फिडेंस सीक्वेंस) को यथासंभव तेजी से छोटा करने की कोशिश करते हैं। वे इस जाल को बनाने के लिए दो मुख्य रणनीतियों की खोज करते हैं। पहली रणनीति "रिवर्स इंफॉर्मेशन प्रोजेक्शन" (RIPr) की तरह है, जो एक फैंसी तरीका है यह कहने का कि वे उस "सबसे खराब स्थिति" (worst-case scenario) को पाते हैं जो डेटा के अनुकूल है और मापते हैं कि नया रोबोट उस सबसे खराब स्थिति से कितना दूर है। दूसरी रणनीति "टेस्टिंग-बाय-बेटिंग" (testing-by-betting) है, जहाँ वे यह कल्पना करते हैं कि वे इस बात पर दांव लगा रहे हैं कि रोबोट अच्छा है या बुरा, और यदि उनका अनुमान सही निकलता है, तो वे धन (या संपत्ति) जीतते हैं, जो जाल को सिकोड़ने में मदद करता है।
प्रक्रिया को तेज करने के लिए, वे एक "ग्रोथ-ओरिएंटेड" (growth-oriented) नियम प्रस्तावित करते हैं। यह एक ऐसे जासूस की तरह है जो रैंडम सवाल पूछने के बजाय, हमेशा वह अगला सवाल चुनता है जिससे उसे संदिग्ध की पहचान को सीमित करने के लिए सबसे बड़ा सुराग मिलने की संभावना होती है। वे गणना करते हैं कि कौन सा सवाल अगले ही कदम में उनके सुरक्षा जाल को सबसे अधिक सिकोड़ने में मदद करेगा। हालाँकि, उन्हें एक बाधा का सामना करना पड़ता है: उनकी क्रिस्टल बॉल (ऐतिहासिक डेटा से प्राप्त भविष्यवाणी) एकदम सटीक नहीं है। यदि भविष्यवाणी गलत है, तो जासूस गलत सुरागों के पीछे भाग सकता है, और जाल उतनी तेजी से नहीं सिकुड़ेगा जितनी तेजी से उसे सिकुड़ना चाहिए। वे पाते हैं कि दो चीजें इस प्रक्रिया को धीमा करती हैं: जब भविष्यवाणियां बहुत अलग होती हैं (मिसमैच) और जब जासूस केवल वे प्रश्न पूछता है जो एक-दूसरे के बहुत समान हैं (स्पाइकीनेस), जिससे वह बाकी टेस्ट बैंक को अनदेखा कर देता है।
इसे ठीक करने के लिए, लेखक अपनी "स्मार्ट डिटेक्टिव" रणनीति को दो अन्य दृष्टिकोणों के साथ मिलाने का प्रयास करते हैं: एक जो क्रिस्टल बॉल की भविष्यवाणियों को ठीक करने पर ध्यान केंद्रित करता है, और दूसरा जो पूरी तरह से रैंडम (यूनिफॉर्म सैंपलिंग) सवाल पूछता है। वे विभिन्न प्रकार के रोबोट व्यवहारों और टेस्ट बैंकों के साथ सिमुलेशन चलाते हैं ताकि यह देखा जा सके कि कौन सा मिश्रण सबसे अच्छा काम करता है। दिलचस्प बात यह है कि उनके प्रयोगों से पता चलता है कि कोई एक एकल "जादुई" रणनीति नहीं है जो हर बार जीतती हो। कभी-कभी, सबसे जटिल, अनुकूलित (adaptive) डिटेक्टिव रणनीति बहुत अच्छा काम करती है, लेकिन अन्य समय में, सबसे सरल रणनीति—बस रैंडम सवाल चुनना—उतना ही अच्छा, या उससे भी बेहतर प्रदर्शन करती है, खासकर जब भविष्यवाणियां अस्थिर होती हैं। वे निष्कर्ष निकालते हैं कि हालांकि स्मार्ट, अडैप्टिव नियम शक्तिशाली हैं, लेकिन विनम्र, रैंडम दृष्टिकोण एक आश्चर्यजनक रूप से मजबूत प्रतियोगी है जिसे अनदेखा नहीं किया जाना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।