Evaluating Federated Pre-Training: On the Reliability of Downstream Fine-Tuning and Intrinsic Evaluation
यह शोध पत्र यह प्रदर्शित करता है कि डाउनस्ट्रीम फाइन-ट्यूनिंग (downstream fine-tuning) फेडरेटेड प्री-ट्रेनिंग गुणवत्ता के मूल्यांकन के लिए एक अविश्वसनीय मीट्रिक है क्योंकि यह मूल मॉडल रैंकिंग को बनाए रखने में विफल रहता है, जबकि इंट्रिन्सिक नेक्स्ट-टोकन प्रेडिक्शन (intrinsic next-token prediction) प्री-ट्रेनिंग प्रदर्शन का अधिक निष्ठावान प्रतिबिंब प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप दुनिया का सबसे बेहतरीन सूप बनाने की कोशिश कर रहे एक मास्टर शेफ हैं। पुराने दिनों में, आप देश के हर खेत से हर एक सामग्री इकट्ठा करते, उन्हें एक विशाल, केंद्रीय बर्तन में डाल देते और तब तक मिलाते जब तक कि स्वाद एकदम सही न हो जाए। लेकिन क्या होगा अगर कुछ किसान अपने गुप्त नुस्खे साझा करने में बहुत शर्मीले हों, या सरकार यह कहे कि वे अपनी सब्जियां अपने खुद के खलिहानों से बाहर नहीं ले जा सकते? आपको खाना पकाने का एक नया तरीका चाहिए। यहीं से "फेडरेटेड लर्निंग" (Federated Learning) की शुरुआत होती है। सामग्रियों को एक बर्तन में लाने के बजाय, आप अपने शेफ को हर एक खेत में भेजते हैं। शेफ वहीं स्थानीय सब्जियों को चखता है, सीखता है कि उनमें क्या खास है, और केवल उन सबकों को वापस मुख्य रसोई में भेजता है, कभी भी वास्तविक सब्जियों को छुए बिना। यह आपको एक "फाउंडेशन मॉडल" (Foundation Model)—एक सुपर-स्मार्ट AI दिमाग जो दुनिया के बारे में बहुत कुछ जानता है—बनाने में मदद करता है, बिना कभी निजी डेटा को देखे।
लेकिन पेचीदा बात यह है कि: आपको कैसे पता चलेगा कि आपके शेफ ने वास्तव में कुछ अच्छा सीखा भी है या नहीं? आमतौर पर, एक शेफ का परीक्षण करने के लिए, आप उनसे एक विशिष्ट व्यंजन बनाने के लिए कहते हैं, जैसे कि लासग्ना (lasagna), और देखते हैं कि उसका स्वाद कैसा है। AI की दुनिया में, इसे "डाउनस्ट्रीम फाइन-ट्यूनिंग" (downstream fine-tuning) कहा जाता है। आप उस स्मार्ट दिमाग को एक विशिष्ट कार्य सिखाते हैं, जैसे व्याकरण के सवालों के जवाब देना या भावनाओं को समझना। हालाँकि, यह शोध पत्र एक चुभने वाला सवाल पूछता है: यदि आप यह परखने की कोशिश कर रहे हैं कि शेफ ने खाना पकाने के बुनियादी नियम कितनी अच्छी तरह सीखे हैं (प्री-ट्रेनिंग), तो क्या उनसे लासग्ना बनाने के लिए कहना सही परीक्षण है? शायद लासग्ना का स्वाद इसलिए अच्छा है क्योंकि शेफ रेसिपी का पालन करने में अच्छा है, न कि इसलिए कि उसने सामग्रियों को समझा है। यह पेपर इस बात की गहराई से जांच करता है कि क्या हमारे AI दिमागों को परखने के मौजूदा तरीके हमें वास्तव में यह बता रहे हैं कि उन्होंने शुरुआत में कितनी अच्छी तरह सीखा था।
शोधकर्ताओं ने इस अध्ययन में "ट्रांसफॉर्मर मॉडल" (transformer model) नामक एक विशिष्ट प्रकार के AI दिमाग के साथ "स्वाद परीक्षण" का खेल खेलने का निर्णय लिया। उन्होंने एक नियंत्रित रसोई बनाई जहाँ उन्होंने कई मॉडलों को प्रशिक्षित किया: कुछ पारंपरिक तरीके से (सारा डेटा एक ही स्थान पर) और कुछ फेडरेटेड पद्धति का उपयोग करके (डेटा स्थानीय स्तर पर रहना)। उन्होंने तुलना निष्पक्ष रहे, इसके लिए उन्होंने 16 मिलियन पैरामीटर्स वाले एक अपेक्षाकृत छोटे मॉडल का उपयोग किया, जिसे टेक्स्ट डेटा के एक विशिष्ट हिस्से पर प्रशिक्षित किया गया था। उनका लक्ष्य सरल था: वे देखना चाहते थे कि क्या विभिन्न परीक्षण विधियाँ मॉडलों को "सबसे अच्छा सीखने वाला" से "सबसे खराब सीखने वाला" के रूप में सही ढंग से रैंक कर सकती हैं, उनके मूल प्रशिक्षण परीक्षण के प्रदर्शन के आधार पर।
टीम ने मॉडलों को आंकने के दो मुख्य तरीके आजमाए। पहला तरीका मानक दृष्टिकोण था: डाउनस्ट्रीम फाइन-ट्यूनिंग। यह AI को लेने और उसे एक विशिष्ट परीक्षा (GLUE बेंचमार्क, जो व्याकरण और भावना जैसी चीजों का परीक्षण करता है) के लिए मजबूर करने जैसा है। उन्होंने इसे तीन तरीकों से आजमाया: AI को शुरू से सब कुछ सिखाना (फुल फाइन-ट्यूनिंग), केवल अंतिम उत्तर कुंजी सिखाना जबकि उसके दिमाग को स्थिर रखना (हेड-ओनली), और यहाँ तक कि उसे बहुत कम अध्ययन सामग्री देना (रिड्यूस्ड डेटा)। दूसरा दृष्टिकोण था इंट्रिन्सिक इवैल्यूएशन (Intrinsic Evaluation)। यह कुछ ऐसा था जैसे AI को केवल एक वाक्य पढ़ने और अगले शब्द का अनुमान लगाने के लिए कहना, ठीक वैसे ही जैसे उसने अपने मूल प्रशिक्षण के दौरान किया था। उन्होंने इसे बिना कुछ नया सिखाए (जीरो-शॉट) और परीक्षा के प्रश्नों को अतिरिक्त अभ्यास के रूप में पढ़ने देने के बाद (कंटीन्यूड प्री-ट्रेनिंग) भी किया।
परिणाम सामान्य तरीके के प्रति थोड़े चौंकाने वाले थे। जब शोधकर्ताओं ने "डाउनस्ट्रीम फाइन-ट्यूनिंग" के परिणामों को देखा, तो उन्होंने पाया कि मॉडलों की रैंकिंग पूरी तरह से बिखरी हुई थी। एक मॉडल जो मूल प्रशिक्षण परीक्षण में स्पष्ट रूप से सर्वश्रेष्ठ था (लगभग 89 की टेस्ट परप्लेक्सिटी के साथ), वह जरूरी नहीं कि विशिष्ट परीक्षाओं में विजेता रहा। वास्तव में, जो मॉडल उनकी मूल सीखने की क्षमता में बहुत भिन्न थे, वे परीक्षाओं पर लगभग समान स्कोर के साथ समाप्त हुए। मूल सीखने की गुणवत्ता और परीक्षा के स्कोर के बीच सहसंबंध कमजोर था, और कभी-कभी नकारात्मक भी था। यह ऐसा है जैसे सबसे अच्छा शेफ और सबसे खराब शेफ दोनों ने एक ठीक-ठाक लासग्ना बनाया क्योंकि रेसिपी इतनी सरल थी कि उसने उनके वास्तविक कौशल को छिपा दिया। यहाँ तक कि जब उन्होंने परीक्षा के लिए अध्ययन करने के लिए मॉडलों को कम डेटा दिया, तो रैंकिंग में अधिक सुधार नहीं हुआ।
हालाँकि, जब उन्होंने इंट्रिन्सिक इवैल्यूएशन का उपयोग किया—यानी बिना किसी अतिरिक्त प्रशिक्षण के, केवल AI को नए टेक्स्ट पर अगले शब्द की भविष्यवाणी करने के लिए कहना—तो कहानी पूरी तरह बदल गई। जो मॉडल मूल प्रशिक्षण परीक्षण में बेहतर थे, वे नए टेक्स्ट पर अगले शब्द का अनुमान लगाने में भी बेहतर थे। यहाँ एक बहुत मजबूत, स्पष्ट संबंध था। पेपर सुझाव देता है कि यह "जीरो-शॉट" विधि, जो मूल लक्ष्य के करीब रहती है, इस बात का कहीं अधिक ईमानदार दर्पण है कि फेडरेटेड प्री-ट्रेनिंग वास्तव में कितनी अच्छी तरह काम कर रही थी।
लेखक सावधानीपूर्वक नोट करते हैं कि यह एक छोटे मॉडल (16 मिलियन पैरामीटर्स) के साथ एक सिमुलेशन था और एक विशिष्ट डेटा सेट था, इसलिए हम यह निश्चित रूप से नहीं कह सकते कि यह वास्तविक दुनिया में उपयोग किए जाने वाले विशाल, ट्रिलियन-पैरामीटर वाले मॉडलों के लिए भी लागू होता है। लेकिन निष्कर्ष बताते हैं कि यदि हम यह जानना चाहते हैं कि क्या एक नया फेडरेटेड लर्निंग स्ट्रैजी वास्तव में AI दिमागों को स्मार्ट बना रही है, तो हमें केवल यह देखने पर निर्भर नहीं रहना चाहिए कि वे थोड़े से अतिरिक्त प्रशिक्षण के बाद विशिष्ट परीक्षणों में कितने अच्छे हैं। इसके बजाय, हमें यह देखना चाहिए कि वे अपने दम पर अगले शब्द की भविष्यवाणी करने में कितने सक्षम हैं, क्योंकि वह परीक्षण उनके आधार के बारे में सच बताता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।