Unveiling the Depth-Performance Dilemma in Split-Federated Fine-tuning of LLMs
यह शोध पत्र लार्ज लैंग्वेज मॉडल्स के स्प्लिट-फेडरेटेड फाइन-ट्यूनिंग में एक महत्वपूर्ण "डेप्थ-परफॉर्मेंस डिलेमा" (गहराई-प्रदर्शन दुविधा) की पहचान करता है, जो यह प्रदर्शित करता है कि जबकि गहरे मॉडल विभाजन सिस्टम की दक्षता और गोपनीयता को अधिकतम करते हैं, वे अपरिहार्य रूप से विनाशकारी प्रदर्शन पतन का कारण बनते हैं क्योंकि अनियंत्रित एकत्रीकरण शोर (एग्रीगेशन नॉइज़) सर्वर विभाजन में अटेंशन कोलैप्स (अटेंशन पतन) को ट्रिगर करता है, जो एक ऐसी विफलता है जिसे मौजूदा फेडरेटेड एकत्रीकरण विधियाँ हल नहीं कर सकती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स आधुनिक चैटबॉट्स और लेखन सहायकों के पीछे के शक्तिशाली कंप्यूटर प्रोग्राम हैं, जो मानव पाठ (टेक्स्ट) को समझने और उत्पन्न करने में सक्षम हैं। इन मॉडल्स को विशिष्ट कार्यों के लिए अधिक स्मार्ट और उपयोगी बनाने के लिए, उन्हें "फाइन-ट्यून" करना पड़ता है, एक ऐसी प्रक्रिया जिसमें उन्हें बड़ी मात्रा में नया डेटा दिखाया जाता है। हालाँकि, यह प्रशिक्षण अविश्वसनीय रूप से महंगा है और इसके लिए विशाल कंप्यूटरों की आवश्यकता होती है जो अधिकांश लोगों के पास नहीं होते। इसके अलावा, इस प्रशिक्षण के लिए आवश्यक डेटा में अक्सर निजी जानकारी होती है, जैसे व्यक्तिगत संदेश या मेडिकल रिकॉर्ड, जिन्हें केंद्रीय सर्वर के साथ साझा नहीं किया जा सकता है। इसे हल करने के लिए, शोधकर्ताओं ने "स्प्लिट फेडरेटेड फाइन-ट्यूनिंग" नामक एक विधि विकसित की। यह दृष्टिकोण विशाल मॉडल को दो भागों में विभाजित करता है: एक छोटा हिस्सा कार्य की शुरुआत को संभालने के लिए उपयोगकर्ता के डिवाइस पर रहता है, जबकि दूसरा बड़ा, शेष हिस्सा एक केंद्रीय सर्वर पर चलता है। यह मॉडल को निजी डेटा को क्लाउड पर भेजे बिना उससे सीखने की अनुमति देता है, जिससे गोपनीयता की आवश्यकता और कंप्यूटिंग शक्ति के बीच संतुलन बना रहता है।
लंबे समय तक, इंजीनियरों ने यह मान लिया था कि जिस बिंदु पर वे मॉडल को विभाजित करते हैं, वह केवल गति को समायोजित करने के लिए एक तकनीकी सेटिंग है। प्रचलित धारणा यह थी कि विभाजन बिंदु को मॉडल में और गहरा धकेलना—उपयोगकर्ता के डिवाइस को अधिक काम देना और सर्वर के लिए कम छोड़ना—सिस्टम को तेज़ और अधिक निजी बना देगा, जिसका सीखने की गुणवत्ता पर कोई वास्तविक प्रभाव नहीं पड़ेगा। एक नया अध्ययन इस धारणा को चुनौती देता है और इस डिज़ाइन में एक छिपे हुए जाल का खुलासा करता है। एरिजोना विश्वविद्यालय और वेल्लोर इंस्टीट्यूट ऑफ टेक्नोलॉजी के शोधकर्ताओं ने पाया कि हालांकि विभाजन बिंदु को गहरा करने से वास्तव में गति और गोपनीयता में सुधार होता है, लेकिन यह मॉडल की सीखने की क्षमता को ढहने (कोलैप्स) का कारण भी बनता है। उन्होंने पाया कि जिस कॉन्फ़िगरेशन को सिस्टम की दक्षता के लिए सबसे अच्छा माना जाता है, वही वास्तव में अंतिम परिणाम की गुणवत्ता को खराब कर देता है।
शोधकर्ताओं ने कहानी लिखने और गणित की समस्याओं को हल करने जैसे विभिन्न वास्तविक दुनिया के कार्यों का उपयोग करते हुए, छोटे संस्करणों से लेकर अरबों पैरामीटर वाले विशाल मॉडल्स तक, मॉडल के आकार की एक विस्तृत श्रृंखला पर इस विचार का परीक्षण किया। जैसे-जैसे उन्होंने विभाजन बिंदु को मॉडल की शुरुआत से लगभग अंत तक धकेला, उन्होंने पुष्टि की कि सिस्टम काफी तेज़ हो गया और सर्वर को भेजा गया डेटा रिवर्स-इंजीनियर करना बहुत कठिन हो गया, जिससे लगभग पूर्ण गोपनीयता मिली। हालाँकि, उन्होंने यह भी देखा कि प्रदर्शन में लगातार और गंभीर गिरावट आई। गहरे विभाजन के साथ प्रशिक्षित मॉडल कार्यों को प्रभावी ढंग से सीखने में विफल रहे, जिससे खराब परिणाम प्राप्त हुए, चाहे डेटा को किसी भी तरह से संयोजित किया गया हो। इसने एक दुविधा पैदा कर दी: वे सेटिंग्स जो सिस्टम की दक्षता को अधिकतम करती हैं, वही हैं जो मॉडल की उपयोगिता को नष्ट कर देती हैं।
यह समझने के लिए कि ऐसा क्यों होता है, टीम ने सिस्टम के विभिन्न हिस्सों के बीच होने वाली अंतःक्रियाओं (इंटरैक्शन) का बारीकी से अध्ययन किया। उन्होंने पाया कि समस्या इस बात से उत्पन्न होती है कि मॉडल त्रुटियों और शोर (नॉइज़) को कैसे संभालता है। प्रशिक्षण प्रक्रिया की शुरुआत में, जब विभाजन उथला (शैलो) होता है, तो सर्वर के पास काम करने के लिए कई परतें (लेयर्स) बची रहती हैं। ये अतिरिक्त परतें एक बफर की तरह कार्य करती हैं, जो कई अलग-अलग उपयोगकर्ताओं से डेटा को संयोजित करने के दौरान स्वाभाविक रूप से होने वाली छोटी त्रुटियों और विसंगतियों को सोख लेती हैं। हालाँकि, जैसे-जैसे विभाजन बिंदु गहरा होता जाता है, यह बफर गायब हो जाता है। उपयोगकर्ता के डेटा के संयोजन के दौरान उत्पन्न होने वाली त्रुटियां अब सोखी नहीं जातीं; इसके बजाय, वे मॉडल की शेष परतों के माध्यम से बिना सुधारे सीधे प्रवाहित होती हैं।
अध्ययन ने इस विफलता के लिए एक विशिष्ट संरचनात्मक कारण की पहचान की। शोधकर्ताओं ने पाया कि इन मॉडल्स की गहरी परतें, जिन्हें सबसे शक्तिशाली होना चाहिए, वास्तव में बहुत गहरा विभाजन होने पर जटिल जानकारी को संसाधित करने की अपनी क्षमता खो देती हैं। उन्होंने पाया कि ये परतें इनपुट की सरल, सपाट प्रतियों की तरह व्यवहार करने लगती हैं, जिससे वे जटिल आंतरिक संरचना खो देती हैं जो गलतियों को सुधारने के लिए आवश्यक होती है। जब उपयोगकर्ताओं का शोर युक्त, बिना सुधारा गया डेटा इन कमजोर परतों से टकराता है, तो मॉडल उबर नहीं पाता। यह वैसा ही है जैसे कि एक फ़िल्टर जिसे पानी को साफ करने के लिए लगाया जाना था उसे हटा दिया गया हो, और गंदा पानी सीधे अंतिम आउटपुट में बह रहा हो। यह घटना, जिसे लेखक "अटेंशन कोलैप्स" कहते हैं, का अर्थ है कि मॉडल उपयोगी पैटर्न और यादृच्छिक शोर के बीच अंतर करने की अपनी क्षमता खो देता है।
शोधकर्ताओं ने उपयोगकर्ताओं के अपडेट को संयोजित करने के विभिन्न तरीकों का भी परीक्षण किया, इस उम्मीद में कि कोई ऐसी तकनीक मिल सके जो इस समस्या को ठीक कर सके। उन्होंने उपयोगकर्ताओं के डेटा के बीच के अंतर को संभालने के लिए डिज़ाइन की गई कई उन्नत गणितीय रणनीतियों का परीक्षण किया। हालांकि कुछ विधियाँ दूसरों की तुलना में थोड़ी बेहतर थीं, लेकिन कोई भी पूरी तरह से पतन को रोकने में सक्षम नहीं थी। यहाँ तक कि सर्वोत्तम विधियों ने भी गहरा विभाजन होने पर प्रदर्शन में महत्वपूर्ण गिरावट देखी। इससे पता चलता है कि समस्या केवल डेटा को संयदित करने के बारे में नहीं है, बल्कि यह इस बारे में है कि ये मॉडल्स कैसे बनाए गए हैं। मॉडल की संरचना, जो हर परत के माध्यम से समान आकार और रूप बनाए रखती है, त्रुटियों को बिना बदले गुजरने की अनुमति देती है, जो अन्य प्रकार के कंप्यूटर विज़न मॉडल्स के विपरीत है जो डेटा के माध्यम से आगे बढ़ते समय स्वाभाविक रूप से सिकुड़ते और शोर को फ़िल्टर करते हैं।
इस अध्ययन के निष्कर्ष इन वितरित प्रणालियों (डिस्ट्रीब्यूटेड सिस्टम्स) के डिज़ाइन के बारे में सोचने के तरीके को बदलने के लिए मजबूर करते हैं। यह दिखाता है कि विभाजन की गहराई केवल एक न्यूट्रल डायल नहीं है जिसे गति या गोपनीयता को अनुकूलित करने के लिए स्वतंत्र रूप से घुमाया जा सकता है। इसके बजाय, यह एक महत्वपूर्ण लीवर है जो मॉडल की आंतरिक वास्तुकला (आर्किटेक्चर) के साथ अंतःक्रिया करता है। यदि विभाजन बहुत गहरा है, तो सिस्टम कुशल तो बन जाता है लेकिन बेकार हो जाता है। शोधकर्ता निष्कर्ष निकालते हैं कि लार्ज लैंग्वेज मॉडल्स के लिए स्थिर, वितरित सिस्टम बनाने के लिए, इंजीनियरों को इस संरचनात्मक कमजोरी को ध्यान में रखना चाहिए। वे सुझाव देते हैं कि भविष्य के डिज़ाइनों को या तो सर्वर द्वारा डेटा को संसाधित करने के तरीके को बदलना होगा या नए तरीके विकसित करने होंगे जो विशेष रूप रूप से गहरी परतों में त्रुटि सुधार की कमी को ध्यान में रखते हुए उपयोगकर्ता अपडेट को संयोजित कर सकें। तब तक, एक स्प्लिट सिस्टम के लिए सबसे कुशल सेटअप संभवतः वही है जो सीखने की गुणवत्ता का बलिदान देता है, जिससे उद्योग के सामने गति, गोपनीयता और बुद्धिमत्ता के बीच एक कठिन समझौता करने की स्थिति बनी रहती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।