The Appeal and Reality of Recycling LoRAs with Adaptive Merging
यह शोध पत्र हगिंग फेस हब से उपयोगकर्ता-योगदान वाले LoRAs को अनुकूल रूप से संयोजित करने की व्यवहार्यता की जांच करता है, जिससे यह पता चलता है कि हालांकि ऐसी विधियाँ बेस मॉडल से बेहतर प्रदर्शन करती हैं, लेकिन उनके लाभ मुख्य रूप से क्रॉस-टास्क ट्रांसफर के बजाय एक रेगुलेराइज़ेशन प्रभाव के कारण होते हैं, क्योंकि वे एक नया LoRA प्रशिक्षित करने की तुलना में सीमित लाभ प्रदान करती हैं और रैंडमली इनिशियलाइज़्ड पैरामीटर्स के साथ भी समान प्रदर्शन करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, सुपर-स्मार्ट रोबोट दिमाग है (आइए इसे "बेस मॉडल" कहें) जो सब कुछ के बारे में थोड़ा-बहुत जानता है लेकिन किसी भी चीज़ का विशेषज्ञ नहीं है। अब, कल्पना कीजिए कि हजारों लोगों ने इस रोबोट के लिए छोटे, विशिष्ट "स्किल चिप्स" बनाए हैं जिन्हें LoRAs कहा जाता है। एक चिप इसे गणित में माहिर बनाती है, दूसरी कविता लिखने में, तीसरी मेडिकल शब्दावली समझने में। ये चिप्स इंटरनेट पर तैर रहे हैं, जिसे कोई भी मुफ्त में ले सकता है।
बड़ा सवाल जो शोधकर्ताओं ने पूछा था: यदि हम इंटरनेट से इन चिप्स का एक रैंडम समूह लें और उन्हें आपस में जोड़ दें, तो क्या हमें एक ऐसा सुपर-रोबोट मिलेगा जो बेस रोबोट को शून्य से नया कौशल सिखाने की तुलना में बेहतर होगा?
यह "LoRAs को रीसायकल" करने की कहानी है। शोधकर्ताओं ने हगिंग फेस हब (AI मॉडल्स की एक विशाल लाइब्रेरी) से लगभग 1,000 इन यूजर-मेड चिप्स को इकट्ठा किया और उन्हें फैंसी "एडैप्टिव मर्जिंग" तकनीकों का उपयोग करके मिलाने की कोशिश की। वे यह देखना चाहते थे कि क्या वे नए कार्यों को हल करने के लिए पहले से बने स्किल्स को मिक्स और मैच कर सकते हैं, बिना एक नया चिप स्क्रैच से ट्रेन किए।
बड़ा सरप्राइज: "मैजिक ग्लू" एक धोखा हो सकता है
यहाँ एक ट्विस्ट है: फैंसी मर्जिंग वास्तव में उतनी अच्छी तरह काम नहीं कर पाई जितनी उम्मीद की गई थी।
जब शोधकर्ताओं ने एक नए कार्य को हल करने के लिए इन रीसायकल किए गए चिप्स को मर्ज करने की कोशिश की, तो उन्होंने पाया कि उन्हें मिक्स करने का "जादू" ज्यादातर एक भ्रम था।
- रियलिटी चेक: यदि आपके पास एक नया कार्य सिखाने के लिए एक छोटा डेटासेट (लगभग 100 उदाहरण) है, तो उस विशिष्ट डेटा पर एक नया LoRA ट्रेन करना लगभग हमेशा बेहतर होता है।
- "रैंडम" शॉक: और भी अजीब बात यह है कि जब उन्होंने नए, ताज़ा प्रशिक्षित LoRA को मिश्रण में शामिल किया, तो इससे कोई फर्क नहीं पड़ा कि उन्होंने अन्य कौन से चिप्स जोड़े! वे इंटरनेट से 30 चिप्स ले सकते थे, या वे 30 चिप्स ले सकते थे जो केवल रैंडम नंबरों (जैसे टीवी पर दिखने वाला स्टैटिक शोर) से भरे थे, और परिणाम लगभग एक जैसा ही था।
पेपर सुझाव देता है कि सुधार रीसायकल किए गए चिप्स के अंदर मौजूद "ज्ञान" से नहीं आया। इसके बजाय, ऐसा लगता है कि उन्हें मर्ज करने की प्रक्रिया एक सेफ्टी नेट या एक रेगुलराइज़र के रूप में कार्य करती है। यह प्लेटों का ढेर संतुलित करने की कोशिश करने जैसा है; अधिक रैंडम प्लेटें जोड़ने से पूरा ढेर स्थिर हो सकता है, इसलिए नहीं कि प्लेटें उपयोगी हैं, बल्कि इसलिए क्योंकि उन्हें संतुलित करने की प्रक्रिया सिस्टम को अधिक सावधान होने के लिए मजबूर करती है।
पिछले अध्ययनों ने क्यों कहा कि यह काम करता है?
आप सोच सकते हैं, "लेकिन क्या अन्य पेपर्स ने नहीं कहा था कि LoRAs को मर्ज करना अद्भुत है?"
लेखक संदेह करते हैं कि वे पिछले अध्ययन थोड़े अधिक "परफेक्ट" थे। उन्होंने अक्सर "इन-हाउस" चिप्स का उपयोग किया—चिप्स जो उन्होंने खुद एक नियंत्रित लैब सेटिंग में बनाए थे जहाँ वे जानते थे कि कौन से चिप्स एक-दूसरे के लिए प्रासंगिक हैं। यह एक रेसिपी को टेस्ट करने जैसा है जहाँ आप केवल उन्हीं सामग्रियों का उपयोग करते हैं जो आपने उसी स्टोर से खरीदी हैं, यह जानते हुए कि वे एक साथ कैसे जाती हैं।
असली दुनिया ("इन द वाइल्ड") में, चिप्स बिखरे हुए और अव्यवस्थित होते हैं। उन्हें अलग-अलग लोगों द्वारा, अलग-अलग डेटा के साथ और अलग-अलग लक्ष्यों के लिए बनाया गया था। शोधकर्ताओं ने पाया कि पॉजिटिव ट्रांसफर (जहाँ एक कौशल दूसरे की मदद करता है) तभी होता है जब चिप्स कार्य के लिए अत्यधिक प्रासंगिक हों। यदि आप एक "हिस्ट्री क्विज़" को हल करने के लिए "मैथ चिप" को "पोएट्री चिप" के साथ मिलाते हैं, तो यह मदद नहीं करता है। वास्तव में, पेपर दिखाता है कि यदि आप सबसे प्रासंगिक चिप्स को एक पूल से हटा देते हैं, तो प्रदर्शन तेजी से गिर जाता है, और अंततः रैंडम नॉइज़ (शोर) के उपयोग से भी बेहतर नहीं रह जाता।
फैसला
तो, एक जिज्ञासु किशोर के लिए निष्कर्ष क्या है?
- मुफ्त के खाने की उम्मीद न करें: आप बस इंटरनेट से कई रैंडम AI स्किल्स उठा नहीं सकते, उन्हें मिक्स कर सकते हैं, और एक चमत्कार की उम्मीद नहीं कर सकते।
- ट्रेनिंग अभी भी किंग है: यदि आपके पास कोई विशिष्ट काम करने के लिए है, तो अपने स्वयं के डेटा पर एक फ्रेश, छोटा एडॉप्टर (LoRA) ट्रेन करना आमतौर पर सबसे अच्छा और सबसे विश्वसनीय तरीका है।
- "रीसाइक्लिंग" पेचीदा है: हालांकि मर्ज करना कभी-कभी बेस मॉडल से बेहतर हो सकता है, लेकिन यह शायद ही कभी एक साधारण, फ्रेश ट्रेनिंग सेशन को मात दे पाता है। और यदि आप मर्ज करने का निर्णय लेते हैं, तो यह चिप्स के चयन से कहीं अधिक महत्वपूर्ण है कि आप किन चिप्स का उपयोग करते हैं—विशेष रूप से यदि आपके पास काम के लिए सही चिप पहले से ही मिश्रण में मौजूद है।
लेखक निष्कर्ष निकालते हैं कि हालांकि AI मॉडल्स को रीसायकल करने का विचार रोमांचक है, लेकिन वास्तविकता थोड़ी अधिक जटिल है। "पॉजिटिव ट्रांसफर" जिसकी हम उम्मीद करते हैं वह वास्तविक है, लेकिन सार्वजनिक AI मॉडल्स की अव्यवस्थित दुनिया में यह दुर्लभ और नाजुक है। यह सुझाव देता है कि हमें डिजिटल कचरे के ढेर में सही "रत्न" खोजने के बेहतर तरीके चाहिए, या शायद हमें इसे बनाने के तरीके के बारे में फिर से सोचने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।