Llamion Technical Report
यह शोध पत्र Llamion को प्रस्तुत करता है, जो 14B-पैरामीटर वाले ओपन-वेट मॉडल्स का एक परिवार है जो KEPT नामक एक नवीन रेसिपी का उपयोग करके Orion-14B आर्किटेक्चर को सफलतापूर्वक Llama फॉर्मेट में परिवर्तित करता है, जिससे KoMMLU जैसे बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त होता है और न्यूनतम प्रशिक्षण संसाधनों के साथ लॉन्ग-कॉन्टेक्स्ट हैंडलिंग जैसी उन्नत क्षमताओं को संरक्षित किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ Llamion तकनीकी रिपोर्ट का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।
मुख्य विचार: फर्नीचर खोए बिना घर को स्थानांतरित करना
कल्पive कि आपके पास एक शानदार, पूरी तरह से सुसज्जित घर है (एक शक्तिशाली AI मॉडल जिसे Orion कहा जाता है) जो एक अद्वितीय, कस्टम नींव पर बना है। यह बहुत अच्छा काम करता है, लेकिन स्थानीय शहर के ज़ोनिंग कानून (Llama आर्किटेक्चर मानक) केवल एक विशिष्ट, मानकीकृत नींव पर बने घरों की अनुमति देते हैं।
यदि आप घर को सीधे नई नींव पर ले जाने की कोशिश करते हैं, तो प्लंबिंग टूट सकती है, दरवाजे फिट नहीं हो सकते, और फर्नीचर खो सकता है। आमतौर पर, इसे ठीक करने के लिए, आपको एक नया घर खरीदना होगा और पुराने ब्लूप्रिंट (जिसे uptraining कहा जाता है) का उपयोग करके वर्षों तक फिर से सजाने में समय बिताना होगा। यह महंगा, धीमा है, और इसके लिए आपको मूल ब्लूप्रिंट की आवश्यकता होती है, जो अक्सर आपके पास नहीं होते।
Llamion एक नई, चतुर स्थानांतरण रणनीति का परिणाम है जिसे KEPT कहा जाता है। घर को फिर से बनाने के बजाय, टीम ने उसी सटीक फर्नीचर और सटीक लेआउट को नई, मानकीकृत नींव पर सफलतापूर्वक स्थानांतरित किया, जिससे घर का व्यक्तित्व और कौशल बरकरार रहा।
उन्होंने यह कैसे किया: "KEPT" रेसिपी
टीम ने Orion से Llama शैली में मॉडल को स्थानांतरित करने के लिए KEPT (Efficient Knowledge Preservation for Transformation) नामक तीन-चरणीय रेसिपी का उपयोग किया:
नॉर्मल पैरामीटर मैपिंग (NPM): "सीधा स्थानांतरण"
AI के उन हिस्सों के लिए जो दोनों घरों में एक ही तरह से काम करते हैं (जैसे कि शब्दावली और तर्क केंद्र), उन्होंने बस फर्नीचर को उठाया और उसे नए घर में ठीक उसी स्थान पर रख दिया। किसी बदलाव की आवश्यकता नहीं थी।ऑप्टिमाइज्ड पैरामीटर मैपिंग (OPM): "परफेक्ट फिट"
पुराने घर के कुछ हिस्सों में नए घर (जो RMSNorm का उपयोग करता है) की तुलना में अलग प्रकार के दरवाजे के कब्जे (जिसे LayerNorm कहा जाता है) थे। उन्हें कैसे ठीक किया जाए, इसका अनुमान लगाने के बजाय, टीम ने गणितीय रूप से सिद्ध किया कि यदि वे कब्जों को बिना किसी अतिरिक्त काम के सीधे बदल देते हैं, तो वे पूरी तरह से फिट हो जाते हैं। इस चरण में शून्य प्रशिक्षण (zero training) की आवश्यकता थी और कोई अतिरिक्त डेटा भी नहीं। यह ऐसा है जैसे यह महसूस करना कि आपका पुराना सोफा बिना दोबारा सजावट के आपके नए लिविंग रूम में पूरी तरह से फिट बैठता है।क्रॉस-आर्किटेक्चर नॉलेज डिस्टिलेशन (XKD): "परछाईं बनाना"
फर्नीचर स्थानांतरित करने के बाद, घर थोड़ा "अजीब" महसूस हो सकता है। इसे ठीक करने के लिए, उन्होंने मूल AI (Orion) को एक जमे हुए शिक्षक (frozen teacher) के रूप में उपयोग किया। उन्होंने नए AI (Llamion) को शिक्षक के सवालों के जवाब देखते रहने और उनके जवाबों की हुबहू नकल करने के लिए कहा।- शर्त: उन्हें शिक्षक के प्रशिक्षण के लिए उपयोग किए गए मूल पुस्तकालय की आवश्यकता नहीं थी। उन्हें बस अभ्यास करने के लिए बातचीत के कार्डों का एक छोटा ढेर (लगभग 123 मिलियन शब्द) चाहिए था।
परिणाम: एक चमत्कारिक स्थानांतरण
इस "स्थानांतरण" के परिणाम आश्चर्यजनक रूप से सफल रहे:
- गति और लागत: उन्होंने यह कार्य एक एकल शक्तिशाली कंप्यूटर चिप (एक A100 GPU) पर मात्र चार दिनों में पूरा किया। आमतौर पर, इस तरह के मॉडल को फिर से प्रशिक्षित करने में महीनों लगते हैं और भारी खर्च आता है।
- प्रदर्शन: नया मॉडल, Llamion, मूल Orion की तरह ही कोरियाई भाषा बोलता है। वास्तव में, एक कोरियाई ज्ञान परीक्षण (KoMMLU) पर, इसने 66.87% स्कोर किया, जो अगले सर्वश्रेष्ठ मॉडल से बहुत बड़े अंतर (7 अंक से अधिक) से बेहतर है।
- "जादुई" हस्तांतरण: सबसे प्रभावशाली बात वह है जो उन्होंने नए मॉडल को स्थानांतरण के दौरान नहीं सिखाया।
- कोडिंग: प्रशिक्षण डेटा में लगभग कोई कंप्यूटर कोड नहीं था, फिर भी Llamion पूरी तरह से Python लिख सकता है।
- लंबी स्मृति (Long Memory): प्रशिक्षण डेटा छोटा (4,000 शब्द) था, फिर भी Llamion मूल की तरह विशाल दस्तावेजों (2,00,000 शब्द) को याद रख सकता है और प्रोसेस कर सकता है।
यह क्यों महत्वपूर्ण है
इसे इस तरह सोचें: यदि आप किसी छात्र को एक छोटी रेसिपी बुक का उपयोग करके एक मास्टर शेफ की खाना पकाने की शैली की नकल करने के लिए सिखाते हैं, तो छात्र आमतौर पर केवल उन विशिष्ट व्यंजनों को ही सीख पाता है। लेकिन क्योंकि Llamion को केवल व्यंजनों को रटने के बजाय मास्टर शेफ के मस्तिष्क (छिपे हुए तर्क) की नकल करने के लिए प्रशिक्षित किया गया था, इसलिए उसने उस छोटे रेसिपी बुक में मौजूद व्यंजनों के अलावा कुछ भी बनाने की क्षमता विरासत में प्राप्त की।
सारांश
पेपर का दावा है कि Llamion एक नया AI मॉडल है जो एक शक्तिशाली लेकिन "गैर-मानक" कोरियाई AI (Orion) को लेता है और उसे उद्योग-मानक "Llama" प्रारूप में बदल देता है। उन्होंने यह एक स्मार्ट विधि (KEPT) का उपयोग करके किया जो मॉडल के ज्ञान को सीधे स्थानांतरित करती है और फिट को फाइन-ट्यून करने के लिए बहुत कम डेटा का उपयोग करती है। परिणाम एक ऐसा मॉडल है जो मानक उपकरणों के साथ संगत है, तेजी से चलता है, और बिना दोबारा से प्रशिक्षित किए मूल मॉडल के सभी कौशल—कोडिंग और लंबी स्मृति सहित—को बनाए रखता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।