VectraYX-Nano: A 42M-Parameter Spanish Cybersecurity Language Model with Curriculum Learning and Native Tool Use
यह शोध पत्र VectraYX-Nano को प्रस्तुत करता है, जो एक 42M-पैरामीटर वाला स्पेनिश भाषा मॉडल है जिसे करिकुलम लर्निंग और नेटिव मॉडल कॉन्टेक्स्ट प्रोटोकॉल (MCP) टूल इंटीग्रेशन के साथ एक क्यूरेटेड साइबर सुरक्षा कॉर्पस पर स्क्रैच से प्रशिक्षित किया गया है, जो कमोडिटी हार्डवेयर पर प्रभावी प्रदर्शन प्रदर्शित करता है और नैनो-स्केल पर कॉर्पस डेंसिटी और टूल-यूज़ क्षमताओं के बीच के संबंध में नई अंतर्दृष्टि प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ VectraYX-Nano पेपर का सरल भाषा में अनुवाद दिया गया है, जिसे रोज़मर्रा के उदाहरणों के साथ समझाया गया है।
बड़ी तस्वीर: एक छोटा, विशिष्ट स्पेनिश सुरक्षा सहायक
कल्पना कीजिए कि आपके कंप्यूटर नेटवर्क के लिए एक सुरक्षा गार्ड है। आमतौर पर, ये गार्ड बहुत बड़े, महंगे होते हैं और केवल अंग्रेजी बोलते हैं। लेकिन क्या होगा यदि आपको लैटिन अमेरिका के एक विशिष्ट मोहल्ले के लिए एक गार्ड की आवश्यकता हो जो स्पेनिश बोलता हो, स्थानीय बोलियों को समझता हो, और बिना इंटरनेट के एक छोटे, सस्ते डिवाइस (जैसे Raspberry Pi) पर काम कर सके?
वह VectraYX-Nano है। यह एक बहुत ही छोटा आर्टिफिशियल इंटेलिजेंस (AI) मॉडल है (केवल 42 मिलियन "मस्तिष्क कोशिकाएं", प्रसिद्ध मॉडलों के अरबों के मुकाबले), जिसे विशेष रूप से स्पेनिश बोलने वाले क्षेत्रों के साइबर सुरक्षा विश्लेषकों की मदद करने के लिए डिज़ाइन किया गया है। यह अद्वितीय है क्योंकि इसे शून्य से स्पेनिश बोलने, साइबर खतरों को समझने और वास्तविक समय में उत्तर प्राप्त करने के लिए उपकरणों (tools) का उपयोग करने के लिए बनाया गया है।
1. मस्तिष्क का भोजन: उन्होंने इसे कैसे सिखाया (The Corpus)
AI को सिखाने के लिए, आपको उसे डेटा खिलाना पड़ता है। शोधकर्ताओं ने केवल इंटरनेट का रैंडम टेक्स्ट उस पर नहीं डाला। उन्होंने करिकुलम लर्निंग (Curriculum Learning) दृष्टिकोण का उपयोग करके एक विशिष्ट "तीन-कोर्स वाला भोजन" तैयार किया:
- कोर्स 1: बातचीत की शुरुआत। सबसे पहले, उन्होंने मॉडल को 42 मिलियन टोकन के स्पेनिश सबटाइटल और चैट लॉग्स खिलाए।
- उदाहरण: इसे एक बच्चे को गणित सिखाने से पहले "नमस्ते," "आप कैसे हैं?" और "अलविदा" कहना सिखाने जैसा समझें। यदि आप इसे छोड़ देते हैं, तो AI को वायरस के बारे में सब कुछ पता हो सकता है लेकिन वह अभिवादन के बजाय वायरस पर एक तकनीकी रिपोर्ट के साथ "नमस्ते" कहेगा।
- कोर्स 2: तकनीकी गहराई। इसके बाद, उन्होंने इसे 118 मिलियन टोकन का साइबर सुरक्षा डेटा (भेद्यता रिपोर्ट, हैकिंग पर विकिपीडिया लेख, सुरक्षा ब्लॉग) खिलाया।
- उदाहरण: अब बच्चा बात करना जानता है, तो आप उसे विषय सिखाते हैं: "यह क्या वायरस है," "हैकर कैसे घुसपैte हैं।"
- कोर्स 3: टूल किट। अंत में, उन्होंने इसे सुरक्षा उपकरणों (जैसे डेटाबेस में खतरों को खोजना) के उपयोग के बारे में 10 मिलियन टोकन दिए।
- उदाहरण: बच्चा अब शब्दकोश या मानचित्र का उपयोग करना सीख रहा है। हर तथ्य को याद करने के बजाय, वे सीखते हैं कि उत्तर कैसे पूछना है।
"रीप्ले" (Replay) ट्रिक: AI को सिखाने में एक आम समस्या "कैटास्ट्रोफिक फॉरगेटिंग" (विस्मृति) है—जब आप उन्हें नई चीजें सिखाते हैं, तो वे पुरानी चीजें भूल जाते हैं। इसे ठीक करने के लिए, शोधकर्ताओं ने रीप्ले बफर (Replay Buffer) का उपयोग किया।
- उदाहरण: कल्पना कीजिए कि आप एक छात्र को इतिहास पढ़ा रहे हैं। जब आप उन्हें 20वीं सदी के बारे में पढ़ाना शुरू करते हैं, तो आप केवल 19वीं सदी के बारे में बात करना बंद नहीं करते। आप नई चीजें सीखने के साथ-साथ पुराने पाठों को थोड़ा-थोड़ा दोहराते रहते हैं (25% समय)। इसने AI को साइबर हमलों के बारे में सीखते समय स्पेनिश बोलने का तरीका भूलने से बचाया।
2. "रजिस्टर" का आश्चर्य (The Bootstrap Lesson)
इस पेपर की सबसे दिलचस्प खोजों में से एक यह है कि क्या पहले सिखाया जाए।
शोधकर्ताओं ने दो अलग-अलग "कोर्स 1" विकल्प आजमाए:
- विकल्प A: सबटाइटल और चैट लॉग्स (OpenSubtitles)।
- विकल्प B: विश्वकोश संबंधी वेब लेख (mC4-ES)।
आश्चर्यजनक रूप से, विकल्प B (विश्वकोश लेख) पर प्रशिक्षित मॉडल ने प्रशिक्षण के दौरान बेहतर गणित स्कोर (कम "लॉस" नंबर) प्राप्त किए। हालाँकि, जब उन्होंने इससे चैट करने को कहा, तो यह एक उबाऊ विश्वकोश की तरह लगा। यह "नमस्ते" का उत्तर यात्रा के इतिहास पर एक पैराग्राफ के साथ देता था।
विकल्प A (सबटाइटल) पर प्रशिक्षित मॉडल का गणित स्कोर थोड़ा खराब था लेकिन यह एक वास्तविक व्यक्ति की तरह लगा।
- सबक: एक छोटे AI के लिए, पहली चीज़ जो वह सीखता है, वह उसके व्यक्तित्व को निर्धारित करती है। यदि आप इसे पहले एक पाठ्यपुस्तक की तरह बोलना सिखाते हैं, तो यह हमेशा एक पाठ्यपुस्तक की तरह ही रहेगा, भले ही आप इसे बाद में चैट करना सिखाएं। आपको इसे पहले एक इंसान की तरह बोलना सिखाना होगा।
3. जादुई उपकरण: MCP (Model Context Protocol)
साइबर सुरक्षा हर दिन बदलती है। नए वायरस प्रतिदिन आते हैं। एक AI हर नए वायरस को याद नहीं रख सकता।
- समस्या: यदि आप एक मानक AI से पूछते हैं, "क्या यह नया वायरस खतरनाक है?", तो यह अनुमान लगा सकता है या गलत जानकारी (hallucinate) दे सकता है क्योंकि इसे आज की खबरों के बारे में पता नहीं है।
- समाधान: VectraYX-Nano को उपकरणों (tools) का उपयोग करने के लिए प्रशिक्षित किया गया है। यह उत्तर याद करने की कोशिश नहीं करता। इसके बजाय, यह यह कहना सीखता है: "मुझे नहीं पता, लेकिन मुझे डेटाबेस चेक करने दें।"
- यह कैसे काम करता है: AI एक MCP नामक सिस्टम से जुड़ा है। जब इसे जानकारी की आवश्यकता होती है, तो यह एक संरचित अनुरोध (जैसे JSON कमांड) भेजता है, जिसे नवीनतम डेटा वाले सर्वर के पास होता है, वहां से उत्तर प्राप्त करता है, और उसे वापस पढ़ता है।
- खोज: शोधकर्ताओं ने पाया कि AI को इस "मदद मांगने" के व्यवहार को सीखने के लिए, प्रशिक्षण डेटा सघन (dense) होना चाहिए। यदि प्रशिक्षण डेटा 99% सामान्य चैट और केवल 1% टूल-उपयोग था, तो AI टूल का उपयोग करने में बहुत संकोच करता था। लेकिन यदि उन्होंने टूल-उपयोग डेटा को हर 20 उदाहरणों में से लगभग 1 तक बढ़ा दिया, तो AI अचानक विश्वसनीयता के साथ टूल्स का उपयोग करने लगा।
4. आकार मायने रखता है (लेकिन उस तरह से नहीं जैसा आप सोचते हैं)
यह मॉडल बहुत छोटा है (42 मिलियन पैरामीटर्स)।
- अच्छी खबर: यह एक Raspberry Pi (एक $35 का कंप्यूटर) पर एक सेकंड से कम समय में चलता है। यह आपकी जेब में समा सकता है।
- सीमा: क्योंकि यह इतना छोटा है, यह हर चीज़ में "जीनियस" नहीं हो सकता। यह एक विशाल मॉडल की तरह जटिल, बहु-चरणीय तर्क (logic) नहीं कर सकता।
- समझौता (Trade-off): यह "तथ्यों को याद रखने" के बजाय "उन्हें खोजने का तरीका जानने" को प्राथमिकता देता है। तथ्यों को याद करने वाले एक विशाल सहायक के बजाय, तथ्यों को चेक करने वाला एक छोटा सहायक होना बेहतर है।
5. सुरक्षा और "रेड टीमिंग" (Red Teaming)
चूंकि इस मॉडल को हैकिंग डेटा पर प्रशिक्षित किया गया है (यह समझने के लिए कि हमले कैसे काम करते हैं), शोधकर्ताओं को डर था कि यह एक "बुरे अभिनेता" (bad actor) में बदल सकता है।
- परीक्षण: उन्होंने AI को खतरनाक चीजें करने (जैसे फाइलें डिलीट करना या डेटा चुराना) के लिए बहलाने की कोशिश की।
- परिणाम: AI ने वास्तव में वे खतरनाक चीजें नहीं कीं। इसने ज्यादातर अस्पष्ट उत्तर दिए या मना कर दिया। हालाँकि, इसमें स्पष्ट रूप से "ना" कहने के लिए कोई अंतर्निहित "नैतिक दिशा-निर्देश" (moral compass) नहीं था।
- सुधार: पेपर सुझाव देता है कि सुरक्षा केवल AI के दिमाग पर निर्भर नहीं होनी चाहिए। इसके बजाय, AI को चलाने वाला सिस्टम (runtime) बाउंसर की तरह काम करना चाहिए, जो किसी भी खतरनाक कमांड को निष्पादित होने से पहले ही ब्लॉक कर दे।
मुख्य निष्कर्षों का सारांश
- व्यक्तित्व पहले सिखाएं: छोटे AI मॉडल के लिए, पहला डेटा जो आप उन्हें खिलाते हैं, वह तय करता है कि वे कैसे सुनाई देंगे। यदि आप चाहते हैं कि वे चैटबॉट बनें, तो विश्वकोश के बजाय चैट डेटा से शुरुआत करें।
- अतीत को न भूलें: नए विषयों को सिखाते समय, पुराने विषयों को दोहराते रहें (Replay Buffer) ताकि AI अपने भाषा कौशल को न भूले।
- याद रखने से बेहतर टूल: छोटे मॉडलों के लिए, उन्हें सब कुछ याद करने के लिए मजबूर करने के बजाय, उन्हें उत्तर खोजने के लिए टूल का उपयोग करना सिखाना बेहतर है।
- घनत्व (Density) महत्वपूर्ण है: AI को टूल का उपयोग करना सिखाने के लिए, आपको प्रशिक्षण डेटा में टूल-उपयोग के बहुत सारे उदाहरणों की आवश्यकता होती है। यदि यह बहुत दुर्लभ है, तो AI इसे नहीं सीख पाएगा।
- एज डिप्लॉयमेंट (Edge Deployment): यह सिद्ध करता है कि आप एक उपयोगी, विशिष्ट AI बना सकते हैं जो क्लाउड की आवश्यकता के बिना सस्ते, स्थानीय हार्डवेयर पर चलता है, जो उन सुरक्षा टीमों के लिए बहुत अच्छा है जो संवेदनशील डेटा को इंटरनेट पर नहीं भेज सकतीं।
उन्होंने क्या जारी किया: शोधकर्ताओं ने केवल एक पेपर नहीं लिखा; उन्होंने "नुस्खा" (कोड), "सामग्री" (डेटा निर्माण मार्गदर्शिका), और अंतिम "व्यंजन" (AI मॉडल वेट्स) जारी किया है ताकि कोई भी अपना संस्करण बना सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।