🤖 machine learning

LLiMba: Sardinian on a Single GPU -- Adapting a 3B Language Model to a Vanishing Romance Language

यह शोध पत्र LLiMba को प्रस्तुत करता है, जो एक 3B-पैरामीटर वाला सार्डिनियन भाषा मॉडल है जिसे निरंतर प्रीट्रेनिंग और फाइन-ट्यूनिंग के माध्यम से एकल कंज्यूमर GPU पर अनुकूलित किया गया है, जो यह प्रदर्शित करता है कि एक हाई-रैंक rsLoRA कॉन्फ़िगरेशन अन्य अनुकूलन विधियों की तुलना में अनुवाद की गुणवत्ता में बेहतर प्रदर्शन करता है, साथ ही स्क्रिप्ट लीकेज और तथ्यात्मक मतिभ्रम (hallucinations) जैसी गुणात्मक विफलताओं को पकड़ने में मानक मेट्रिक्स की महत्वपूर्ण सीमाओं को भी उजागर करता है।

मूल लेखक: Luca Ballore

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Luca Ballore

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली, बहुभाषी छात्र (AI मॉडल) है जिसने अंग्रेजी, स्पेनिश और इतालवी जैसी प्रमुख भाषाओं के पुस्तकालय की लगभग हर किताब पढ़ ली है। हालाँकि, उसने कभी सार्डिनियन (Sardinian) के बारे में नहीं सुना है, जो इटली के एक द्वीप पर बोली जाने वाली एक सुंदर लेकिन लुप्तप्राय भाषा है, जहाँ लगभग दस लाख लोग रहते हैं। जब आप इस छात्र से सार्डिनियन बोलने के लिए कहते हैं, तो वह केवल अनुमान लगाता है और गलती से इतालवी या स्पेनिश बोलने लगता है।

"LLiMba" नामक शोध पत्र यह कहानी है कि कैसे लेखक ने इस छात्र को केवल एक मानक होम कंप्यूटर ग्राफिक्स कार्ड (एक 24 GB GPU) का उपयोग करके, न कि किसी विशाल सुपरकंप्यूटर का उपयोग करके, सार्डिनियन बोलना सिखाया।

इसे सरल चरणों में यहाँ समझाया गया है:

1. दो-चरणीय प्रशिक्षण शिविर (Two-Step Training Camp)

छात्र को सार्डिनियन सिखाने के लिए, लेखक ने दो-चरणीय प्रशिक्षण प्रक्रिया का उपयोग किया:

चरण 1: "तल्लीन होकर पढ़ना" (Continued Pretraining)
सबसे पहले, छात्र को सार्डिनियन टेक्स्ट का एक विशाल पुस्तकालय (लगभग 11.5 मिलियन शब्द) पढ़ने के लिए दिया गया। इसमें समाचार, विकिपीडिया लेख, पुस्तकें और कविताएँ शामिल थीं। छात्र को इतालवी या स्पेनिश बोलने से रोकने के लिए, उन्होंने इसमें कुछ संबंधित रोमांस भाषाओं (जैसे इतालवी और स्पेनिश) के ग्रंथों को "रिप्ले" सामग्री के रूप में भी मिलाया।
- परिणाम: इस पठन चरण के बाद, छात्र सार्डिनियन को बहुत बेहतर समझ सकता था। यदि आप उनसे अंग्रेजी से सार्डिनियन में अनुवाद करने के लिए कहते, तो वे लगभग बेकार होने से लेकर काफी हद तक सक्षम होने तक पहुँच गए।
चरण 2: "बातचीत का अभ्यास" (Supervised Fine-Tuning)
पढ़ना अच्छा है, लेकिन बोलना बेहतर है। इसके बाद छात्र ने सार्डिनियन में विशिष्ट प्रश्नों के उत्तर देने और निर्देशों का पालन करने का अभ्यास किया। लेखक ने बातचीत के इस कौशल को सिखाने के पांच अलग-अलग तरीकों का परीक्षण किया ताकि यह देखा जा सके कि कौन सा तरीका बहुत अधिक कंप्यूटर मेमोरी की आवश्यकता के बिना सबसे अच्छा काम करता है।

2. पाँच शिक्षण विधियाँ ("एडॉप्टर" प्रयोग)

लेखक ने पूरे छात्र को शून्य से फिर से प्रशिक्षित नहीं किया (क्योंकि यह कंप्यूटर के लिए बहुत भारी होता)। इसके बजाय, उन्होंने छात्र के मस्तिष्क को ट्यून करने के लिए पांच अलग-अलग "प्रशिक्षण टोपियाँ" (तकनीकों को एडॉप्टर कहा जाता है) आजमाईं:

फुल फाइन-ट्यूनिंग (Full Fine-Tuning): छात्र के पूरे मस्तिष्क को फिर से लिखना। (भारी, लेकिन एक अच्छा आधार)।
LoRA (Rank 64): एक छोटा, हल्का टोपी।
rsLoRA (Rank 128): एक थोड़ी बड़ी, "स्थिर" टोपी।
rsLoRA (Rank 256): सबसे बड़ी, सबसे शक्तिशाली हल्की टोपी।
DoRA (Rank 256): एक फैंसी टोपी जो छात्र के मूल व्यक्तित्व को बरकरार रखते हुए नए कौशल जोड़ने का प्रयास करती है।

3. आश्चर्यजनक परिणाम

लेखक ने कुछ विपरीत निष्कर्ष पाए:

बड़ा होना हमेशा बेहतर नहीं होता ("DoRA" टोपी के लिए): DoRA टोली को बहुत सावधान रहने और छात्र के मूल ज्ञान को सुरक्षित रखने के लिए डिज़ाइन किया गया था। हालाँकि, इसने सच्चाई बताने में सबसे खराब प्रदर्शन किया। यह धाराप्रवाह बोलता था लेकिन इतिहास और संस्कृति के बारे में बेतुकी, आत्मविश्वास से भरी बातें बनाता था।
"rsLoRA" टोपी विजेता रही: सबसे बड़ी हल्की टोपी (rank 256 के साथ rsLoRA) चैंपियन थी। इसने सबसे अच्छे अनुवाद किए और महत्वपूर्ण रूप से, सबसे सटीक तथ्य बताए।
"रैंक" (Rank) प्रकार से अधिक मायने रखता है: अध्ययन में पाया गया कि एडॉप्टर को केवल "बड़ा" बनाना (रैंक बढ़ाना) अलग-अलग प्रकार की टोपियाँ चुनने की तुलना में अधिक महत्वपूर्ण था। सबसे बड़ी टोपी (rsлоRA 256) छोटे वाले और यहाँ तक कि पूर्ण पुन: प्रशिक्षण विधि को भी अनुवाद कार्यों में हरा गई।

4. "भ्रम" का जाल (The "Hallucination" Trap)

शोध पत्र एक पेचीदा समस्या को उजागर करता है जिसे मानक परीक्षण (जो केवल यह गिनते हैं कि कितने शब्द मेल खाते हैं) चूक जाते हैं: आत्मविश्वास से बोले गए झूठ।

तथ्य-जाँच परीक्षण: लेखक ने मॉडलों से विशिष्ट प्रश्न पूछे, जैसे "गीगी रीवा (Gigi Riva) कौन है?" (एक प्रसिद्ध सार्डिनियन फुटबॉलर)।
- rsLoRA मॉडल ने तथ्यों को सही बताया।
- LoRA मॉडल ने एक फर्जी जीवनी बनाई (यह दावा करते हुए कि उन्होंने स्कॉटलैंड में विश्व कप जीता, जो असंभव है)।
- DoRA मॉडल ने और भी अजीबोगरीब झूठ गढ़े (यह दावा करते हुए कि उन्होंने उन टीमों के लिए खेला जिनके लिए उन्होंने कभी नहीं खेला और एक स्टेडियम का नाम उनके नाम पर रखा गया जबकि ऐसा नहीं हुआ था)।
"नकली शब्द" का परीक्षण: जब एक लंबे, खुले निबंध के रूप में सार्डिनियन संस्कृति के बारे में लिखने के लिए कहा गया, तो सबसे अच्छे मॉडल (rsLoRA) ने कभी-कभी ऐसे शब्द बनाए जो सुनने में सार्डिनियन जैसे लगते थे लेकिन वास्तव में अस्तित्व में नहीं थे। यह एक ऐसे छात्र की तरह है जो व्याकरण के नियमों को इतनी अच्छी तरह जानता है कि वह एक नया शब्द बना सकता है जो एकदम सही लगता है लेकिन जिसका कोई अर्थ नहीं होता।

5. "स्कोर" पर सबक

शोध पत्र हमें "परप्लेक्सिटी" (perplexity) स्कोर (एक सामान्य गणितीय मीट्रिक जिसका उपयोग AI को आंकने के लिए किया जाता है) पर बहुत अधिक भरोसा न करने की चेतावनी देता है, विशेष रूप से उन भाषाओं के लिए जो अलग लिपियों का उपयोग करती हैं।

उपमा: कल्पना कीजिए कि आप एक छात्र को एक ऐसी परीक्षा पर ग्रेड दे रहे हैं जहाँ उत्तर एक कोड में लिखे गए हैं। यदि कोड बहुत अनुमानित है, तो छात्र केवल पैटर्न का अनुमान लगाकर एक पूर्ण स्कोर प्राप्त कर सकता है, भले ही वह अर्थ को न समझता हो। शोध पत्र दिखाता है कि कुछ भाषाओं के लिए, गणितीय स्कोर बहुत अच्छा दिखता है, लेकिन वास्तविक अनुवाद की गुणवत्ता बहुत खराब होती है। आपको वास्तविक मनुष्यों की आवश्यकता होती है यह जांचने के लिए कि क्या AI वास्तव में सच बोल रहा है।

सारांश

यह शोध पत्र सिद्ध करता है कि आप एक एकल होम कंप्यूटर पर एक छोटे AI मॉडल को सार्डिनियन जैसी दुर्लभ भाषा बोलना सिखा सकते हैं। इसका गुप्त मंत्र एक विशिष्ट, बड़े "एडॉप्टर" (rsLoRA) का उपयोग करना था जो मेमोरी और रचनात्मकता के बीच अच्छा संतुलन बनाता था। हालाँकि, सबसे अच्छा मॉडल भी अभी भी आत्मविश्वास से चीजें बनाने की प्रवृत्ति रखता है, जो यह साबित करता है कि हमें यह तय करने के लिए मानव तथ्य-जांचकर्ताओं (fact-checkers) की आवश्यकता है, न कि केवल गणितीय स्कोर की, कि क्या एक AI वास्तव में सहायक है।

तकनीकी सारांश: LLiMba — सार्डिनियन के लिए एक 3B लैंग्वेज मॉडल को अनुकूलित करना

समस्या विवरण
सार्डिनियन (sardu), एक रोमांस भाषा है जो लगभग दस लाख लोगों द्वारा बोली जाती है, आधुनिक नेचुरल लैंग्वेज प्रोसेसिंग (NLP) में लगभग पूर्ण अभाव से जूझ रही है। व्यावसायिक सेवाएँ इसका समर्थन नहीं करती हैं, और मौजूदा बड़े भाषा मॉडल (LLMs) इसे विश्वसनीय रूप से उत्पन्न करने में विफल रहते हैं, और अक्सर इतालवी, स्पेनिश या अन्य प्रमुख रोमांस भाषाओं पर डिफ़ॉल्ट हो जाते हैं। वेब-स्केल कॉर्पोरा में सार्डिनियन डेटा की कमी ओपन मॉडल्स को यह भाषा सीखने से रोकती है, जबकि प्रोप्रायटरी मॉडल डेटा अधिग्रहण के लिए उपयोगकर्ता आधार को बहुत छोटा मानते हैं। इसके अलावा, मानक लो-रिसोर्स डेटासेट (जैसे, OSCAR, Leipzig Corpora) में नगण्य उपयोगी सार्डिनियन टेक्स्ट मौजूद है। चुनौती एक पूर्व-प्रशिक्षित बहुभाषी मॉडल को न्यूनतम डेटा और उपभोक्ता-ग्रेड हार्डवेयर का उपयोग करके, कैटास्ट्रोफिक फॉरगेटिंग (विस्मृति) से बचते हुए और तथ्यात्मक ग्राउंडिंग सुनिश्चित करते हुए, एक कम-संसाधन वाले निकट संबंधी रोमांस भाषा के लिए अनुकूलित करने की है।

कार्यप्रणाली
लेखक Qwen2.5-3B-Instruct से अनुकूलित एक 3-बिलियन पैरामीटर वाले सार्डिनियन-रेडी मॉडल LLiMba प्रस्तुत करते हैं। अनुकूलन पाइपलाइन एक एकल NVIDIA RTX 4090 (24 GB VRAM) पर दो-चरणीय प्रक्रिया के माध्यम से निष्पादित की गई है:

कंटीन्यूड प्रीट्रेनिंग (CPT):
- डेटा: ~11.5 मिलियन सार्डिनियन टोकन का एक कॉर्पस (LSC, Logudorese, और Campidanese वेरिएंट्स को कवर करते हुए) जिसे कैटास्ट्रोफिक फॉरगेटिंग और रजिस्टर ब्लरिंग को रोकने के लिए ~2.4 मिलियन संबंधित रोमांस टेक्स्ट (इतालवी, स्पेनिश, पुर्तगाली, कैटलन) के साथ संवर्धित किया गया है।
- तकनीक: bfloat16 में फुल फाइन-ट्यूनिंग (सभी पैरामीटर्स अपडेट किए गए)। लेखकों ने इस चरण के लिए पैरामीटर-एफिशिएंट एडेप्टर के बजाय फुल फाइन-ट्यूनिंग को चुना क्योंकि डोमेन शिफ्ट (एक नई भाषा सीखना) बड़ा है, और पिछले कार्य सुझाव देते हैं कि जब लक्षित वितरण प्रीट्रेनिंग से दूर होता है, तो LoRA, फुल फाइन-ट्यूनिंग की तुलना में कम प्रदर्शन करता है।
- हार्डवेयर बाधाएं: 24 GB VRAM पर 3B मॉडल को फिट करने के लिए, लेखकों ने पेज्ड 8-बिट AdamW ऑप्टिमाइज़र, ग्रेडिएंट चेकपॉइंटिंग, और ग्रेडिएंट एक्यूमुलेशन के माध्यम से एक प्रभावी बैच साइज 16 का उपयोग किया। विषम दस्तावेज़ प्रकारों के बीच अटेंशन लीकेज को रोकने के लिए सीक्वेंस पैकिंग को अक्षम कर दिया गया था।
सुपरवाइज्ड फाइन-ट्यूनिंग (SFT):
- डेटा: मशीन-अनुवादित Capybara डेटा, समानांतर अनुवाद युग्मों, मूल-क्यूरेटेड सिंथेटिक निर्देशों और गीत-संबंधी प्रश्नों से प्राप्त ~14,404 निर्देश युग्म।
- कॉन्फ़िगरेशन तुलना: समान स्थितियों (समान डेटा, हार्डवेयर, हाइपरपैरामीटर) के तहत पांच SFT कॉन्फ़िगरेशन की तुलना की गई:
  - फुल फाइन-ट्यूनिंग।
  - LoRA (Rank 64, $\alpha=128$ )।
  - rsLoRA (Rank 128, $\alpha=128$ , $\alpha/\sqrt{r}$ स्केलिंग का उपयोग करते हुए)।
  - rsLoRA (Rank 256, $\alpha=256$ , $\alpha/\sqrt{r}$ स्केलिंग का उपयोग करते हुए)।
  - DoRA (Rank 256, $\alpha=256$ , मैग्नीट्यूड और डायरेक्शन में वेट्स को डीकंपोज करते हुए)।

मुख्य परिणाम

अनुवाद प्रदर्शन: कंटिन्यूड प्रीट्रेनिंग ने प्रदर्शन में अधिकांश सुधार प्रदान किया, जिससे बेस मॉडल की तुलना में BLEU स्कोर में 4–7 गुना सुधार हुआ। SFT ने वृद्धिशील सुधार प्रदान किए।
- सर्वश्रेष्ठ प्रदर्शन करने वाला: rsLoRA at Rank 256 ने सार्डिनियन में अनुवाद (उदाहरण के लिए, इंग्लिश-टू-सार्डिनियन के लिए 28.47 BLEU, जो CPT के बाद 17.26 और फुल फाइन-ट्यूनिंग के लिए 21.04 था) के लिए उच्चतम स्कोर प्राप्त किया।
- रैंक एब्लेशन: अनुवाद मेट्रिक्स पर प्रदर्शन रैंक के साथ सुचारू रूप से स्केल हुआ: rsLoRA r256 > rsLoRA r128 > LoRA r64।
- DoRA का कम प्रदर्शन: समान रैंक (256) होने के बावजूद, जो सर्वश्रेष्ठ rsLoRA कॉन्फ़िगरेशन के समान था, DoRA छह में से चार अनुवाद दिशाओं में LoRA r64 से कम प्रदर्शन करता रहा और बेस मॉडल की संरचना को बनाए रखने के अपने डिज़ाइन सिद्धांत के विपरीत, सबसे आक्रामक फैब्रिकेशन (गढ़ना) उत्पन्न करता रहा।
गुणात्मक निष्कर्ष और विफलता मोड:
- तथ्यात्मक ग्राउंडिंग: अनुवाद मेट्रिक्स (BLEU/chrF) तथ्यात्मक सटीकता के साथ सह-संबंधित नहीं थे। rsLoRA r256 ने सत्यापन योग्य, सटीक जीवनी संबंधी और सांस्कृतिक तथ्य उत्पन्न किए। इसके विपरीत, LoRA r64 ने आत्मविश्वासी लेकिन मनगढ़ंत विवरण उत्पन्न किए, और DoRA r256 ने सबसे आक्रामक फैब्रिकेशन उत्पन्न किए।
- लेक्सिकल फिडेलिटी (शब्दकोश निष्ठा): हालांकि rsLoRA r256 तथ्यात्मक रूप से श्रेष्ठ था, लेकिन लंबे, खुले-अंत वाले प्रॉम्प्ट्स पर इसने "मॉर्फोलॉजिकल हैलुसिनेशन" (रूपात्मक मतिभ्रम) प्रदर्शित किया, जिससे ध्वन्यात्मक रूप से प्रशंसनीय लेकिन अप्रामाणिक सार्डिनियन शब्द उत्पन्न हुए। फुल फाइन-ट्यूनिंग प्रमाणित शब्दावली के सबसे करीब रही।
- स्क्रिप्ट लीकेज: rsLoRA r128 कॉन्फ़िगरेशन ने एक अनूठा विफलता मोड पेश किया: सार्डिनियन वाक्यों में गैर-लैटिन स्क्रिप्ट टोकन (चीनी/अंग्रेजी) का रिसाव, एक ऐसी घटना जो अन्य वेरिएंट में नहीं देखी गई।
लॉस मेट्रिक्स बनाम वास्तविकता: विभिन्न विधियों के लिए प्रशिक्षण और मूल्यांकन लॉस समान थे और वे तथ्यपूर्णता या स्क्रिप्ट अखंडता के गुणात्मक अंतरों की भविष्यवाणी नहीं कर सके। पेपर नोट करता है कि नॉन-लैटिन स्क्रिप्ट्स में बाइट-फालबैक टोकनाइजेशन द्वारा परप्लेक्सिटी मेट्रिक्स को कृत्रिम रूप से कम किया जा सकता है (तिब्बती अनुकूलन में एक ज्ञात समस्या), हालांकि सार्डिनियन का लैटिन स्क्रिप्ट इस विशिष्ट आर्टिफैक्ट से बचता है।

महत्व और योगदान
यह पेपर स्थापित करता है कि एक सिंगल कंज्यूमर GPU का उपयोग करके दो-चरणीय पाइपलाइन (फुल CPT के बाद पैरामीटर-एफिशिएंट SFT) के माध्यम से एक 3B पैरामीटर मॉडल को कम-संसाधन वाली रोमांस भाषा के लिए अनुकूलित करना संभव है।

मुख्य योगदान शामिल हैं:

एडेप्टर क्षमता पर अनुभवजन्य साक्ष्य: यह अध्ययन प्रदर्शित करता है कि रोमांस-प्रीट्रेन्ड बेस को लो-रिसोर्स रोमांस लक्ष्य के लिए अनुकूलित करने के लिए, एडेप्टर रैंक, विशिष्ट एडेप्टर वेरिएंट से अधिक महत्वपूर्ण है। rsLoRA को Rank 256 तक स्केल करने से महत्वपूर्ण लाभ हुआ, जबकि समान रैंक पर DoRA समान परिणाम देने में विफल रहा, जो यह सुझाव देता है कि विशिष्ट पैरामीट्रिज़ेशन (अनियंत्रित लो-रैंक अपडेट बनाम मैग्नीट्यूड-डायरेक्शन डीकंपोजिशन) कार्य के साथ महत्वपूर्ण रूप से इंटरैक्ट करता है।
मानक मेट्रिक्स की सीमाएं: यह कार्य इस बात पर प्रकाश डालता है कि कैसे अनुवाद मेट्रिक्स (BLEU/chrF) और लॉस कर्व्स कॉन्फ़िगरेशन को सुचारू रूप से क्रमबद्ध कर सकते हैं, जबकि गुणात्मक व्यवहार जैसे कि तथ्यात्मक मतिभ्रम और स्क्रिप्ट लीकेज में श्रेणीगत अंतर को छिपा देते हैं।
संसाधन दक्षता: यह एक पुनरुत्पादनीय पाइपलाइन प्रदान करता है जो बड़े कंप्यूट क्लस्टर्स की आवश्यकता के बिना, सावधानीपूर्वक डेटा क्यूरेशन और हार्डवेयर-अवेयर ऑप्टिमाइज़ेशन (8-बिट ऑप्टिमाइज़र, ग्रेडिएंट चेकपॉइंटिंग) पर निर्भर करती है।

लेखक निष्कर्ष निकालते हैं कि हालांकि इस विशिष्ट सेटिंग में अनुवाद और तथ्यात्मक ग्राउंडिंग के लिए rsLoRA r256 इष्टतम कॉन्फ़िगरेशन है, मात्रात्मक मेट्रिक्स और गुणात्मक वास्तविकता के बीच का विचलन ऐसी मूल्यांकन रणनीतियों की आवश्यकता को दर्शाता है जिनमें नेटिव स्पीकर प्रोब्स और फैक्टुअलिटी चेक शामिल हों, विशेष रूप से जब लॉस-आधारित मेट्रिक्स भ्रामक या अपर्याप्त हो सकते हैं।