Instructing Large Language Models for Low-Resource Languages: A Systematic Study for Basque
यह शोध पत्र कम-संसाधन वाली बास्क भाषा के लिए लार्ज लैंग्वेज मॉडल्स को अनुकूलित करने पर एक व्यवस्थित अध्ययन प्रस्तुत करता है, जो यह प्रदर्शित करता है कि लक्ष्य-भाषा कॉर्पोरा और सिंथेटिक निर्देशों के साथ एक इंस्ट्रक्शन-ट्यून्ड बहुभाषी बैकबोन का उपयोग करने से बिना किसी मूल बास्क निर्देश डेटा की आवश्यकता के, फ्रंटियर मॉडल्स के तुलनीय प्रदर्शन प्राप्त किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली, बहुभाषी शेफ (एक लार्ज लैंग्वेज मॉडल) है जो अंग्रेजी व्यंजन बनाने में माहिर है लेकिन उसने कभी बास्क रसोई में कदम भी नहीं रखा है। आप इस शेफ को प्रामाणिक बास्क भोजन बनाना सिखाना चाहते हैं, लेकिन आप एक बड़ी समस्या का सामना कर रहे हैं: न तो कोई बास्क कुकबुक है, न ही बास्क रेसिपी कार्ड, और न ही कोई बास्क खाना सिखाने वाला प्रशिक्षक।
यह शोध पत्र 'यूनिवर्सिटी ऑफ द बास्क कंट्री' के शोधकर्ताओं की एक टीम की कहानी है जिन्होंने यह पता लगाया कि उनके पास मौजूद उपकरणों का उपयोग करके इस शेफ को बास्क भोजन बनाना कैसे सिखाया जाए। वे अपनी इस नई रचना को "लाचा इंस्ट्रक्ट" (Latxa Instruct) कहते हैं।
यहाँ उन्होंने जो किया उसका सरल विवरण दिया गया है, जिसमें कुछ रसोई संबंधी रूपकों (metaphors) का उपयोग किया गया है:
1. समस्या: "केवल अंग्रेजी बोलने वाला" शेफ
अधिकांश AI शेफ मुख्य रूप से अंग्रेजी पर प्रशिक्षित होते हैं। यदि आप उनसे बास्क में खाना बनाने के लिए कहते हैं, तो उन्हें सामग्री का पता हो सकता है, लेकिन उन्हें शैली या निर्देशों का ज्ञान नहीं होगा। वे बास्क शब्द तो बोल सकते हैं लेकिन वे किसी डिक्शनरी को पढ़ते हुए रोबोट की तरह लग सकते हैं, या वे उत्तर देने से मना कर सकते हैं क्योंकि वे उस भाषा के लिए "प्रशिक्षित" नहीं हैं।
2. सामग्री जो उनके पास थी
शोधकर्ताओं के पास कोई जादुई छड़ी नहीं थी। उनके पास केवल तीन चीजें थीं:
- शेफ: एक शक्तिशाली AI मॉडल (Llama 3.1) जो पहले से ही अंग्रेजी में निर्देशों का पालन करना जानता था।
- पेंट्री (सामग्री का भंडार): बास्क टेक्स्ट (समाचार, विकिपीडिया, पुस्तकें) का एक विशाल संग्रह, लेकिन इसमें कोई रेसिपी या निर्देश नहीं थे।
- अनुवादक: अंग्रेजी निर्देशों को बास्क में बदलने का एक तरीका।
3. प्रयोग: विभिन्न खाना पकाने की विधियों को आजमाना
टीम ने इन सामग्रियों को मिलाने के 17 अलग-अलग तरीके आजमाए ताकि यह देखा जा सके कि कौन सी विधि सबसे अच्छा बास्क शेफ तैयार करती है। उन्होंने तीन मुख्य प्रश्न पूछे:
प्रश्न A: क्या हमें बास्क पेंट्री की आवश्यकता है?
- रूपक: क्या आप वास्तविक बास्क सामग्री देखे बिना, केवल अंग्रेजी रेसिपी पढ़कर बास्क भोजन बनाना सीख सकते हैं?
- परिणाम: नहीं। यह txakoli (बास्क वाइन) बनाने के बारे में केवल एक फ्रांसीसी किताब पढ़कर सीखने जैसा है। आपको असली चीज़ का स्वाद लेना ही होगा। शोधकर्ताओं ने पाया कि मॉडल को कच्चा बास्क टेक्स्ट (पेंट्री) खिलाना अनिवार्य था। इसके बिना, मॉडल चाहे कितने भी अच्छे निर्देश क्यों न प्राप्त कर ले, वह टूटा हुआ सा लगेगा।
प्रश्न B: क्या हमें पहले भाषा सिखानी चाहिए, या निर्देश पहले?
- रूपक:
- विधि 1: पहले शेफ को धाराप्रवाह बास्क बोलना सिखाएं, फिर उन्हें ऑर्डर लेना सिखाएं।
- विधि 2: एक ऐसे शेफ को लें जो पहले से ही अंग्रेजी में ऑर्डर लेना जानता है, और उसे बास्क में ऑर्डर लेना सिखाएं।
- परिणाम: विधि 2 जीत गई। यह बहुत अधिक प्रभावी था कि एक ऐसे शेफ से शुरुआत की जाए जो पहले से ही निर्देशों का पालन करना जानता था (अंग्रेजी "इंस्ट्रक्ट" मॉडल) और बस उसे नई भाषा सिखाई जाए। एक कच्चे शेफ (एक "बेस" मॉडल) को एक साथ नई भाषा और निर्देश पालन करना सिखाना बहुत कठिन और कम सफल रहा।
- रूपक:
प्रश्न C: निर्देश किस भाषा में होने चाहिए?
- रूपक: क्या शेफ को केवल बास्क में निर्देश पढ़ने चाहिए? केवल अंग्रेजी में? या दोनों का मिश्रण?
- परिणाम: एक मिश्रण सबसे अच्छा था। उन्होंने अंग्रेजी निर्देशों (जैसे "एक कविता लिखें" या "इस गणित की समस्या को हल करें") को लिया और उन्हें बास्क में अनुवादित किया। उन्होंने पाया कि शेफ को दोनों भाषाओं में निर्देश देने से मॉडल अधिक मजबूत और विश्वसनीय बना।
4. स्वाद परीक्षण: "एरिना" (The Arena)
आप कैसे जानेंगे कि नया बास्क शेफ वास्तव में अच्छा है? आप केवल कंप्यूटर टेस्ट नहीं कर सकते; आपको इंसानों द्वारा भोजन चखने की आवश्यकता है।
शोधकर्ताओं ने एक विशाल बास्क "टेस्ट-ऑफ" (एरिना) आयोजित किया।
- उन्होंने दुनिया भर से 1,680 बास्क वक्ताओं को आमंत्रित किया।
- इन लोगों को एक ही प्रश्न के लिए दो अलग-अलग AI शेफ के दो उत्तर दिए गए।
- उन्हें वोट देना था: "कौन सा अधिक स्वाभाविक लगता है? किसने बेहतर उत्तर दिया?"
- यह एक कम संसाधन वाली भाषा (low-resource language) के लिए किया गया अब तक का सबसे बड़ा मानव मूल्यांकन था।
5. परिणाम: एक नया स्टार शेफ
परिणाम आश्चर्यजनक और प्रभावशाली थे:
- "मिक्स" मॉडल: सबसे अच्छा मॉडल वह था जो एक अंग्रेजी निर्देश-ट्यून किए गए शेफ से शुरू हुआ, जिसे बास्क पेंट्री खिलाई गई, और जिसने अंग्रेजी और बास्क दोनों निर्देशों से सीखा।
- दिग्गजों को पछाड़ना: उनके 70-बिलियन पैरामीटर वाले मॉडल (एक बहुत बड़ा शेफ) ने बास्क के मामले में दुनिया के सबसे प्रसिद्ध व्यावसायिक मॉडलों (जैसे GPT-4o और Claude) के लगभग बराबर प्रदर्शन किया।
- कोई जादुई डेटा नहीं: उन्होंने यह सब बिना किसी पूर्व-मौजूदा बास्क निर्देश डेटासेट के किया (क्योंकि कोई मौजूद नहीं था!)। उन्होंने सब कुछ सिंथेटिक डेटा का उपयोग करके शून्य से बनाया।
मुख्य निष्कर्ष (The Big Takeaway)
यह शोध पत्र उन सभी के लिए एक रोडमैप है जो ऐसे AI को सिखाने की कोशिश कर रहे हैं जिसकी डिजिटल डेटा बहुत कम है। गुप्त रेसिपी यह है:
- शून्य से शुरुआत न करें। उस मॉडल का उपयोग करें जो पहले से ही निर्देशों का पालन करना जानता है।
- इसे कच्ची भाषा खिलाएं। स्वाभाविक दिखने के लिए इसे वास्तविक भाषा (समाचार, पुस्तकें) पढ़नी चाहिए।
- निर्देशों का अनुवाद करें। मॉडल के मौजूदा अंग्रेजी ज्ञान का उपयोग निर्देश उत्पन्न करने के लिए करें, फिर उन्हें अनुवादित करें।
उन्होंने अब अपनी "रेसिपी बुक" (कोड, मॉडल और डेटा) को मुफ्त में जारी कर दिया है, ताकि अन्य शोधकर्ता इन तरीकों का उपयोग अन्य दुर्लभ भाषाओं, जैसे वेल्श या स्वाहिली को सिखाने के लिए कर सकें। उन्होंने साबित कर दिया कि AI को नई भाषा सिखाने के लिए आपको डेटा के विशाल पुस्तकालय की आवश्यकता नहीं है; आपको बस सही रणनीति की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।