Making Large Language Models Speak Tulu: Structured Prompting for an Extremely Low-Resource Language
यह शोध पत्र प्रदर्शित करता है कि संरचित प्रॉम्प्टिंग तकनीकें, जिनमें स्पष्ट व्याकरण दस्तावेज़ीकरण, नकारात्मक बाधाएं और सिंथेटिक डेटा जनरेशन शामिल हैं, बड़े भाषा मॉडलों को मॉडल फाइन-ट्यूनिंग की आवश्यकता के बिना, तुलु जैसी अत्यंत कम-संसाधन वाली भाषा में उच्च व्याकरणिक सटीकता प्राप्त करने में सक्षम बना सकती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक शानदार, सुपर-स्मार्ट रोबोट (एक लार्ज लैंग्वेज मॉडल) है जिसने दुनिया की लगभग हर किताब, वेबसाइट और लेख को पढ़ लिया है। लेकिन इसमें एक पेंच है: इसने दुनिया की भाषाओं के केवल 10% के बारे में पढ़ा है। बाकी 90%? वह एक खाली स्लेट की तरह है।
अब, कल्पना कीजिए कि आप इस रोबोट को तुलु (Tulu) बोलना सिखाना चाहते हैं, जो भारत में बोली जाने वाली एक सुंदर भाषा है, लेकिन इंटरनेट पर इसका अस्तित्व न के बराबर है। यदि आप बस रोबोट से कहेंगे, "कृपया तुलु बोलें," तो वह घबरा जाएगा। चूंकि वह जानता है कि तुलु कन्नड़ के समान है (जिसे वह बहुत अच्छी तरह जानता है), इसलिए वह गलती से कन्नड़ बोलने लगेगा। यह ऐसा ही है जैसे किसी से फ्रेंच बोलने के लिए कहना, लेकिन क्योंकि वह स्पेनिश को बहुत अच्छी तरह जानता है, इसलिए वह गलती से फ्रेंच लहजे के साथ स्पेनिश बोलने लगता है।
यह शोध पत्र इस बारे में है कि कैसे लेखकों ने इस रोबोट को नए शब्द या उसके मस्तिष्क को फिर से प्रशिक्षित (retraining) किए बिना तुलु बोलना सिखाया। इसके बजाय, उन्होंने रोबोट को मार्गदर्शन देने के लिए एक बहुत ही विशिष्ट, संरचित "निर्देश पुस्तिका" (प्रॉम्ट) का उपयोग किया।
यहाँ बताया गया है कि उन्होंने इसे कैसे किया, जिसे रोजमर्रा के उदाहरणों के साथ समझाया गया है:
1. समस्या: "इम्पोस्टर" (बहरूपिया) भाषा
रोबोट एक ऐसे छात्र की तरह है जिसने स्पेनिश परीक्षा के लिए कड़ी मेहनत की थी लेकिन उससे पोर्टुगीज टेस्ट देने को कहा गया। क्योंकि दोनों भाषाएँ दिखने और सुनने में समान हैं, छात्र बार-बार स्पेनिश शब्द लिखता रहता है, यह सोचकर कि वे पोर्टुगीज हैं।
- समस्या: जब रोबोट तुलु को कन्नड़ लिपि में देखता है (जो कन्नड़ जैसी दिखती है), तो वह मान लेता है, "ओह, यह कन्नड़ है!" और कन्नड़ शब्दों का उपयोग करने लगता है। लेखक इसे "शब्दावली संदूषण" (Vocabulary Contamination) कहते हैं।
2. समाधान: "सुपर-प्रॉम्ट"
रोबोट को हजारों नई किताबें खिलाने के बजाय (जो तुलु के लिए मौजूद नहीं हैं), लेखकों ने रोबोट को उत्तर देने से पहले देने के लिए एक विशाल, विस्तृत निर्देश पुस्तिका बनाई। इस पुस्तिका को रोबोट के मस्तिष्क के लिए एक जीपीएस नेविगेशन सिस्टम के रूप वाले रूप में समझें।
उन्होंने इस जीपीएस को बनाने के लिए चार मुख्य उपकरणों का उपयोग किया:
A. "एक्सेंट स्विच" (रोमनीकरण/Romanization)
तुलु भाषा आमतौर पर कन्नड़ लिपि में लिखी जाती है, जो रोबोट को भ्रमित करती है। लेखकों ने निर्णय लिया कि वे तुलु को अंग्रेजी वर्णमाला (रोमनीकरण) का उपयोग करके लिखेंगे, लेकिन एक विशेष ट्विस्ट के साथ।
- उपमा: कल्पना कीजिए कि रोबोट एक शेफ है जो केवल फ्रेंच में सामग्री को पहचानता है। यदि आप उन्हें फ्रेंच में सूची देते हैं, तो वे गलत मसाला उठा सकते हैं। लेकिन यदि आप उन्हें अंग्रेजी में एक विशिष्ट नोट के साथ सूची देते हैं जैसे "इस विशिष्ट प्रकार के नमक का उपयोग करें, साधारण वाले का नहीं," तो वे सही काम करते हैं।
- परिणाम: एक विशेष अंग्रेजी-शैली की वर्णमाला में तुलु लिखने से, रोबोट को एहसास हुआ, "रुको, यह कन्नड़ नहीं है! यह एक अलग भाषा है!" इससे रोबोट का भ्रम एक बड़े अंतर से कम हो गया।
B. "प्रवेश निषेध" के संकेत (Negative Constraints)
यह सबसे शक्तिशाली उपकरण था। लेखकों ने केवल यह नहीं कहा, "तुलु बोलें।" उन्होंने कहा, "इन 50 विशिष्ट कन्नड़ शब्दों का उपयोग न करें। यदि आप 'मैं' कहना चाहते हैं, तो 'नानु' (कन्नड़) का उपयोग न करें; आपको 'यान' (तुलु) का उपयोग करना ही होगा।"
- उपमा: यह एक बच्चे को बताने जैसा है, "लाल कैंडी मत खाना।" यदि आप केवल कहते हैं "हरी कैंडी खाओ," तो बच्चा अभी भी लाल वाली कैंडी उठा सकता है क्योंकि वह वहीं मौजूद है। लेकिन यदि आप स्पष्ट रूप से लाल कैंडी पर "STOP" का साइन लगा देते हैं, तो बच्चा उससे बच जाता है।
- परिणाम: इस "नेगेटिव कंस्ट्रेंट" ने रोबोट को अन्य किसी भी विधि की तुलना में गलत शब्दों का उपयोग करने से 12-18% अधिक रोका।
C. "चीट शीट" (व्याकरण दस्तावेज़ीकरण)
चूंकि रोबोट ने पहले कभी तुलु व्याकरण नहीं देखा है, इसलिए लेखकों ने प्रॉम्ट के भीतर एक मिनी-टेक्स्टबुक लिखी। उन्होंने समझाया कि क्रियाएं कैसे बदलती हैं, "मैं," "तुम," और "हम" कैसे कहते हैं, और वाक्य में शब्दों का क्रम क्या होता है।
- उपमा: यह रोबोट को उस परीक्षा के लिए "चीट शीट" देने जैसा है जिसके लिए उसने पढ़ाई नहीं की थी।
- परिणाम: इससे रोबोट को सही ढंग से वाक्य बनाने में मदद मिली, हालांकि यह कुछ रोबोट मॉडलों के लिए अन्य की तुलना में बेहतर काम करता था।
D. "स्व-जांच" (Self-Verification)
अंत में, उन्होंने रोबोट को बताया: "अपना काम 'सेंड' करने से पहले, दोबारा जांच लें। क्या आपने वर्जित शब्दों का उपयोग किया? क्या व्याकरण सही है?"
- उपमा: यह एक छात्र द्वारा शिक्षक को अपना निबंध सौंपने से पहले उसकी समीक्षा करने जैसा है।
- परिणाम: इस अंतिम चरण ने शेष गलतियों को साफ कर दिया, जिससे सटीकता बढ़कर 85% हो गई।
3. क्या यह काम आया?
परिणाम प्रभावशाली थे।
- पहले: रोबोट 80% कन्नड़ (गलत भाषा) बोल रहा था और केवल 18% सही था।
- बाद में: रोबोट 85% सही तुलु बोल रहा था, जिसमें कन्नड़ का "संदूषण" केवल 5% था।
उन्होंने एक "झूठ पकड़ने वाला परीक्षण" (जिसे फाल्सिफिकेशन प्रयोग कहा जाता है) भी किया। उन्होंने रोबोट को नकली, गलत व्याकरण के नियम दिए और उसे उनका पालन करने को कहा। रोबोट ने नकली नियमों का पालन किया और बहुत खराब परिणाम प्राप्त किए। इससे यह सिद्ध हुआ कि रोबोट केवल अनुमान नहीं लगा रहा था; वह वास्तव में दिए गए निर्देशों को पढ़ रहा था और उनका उपयोग कर रहा था।
4. कमी (सीमाएं)
हालांकि रोबोट अब बातचीत कर सकता है, लेकिन यह पूर्ण नहीं है।
- "रोबोटिक आवाज़": वाक्य व्याकरण की दृष्टि से सही हैं, लेकिन वे थोड़े कठोर लगते हैं, जैसे कि एक अनुवाद, न कि एक स्वाभाविक बातचीत।
- लिपि का मुद्दा: लेखकों ने तुलु को लिखने के लिए अंग्रेजी अक्षरों का उपयोग किया क्योंकि यह कंप्यूटर के लिए सबसे अच्छा काम करता था। हालांकि, वास्तविक तुलु बोलने वाले कन्नड़ या टिगलारी लिपियों का उपयोग करते हैं। शोध पत्र चेतावनी देता है कि हमें केवल इसलिए कि यह एआई के लिए आसान है, किसी संस्कृति पर अंग्रेजी अक्षरों को नहीं थोपना चाहिए।
- गंभीर कार्यों के लिए नहीं: चूंकि रोबोट अभी भी लगभग 15% गलतियां करता है, इसलिए आपको इसका उपयोग कानूनी सलाह, चिकित्सा निदान या बच्चों को पढ़ाने के लिए नहीं करना चाहिए। यह चैटिंग या अन्वेषण के लिए महान है, लेकिन उच्च-जोखिम वाली नौकरियों के लिए नहीं।
मुख्य निष्कर्ष
यह शोध पत्र दिखाता है कि रोबोट को एक नई भाषा सिखाने के लिए आपको हमेशा नया मस्तिष्क बनाने (मॉडल को फिर से प्रशिक्षित करने) की आवश्यकता नहीं होती है। कभी-कभी, आपको बस उसे निर्देशों का एक बहुत अच्छा, बहुत विशिष्ट सेट (एक प्रॉम्ट) देने की आवश्यकता होती है जो उसे बताता है कि क्या करना है और सबसे महत्वपूर्ण बात यह कि क्या नहीं करना है।
यह उन भाषाओं को संरक्षित करने और बोलने में मदद करने का एक चतुर, कम लागत वाला तरीका है जिन्हें डिजिटल दुनिया ने लगभग भुला दिया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।