TFD: A Comprehensive Structured Tibetan Foundation Dataset for Low-Resource Language Processing and Large-Scale Modeling
यह शोध पत्र TFD को प्रस्तुत करता है, जो तिब्बती लार्ज लैंग्वेज मॉडल विकास के सभी चरणों को कवर करने वाला पहला व्यापक, संरचित और विशेषज्ञ-क्यूरेटेड डेटासेट है, जो सन-शाइन (Sun-Shine) परिवार के मॉडलों के निर्माण को सक्षम बनाता है जो समझ, सुरक्षा, तर्क और सृजन में मौजूदा बेसलाइनों से काफी बेहतर प्रदर्शन करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया की कल्पना एक विशाल पुस्तकालय के रूप में करें। अंग्रेजी या चीनी जैसी भाषाओं के लिए, यह पुस्तकालय किताबों, पत्रिकाओं और हस्तलिखित नोट्स से भरा हुआ है। AI मॉडल बोलने, लिखने और सोचने का तरीका सीखने के लिए इन लाखों पन्नों को पढ़ सकते हैं।
लेकिन तिब्बती भाषा के लिए, यह पुस्तकालय लगभग खाली रहा है। हालांकि शोधकर्ताओं ने हाल ही में अलमारियों को भरने के लिए कुछ कच्ची किताबें (टेक्स्ट डेटा) लाना शुरू किया है, लेकिन एक महत्वपूर्ण चीज़ गायब थी: एक पूर्ण पाठ्यक्रम (curriculum)।
एक स्मार्ट AI बनाने को एक छात्र को प्रशिक्षित करने जैसा समझें। आप उन्हें केवल विश्वकोशों का ढेर (प्री-ट्रेनिंग) थमाकर यह उम्मीद नहीं कर सकते कि वे वास्तविक दुनिया के लिए तैयार हो जाएंगे। उन्हें इसकी भी आवश्यकता होती है:
- निर्देश नियमावली (यह कि विशिष्ट आदेशों का पालन कैसे किया जाए)।
- सुरक्षा प्रशिक्षण (हानिकारक बातें कहने से कैसे बचा जाए)।
- नैतिकता कक्षाएं (यह कि जब दो अच्छे विकल्प हों, तो "सर्वश्रेष्ठ" उत्तर कैसे चुना जाए)।
- तर्क पहेलियाँ (कठिन समस्याओं को चरण-दर-चरण हल करने के लिए कैसे सोचा जाए)।
अब तक, तिब्बती AI के पास विश्वकोश तो थे, लेकिन बाकी का पाठ्यक्रम गायब था।
समाधान: TFD (द तिब्बती फाउंडेशन डेटासेट)
इस शोध पत्र के लेखकों ने TFD पेश किया है, जो तिब्बती AI के लिए एक पूर्ण, विशेषज्ञ-डिजाइन किए गए "स्कूल किट" की तरह है। यह पहला संसाधन है जो शून्य से AI को प्रशिक्षित करने के हर एक चरण को कवर करता है।
इस किट के दो मुख्य भाग हैं:
1. TIBSTC: "पाठ्यपुस्तक और कार्यपुस्तिका" संग्रह
यह 11 बिलियन से अधिक शब्दों (टोकन) का एक विशाल पुस्तकालय है जो प्राचीन दर्शन और चिकित्सा से लेकर दैनिक बातचीत और कानून तक सब कुछ कवर करता है। लेकिन यह केवल टेक्स्ट का ढेर नहीं है; इसे विशिष्ट "कार्यपुस्तिकाओं" में व्यवस्थित किया गया है:
- इंस्ट्रक्शन ट्यूनिंग (Alpaca-Ti): एक शिक्षक द्वारा दिए जाने वाले विशिष्ट होमवर्क की तरह ("एक कविता लिखें," "इस वाक्य का अनुवाद करें")।
- सेफ्टी अलाइनमेंट (Safety-Prompts-Ti): एक "क्या न करें" सूची की तरह, जो AI को सिखाती है कि कौन से विषय खतरनाक या अपमानजनक हैं और उन्हें विनम्रता से कैसे अस्वीकार किया जाए।
- प्रेफरेंस ऑप्टिमाइज़ेशन (CValues-Ti और hh-rlhf-Ti): एक "सर्वश्रेष्ठ उत्तर" मार्गदर्शिका की तरह। यदि AI दो संभावित उत्तर देता है, तो यह डेटा उसे सिखाता है कि मनुष्य किसे पसंद करेंगे (उदाहरण के लिए, वह जो सहायक और हानिरहित हो)।
2. TIBSTC-CoT: "तर्क पहेली" की किताब
यह तिब्बती "चेन-ऑफ-थॉट" (Chain-of-Thought) डेटा का पहला बड़ा संग्रह है। एक गणित की समस्या की कल्पना करें जहाँ छात्र केवल उत्तर नहीं लिखता, बल्कि अपनी सोच की प्रक्रिया का हर चरण लिखता है। यह डेटासेट तिब्बती AI को जटिल समस्याओं को केवल परिणाम का अनुमान लगाने के बजाय, चरण-दर-चरण कैसे सोचना है, यह सिखाता है।
परिणाम: "सन-शाइन" परिवार
यह साबित करने के लिए कि यह "स्कूल किट" काम करती है, शोधकर्ताओं ने Sun-Shine नामक AI मॉडलों का एक नया परिवार बनाया।
- Sun-Shine 1.0 एक सामान्य-उद्देश्य वाला मॉडल है जिसे पूरे किट पर प्रशिक्षित किया गया है।
- Sun-Shine 2.0 एक विशेष "सोचने वाला" मॉडल है जिसे तर्क पहेलियों पर भारी रूप से प्रशिक्षित किया गया है।
बड़ी जीत:
यह शोध पत्र दिखाता है कि ये मॉडल, भले ही वे अपेक्षाकृत छोटे हों (जैसे कि 8-बिलियन-पैरामीटर वाला मॉडल), तिब्बती कार्यों पर विशाल, महंगे AI दिग्गजों (कुछ जिनमें सैकड़ों अरब पैरामीटर होते हैं) को भी पीछे छोड़ सकते हैं।
क्यों? क्योंकि उन्हें केवल रैंडम टेक्स्ट नहीं खिलाया गया था; उन्हें एक व्यवस्थित शिक्षा दी गई थी।
- वे भाषा को बेहतर समझते हैं।
- वे सुरक्षित हैं और अपमानजनक बातें कहने की संभावना कम है।
- वे जटिल तर्क समस्याओं को हल कर सकते हैं।
- वे शास्त्रीय तिब्बती (प्राचीन ग्रंथों) को भी अन्य मॉडलों की तुलना में बहुत बेहतर तरीके से संभालते हैं, जिससे उनकी सांस्कृतिक पारंपरिक शैली संरक्षित रहती है न कि आधुनिक या रोबोटिक।
निष्कर्ष
यह शोध पत्र तर्क देता है कि तिब्बती जैसी कम संसाधन वाली भाषाओं के लिए, आकार ही सब कुछ नहीं है। आपको केवल अधिक डेटा की आवश्यकता नहीं है; आपको सही प्रकार के डेटा की आवश्यकता है जो एक पूर्ण पाइपलाइन में व्यवस्थित हो। इस पहले "फुल-स्टैक" डेटासेट को प्रदान करके, लेखकों को उम्मीद है कि वे ऐसा AI बनाने में मदद करेंगे जो न केवल स्मार्ट हो, बल्कि सांस्कृतिक रूप से सम्मानजनक और तिब्बती भाषियों के लिए सुरक्षित भी हो।
उन्होंने इस "स्कूल किट" (डेटासेट) और इसके "स्नातकों" (मॉडल्स) को सार्वजनिक रूप से जारी कर दिया है ताकि अन्य लोग इस नींव पर निर्माण कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।