Mecellem Models: Turkish Models Trained from Scratch and Continually Pre-trained for the Legal Domain
यह शोध पत्र Mecellem को प्रस्तुत करता है, जो तुर्की कानूनी डोमेन अनुकूलन के लिए एक ढांचा है जिसमें एक अभिनव चेकपॉइंट चयन रणनीति के माध्यम से 112.7 बिलियन टोकन पर स्क्रैच से प्री-ट्रेन किया गया ModernBERT-आधारित एनकोडर, और एक चार-चरणीय निरंतर प्री-ट्रेनिंग पाठ्यक्रम के माध्यम से उन्नत Qwen-आधारित डिकोडर मॉडल शामिल हैं, जो सामूहिक रूप से अत्याधुनिक रिट्रीवल प्रदर्शन और बेहतर कम्प्यूटेशनल दक्षता के साथ महत्वपूर्ण पर्प्लेक्सिटी कमी प्राप्त करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य चित्र: एक तुर्की कानूनी मस्तिष्क का निर्माण
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली, बहुभाषी छात्र (एक लार्ज लैंग्वेज मॉडल) है जिसने अंग्रेजी में इंटरनेट पर लगभग सब कुछ पढ़ लिया है। वे बुद्धिमान हैं, लेकिन यदि आप उनसे तुर्की कानून के बारे में पूछते हैं, तो वे लड़खड़ा जाते हैं। उन्हें विशिष्ट शब्द, जटिल वाक्य संरचनाएं, या तुर्की कानूनी प्रणाली के सख्त नियम नहीं पता हैं।
इस शोध पत्र के लेखकों ने इसे ठीक करने का लक्ष्य रखा। उन्होंने Mecellem बनाया, जो विशेष रूप से तुर्की कानूनी दुनिया के लिए डिज़ाइन किया गया एक विशिष्ट AI फ्रेमवर्क है। उन्होंने केवल छात्र को कुछ नए शब्द ही नहीं "सिखाए"; उन्होंने उन्हें एक कानूनी विशेषज्ञ बनने के लिए दो अलग-अलग प्रकार के गहन प्रशिक्षण दिए।
रणनीति 1: "विशेष पुस्तकालयाध्यक्ष" (द एनकोडर मॉडल)
लक्ष्य: एक ऐसा मॉडल बनाना जो एक सुपर-फास्ट लाइब्रेरियन की तरह काम करे। जब आप कोई प्रश्न पूछते हैं, तो वह निबंध नहीं लिखता; वह तुरंत एक विशाल पुस्तकालय से वही सटीक कानूनी दस्तावेज़ ढूंढ लेता है जिसकी आपको आवश्यकता है।
उन्होंने यह कैसे किया:
एक मौजूदा अंग्रेजी लाइब्रेरियन को लेकर उसे तुर्की सिखाने के बजाय, उन्होंने एक नया लाइब्रेरियन शून्य से (from scratch) बनाया।
- प्रशिक्षण: उन्होंने इस नए लाइब्रेरियन को 112.7 बिलियन शब्दों का तुर्की टेक्स्ट पढ़ाया। इसमें अदालती निर्णय, शैक्षणिक थीसिस और कानून शामिल थे।
- "गोल्डिलॉक्स" खोज: आमतौर पर, जब किसी मॉडल को प्रशिक्षित किया जाता है, तो आप तब रुकते हैं जब "त्रुटि दर" (मॉडल कितनी गलतियाँ करता है) सबसे कम होती है। लेखकों ने एक नया मोड़ पाया: सबसे अच्छा लाइब्रेरियन वह नहीं था जिसकी त्रुटि दर सबसे कम थी।
- उपमा: कल्पना कीजिए कि एक छात्र परीक्षा के लिए पढ़ाई कर रहा है। यदि वह हर तथ्य को पूरी तरह से याद करने तक पढ़ाई करता है (सबसे कम त्रुटि), तो हो सकता है कि वह वास्तविक दुनिया के प्रश्न पर उन तथ्यों को लागू करना भूल जाए। लेखकों ने पाया कि मॉडल का प्रदर्शन उस "स्वीट स्पॉट" पर सबसे अच्छा था जो सब कुछ याद करने से पहले आता है। यदि वे इसे बहुत लंबे समय तक प्रशिक्षित करते रहते, तो यह उत्तर खोजने में वास्तव में खराब हो जाता।
- परिणाम: उन्होंने एक छोटा, कुशल लाइब्रेरियन बनाया (केवल 155 मिलियन "मस्तिष्क कोशिकाएं" या पैरामीटर्स) जो बहुत बड़े और धीमे लाइब्रेरियन के समान प्रदर्शन करता है। यह एक कॉम्पैक्ट स्पोर्ट्स कार होने जैसा है जो एक विशाल ट्रक की तरह तेज़ चलती है।
रणनीति 2: "कानूनी विद्वान" (द डिकोडर मॉडल)
लक्षक: एक ऐसा मॉडल बनाना जो एक कानूनी समस्या को पढ़ सके, गहरे तर्क को समझ सके, और एक कानूनी उत्तर या स्पष्टीकरण लिख सके।
उन्होंने यह कैसे किया:
उन्होंने दो मौजूदा शक्तिशाली मॉडलों (Qwen3-1.7B और Qwen3-4B) को लिया और उन्हें एक विशेष पाठ्यक्रम दिया, जो लॉ स्कूल की शिक्षा के समान है।
- पाठ्यक्रम शिक्षण दृष्टिकोण (Curriculum Learning Approach): उन्होंने छात्र पर सभी कानूनी किताबें एक साथ नहीं डालीं। उन्होंने एक चार-चरण की योजना का उपयोग किया:
- चरण 1: भाषा के साथ सहज होने के लिए सरल, सामान्य तुर्की टेक्स्ट पढ़ना।
- चरण 2: कानूनी लेख और अदालती सारांश पढ़ना शुरू करना।
- चरण 3: लंबे, जटिल और कठिन कानूनी दस्तावेजों (जैसे पूर्ण अदालती फैसले) में उतरना।
- चरण 4: कौशल को निखारने के लिए विशेष परिशोधन (Refinement)।
- यह क्यों मायने रखता है: यदि आप एक छात्र को बुनियादी व्याकरण सीखने से पहले ही पीएचडी थीसिस में झोंक देते हैं, तो वह भ्रमित हो जाता है और जो कुछ भी उसने पहले सीखा था उसे भूल जाता है (जिसे "कैटास्ट्रॉफिक फॉरगेटिंग" कहा जाता है)। इस चरण-दर-चरण दृष्टिकोण ने यह सुनिश्चित किया कि मॉडल सामान्य तुर्की बोलने की अपनी क्षमता खोए बिना जटिल कानूनी शब्दावली सीख सके।
- परिणाम: मॉडल तुर्की कानूनी ग्रंथों को समझने में काफी बेहतर हो गया, जिससे उसकी उलझन (Perplexity) लगभग 36% कम हो गई।
"गुणवत्ता नियंत्रण" फ़िल्टर
सबसे बड़ी चुनौतियों में से एक डेटा को साफ करना था। कानूनी दस्तावेज़ अव्यवस्थित होते हैं: उनमें टेबल, स्कैन की गई छवियां और अजीब फॉर्मेटिंग होती है।
- उपमा: कल्पना कीजिए कि आप एक छात्र को ऐसे पाठ्यपुस्तक से पढ़ाने की कोशिश कर रहे हैं जिसके आधे पन्ने फटे हुए हैं, कॉफी के दाग लगे हैं, या किसी दूसरी भाषा में लिखे गए हैं।
- समाधान: लेखकों ने स्कैन किए गए दस्तावेजों को पढ़ने और टेक्स्ट को पूरी तरह से निकालने के लिए उन्नत AI (विज़न-लैंग्वेज मॉडल) का उपयोग करके एक परिष्कृत "क्लीनिंग मशीन" बनाई। उन्होंने तुर्की व्याकरण नियमों पर आधारित एक विशेष फ़िल्टर का भी उपयोग किया।
- उपमा: तुर्की एक "एग्लूटिनेटिव" (Agglutinative) भाषा है, जिसका अर्थ है कि आप अर्थ बदलने के लिए एक शब्द पर कई छोटे टुकड़े (प्रत्यय/Suffixes) जोड़ते हैं। लेखकों ने एक ऐसा फ़िल्टर बनाया जो जांचता है कि क्या टेक्स्ट इन शब्द-टुकड़ों का उपयोग स्वाभाविक और समृद्ध तरीके से करता है। यदि कोई टेक्स्ट बहुत अधिक दोहराव वाला या रोबोटिक (जैसे कोई टेम्पलेट) है, तो फ़िल्टर उसे बाहर कर देता है। इसने सुनिश्चित किया कि मॉडल उच्च गुणवत्ता वाले, मानव-समान कानूनी लेखन से सीखे।
सामान्य दर्शकों के लिए मुख्य बातें
- सिर्फ सबसे कम त्रुटि के पीछे न भागें: जब जटिल कार्यों के लिए AI को प्रशिक्षित किया जाता है, तो वह बिंदु जहाँ मॉडल प्रशिक्षण के दौरान सबसे कम "गलतियाँ" करता है, हमेशा वह बिंदु नहीं होता जहाँ वह सबसे उपयोगी होता है। कभी-कभी, जल्दी रुकने से एक स्मार्ट मॉडल प्राप्त होता है।
- छोटा बेहतर हो सकता है: तुर्की कानून में अच्छा होने के लिए आपको एक विशाल, महंगे कंप्यूटर मस्तिष्क की आवश्यकता नहीं है। एक छोटा, अच्छी तरह से प्रशिक्षित मॉडल बड़े, सामान्य मॉडलों से बेहतर प्रदर्शन कर सकता है।
- चरण-दर-चरण काम करता है: एक मॉडल को जटिल कानूनी तर्क सिखाना सबसे अच्छा होता है जब आप सरल अवधारणाओं से शुरू करते हैं और धीरे-धीरे कठिनाई बढ़ाते हैं, बजाय इसके कि उसे एक साथ सब कुछ दे दिया जाए।
- भाषा मायने रखती है: जो काम अंग्रेजी के लिए करता है वह हमेशा तुर्की के लिए नहीं करता है। क्योंकि तुर्की व्याकरणिक रूप से बहुत जटिल है, इसलिए AI को विशेष रूप से उस भाषा के लिए बनाया और प्रशिक्षित किया जाना चाहिए, न कि केवल अंग्रेजी से अनुवादित किया जाना चाहिए।
संक्षेप में, लेखकों ने इसे शून्य से बनाकर, इसे एक स्मार्ट, चरण-दर-चरण पाठ्यक्रम के साथ प्रशिक्षित करके, और सर्वोत्तम परिणाम प्राप्त करने के लिए प्रशिक्षण रोकने के सही समय को जानकर, एक विशेष तुर्की कानूनी AI बनाया।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।