Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
यह अध्ययन प्रदर्शित करता है कि Unsloth फ्रेमवर्क का उपयोग करके LoRA और 4-बिट क्वांटाइजेशन के साथ पैरामीटर-कुशल फाइन-ट्यूनिंग, जॉर्डन के कानूनों पर आधारित अरबी कानूनी प्रश्नों के उत्तर देने की Llama-3.1 मॉडल की क्षमता को महत्वपूर्ण रूप से बढ़ाता है, जिससे बेहतर सटीकता और संसाधन दक्षता प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक अत्यंत बुद्धिमान और विद्वान लाइब्रेरियन है जिसका नाम Llama है। इस लाइब्रेरियन ने दुनिया की लगभग सब कुछ पढ़ ली है और वह अरबी सहित कई भाषाएं बोल सकता है। हालाँकि, यदि आप उनसे जॉर्डन के कानून के बारे में कोई बहुत विशिष्ट प्रश्न पूछते हैं (जैसे "यदि मुझे किसी विशिष्ट अपराध के लिए गिरफ्तार किया जाता है तो क्या होगा?"), तो वे शायद एक अस्पष्ट, सामान्य उत्तर देंगे। वे भाषा तो जानते हैं, लेकिन उन्होंने जॉर्डन की कानूनी प्रणाली की विशिष्ट नियम पुस्तिका का अध्ययन नहीं किया है।
यह शोध पत्र उस लाइब्रेरियन को एक विशेषज्ञ बनाने के बारे में है।
समस्या: सामान्यज्ञ बनाम विशेषज्ञ
लेखकों ने देखा कि जबकि बड़े AI मॉडल (जैसे Llama 3.1) सामान्य बातचीत में बहुत अच्छे हैं, उन्हें अरबी में कानूनी प्रश्नों के उत्तर देने जैसे जटिल, विशिष्ट कार्यों में कठिनाई होती है। यह एक सामान्य डॉक्टर से हार्ट सर्जरी करने के लिए कहने जैसा है; वे चिकित्सा तो जानते हैं, लेकिन उन्हें उस विशिष्ट कार्य के लिए विशेष प्रशिक्षण की आवश्यकता होती है। इसके अलावा, एक विशाल AI मॉडल को प्रशिक्षित करने के लिए एक इमारत के आकार के सुपरकंप्यूटर की आवश्यकता होती है, जो महंगा और कठिन है।
समाधान: AI के लिए "ट्रेनिंग व्हील्स" (सहायक पहिए)
शोधकर्ताओं ने एक चतुर तकनीक का उपयोग किया जिसे पैरामीटर एफिशिएंट फाइन-ट्यूनिंग (PEFT) कहा जाता है।
- उपमा: कल्पना कीजिए कि Llama मॉडल एक विशाल, भारी ट्रक है। इसे एक नया रास्ता (जॉर्डन के कानून) सिखाने के लिए, आपको पूरे इंजन या चेसिस को फिर से बनाने की आवश्यकता नहीं है। इसके बजाय, आपको बस डैशबोर्ड पर एक छोटा, हल्का GPS मॉड्यूल (जिसे LoRA एडैप्टर कहा जाता है) लगाना होगा।
- परिणाम: यह छोटा मॉड्यूल ट्रक को ठीक से सिखाता है कि उसे कहाँ जाना है, बिना पूरे वाहन को अपग्रेड किए। यह इस प्रशिक्षण प्रक्रिया को तेज़, सस्ता और एक मानक क्लाउड कंप्यूटर (जैसे Google Colab Pro) पर संभव बनाता है।
उन्होंने 4-बिट क्वांटाइजेशन का भी उपयोग किया, जो एक हाई-डेफिनिशन मूवी को छोटी फ़ाइल आकार में कंप्रेस करने जैसा है ताकि वह गुणवत्ता खोए बिना आपके फोन में फिट हो सके। इसने मेमोरी की और भी बचत की।
प्रशिक्षण डेटा: एक कस्टम पाठ्यपुस्तक बनाना
AI को सिखाने के लिए, लेखकों ने केवल बेतरतीब किताबें नहीं फेंकीं। उन्होंने:
- 18 विशिष्ट जॉर्डन कानूनों को एकत्र किया (जिसमें नागरिक कानून, श्रम, अपराध और अदालतें जैसी चीजें शामिल हैं)।
- इन कानूनों से 3,578 विशिष्ट अनुच्छेद निकाले।
- "फ्लैशकार्ड" डेक बनाया: उन्होंने एक अन्य AI का उपयोग करके इन शुष्क कानूनी अनुच्छेदों को 6,000 प्रश्न-उत्तर जोड़ों में बदल दिया।
- उदाहरण: कानून को केवल पढ़ने के बजाय, AI ने सीखा: "प्रश्न: पुनर्विचार के अनुरोध को कब स्वीकार किया जा सकता है? उत्तर: मुकदमे में प्रवेश करने से पहले।"
प्रयोग: मुकाबला
शोधकर्ताओं ने AI के दो संस्करणों का परीक्षण किया:
- बेस मॉडल: "कच्चा" Llama 3.1 (सामान्य लाइब्रेरियन)।
- इंस्ट्रक्ट मॉडल: Llama 3.1 का एक संस्करण जिसे पहले से ही निर्देशों का पालन करने के लिए सिखाया गया था।
फिर उन्होंने इन दोनों पर उनका "GPS मॉड्यूल" (फाइन-ट्यूनिंग) लागू किया, जिसमें जॉर्डन के कानूनी फ्लैशकार्ड का उपयोग किया गया था।
परिणाम: कौन जीता?
शोधकर्ताओं ने उत्तरों की तुलना एक स्कोरिंग सिस्टम (BLEU और ROUGE) का उपयोग करके की, जो यह मापता है कि AI का उत्तर मानव-लिखित "सही" उत्तर के कितने करीब है।
- विजेता: दोनों फाइन-ट्यून किए गए मॉडल बिना प्रशिक्षित संस्करणों की तुलना में काफी बेहतर रहे। उन्होंने विशिष्ट कानूनी शब्दावली और नियमों को बहुत बेहतर तरीके से सीखा।
- आश्चर्य: "कच्चा" Llama 3.1, प्रशिक्षण के बाद, "इंस्ट्रक्ट" संस्करण की तुलना में थोड़ा बेहतर प्रदर्शन करता है।
- क्यों? लेखक सुझाव देते हैं कि "इंस्ट्रक्ट" मॉडल में इसके पिछले प्रशिक्षण से कुछ "पूर्व-स्थापित धारणाएं" रही होंगी जो बाधा बन गईं। "कच्चा" मॉडल एक खाली स्लेट की तरह था, इसलिए वह बिना किसी पुरानी आदतों के हस्तक्षेप के जॉर्डन के कानूनी नियमों को पूरी तरह से आत्मसात कर सका।
AI ने वास्तव में क्या बेहतर किया?
शोध पत्र दिखाता है कि प्रशिक्षण से पहले, AI लंबे, अस्पष्ट या थोड़े गलत उत्तर देता था। प्रशिक्षण के बाद:
- सटीकता: यदि कानून कहता है कि अनुरोध मुकदमे के पहले किया जाना चाहिए, तो प्रशिक्षित AI ने बिल्कुल वही कहा। बिना प्रशिक्षित AI सामान्य "न्यायिक प्रक्रियाओं" के बारे में एक सामान्य स्पष्टीकरण दे सकता था।
- संदर्भ: जब तत्काल उपायों (जैसे हिरासत) के बारे में पूछा गया, तो प्रशिक्षित AI जानता था कि सटीक रूप से कौन से विशिष्ट कानूनी कदम लागू होते हैं, जबकि बिना प्रशिक्षित वाला भ्रमित था।
मुख्य निष्कर्ष
यह शोध पत्र सिद्ध करता है कि किसी विशाल AI को किसी विशिष्ट क्षेत्र में विशेषज्ञ बनाने के लिए आपको सुपरकंप्यूटर की आवश्यकता नहीं है। कुशल "ट्रेनिंग व्हील्स" (PEFT) और फ्लैशकार्ड के एक अच्छे सेट (6,000 कानूनी Q&A जोड़े) का उपयोग करके, आप एक सामान्य AI को जॉर्डन के कानून में विशेषज्ञ बना सकते हैं।
लेखक निष्कर्ष निकालते हैं कि यह तरीका अच्छी तरह से काम करता है और उन उपकरणों के निर्माण के लिए मंच तैयार करता है जो लोगों को कानूनी दस्तावेजों को समझने में मदद कर सकते हैं, हालांकि वे नोट करते हैं कि इस विशिष्ट अध्ययन ने केवल प्रशिक्षण वाले हिस्से पर ध्यान केंद्रित किया है, न कि अभी एक पूर्ण सर्च इंजन बनाने पर।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।