Do Small Models Use the Law You Give Them? Context-Injected Fine-Tuning for Legal QA in Bangladesh
यह शोध पत्र प्रदर्शित करता है कि संदर्भ-इंजेक्टेड कानूनी उदाहरणों पर छोटे द्विभाषी भाषा मॉडलों को फाइन-ट्यून करने से रिट्रीव की गई बांग्लादेशी वैधानिक प्रावधानों को सही ढंग से लागू करने और भाषाई निरंतरता बनाए रखने की उनकी क्षमता में महत्वपूर्ण सुधार होता है, हालांकि ये लाभ मॉडल के आकार के अनुसार भिन्न होते हैं और बड़े मॉडलों को समान रूप से लाभ नहीं पहुँचाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर अविश्वसनीय रूप से तेज़, सुपर-स्मार्ट छात्रों की तरह हों जिन्होंने पुस्तकालय की लगभग हर किताब पढ़ ली है। इन छात्रों को "लार्ज लैंग्वेज मॉडल" कहा जाता है। वे बातचीत करने, कहानियाँ लिखने और पहेलियाँ सुलझाने में माहिर हैं, लेकिन उनकी एक टेढ़ी आदत है: कभी-कभी वे चीजें बना लेते हैं या उस खेल के विशिष्ट नियमों को भूल जाते हैं जिसे वे खेल रहे होते हैं। आर्टिफिशियल इंटेलिजेंस के क्षेत्र में, शोधकर्ता लगातार इन डिजिटल छात्रों को यह सिखाने की कोशिश कर रहे हैं कि वे अंदाज़ा लगाना बंद करें और ठीक से नियमों का पालन करना शुरू करें। इसे करने का एक लोकप्रिय तरीका "रिट्रीवल" (retrieval) है, जो बिल्कुल वैसा ही है जैसे छात्र को परीक्षा देने से ठीक पहले उसे पाठ्यपुस्तक का एक विशिष्ट पृष्ठ थमा देना, इस उम्मीद में कि वह उस जानकारी को पढ़ेगा और सही उत्तर देने के लिए उसका उपयोग करेगा। लेकिन यहाँ एक बड़ा सवाल है: यदि आप एक छोटे, कम शक्तिशाली छात्र को वह पाठ्यपुस्तक का पृष्ठ थमाते हैं, तो क्या वह वास्तव में उसे पढ़ेगा और उसका उपयोग करेगा, या वह उसे अनदेखा कर देगा और बस अंदाज़ा लगाना जारी रखेगा? यह वह पहेली है जिसे बांग्लादेश के वैज्ञानिक हल करने की कोशिश कर रहे हैं, विशेष रूप से इसलिए क्योंकि वहाँ की कानूनी व्यवस्था अंग्रेजी और बंगाली दोनों में लिखे गए विशिष्ट कानूनों पर निर्भर करती है, और उत्तर गलत होने के गंभीर वास्तविक परिणाम हो सकते हैं।
इस अध्ययन के पीछे के शोधकर्ताओं ने एक चतुर विचार का परीक्षण करने का निर्णय लिया: केवल इस उम्मीद में कि छात्र परीक्षा के समय किताब पढ़ेगा, क्या होगा यदि हम उन्हें शुरू से ही उनके सामने खुली किताब के साथ प्रशिक्षित करें? उन्होंने एक विशेष प्रशिक्षण सेट बनाया जिसमें 2,165 कानूनी प्रश्न और उत्तर थे, जहाँ प्रत्येक प्रश्न के साथ वह सटीक कानून भी दिया गया था जिसकी उसे हल करने के लिए आवश्यकता थी, जिसे ठीक उसके बगल में लिखा गया था। फिर उन्होंने एक छोटा, ओपन-सोर्स कंप्यूटर मस्तिष्क जिसे Qwen3.5 कहा जाता है, लिया और उसे तीन अलग-अलग आकारों में विभाजित किया: एक बहुत छोटा 0.8-बिलियन-पैरामीटर वाला संस्करण, एक मध्यम 2-बिलियन वाला संस्करण, और एक थोड़ा बड़ा 4-बिलियन वाला संस्करण। उन्होंने इन मॉडलों को अपने "कॉन्टेक्स्ट-इंजेक्टेड" (context-injected) तरीके से सिखाया, जहाँ कानून हमेशा पाठ का हिस्सा था।
प्रशिक्षण के बाद, उन्होंने मॉडलों को बांग्लादेश बार काउंसिल, जो वकीलों का परीक्षण करने वाली संस्था है, के वास्तविक परीक्षा प्रश्नों का उपयोग करके टेस्ट किया। उन्होंने मॉडलों को वही प्रश्न फिर से दिए, लेकिन इस बार उन्होंने केवल मॉडलों को अंदाज़ा लगाने के लिए नहीं छोड़ा; उन्होंने उन्हें प्रासंगिक कानून भी दिए, जिसमें दो अलग-अलग खोज विधियों (BM25 और FAISS) का उपयोग किया गया ताकि यह देखा जा सके कि क्या मॉडल प्रदान की गई जानकारी का वास्तव में उपयोग कर सकते हैं। परिणाम बड़ी सफलता और आश्चर्यजनक भ्रम का मिश्रण थे। सबसे छोटे मॉडल (0.8B) के लिए, प्रशिक्षण जादू की तरह काम कर गया। प्रशिक्षण से पहले, कानून दिए जाने पर भी वह मुश्किल से ही कोई प्रश्न सही कर पाता था, जिसका स्कोर 100 में से केवल 2 था। प्रशिक्षण के बाद, यह बढ़कर 100 में से 34 हो गया। मध्यम मॉडल (2B) भी काफी बेहतर हुआ, जिससे पता चला कि उसने वास्तव में दिए गए कानूनों को पढ़ना सीख लिया है।
हालाँकि, कहानी सबसे बड़े मॉडल (4B) के लिए बदल गई। जबकि यह सही भाषा में उत्तर देने में थोड़ा बेहतर हुआ, इसने कानूनों के दिए जाने पर अंग्रेजी के प्रश्नों का उत्तर देने में वास्तव में गिरावट दिखाई, जिससे पता चलता है कि इस आकार के लिए, प्रशिक्षण ने मदद करने के बजाय इसे भ्रमित कर दिया होगा। प्रशिक्षण की एक और बड़ी जीत एक मूर्खतापूर्ण गलती को ठीक करना था: प्रशिक्षण से पहले, जब बंगाली में प्रश्न पूछा जाता था, तो मॉडल अक्सर भाषा को अनदेखा कर देते थे और 44% से 53% समय अंग्रेजी में उत्तर देते थे। प्रशिक्षण के बाद, यह गलती लगभग गायब हो गई, जो गिरकर 1% से भी कम रह गई। अध्ययन बताता है कि छोटे मॉडलों के लिए, उन्हें दिए गए कानूनों का उपयोग करना सिखाना एक गेम-चेंजर है, लेकिन बड़े मॉडलों के लिए, यह कोई गारंटीकृत समाधान नहीं है, और केवल सही जानकारी होना ही पर्याप्त नहीं है यदि मॉडल को यह नहीं पता कि उसका उपयोग कैसे करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।