Can Small Models Reason About Legal Documents? A Comparative Study
यह अध्ययन प्रदर्शित करता है कि 10B से कम पैरामीटर वाले मॉडल, विशेष रूप से एक 3B मिक्स्चर-ऑफ-एक्सपर्ट्स आर्किटेक्चर, उपयुक्त प्रॉम्प्टिंग रणनीतियों के साथ जुड़ने पर कानूनी बेंचमार्क पर GPT-4o-mini जैसे फ्रंटियर मॉडल्स के बराबर या उनसे बेहतर प्रदर्शन कर सकते हैं, जो यह प्रकट करता है कि मॉडल आर्किटेक्चर और प्रशिक्षण की गुणवत्ता कच्चे पैरामीटर काउंट की तुलना में अधिक महत्वपूर्ण है, साथ ही विभिन्न प्रॉम्प्टिंग विधियों की कार्य-निर्भर प्रभावकारिता और RAG के लिए डेंस रिट्रीवल की पर्याप्तता को भी उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक लॉ फर्म हैं जो अनुबंधों (contracts) का विश्लेषण करने, कानूनी मिसालें खोजने और अदालती परिणामों की भविष्यवाणी करने में मदद के लिए डिजिटल सहायकों की एक टीम बनाने की कोशिश कर रहे हैं। आपके पास दो मुख्य विकल्प हैं:
- "सुपर-जीनियस" कंसल्टेंट: एक विशाल, महंगी, शीर्ष स्तर की AI (जैसे GPT-4o-mini) जिसे प्रति घंटा किराए पर लेने के लिए बहुत अधिक खर्च करना पड़ता है, जिसे एक सुरक्षित क्लाउड कनेक्शन की आवश्यकता होती है, और यह आपके गोपनीय क्लाइंट डेटा को खा सकती है।
- "लोकल इंटर्न्स" (स्थानीय प्रशिक्षु): छोटे, सस्ते AI मॉडल जिन्हें आप अपने कंप्यूटर पर चला सकते हैं। वे तेज़ और सस्ते हैं, लेकिन आपको डर है कि वे जटिल कानूनी तर्क संभालने के लिए पर्याप्त बुद्धिमान नहीं हो सकते।
यह पेपर वास्तव में एक टैलेंट शो है जहाँ शोधकर्ता नौ अलग-अलग "लोकल इंटर्न्स" (छोटे AI मॉडल) को "सुपर-जीनियस" के खिलाफ खड़ा करते हैं ताकि यह देखा जा सके कि क्या वे वास्तव में कानूनी काम कर सकते हैं।
यहाँ उनके निष्कर्षों का विवरण दिया गया है, जो रोजमर्रा के उपमाओं (analogies) का उपयोग करता है:
1. "छोटा लेकिन शक्तिशाली" सरप्राइज
निष्कर्ष: Qwen3-A3B नामक एक विशिष्ट छोटा मॉडल (जो एक समय में केवल 3 बिलियन पैरामीटर्स के साथ "सोचता" है, भले ही उसके कुल 30 बिलियन पैरामीटर्स हों) ने महंगे सुपर-जीनियस के समान प्रदर्शन किया।
उपमा: कल्पना कीजिए कि एक स्प्रिंटर (छोटा मॉडल) एक दौड़ में मैराथन धावक (बड़ा मॉडल) के खिलाफ दौड़ रहा है। आप उम्मीद करेंगे कि मैराथन धावक जीतेगा क्योंकि उसमें अधिक सहनशक्ति (पैरामीटर्स) है। लेकिन स्प्रिंटर इसलिए जीता क्योंकि वह अलग तरह से बना है। यह "Mixture-of-Experts" आर्किटेक्चर का उपयोग करता है, जो एक कमरे में विशेषज्ञों की एक टीम की तरह है जहाँ केवल सही विशेषज्ञ ही किसी विशिष्ट प्रश्न का उत्तर देने के लिए जागता है। इसने इसे अविश्वसनीय रूप से कुशल बना दिया।
परिणाम: छोटे मॉडल ने सटीकता में बड़े मॉडल का मुकाबला किया और एक विशिष्ट कार्य में उसे पीछे छोड़ दिया: अदालत के मामले के "होल्डिंग" (मुख्य कानूनी नियम) की पहचान करना।
2. बड़ा होना हमेशा बेहतर नहीं होता
निष्कर्ष: उनके द्वारा परीक्षण किया गया सबसे बड़ा मॉडल, एक 9-बिलियन पैरामीटर वाला मॉडल Nemotron, वास्तव में सबसे खराब प्रदर्शन करने वाला था।
उपमा: यह एक सरल समस्या को हल करने के लिए एक विशाल, बोझिल नौकरशाही को काम पर रखने जैसा है। Nemotron मॉडल इतना भारी और खराब प्रशिक्षित था कि वह आसानी से भ्रमित हो जाता था। वहीं, एक छोटा 3-बिलियन मॉडल (Qwen3-A3B) फुर्तीला और तेज था।
सबक: यह इस बारे में नहीं है कि दिमाग कितना बड़ा है; यह इस बारे में है कि उसे कितनी अच्छी तरह प्रशिक्षित किया गया है और उसके आंतरिक गियर कैसे व्यवस्थित हैं।
3. "आप कैसे पूछते हैं" यह "आप किससे पूछते हैं" से अधिक महत्वपूर्ण है
शोधकर्ताओं ने AI से बात करने के पांच अलग-अलग तरीकों (प्रॉम्प्टिंग रणनीतियों) का परीक्षण किया। परिणाम एक ताले पर अलग-अलग चाबियों को आज़माने जैसे थे:
- चेन-ऑफ-थॉट (CoT): यह AI को ज़ोर से "चरण-दर-चरण सोचें" के लिए कहता है।
- ट्विस्ट: इसने Contract NLI (यह जांचना कि क्या अनुबंध का क्लॉज समझ में आता है) के लिए चमत्कारिक काम किया, स्कोर को काफी बढ़ा दिया। लेकिन CaseHOLD (5 विकल्पों में से सही उत्तर चुनना) के लिए, यह एक आपदा था।
- उपमा: एक वकील से किसी साधारण "हाँ/नहीं" उत्तर देने से पहले अपना तर्क समझाने के लिए "5 पन्नों का निबंध लिखने" के लिए कहना। अनुबंध समीक्षा के लिए, निबंध मददगार होता है। बहुविकल्पीय क्विज़ के लिए, निबंध वकील को विचलित करता है, और वे सही अक्षर पर गोला लगाना भूल जाते हैं।
- फ्यू-शॉट प्रॉम्प्टिंग (Few-Shot Prompting): यह AI को एक नए समस्या को हल करने से पहले हल किए गए समस्या के तीन उदाहरण देने जैसा है।
- विजेता: यह सबसे सुसंगत रणनीति थी। यह लगभग हर कार्य और मॉडल के लिए अच्छी तरह से काम करती है। यह एक इंटर्न को नया ड्राफ्ट करने के लिए कहने से पहले उसे कुछ पिछले मामले दिखाने जैसा है।
- डायरेक्ट प्रॉम्प्टिंग (Direct Prompting): बस सवाल पूछना। यह एक बेसलाइन थी, लेकिन अक्सर जटिल कार्यों के लिए आवश्यक "धक्के" (nudge) की कमी थी।
4. "सर्च इंजन" का मिथक
शोधकर्ताओं ने AI को जानकारी खोजने में मदद करने के दो तरीकों (Retrieval Augmented Generation या RAG) का परीक्षण किया:
- BM25 (स्पार्स): एक क्लासिक लाइब्रेरी कार्ड कैटलॉग की तरह (सटीक कीवर्ड का मिलान)।
- डेंस रिट्रीवल (Dense Retrieval): एक आधुनिक गूगल सर्च की तरह (शब्दों के अर्थ को समझना)।
निष्कर्ष: दोनों के बीच लगभग कोई अंतर नहीं था।
उपमा: इससे कोई फर्क नहीं पड़ता कि आपने AI को कीवर्ड इंडेक्स दिया या सिमेंटिक सर्च इंजन; बाधा लाइब्रेरी में सही किताब खोजने में नहीं थी; बल्कि किताब मिलने के बाद उसे पढ़ने और समझने की AI की क्षमता में थी। कमजोर कड़ी AI थी, लाइब्रेरियन नहीं।
5. प्रयोग की लागत
निष्कर्ष: उन्होंने 405 अलग-अलग प्रयोग चलाए (9 मॉडल, 5 रणनीतियाँ, 3 अलग-अलग कानूनी परीक्षण और 3 रैंडम वेरिएशंस का परीक्षण किया)।
उपमा: आमतौर पर, इतने सारे परीक्षण चलाने के लिए हजारों डॉलर वाले ग्राफिक्स कार्ड (GPUs) के एक गोदाम की आवश्यकता होगी। इसके बजाय, उन्होंने क्लाउड API का उपयोग किया और कुल $62 खर्च किए।
सीख: अब गंभीर वैज्ञानिक अनुसंधान करने के लिए आपको सुपरकंप्यूटर की आवश्यकता नहीं है। आपको बस एक क्रेडिट कार्ड और एक अच्छा प्रयोगात्मक डिज़ाइन चाहिए।
सारांश: आपको क्या करना चाहिए?
यदि आप एक कानूनी पेशेवर या डेवलपर हैं जो लीगल AI टूल बनाना चाहते हैं, तो यह पेपर सुझाव देता है:
- केवल सबसे बड़े मॉडल को न खरीदें। कुशल, अच्छी तरह से प्रशिक्षित छोटे मॉडलों (जैसे Qwen3-A3B) की तलाश करें। वे सस्ते, तेज़ और कानूनी कार्यों के लिए उतने ही स्मार्ट हैं।
- हर चीज़ पर "स्टेप-बाय-स्टेप" सोचने के लिए ज़ोर न दें। यदि आपको बहुविकल्पीय उत्तर चाहिए, तो बस उत्तर मांगें। यदि आपको अनुबंध विश्लेषण की आवश्यकता है, तो तर्क (reasoning) मांगें।
- "उदाहरणों" (Few-Shot) का उपयोग करें। कुछ करने से पहले AI को दिखाएं कि आप क्या चाहते हैं।
- सरल खोज (Search) पर्याप्त है। कानूनी टेक्स्ट खोजने के लिए आपको जटिल AI सर्च इंजन की आवश्यकता नहीं है; एक अच्छा कीवर्ड सर्च अक्सर पर्याप्त होता है।
मुख्य बात (Bottom Line): छोटे, स्मार्ट मॉडल बजट को तोड़े बिना और गोपनीयता से समझौता किए बिना लीगल टेक में भारी काम कर सकते हैं, बशर्ते आप जानते हों कि उनसे सही तरीके से कैसे बात करनी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।