Enhancing Legal LLMs through Metadata-Enriched RAG Pipelines and Direct Preference Optimization
यह शोधपत्र कानूनी दस्तावेज़ों की पुनर्प्राप्ति (रिट्रीवल) में लेक्सिकल रेडंडेंसी (शब्दों की पुनरावृत्ति) को दूर करने के लिए मेटाडेटा-एनरिच्ड हाइब्रिड RAG और अपर्याप्त संदर्भ होने पर सुरक्षित इनकार (सेफ रिफ्यूज़ल) को लागू करने के लिए डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन को संयोजित करने वाले एक ढांचे का प्रस्ताव करता है, जिससे कानूनी लार्ज लैंग्वेज मॉडल्स की ग्राउंडिंग, विश्वसनीयता और सुरक्षा में वृद्धि होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े अनुभवहीन कानूनी सहायक (legal assistant) को लाखों कानूनी दस्तावेजों के विशाल पुस्तकालय से उत्तर खोजने में मदद करने के लिए काम पर रख रहे हैं।
समस्या क्या है? इस सहायक में दो बड़े दोष हैं:
- वे पुस्तकालय में खो जाते हैं: जब आप कोई प्रश्न पूछते हैं, तो वे अक्सर गलत किताब या गलत पन्ना उठा लेते हैं क्योंकि कई कानूनी दस्तावेज़ दिखने और सुनने में बहुत समान होते हैं।
- वे या तो बहुत शर्मीले हैं या बहुत साहसी: कभी-कभी, जब उनके पास सही किताब नहीं होती, तो वे बस कह देते हैं, "मैं उत्तर नहीं दे सकता," भले ही उत्तर वहीं मौजूद हो। अन्य मामलों में, जब उनके पास किताब नहीं होती, तो वे मदद करने के चक्कर में एक नकली उत्तर बना लेते हैं।
यह शोध पत्र इस बारे में है कि इस सहायक को एक परफेक्ट लीगल रिसर्चर (perfect legal researcher) कैसे बनाया जाए। लेखकों—सुयश, दीपाली और रोहित ने इन समस्याओं को दो मुख्य तरीकों से ठीक किया है: बेहतर पुस्तकालय संगठन (Better Library Organization) और स्मार्ट ट्रेनिंग (Smart Training)।
उन्होंने इसे कैसे किया, इसे सरल भाषा में यहाँ समझाया गया है:
1. पुस्तकालय की समस्या: "भूसे के ढेर में सुई"
कानूनी दस्तावेज़ बहुत बड़े, दोहराव वाले और क्रॉस-रेफरेंस से भरे होते हैं। यदि आप केवल एक 50,000 शब्दों के अनुबंध को खोजने के लिए छोटे टुकड़ों में काट देते हैं, तो वे टुकड़े अपना अर्थ खो देते हैं। यह एक मानचित्र को छोटे वर्गों में काटने जैसा है; एक अकेला वर्ग केवल "नदी" कह सकता है, लेकिन बाकी मानचित्र के बिना, आपको यह नहीं पता चलेगा कि वह कौन सी नदी है या वह कहाँ बहती है।
समाधान: "कॉन्टेक्स्टुअल लेबल" ट्रिक (Metadata-Enriched RAG)
सहायक को केवल एक रैंडम पन्ना देने के बजाय, लेखकों ने हर पन्ने पर एक विस्तृत लेबल लगाया जो उन्हें दिया जाता है।
- पहले: सहायक को एक पन्ना मिलता है जिसमें लिखा है "कीमत $22 है।"
- बाद में: सहायक को एक पन्ना मिलता है जो कहता है: " 'अपोलो एक्विजिशन' अनुबंध से, धारा 4, 'शेयर प्राइस' क्लॉज के संबंध में। कीमत $22 है।"
उन्होंने लेबल में आसपास के पन्नों का एक मिनी-समरी (छोटा सारांश) भी जोड़ा। यह सहायक को एक "चीट शीट" देने जैसा है जो कहती है, "हे, यह पन्ना विलय (merger) के बारे में एक बड़ी कहानी का हिस्सा है।"
परिणाम:
- कम भ्रम: सहायक गलत दस्तावेज़ उठाने से रुक जाता है। उनके परीक्षणों में, इसने "डॉक्यूमेंट रिट्रीवल मिसमैच" (गलत किताब उठाना) को काफी कम कर दिया।
- बेहतर उत्तर: क्योंकि सहायक जानता है कि जानकारी कहाँ से आई है, वह बहुत तेज़ी से विशिष्ट "सुई" को "भूसे के ढेर" में ढूंढ सकता है।
2. व्यक्तित्व की समस्या: "अत्यधिक शर्मीला बनाम आत्मविश्वासी झूठा"
सही किताबें होने के बावजूद, सहायक (एक छोटा AI मॉडल) में व्यक्तित्व की समस्या थी।
- शर्मीलापन की समस्या: यदि आप सहायक को कहते, "केवल तभी उत्तर दें जब आप 100% सुनिश्चित हों," तो वे बहुत डर जाते। वे तब भी "मुझे नहीं पता" कह देते थे जब उत्तर उनके सामने ही मौजूद होता था।
- झूठ बोलने की समस्या: यदि आप उन्हें सावधान नहीं करते, तो वे सही किताब न होने पर भी तथ्य बना लेते थे।
समाधान: "उदाहरणों द्वारा प्रशिक्षण" (Direct Preference Optimization - DPO)
केवल सहायक को नियम पुस्तिका देने के बजाय (जो अच्छी तरह काम नहीं करती थी), लेखकों ने उन्हें अच्छे व्यवहार बनाम बुरे व्यवहार के उदाहरण दिखाए।
- परिदृश्य A (सही किताब): उन्होंने सहायक को एक प्रश्न और सही किताब दिखाई, और कहा, "जब आपके पास किताब हो, तो प्रश्न का उत्तर दें!"
- परिदृश्य B (गलत किताब): उन्होंने सहायक को एक प्रश्न और गलत किताब दिखाई, और कहा, "जब आपके पास गलत किताब हो, तो 'मुझे नहीं पता' कहें!"
उन्होंने यह हजारों बार किया। सहायक ने सीखा:
- "ओह, मैं समझ गया! यदि संदर्भ सही है, तो मुझे बोलना चाहिए।"
- "और यदि संदर्भ गलत है, तो मुझे अनुमान लगाने के बजाय चुप रहना चाहिए।"
परिणाम:
- सहायक अत्यधिक शर्मीला होना बंद हो गया। जब सही जानकारी मौजूद थी, तो उन्होंने 98.5% बार सही उत्तर दिया (जो पहले केवल 46% था)।
- उन्होंने चीजें बनाना बंद कर दिया। जब जानकारी गायब थी, तो उन्होंने 99.3% बार उत्तर देने से मना कर दिया (जो पहले 87% था)।
ग्रैंड फिनाले: सबको एक साथ लाना
लेखकों ने इस नए सिस्टम का वास्तविक कानूनी प्रश्नों पर परीक्षण किया।
- पुराना तरीका: सहायक अक्सर गलत दस्तावेज़ उठा लेता, भ्रमित हो जाता, और या तो गलत उत्तर देता या पूरी तरह हार मान लेता।
- नया तरीका:
- मेटाडेटा (Metadata) यह सुनिश्चित करता है कि सहायक सही संदर्भ के साथ सही पन्ने उठाए।
- DPO ट्रेनिंग यह सुनिश्चित करती है कि सहायक को पता हो कि कब बोलना है और कब चुप रहना है।
मुख्य बात:
पुस्तकालय को बेहतर ढंग से व्यवस्थित करके और सहायक के "व्यक्तित्व" को आत्मविश्वासी लेकिन ईमानदार बनाने के लिए प्रशिक्षित करके, लेखकों ने एक बहुत ही विश्वसनीय कानूनी AI बनाया। इसके गलत होने (hallucinate करने) की संभावना बहुत कम है और यह जटिल कानूनी टेक्स्ट के समुद्र में सच्चाई खोजने में बहुत बेहतर है।
संक्षेप में: उन्होंने AI को एक बेहतर मानचित्र दिया और उसे यह साहस सिखाया कि जब वह उत्तर जानता हो तो बोले, और यह बुद्धिमानी सिखाई कि जब वह न जानता हो तो चुप रहे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।