Legal-DC: Benchmarking Retrieval-Augmented Generation for Legal Documents
यह शोध पत्र लीगल-डीसी (Legal-DC) का परिचय देता है, जो एक विशिष्ट बेंचमार्क डेटासेट और लेग-आरएजी (LegRAG) फ्रेमवर्क है जिसमें लीगल एडेप्टिव इंडेक्सिंग और डुअल-पाथ सेल्फ-रिफ्लेक्शन शामिल हैं, ताकि चीनी कानूनी रिट्रीवल-ऑगमेंटेड जनरेशन (Retrieval-Augmented Generation) की सीमाओं को संबोधित किया जा सके और मौजूदा अत्याधुनिक विधियों पर बेहतर प्रदर्शन प्रदर्शित किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जटिल कानूनी पहेली को सुलझाने की कोशिश कर रहे हैं, जैसे कि यह पता लगाना कि क्या ड्रोन मालिक को अपने उपकरण का पंजीकरण कराने की आवश्यकता है। आप एक सुपर-स्मार्ट AI सहायक से उत्तर पूछते हैं।
अतीत में, इस AI ने "हैलुसिनेशन" (hallucination) किया होगा—यानी, अपनी याददाश्त पर भरोसा करते हुए एक आत्मविश्वास से भरा लेकिन पूरी तरह से गलत उत्तर दे दिया होगा, क्योंकि उसकी जानकारी पुरानी या धुंधली हो सकती थी।
इसे ठीक करने के लिए, शोधकर्ताओं ने RAG (रिट्रीवल-ऑगमेंटेड जनरेशन) नामक एक प्रणाली बनाई। इसे ऐसे समझें कि RAG एक ऐसे छात्र की तरह नहीं है जो याददाश्त से परीक्षा दे रहा है, बल्कि एक ऐसे छात्र की तरह है जिसे उत्तर देने के लिए अपनी पाठ्यपुस्तक का उपयोग करने की अनुमति है। AI पहले कानून की किताबों के प्रासंगिक पृष्ठों को खोजता है (रिट्रीवल/प्राप्ति) और फिर केवल उसी के आधार पर उत्तर लिखता है जो उसे मिला है (जनरेशन/सृजन)।
हालाँकि, इस शोध पत्र में शोधकर्ताओं ने पाया कि चीन में इसे करने के तरीके में दो बड़ी समस्याएँ थीं:
- परीक्षा दोषपूर्ण थी: AI को ग्रेड देने का कोई अच्छा तरीका नहीं था। क्या उसने पाठ्यपुस्तक का सही पृष्ठ ढूँढा? क्या उसने उसे सही ढंग से पढ़ा? मौजूदा परीक्षण केवल अंतिम उत्तर की जाँच करते थे, अनुसंधान प्रक्रिया की नहीं।
- पाठ्यपुस्तकें अव्यवस्थित थीं: कानूनी दस्तावेज़ एक इमारत की तरह होते हैं जिसमें मंजिलें, कमरे और गलियारे होते हैं। मानक AI उपकरण अक्सर इन दस्तावेज़ों को यादृच्छिक, अव्यवस्थित टुकड़ों में काट देते हैं, जिससे कानून का तार्किक प्रवाह टूट जाता है।
यहाँ बताया गया है कि उन्होंने इन समस्याओं को कैसे ठीक किया, सरल शब्दों में:
1. नया "परीक्षा हॉल": Legal-DC
लेखकों ने एक बिल्कुल नई, विशेष परीक्षण प्रणाली बनाई जिसे Legal-DC कहा जाता है।
- लाइब्रेरी: उन्होंने 480 वास्तविक चीनी कानूनी दस्तावेज़ एकत्र किए (जिसमें व्यावसायिक नियम, अनुबंध और खाद्य सुरक्षा जैसी चीजें शामिल हैं)।
- प्रश्न: उन्होंने 2,475 विशिष्ट प्रश्न और उत्तर बनाए।
- सीक्रेट सॉस (गुप्त नुस्खा): प्रत्येक उत्तर को कानून की किताब के उस सटीक पैराग्राफ के साथ टैग किया गया है जो उसका समर्थन करता है।
- यह क्यों मायने रखता है: यह एक शिक्षक को उत्तर कुंजी देने जैसा है जो कहती है, "छात्र ने यह सही किया क्योंकि उन्होंने पेज 42, पैराग्राफ 3 का हवाला दिया।" अब, हम न केवल यह जाँच सकते हैं कि AI ने क्या कहा, बल्कि यह भी कि उसने जानकारी कैसे खोजी।
2. नया "लाइब्रेरियन": LegRAG फ्रेमवर्क
लेखकों ने LegRAG नामक एक नया सिस्टम बनाया जो AI के लाइब्रेरियन के रूप में कार्य करता है। उन्होंने महसूस किया कि यदि आप एक लाइब्रेरियन से "ड्रोन पंजीकरण" के बारे में नियम पूछते हैं, तो उसे आपको केवल एक रैंडम पैराग्राफ नहीं थमाना चाहिए; उसे कानून की संरचना को समझना चाहिए।
LegRAG एक डुअल-पाथ स्ट्रैटेजी (सूचना के लिए दो-लेन वाला हाईवे) का उपयोग करता है:
- लेन A (द चंक): यह टेक्स्ट को छोटे, अर्थपूर्ण पैराग्राफों में तोड़ता है (जैसे किसी फिल्म के एक एकल दृश्य को पढ़ना)। यह विशिष्ट विवरण खोजने में मदद करता है।
- लेन B (द आर्टिकल): यह पूरे कानूनी अनुच्छेदों (articles) को एक साथ रखता है (जैसे कि एक पूरे अध्याय को बरकरार रखना)। यह सुनिश्चित करता है कि AI किसी नियम के संदर्भ या "बड़ी तस्वीर" को न छोड़े।
- परिणाम: दोनों लेन का एक साथ उपयोग करके, सिस्टम एक ही विधि का उपयोग करने वाले सिस्टमों की तुलना में बहुत तेज़ी से और अधिक सटीकता से सही जानकारी खोज लेता है।
3. "सेल्फ-चेक" तंत्र
एक बेहतरीन लाइब्रेरियन होने के बावजूद, AI अभी भी भ्रमित हो सकता है। इसलिए, LegRAG में एक सेल्फ-रिफ्लेक्शन (आत्म-चिंतन) चरण शामिल है।
- रूपक (Metaphor): कल्पना कीजिए कि AI एक ड्राफ्ट उत्तर लिखता है। आपको देने से पहले, वह रुकता है और खुद से पूछता है: "रुको, क्या मैंने वास्तव में वह नियम ढूँढा है जो यह कहता है? या मैं बस अनुमान लगा रहा हूँ?"
- यदि AI को एहसास होता है कि उसके पास सबूत का एक प्रमुख हिस्सा गायब है, तो वह वापस लाइब्रेरी में जाता है, गायब हुआ पृष्ठ ढूँढता है, और उत्तर को फिर से लिखता है। यह काम सबमिट करने से पहले काम की जाँच करने के लिए "दूसरी जोड़ी आँखों" की तरह काम करता है।
4. परिणाम
जब उन्होंने इस नए सिस्टम का पुराने सिस्टमों के मुकाबले परीक्षण किया:
- बेहतर खोज: इसने मौजूदा सर्वोत्तम सिस्टमों की तुलना में 2-5% अधिक बार सही कानूनी पृष्ठ खोजे।
- कम गलतियाँ: उत्तर अधिक सटीक थे क्योंकि AI को साक्ष्यों तक ही सीमित रहने के लिए मजबूर किया गया था।
- फैसला: इस सिस्टम ने साबित कर दिया कि कानूनी प्रश्नों के लिए, आप केवल एक स्मार्ट दिमाग (AI) पर भरोसा नहीं कर सकते; आपको लाइब्रेरी को व्यवस्थित करने का एक स्मार्ट तरीका (इंडेक्सिंग) और एक सख्त संपादक (सेल्फ-रिफ्लेक्शन) की आवश्यकता होती है।
सारांश
इस शोध पत्र को एक ऐसे वास्तुकार के रूप में देखें जिसने एक विशेष कानूनी लाइब्रेरी (Legal-DC) और एक सुपर-कुशल लाइब्रेरियन (LegRAG) बनाया है जो इमारत के ब्लूप्रिंट को पढ़ना जानता है। उन्होंने साबित किया कि यदि आप चाहते हैं कि एक AI आपको कानूनी सलाह दे, तो आप केवल इसे "अनुमान लगाने" के लिए नहीं कह सकते; आपको इसे सटीक नियम खोजने के लिए सही उपकरण और अपने काम को दोबारा जाँचने के लिए एक सख्त प्रक्रिया देनी होगी।
उन्होंने अपने टूल्स और लाइब्रेरी को सभी के उपयोग के लिए खुला भी रखा है, ताकि अन्य डेवलपर्स भविष्य में बेहतर कानूनी AI सिस्टम बना सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।