Benchmarking Legal RAG: The Promise and Limits of AI Statutory Surveys
यह शोध पत्र लेबरबेंच (LaborBench) डेटासेट के विरुद्ध उभरते हुए लीगल आरएजी (RAG) टूल्स का बेंचमार्किंग करता है, जिससे यह पता चलता है कि जहाँ वाणिज्यिक एआई प्लेटफॉर्म मानक आरएजी की तुलना में कम प्रदर्शन करते हैं, वहीं एक कस्टम टूल (STARA) सटीकता में महत्वपूर्ण सुधार करता है, हालांकि आगे के विश्लेषण से यह सुझाव मिलता है कि इसका वास्तविक प्रदर्शन और भी अधिक है क्योंकि ग्राउंड ट्रुथ डेटा में पहले से अज्ञात कमियाँ मौजूद थीं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक वकील हैं जो एक बहुत ही विशिष्ट प्रश्न का उत्तर देने की कोशिश कर रहे हैं: "क्या कैलिफोर्निया राज्य एक कर्मचारी को अपना छोटा व्यवसाय शुरू करते समय बेरोजगारी लाभ (unemployment benefits) रखने की अनुमति देता है?"
सही उत्तर पाने के लिए, आप केवल एक व्यक्ति से नहीं पूछ सकते। आपको सभी 50 राज्यों की नियमपुस्तिकाओं की जांच करनी होगी। प्रत्येक राज्य की अपनी एक मोटी, जटिल कानून की किताब है, जो भ्रमित करने वाली कानूनी शब्दावली में लिखी गई है, जिसमें नियम वर्ष, नौकरी के प्रकार या कंपनी के आकार के आधार पर बदलते रहते हैं।
इसे मैन्युअल रूप से करना 50 घास के ढेर में एक विशिष्ट सुई खोजने जैसा है, जहाँ सुइयाँ कांच की बनी हैं और घास के ढेर आग की लपटों में हैं। इसमें विशेषज्ञों की एक टीम को महीनों लग जाते हैं।
यह शोध पत्र आर्टिफिशियल इंटेलिजेंस (AI) का परीक्षण करने के बारे में है कि क्या यह इस काम को अधिक तेज़ी से और बेहतर तरीके से कर सकता है। शोधकर्ताओं ने एक "टेस्ट ड्राइव" (जिसे बेंचमार्क कहा जाता है) सेट किया ताकि यह देखा जा सके कि विभिन्न AI उपकरण इन 50 राज्य नियमों को कितनी अच्छी तरह पढ़ सकते हैं और सटीकता से उत्तर दे सकते हैं।
यहाँ उनके द्वारा पाए गए निष्कर्षों का विवरण दिया गया, जिसे सरल उपमाओं (analogies) का उपयोग करके समझाया गया है:
1. तीन दावेदार
शोधकर्ताओं ने तीन अलग-अलग "AI छात्रों" को परीक्षा के लिए रखा:
- विशेषज्ञ छात्र (STARA): एक विशेष टूल जिसे शोधकर्ताओं द्वारा विशेष रूप से कानूनी कोड पढ़ने के लिए बनाया गया है। यह उस छात्र की तरह है जिसने पूरी लाइब्रेरी को याद कर लिया है और जानता है कि किसी किताब को उसकी रीढ़ (spine) से कैसे ढूँढा जाए।
- बड़ी ब्रांड का छात्र A (Westlaw AI): एक प्रसिद्ध, महंगा कानूनी टूल जिसे वकीलों के लिए विपणन किया जाता है। यह एक सामान्य विश्वकोश की तरह है जो सब कुछ जानने का दावा करता है लेकिन एक बहुत ही विशिष्ट गणित की समस्या हल करने की कोशिश कर रहा है।
- बड़ी ब्रांड का छात्र B (Lexis+ AI): एक अन्य प्रसिद्ध कानूनी टूल, जो छात्र A के समान है, जो एक "गेम-चेंजर" होने का दावा करता है।
2. परिणाम: टेस्ट में कौन पास हुआ?
यह परीक्षण अमेरिका भर के बेरोजगारी कानूनों के बारे में सत्य/असत्य (True/False) प्रश्नों की एक श्रृंखला थी।
विशेषज्ञ छात्र (STARA) ने बाजी मार ली: इसने 83% उत्तर सही दिए। जब शोधकर्ताओं ने इसके "गलत" उत्तरों की दोबारा जांच की, तो उन्हें पता चला कि छात्र वास्तव में सही था, लेकिन आधिकारिक उत्तर कुंजी (जो मानव विशेषज्ञों द्वारा बनाई गई थी) गलत थी। एक बार जब उन्होंने उत्तर कुंजी को ठीक कर दिया, तो इस छात्र का स्कोर बढ़कर 92% हो गया।
- उपमा: इस छात्र ने केवल अनुमान नहीं लगाया; उन्होंने वास्तव में बारीक अक्षरों (fine print) को पढ़ा। उन्होंने वास्तव में वे नियम भी खोज निकाले जिन्हें मानव विशेषज्ञों ने छोड़ दिया था!
बड़े ब्रांड के छात्र संघर्ष करते रहे:
- Westlaw AI ने लगभग 58% सही उत्तर दिए। यह "हाँ" कहने के लिए इतना उत्सुक था कि इसने उन नियमों की कल्पना कर ली (hallucinated) जो अस्तित्व में ही नहीं थे।
- Lexis+ AI ने लगभग 64% सही उत्तर दिए। यह बहुत सावधान था और शायद ही कभी "हाँ" कहता था, लेकिन इसका मतलब था कि इसने कई वैध नियमों को छोड़ दिया (इसने "नहीं" कहा जब उत्तर "हाँ" था)।
- उपमा: Westlaw AI उस छात्र की तरह था जो अंक पाने के लिए हर चीज़ के लिए "सत्य" का अनुमान लगाता है, भले ही उसे उत्तर न पता हो। Lexis+ AI उस छात्र की तरह था जो गलत होने के डर से अधिकांश प्रश्नों को खाली छोड़ देता है।
3. बड़ा आश्चर्य: "उत्तर कुंजी" गलत थी
सबसे चौंकाने वाली खोज AI के बारे में नहीं थी; बल्कि इंसानों के बारे में थी।
इस परीक्षण का मूल्यांकन अमेरिकी श्रम विभाग (DOL) द्वारा बनाई गई एक आधिकारिक रिपोर्ट के विरुद्ध किया गया था। यह रिपोर्ट मानव वकीलों की टीमों द्वारा मैन्युअल रूप से कानूनों को पढ़ने में बिताए गए छह महीनों के बाद तैयार की गई थी। शोधकर्ताओं ने माना कि यह रिपोर्ट "पूर्ण सत्य" थी।
लेकिन जब उन्होंने AI के "गलत" उत्तरों की जाँच की, तो उन्होंने पाया कि AI अक्सर सही था, और मानव विशेषज्ञ गलत थे।
- मानव विशेषज्ञों ने कई राज्यों में वैध कानूनों को मिस कर दिया था।
- AI ने इन छूटे हुए कानूनों को इसलिए खोज लिया क्योंकि उसने कच्चे टेक्स्ट (raw text) को मानव टीम की तुलना में अधिक गहनता से पढ़ा था।
- उपमा: कल्पना कीजिए कि एक शिक्षक एक पुराने, आउटडेटेड उत्तर कुंजी का उपयोग करके एक टेस्ट को ग्रेड कर रहा है। छात्र (AI) सही उत्तर लिखता है, लेकिन शिक्षक उसे गलत मार्क कर देता है क्योंकि कुंजी में वह अपडेट गायब है। शोधकर्ताओं ने महसूस किया कि "शिक्षक" (DOL) को अपनी कुंजी को अपडेट करने की आवश्यकता है!
4. बड़े ब्रांड क्यों विफल रहे?
पेपर स्पष्ट करता है कि इस विशिष्ट कार्य के लिए वाणिज्यिक टूल्स (Westlaw और Lexis) में कुछ प्रमुख डिज़ाइन दोष हैं:
- "कैरेक्टर लिमिट" का जाल: Westlaw AI में टेक्स्ट की मात्रा पर एक सख्त सीमा है। यह एक जटिल कानूनी प्रश्न समझाने के लिए एक ट्वीट का उपयोग करने जैसा है। आपको सभी महत्वपूर्ण विवरणों को हटाना पड़ता है, जिससे AI भ्रमित हो जाता है।
- "कीवर्ड" का जाल: ये उपकरण अक्सर अर्थ समझने के बजाय उन शब्दों को खोजते हैं जो सुनने में समान लगते हैं। यदि आप "रोजगार" (employment) के बारे में पूछते हैं, तो वे "रोजगार भेदभाव" (employment discrimination) के बारे में कानून निकाल सकते हैं क्योंकि दोनों में "employment" शब्द है।
- "ब्लैक बॉक्स" की समस्या: हमें ठीक से नहीं पता कि ये वाणिज्यिक उपकरण कैसे काम करते हैं। ये एक 'मैजिक 8-बॉल' की तरह हैं। आप एक प्रश्न पूछते हैं, वे एक उत्तर देते हैं, लेकिन वे वह विशिष्ट पृष्ठ नहीं दिखाते हैं जिसका उपयोग उन्होंने निर्णय लेने के लिए किया था। यह उन पर भरोसा करना कठिन बनाता है।
5. निष्कर्ष (Takeaway)
पेपर निष्कर्ष निकालता है कि AI में कानूनी अनुसंधान के लिए अपार क्षमता है, लेकिन हमें इसे अलग तरह से बनाने की आवश्यकता है।
- केवल जेनेरिक AI का उपयोग न करें: आप केवल एक सामान्य चैटबॉट को कानूनी डेटाबेस में प्लग नहीं कर सकते और उम्मीद नहीं कर सकते कि यह काम करेगा। आपको ऐसे टूल की आवश्यकता है जो विशेष रूप से कानूनों की संरचना को समझने के लिए डिज़ाइन किए गए हों (जैसे STARA)।
- मानव विशेषज्ञ भी गलतियाँ करते हैं: यहाँ तक कि सबसे अच्छे मानव दल भी चीजें मिस कर देते हैं। AI वास्तव में मनुष्यों की मदद कर सकता है उनके काम की दोबारा जांच करके और उन नियमों को ढूंढकर जिन्हें उन्होंने अनदेखा कर दिया था।
- पारदर्शिता महत्वपूर्ण है: कानूनी AI को अपना काम दिखाना चाहिए। इसे केवल "हाँ" या "नहीं" नहीं कहना चाहिए; इसे कहना चाहिए "हाँ, और कानून में सटीक पैराग्राफ यह है जो इसे साबित करता है।"
संक्षेप में: विशेषज्ञ AI छात्र (STARA) ने प्रसिद्ध वाणिज्यिक ब्रांडों से बेहतर प्रदर्शन किया और मानव विशेषज्ञों के काम में गलतियाँ भी पकड़ीं। यह साबित होता है कि जब बात 50 अलग-अलग राज्य कानूनों के बारीक अक्षरों को पढ़ने की आती है, तो एक स्मार्ट, विशेष रूप से निर्मित रोबोट, एक थकी हुई मानव टीम या एक चमकदार, जेनेरिक वाणिज्यिक टूल से बेहतर हो सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।