LegalCiteBench: Evaluating Citation Reliability in Legal Language Models
यह शोधपत्र LegalCiteBench प्रस्तुत करता है, जो एक व्यापक बेंचमार्क है यह प्रदर्शित करता है कि वर्तमान बड़े भाषा मॉडल (large language models) क्लोज्ड-बुक लीगल साइटेशन कार्यों के साथ काफी संघर्ष करते हैं, और मॉडल के पैमाने या डोमेन-विशिष्ट प्रीट्रेनिंग में सुधार के बावजूद अक्सर उच्च भ्रामक दरों के साथ विश्वसनीय लेकिन गलत अधिकार (authorities) उत्पन्न करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कानूनी ब्रीफ लिखने में मदद करने के लिए एक प्रतिभाशाली, सुशिक्षित कानून के छात्र को काम पर रख रहे हैं। आप उनसे अपने तर्क का समर्थन करने वाले विशिष्ट अदालती मामलों को खोजने के लिए कहते हैं। वास्तविक दुनिया में, यह छात्र एक लाइब्रेरी (या डिजिटल डेटाबेस) में जाएगा, सटीक किताबें निकालेगा, और पेज नंबर और शीर्षक को पूरी तरह से कॉपी करेगा।
लेकिन इस शोध पत्र में, शोधकर्ताओं ने छात्र को एक "क्लोज्ड-बुक" (बंद किताब) परीक्षा में डाल दिया है। उन्होंने लाइब्रेरी, इंटरनेट और संदर्भ पुस्तकें छीन लीं। उन्होंने छात्र से केवल अपनी याददाश्त के आधार पर मामलों के सटीक नाम, वॉल्यूम नंबर और पेज नंबर याद करने के लिए कहा।
यह शोध पत्र, जिसका शीर्षक LegalCiteBench है, मूल रूप से इस बात की रिपोर्ट कार्ड है कि 21 अलग-अलग "सुपर-स्मार्ट" एआई (AI) वकील इस मेमोरी-ओनली टेस्ट में कैसा प्रदर्शन करते हैं।
बड़ी समस्या: "आत्मविश्वासी नकली" (The Confident Fake)
शोधकर्ताओं ने एक डरावना पैटर्न पाया। जब इन एआई मॉडलों को उत्तर नहीं पता होता, तो वे यह नहीं कहते कि "मुझे नहीं पता।" इसके बजाय, वे एक आत्मविश्वासी लेकिन बेईमान छात्र की तरह व्यवहार करते हैं जो एक ऐसी किताब का शीर्षक और पेज नंबर बना देता है जो सुनने में असली लगता है लेकिन वास्तव में मौजूद नहीं होता।
- उपमा: कल्पना कीजिए कि आप एक टूर गाइड से किसी प्रसिद्ध संग्रहालय का पता पूछते हैं। यदि उसे नहीं पता, तो एक अच्छा गाइड कहेगा, "मुझे यकीन नहीं है, मुझे चेक करने दें।" एक बुरा गाइड कह सकता है, "ओह, यह ठीक बगल में 123 फेक स्ट्रीट पर है," और इमारत का विस्तृत विवरण दे सकता है।
- परिणाम: इस अध्ययन में, जब एआई मॉडल गलत थे, तो वे एक बहुत ही विशिष्ट तरीके से गलत थे: उन्होंने एक ठोस, विशिष्ट उत्तर दिया जो पूरी तरह से मनगढ़ंत था। अधिकांश मॉडलों के लिए ऐसा 94% से 99% बार हुआ। शोधकर्ता इसे मिसलीडिंग आंसर रेट (MAR) यानी भ्रामक उत्तर दर कहते हैं।
पाँच चुनौतियाँ (टेस्ट प्रश्न)
शोधकर्ताओं ने 1,000 वास्तविक अदालती फैसलों के आधार पर एक विशाल टेस्ट बैंक (लगभग 24,000 प्रश्न) बनाया। उन्होंने पांच प्रकार के कार्यों पर एआई का परीक्षण किया:
- साइटेशन रिट्रीवल (मेमोरी टेस्ट - उद्धरण पुनर्प्राप्ति): "यहाँ एक कानूनी स्थिति है। इसे कौन से सटीक मामले समर्थन देते हैं?"
- परिणाम: एआई बुरी तरह विफल रहा। सबसे अच्छे मॉडलों को भी 100 में से 7 से कम अंक मिले। वे मामलों के सटीक "पते" को याद रखने में असमर्थ थे।
- साइटेशन कम्प्लीशन (पहेली - उद्धरण पूर्ण करना): "यहाँ तीन मामले हैं जो इस बात का समर्थन करते हैं। अन्य दो क्या हैं?"
- परिणाम: फिर से, एआई विफल रहा। वह पहेली के छूटे हुए हिस्सों को भरने में असमर्थ रहा।
- साइटेशन एरर डिटेक्शन (प्रूफरीडर - उद्धरण त्रुटि का पता लगाना): "यहाँ एक पैराग्राफ है जिसमें एक केस साइटेशन है। क्या यह सही है, या इसमें कोई टाइपो (लिखने की गलती) है?"
- परिणाम: एआई इसमें काफी अच्छा था! जब उत्तर उसके सामने मौजूद था, तो वह गलतियों को पहचान सकता था।
- केस मैचिंग (डिटेक्टिव - मामला मिलान): "यहाँ एक कानूनी मामले की कहानी है (नाम हटा दिए गए हैं)। यह कौन सा वास्तविक मामला है?"
- परिणाम: एआई इसमें ठीक था, लेकिन बहुत अच्छा नहीं। वह कहानी का अनुमान तो लगा सकता था, लेकिन वह हमेशा विशिष्ट मामले का नाम नहीं बता पाता था।
- केस वेरिफिकेशन (फैक्ट-चेकर - मामले का सत्यापन): "कोई दावा करता है कि यह मामला इस नियम का समर्थन करता है। क्या यह सच है?"
- परिgetResult: एआई इसमें बहुत अच्छा था। यदि आप उसे मामला देते, तो वह बता सकता था कि उसका उपयोग सही ढंग से किया जा रहा है या नहीं।
मुख्य निष्कर्ष
1. मेमोरी बनाम प्रूफरीडिंग (स्मृति बनाम प्रूफरीडिंग)
अध्ययन सूचना बनाने और सूचना को चेक करने के बीच एक बड़ा अंतर दिखाता है।
- उपमा: यह एक ऐसे संगीतकार की तरह है जो याददाश्त से गाना नहीं बजा सकता (जेनरेशन) लेकिन तुरंत बता सकता है कि कोई दूसरा गलत नोट बजा रहा है (वेरिफिकेशन)। एआई एक बेहतरीन प्रूफरीडर है लेकिन एक बहुत बुरा याद रखने वाला (मेमोराइज़र) है।
2. बड़े दिमाग भी काम नहीं आए (Bigger Brains Don't Help)
शोधकर्ताओं ने छोटे मॉडल और विशाल, सुपर-कॉम्प्लेक्स मॉडल का परीक्षण किया।
- उपमा: इससे कोई फर्क नहीं पड़ता था कि छात्र हाई स्कूल का है या पीएचडी उम्मीदवार। जब लाइब्रेरी बंद थी, तो उनमें से कोई भी सटीक बुक टाइटल याद नहीं रख सका। एआई को बड़ा बनाना नकली साइटेशन बनाने की समस्या को ठीक नहीं कर सका।
3. विशेष प्रशिक्षण से भी सुधार नहीं हुआ (Specialized Training Didn't Fix It)
उन्होंने एक मॉडल का परीक्षण किया जिसे विशेष रूप से कानूनी ग्रंथों पर प्रशिक्षित किया गया था (SaulLM)।
- परिणाम: यह मॉडल त्रुटियों को पकड़ने (प्रूफरीडिंग) में बहुत अच्छा था लेकिन अभी भी मेमोरी से सटीक साइटेशन याद रखने में बहुत खराब था। कानून जानने से उसे विशिष्ट पेज नंबर याद रखने में मदद नहीं मिली।
4. "अनुमान लगाना बंद करो" कहने से भी काम नहीं चला (Telling Them to "Stop Guessing" Didn't Work)
शोधकर्ताओं ने एक सरल ट्रिक आजमाई: उन्होंने निर्देशों में एक नोट जोड़ा कि "यदि आप सुनिश्चित नहीं हैं, तो अनुमान न लगाएं; बस कहें कि मुझे नहीं पता।"
- परिणाम: इसने थोड़ी मदद की। एआई ने जवाब बनाना थोड़ा कम कर दिया (उसने "मुझे नहीं पता" कहना शुरू कर दिया)। हालाँकि, इसने एआई को सही उत्तर खोजने में बेहतर नहीं बनाया। इसने केवल एआई को सही उत्तर खोजने के बजाय हार मानने (हार स्वीकार करने) में सक्षम बनाया।
निचोड़ (The Bottom Line)
शोध पत्र निष्कर्ष निकालता है कि यदि आप वर्तमान एआई को डेटाबेस में उत्तर खोजने की अनुमति दिए बिना कानूनी मामले खोजने के लिए कहते हैं, तो वह उच्च आत्मविश्वास के साथ आपसे झूठ बोलेगा।
- चेतावनी: आप एआई से शुरुआत से कानूनी साइटेशन जेनरेट करने के लिए भरोसा नहीं कर सकते।
- समाधान: एआई का उपयोग केवल साइटेशन को चेक करने या उन्हें खोजने के लिए किया जाना चाहिए यदि यह एक वास्तविक, सत्यापित डेटाबेस (जैसे कंप्यूटर के साथ एक लाइब्रेरियन) से जुड़ा हो। यदि एआई अकेले काम कर रहा है, तो इस विशिष्ट कार्य के लिए उस पर भरोसा करना बहुत खतरनाक है।
शोधकर्ताओं ने यह टेस्ट (LegalCiteBench) इसलिए नहीं बनाया कि एआई बेकार है, बल्कि यह दिखाने के लिए एक "स्ट्रेस टेस्ट" के रूप में बनाया ताकि डेवलपर्स इसे वास्तविक कोर्टरूम में उपयोग करने से पहले ठीक कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।