LP-Eval: Rubric and Dataset for Measuring the Quality of Legal Proposition Generation
यह शोध पत्र LP-Eval प्रस्तुत करता है, जो यूरोपीय संघ के न्यायालयों के निर्णयों से उत्पन्न एलएलएम (LLM) द्वारा निर्मित कानूनी प्रस्तावों की गुणवत्ता का मूल्यांकन करने के लिए कानूनी विशेषज्ञों के साथ मिलकर तैयार किया गया एक रूब्रिक और डेटासेट है, जो यह प्रकट करता है कि हालांकि मॉडल सामान्य रूप से उच्च गुणवत्ता वाले आउटपुट उत्पन्न करते हैं, उनका प्रदर्शन मामले की आयु के अनुसार भिन्न होता है और रूब्रिक-निर्देशित एलएलएम मूल्यांकनकर्ता, प्रत्यक्ष स्कोरिंग की तुलना में बेहतर होने के बावजूद, अभी भी मानव विशेषज्ञों की सूक्ष्म संवेदनशीलता की कमी रखते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक वकील हैं जो अपने क्लाइंट को एक जटिल अदालती फैसले को समझाने की कोशिश कर रहे हैं। आप उन्हें पूरा 50 पन्नों का दस्तावेज़ नहीं पढ़कर सुनाना नहीं चाहते; आप इसे एक स्पष्ट, शक्तिशाली वाक्य में समेटना चाहते हैं जो "खेल के नियम" को पकड़ सके। कानूनी दुनिया में, इस सारांश वाक्य को लीगल प्रपोजिशन (Legal Proposition) कहा जाता है।
यह शोध पत्र इस बारे में है कि कंप्यूटरों को (विशेष रूप से लार्ज लैंग्वेज मॉडल्स या "LLMs" को) इन सारांश वाक्यों को स्वचालित रूप से लिखना कैसे सिखाया जाए और फिर उन्हें निष्पक्ष रूप से ग्रेडिंग (अंक देना) कैसे की जाए।
यहाँ शोध का सरल विवरण दिया गया है:
1. समस्या: "गोल्ड स्टैंडर्ड" खोजना कठिन है
कई कंप्यूटर कार्यों में, आप आसानी से जांच सकते हैं कि उत्तर सही है या गलत (जैसे कि गणित की कोई समस्या)। लेकिन कानून में, किसी नियम का सारांश देने का शायद ही कभी कोई एक "सही" तरीका होता है। आप कह सकते हैं, "कानून कहता है X," या "शर्त Y के तहत, X लागू होता है।" दोनों सही हो सकते हैं, लेकिन वे अलग तरह से सुनाई देते हैं।
इसी कारण से, पुराने कंप्यूटर ग्रेडिंग टूल्स (जो केवल यह गिनते हैं कि कितने शब्द मेल खाते हैं) काम नहीं करते। वे यह नहीं बता सकते कि क्या कोई वाक्य कानूनी लगता है लेकिन वास्तव में उसका अर्थ कुछ बिल्कुल अलग है। साथ ही, कंप्यूटर कभी-कभी "हैलुसिनेट" (hallucinate) करते हैं—यानी वे ऐसे नियम बना लेते हैं जो अस्तित्व में ही नहीं हैं।
2. समाधान: एक "लीगल रिपोर्ट कार्ड" (द रूब्रिक)
इसे ठीक करने के लिए, शोधकर्ताओं ने वास्तविक कानून के प्रोफेसरों के साथ मिलकर एक रूब्रिक (Rubric) (एक ग्रेडिंग चेकलिस्ट) बनाया जिसे LP-Eval कहा जाता है। इसे एक छात्र के निबंध के लिए "रिपोर्ट कार्ड" की तरह समझें, लेकिन यह कानूनी नियमों के लिए है।
एक एकल ग्रेड जैसे "B+" देने के बजाय, यह रूब्रिक दो मुख्य चीजों की जांच करता है:
- कंकाल (औपचारिक वैधता/Formal Validity): क्या वाक्य में तीन आवश्यक हड्डियाँ हैं?
- स्टांस (Stance): क्या यह कोई स्थिति ले रहा है?
- ऑब्जेक्ट (Object): क्या यह किसी कानूनी नियम के बारे में बात कर रहा है (केवल एक तथ्य के बारे में नहीं)?
- स्पेसिफिकेशन (Specification): क्या यह पर्याप्त विशिष्ट है?
- यदि कोई हड्डी गायब है, तो यह "अवैध" (Invalid) है।
- मांस (गुणवत्ता के आयाम/Quality Dimensions): यदि कंकाल अच्छा है, तो यह कितना अच्छी तरह लिखा गया है?
- संक्षिप्तता (Conciseness): क्या यह छोटा और सटीक है, या बहुत लंबा और उलझा हुआ?
- फिडेलिटी (Fidelity): क्या यह मूल पाठ पर टिका हुआ है, या इसने अपनी ओर से कुछ बनाया है?
- जनरैलिटी (Generality): क्या यह एक व्यापक नियम है, या यह केवल एक बहुत छोटे विवरण पर लागू होता है?
3. प्रयोग: कंप्यूटर को सिखाना
शोधकर्ताओं ने वास्तविक यूरोपीय संघ के अदालती फैसलों से 100 पैराग्राफ लिए और तीन अलग-अलग AI मॉडलों से उन पर लीगल प्रपोजिशन लिखने को कहा। फिर, उन्होंने मानव कानूनी विशेषज्ञों की एक जोड़ी से इन AI आउटपुट को नए "रिपोर्ट कार्ड" का उपयोग करके ग्रेड करवाया।
उन्होंने क्या पाया:
- AI बुनियादी बातों में काफी अच्छा है: अधिकांश AI-जनित वाक्य "वैध" (valid) थे (उनमें सही हड्डियाँ थीं)।
- पुराने मामले बनाम नए मामले: AI ने पुराने, प्रसिद्ध मामलों (जिन्हें लोग जानते हैं और जिनके बारे में वर्षों से चर्चा हो रही है) का सारांश बनाने में नए, हालिया मामलों की तुलना में काफी बेहतर प्रदर्शन किया। यह वैसा ही है जैसे कोई छात्र उस क्लासिक कहानी पर परीक्षा में उत्कृष्ट अंक प्राप्त कर सकता है जिसे उसने सौ बार पढ़ा है, लेकिन उस कहानी के साथ संघर्ष करता है जो कल ही प्रकाशित हुई है।
- ग्रेडर के रूप में AI: शोधकर्ताओं ने AI से दूसरे AI के काम को ग्रेड करने के लिए भी कहा।
- अच्छी खबर: जब AI ने विस्तृत "रिपोर्ट कार्ड" (रूब्रिक) का उपयोग किया, तो वह मानव विशेषज्ञों के साथ बहुत अधिक बार सहमत हुआ, बजाय इसके कि वह केवल एक समग्र स्कोर देने की कोशिश करता।
- बुरी खबर: रूब्रिक के साथ भी, AI "बहरा" (tone-deaf) था। वह एक पुराने मामले के "अच्छे" सारांश और एक नए मामले के "अच्छे" सारांश के बीच सूक्ष्म अंतर को नहीं पहचान सका। मानव विशेषज्ञ अंतर महसूस कर सकते थे, लेकिन AI ने उन्हें लगभग एक जैसा ही देखा।
4. डेटासेट
टीम ने केवल प्रयोग ही नहीं किया; उन्होंने यह "होमवर्क" जनता के लिए जारी कर दिया। उन्होंने एक डेटासेट बनाया जिसमें शामिल है:
- मूल अदालती पैराग्राफ।
- AI द्वारा सारांश लिखने के प्रयास।
- मानव विशेषज्ञों के विस्तृत ग्रेड और नोट्स।
निष्कर्ष (The Bottom Line)
यह शोध पत्र दिखाता है कि कंप्यूटर कानूनी सारांश लिखने में अच्छे हो रहे हैं, विशेष रूपकर प्रसिद्ध कानूनों के लिए। हालांकि, वे नए और जटिल मामलों के साथ संघर्ष करते हैं। इसके अलावा, यदि आप चाहते हैं कि कंप्यूटर कानूनी कार्य को ग्रेड करे, तो आप उसे केवल यह नहीं पूछ सकते कि "क्या यह अच्छा है?" आपको उसे पालन करने के लिए एक विस्तृत चेकलिस्ट (रूब्रिक) देनी होगी, अन्यथा वह उन महत्वपूर्ण विवरणों को छोड़ देगा जिन्हें मानव विशेषज्ञ पकड़ लेते हैं।
संक्षेप में: कंप्यूटर कानूनी नियम लिख सकते हैं, और यदि उन्हें एक सख्त चेकलिस्ट दी जाए तो वे उन्हें ग्रेड भी कर सकते हैं, लेकिन उनमें अभी भी एक क्लासिक केस और एक नए केस के बीच अंतर करने के लिए "कानूनी अंतर्ज्ञान" (legal intuition) की कमी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।