💬 NLP
LP-Eval: Rubric and Dataset for Measuring the Quality of Legal Proposition Generation
यह शोध पत्र LP-Eval प्रस्तुत करता है, जो यूरोपीय संघ के न्यायालयों के निर्णयों से उत्पन्न एलएलएम (LLM) द्वारा निर्मित कानूनी प्रस्तावों की गुणवत्ता का मूल्यांकन करने के लिए कानूनी विशेषज्ञों के साथ मिलकर तैयार किया गया एक रूब्रिक और डेटासेट है, जो यह प्रकट करता है कि हालांकि मॉडल सामान्य रूप से उच्च गुणवत्ता वाले आउटपुट उत्पन्न करते हैं, उनका प्रदर्शन मामले की आयु के अनुसार भिन्न होता है और रूब्रिक-निर्देशित एलएलएम मूल्यांकनकर्ता, प्रत्यक्ष स्कोरिंग की तुलना में बेहतर होने के बावजूद, अभी भी मानव विशेषज्ञों की सूक्ष्म संवेदनशीलता की कमी रखते हैं।