LP-Eval: Rubric and Dataset for Measuring the Quality of Legal Proposition Generation
تقدم هذه الورقة LP-Eval، وهو معيار تقييم ومجموعة بيانات صُمما معاً بالتعاون مع خبراء قانونيين لتقييم جودة المقترحات القانونية التي تولدها النماذج اللغوية الكبيرة من قرارات محكمة الاتحاد الأوروبي، مما يكشف أنه بينما تنتج النماذج مخرجات عالية الجودة بشكل عام، إلا أن أداءها يتفاوت باختلاف عمر القضية، وأن المقيمين من النماذج اللغوية الكبيرة الموجهين بمعايير التقييم، رغم كونهم أفضل من التقييم المباشر، لا يزالون يفتقرون إلى الحساسية الدقيقة التي يتمتع بها الخبراء البشريون.