GradeLegal: Automated Grading for German Legal Cases
تتناول هذه الورقة البحثية مشكلة الاختناق في تصحيح الامتحانات القانونية الألمانية من خلال التقييم المنهجي لـ 27 نموذجاً من نماذج اللغات الكبيرة، حيث وجدت أن النماذج الموجهة نحو الاستنتاج، عند دمجها مع حلول نموذجية ومعايير تصحيح، يمكنها محاكاة التصحيح الخبير في القانون العام بفعالية (وإن كان ذلك بدرجة أقل في القانون الجنائي)، وأن استراتيجيات التجميع يمكن أن تعزز الموثوقية بشكل أكبر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك معلم في مدرسة صارمة للغاية، حيث يشبه تصحيح الامتحانات حل لغز معقد. في ألمانيا، يخوض طلاب القانون امتحانات تحريرية (تصل أحياناً إلى 10 أو 30 صفحة مكتوبة بخط اليد!) ويتم تقييمهم على مقياس من 0 إلى 18. الحصول على درجة عالية أمر بالغ الأهمية لمستقبلهم المهني.
المشكلة هي؟ هناك عدد كبير جداً من الطلاب ولا يوجد ما يكفي من المعلمين الخبراء لتصحيحها جميعاً. يستغｒك الأمر أسابيع أو حتى شهوراً للحصول على النتائج، مما يخلق عنق زجاجة هائلاً.
هذه الورقة البحثية، GradeLegal، تطرح سؤالاً بسيطاً: هل يمكن للذكاء الاصطناعي (AI) أن يعمل كمصحح موثوق لهذه الامتحانات القانونية الصعبة في ألمانيا؟
إليك ما وجده الباحثون، مشروحاً عبر تشبيهات من الحياة اليومية:
1. "اللوحة البيضاء" مقابل "كتاب الوصفات"
اختبر الباحثون 27 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي (بعضها مجاني ومفتوح، وبعضها مدفوع وخاص) لمعرفة مدى جودة تصحيحها لإجابات الطلاب. جربوا طرقاً مختلفة لطلب المهمة من الذكاء الاصطناعي:
- نهج "خمن ما أفكر فيه" (غير مرتبط بمهمة محددة): أخبروا الذكاء الاصطناعي ببساطة: "قيم هذا".
- النتيجة: ارتبك الذكاء الاصطناعي. كان الأمر يشبه طلب طهي وجبة من طباخ دون إعطائه وصفة أو مكونات. كانت درجات الذكاء الاصطناعي عشوائية تقريباً، بل كانت أحياناً أسوأ من رمي عملة معدنية.
- نهج "أرني الإجابة" (نموذج الحل): أعطوا الذك master الذكاء الاصطناعي مثالاً مثالياً لما يجب أن يكتبه طالب متفوق.
- النتيجة: أفضل، لكن ليس مثالياً بعد. عرف الذككاء الاصطناعي كيف تبدو الإجابة "الصحيحة"، لكنه لم يعرف بالضبط كيفية خصم النقاط للأخطاء الصغيرة.
- نهج "كتاب القواعد" (الروبيريك/معايير التقييم): أعطوا الذكاء الاصطناعي قائمة مراجعة صارمة (روبيريك) تقول: "إذا ذكر (س)، امنح درجتين. إذا أغفل (ص)، اخصم درجة واحدة".
- النتيجة: كان هذا نقطة تحول. فجأة، فهم الذكاء الاصطناعي كيفية ترجمة الحجج القانونية الفوضوية للطالب إلى رقم محدد.
- نهج "المعلم الخارق" (الروبيريك + نموذج الحل): أعطوا الذكاء الاصطناعي كلاً من المثال المثالي وكتاب القواعد الصارم.
- النتيجة: كان هذا هو الفائز. عندما امتلك الذكاء الاصطناعي كليهما، قام بالتصحيح بشكل يقارب خبير بشري في القانون العام (نوع محدد من القانون).
2. لغز "القانون الجنائي" مقابل "القانون العام"
اختبر الباحثون نوعين من امتحانات القانون:
- القانون العام: كانت هذه الامتحانات تشبه لغزاً منظماً بمسار واضح. أدى الذكاء الاصطناعي فيها بشكل جيد جداً، حيث طابق الخبراء البشر عند تزويده بالأدوات المناسبة.
- القانون الجنائي: كانت هذه الامتحانات تشبه متاهة فوضوية. كانت الأسئلة أكثر انفتاحاً، وكان بإمكان الطلاب عرض قضاياهم بطرق مختلفة ومعقدة.
- النتيجة: واجه الذكاء الاصطناعي صعوبة أكبر هنا. حتى مع أفضل الأدوات، لم يستطع مطابقة الخبراء البشر بسهولة كما فعل في القانون العام. إنه يشبه الفرق بين تصحيح اختبار رياضيات له إجابة واحدة صحيحة (القانون العام) مقابل تصحيح مسابقة كتابة إبداعية حيث توجد العديد من التفسيرات الصحيحة (القانون الجنائي).
3. تأثير "العمل الجماعي" (التجميع - Ensembling)
تساءل الباحثون: ماذا لو لم نستخدم نموذج ذكاء اصطناعي واحد، بل فريقاً منها؟
جربوا دمج آراء ثلاثة نماذج مختلفة من الذكاء الاصطناعي لإنشاء "مصحح خارق".
- التشبيه: تخيل أنك تسأل ثلاثة حكام مختلفين لتقييم لاعبة جمباز ثم تأخذ الدرجة المتوسطة.
- النتيجة: هذا النهج "الجماعي" غالباً ما كان أفضل من أفضل نموذج ذكاء اصطناعي منفرد. لقد قام بتنعيم الأخطاء الغريبة التي قد يرتكبها نموذج واحد. هذا أمر مثير للاهتمام لأن هذا يعني أن مجموعة من نماذج الذكاء الاصطناعي المجانية والمفتوحة المصدر يمكنها أحياناً التغلب على أكثر نماذج الذكاء الاصطناعي تكلفة ومدفوعة الثمن.
4. عامل "الاستنتاج"
اختبروا نماذج "الاستنتاج" (نماذج الذكاء الاصطناعي التي تفكر خطوة بخطوة) مقابل نماذج "غير الاستنتاجية" (التي تتنبأ بالكلمة التالية فقط).
- النتيجة: كانت نماذج "الاستنتاج" أفضل بكثير في فهم المنطق العميق للحجج القانونية. إنه يشبه الفرق بين روبوت يحفظ القاموس فقط وبين محقق يحقق فعلياً في الأدلة.
الخلاصة
تخلص الورقة البحثية إلى أن الذكاء الاصطناعي يمكنه المساعدة في تصحيح امتحانات القانون الألمانية، ولكن فقط إذا عاملته كمساعد مبتدئ، وليس كعصا سحرية.
- يجب أن تمنحه كتاب قواعد واضح (روبيريك) ونموذج إجابة.
- يعمل بشكل أفضل في الامتحانات المنظمة (القانون العام)، ولا يزال يتعلم كيفية التعامل مع التعقيد الفوضوي للقانون الجنائي.
- يُستخدم حالياً كأداة للممارسة والاختبار الذاتي (مساعدة الطلاب على رؤية كيف يمكن أن يكون أداؤهم قبل الامتحان الحقيقي)، بدلاً من اتخاذ قرارات نهائية تغير مجرى حياتهم بشأن درجاتهم.
باختختصار، الذكاء الاصطناعي هو مساعد تدريس قوي، لكنه يحتاج إلى مجموعة واضحة جداً من التعليمات ومشرف بشري ليقوم بأفضل أعماله.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.