BenGER: A Collaborative Web Platform for End-to-End Benchmarking of German Legal Tasks
تقدم الورقة البحثية BenGER، وهي منصة ويب مفتوحة المصدر مصممة لتبسيط وتوحيد عملية التقييم المعياري الشامل للمهام القانونية الألمانية من خلال دمج التعليق التوضيحي التعاوني، والتنفيذ القابل للضبط للنماذج اللغوية الكبيرة، ومقاييس التقييم متعددة الأوجه في بيئة واحدة قابلة لإعادة الإنتاج.
تخيل أنك تحاول تعليم مجموعة من الروبوتات الذكية جداً، ولكن غير الخبيرة (نماذج اللغات الكبيرة)، كيف تصبح محامين. للقيام بذلك، تحتاج إلى إعطائهم اختبارات، وتصحيح إجاباتهم، ومعرفة مدى تقدمهم.
في الوقت الحالي، يشبه القيام بذلك في العالم القانوني محاولة خبز كعكة معقدة باستخدام خمسة مطابخ مختلفة، وثلاث وصفات مكتوبة على مناديل ورقية، وفريق من الطهاة لا يستطيعون التحدث مع بعضهم البعض. شخص ما يجد المكونات (القضايا القانونية)، وآخر يكتب أسئلة الاختبار، وثالث يشغل الروبوتات، ورابع يحاول تصحيح النتائج. الأمر فوضوي، ومربك، ومن الصعب الوثوق بالكعكة النهائية.
BenGER هو الحل لهذه الفوضى في المطبخ. فكر فيه كـ "استوديو طبخ قانوني متكامل" صُمم خصصاً للقانون الألماني (رغم أنه يمكنه العمل لأي قانون آخر).
إليك كيف يعمل، مقسماً إلى أجزاء بسيطة:
1. المشكلة: سير العمل "فرانكنشتاين"
حالياً، يعيش الخبراء القانونيون (الطهاة) وعلماء الكمبيوتر (المهندسون) في جزر منعزلة.
الخبير القانوني: لديه المعرفة، ولكنه قد لا يعرف كيفية البرمجة.
المهندس: يعرف كيفية البرمجة، ولكنه لا يفهم تفاصيل قضية محكمة ألمانية.
النتيجة: يتبادلون الملاحظات ذهاباً وإياباً، مما يؤدي لفقدان البيانات، وتصبح نتائج الاختبارات النهائية صعبة التكرار أو التحقق منها. الأمر يشبه محاولة بناء منزل حيث يستخدم المهندس المعماري، والسباك، والكهربائي مخططات مختلفة.
2. الحل: BenGER (الاستوديو الموحد)
BenGER هو موقع إلكتروني واحد حيث يمكن للجميع العمل معاً في نفس الغرفة. إنه يتولى العملية بأكملها من البداية إلى النهاية:
تصميم الاختبار: يمكن للخبراء القانونيين كتابة أسئلة الاختبار وتقديم الإجابات "الصحيحة" مباشرة على الشاشة. لا حاجة للبرمجة.
الفريق البشري: يمكن لأشخاص حقيقيين (المُدققين) تسجيل الدخول والمساعدة في حل هذه المشكلات معاً، تماماً مثل مجموعة دراسية.
فريق الروبوتات: يقوم النظام تلقائياً بإرسال هذه الأسئلة إلى نماذج ذكاء اصطناي مختلفة (الروبوتات) لمعرفة كيفية إجابتها.
التصحيح: بدلاً من أن يقوم إنسان بمراجعة كل ورقة يدوياً، يستخدم BenGER صندوق أدوات من "المصححين". بعضهم يتحقق مما إذا كانت الكلمات متطابقة، وبعضهم يتحقق مما إذا كان المعنى صحيحاً، وبعضهم يعمل حتى كـ "قاضٍ آلي" لإعطاء درجة.
3. ميزات خاصة (الخلطة السرية)
الغرف الخاصة (عزل المستأجرين): تخيل مبنى مكتبياً كبيراً حيث تعمل شركات محاماة مختلفة على نفس المشروع. يضع BenGER كل شركة في غرفة معزولة صوتياً ومغلقة. لا يمكن للشركة (أ) رؤية وثائق الشركة (ب) السرية، لكن يمكنهم جميعاً استخدام نفس الأدوات.
وضع "المعلم": قبل أن يخوض الروبوتات الاختبار، يمكن للبشر الحصول على تلميحات. يمكن للنظام أن يعمل كمعلم ودود (Repetitor، وهو شخصية شائعة في التعليم القانوني الألماني)، قائلاً: "مهلاً، لقد فاتتك هذه الخطوة في استنتاجك"، لمساعدتهم على التعلم دون كشف الإجابة.
كسر "الصندوق الأسود": عادةً عندما يجري الباحثون هذه الاختبارات، يكون الكود مخفياً في ملفات كمبيوتر فوضوية لا يفهمها إلا شخص واحد. يحفظ BenGER كل شيء كـ "بطاقة وصفة" واضحة وقابلة لإعادة الاستخدام. إذا أردت تكرار التجربة في العام المقبل، فما عليك سوى سحب البطاقة، وستعمل بنفس الطريقة تماماً.
4. لماذا هذا مهم؟
لغير التقنيين: يمكن للمحامي الذي لا يعرف شيئاً عن الكمبيوتر الآن إجراء تجربة ضخمة لمعرفة مدى جودة الذكاء الاصطنا- في القانون. لا يحتاجون لتوظيف فريق من المهندسين.
للثقة: لأن العملية بأكملها مسجلة وشفافة، يمكننا الوثوق بالنتائج أكثر. نحن نعرف بالضبط كيف تم بناء الاختبار وكيف تم تصحيح الروبوتات.
للتعاون: يمكن للجامعات، والوكالات الحكومية، والمنظمات غير الربحية العمل معاً دون القلق بشأن تسريب بيانات قانونية حساسة.
الخلاصة
BenGER يشبه تحويل موقع بناء فوضوي ومشتت إلى مصنع حديث وأنيق. إنه يتيح للخبراء القانونيين الإمساك بزمام الأمور، مما يضمن أنه عندما نختبر الذكاء الاصطناعي في القانون، تكون النتائج عادلة، واضحة، ومفيدة حقاً لمستقبل العدالة.
يعاني تقييم النماذج اللغوية الكبيرة (LLMs) في مجال الاستدلال القانوني حالياً من تشتت سير العمل. ففي مشاريع الذكاء الاصطناعي القانوني الحالية، ولا سيما في الولايات القضائية مثل ألمانيا حيث تندر الخبرات القانونية عالية الجودة، تنقسم عملية التقييم المعياري عبر أدوات وبرمجيات منفصلة:
التشتت: يتم التعامل مع تصميم المهام، والتدوين من قبل الخبراء، وتنفيذ النماذج، والتقييم في بيئات منفصلة (على سبيل المثال: أدوات تدوين منفصلة، برمجيات نصية مخصصة لتشغيل النماذج، وأكواد تقييم مخصصة).
عوائق الدخول: يخلق هذا التشتت عمليات تسليم غير ضرورية بين المهام، ويقلل من الإشراف الخبير، ويجعل التعاون صعباً على الخبراء القانونيين غير التقنيين.
مشكلات القابلية لإعادة الإنتاج: غالباً ما يتم إعادة تنفيذ كود التقييم لكل دراسة، مما يجعل من الصعب إعادة إنتاج النتائج أو مقارنة النماذج عبر المنظمات المختلفة (الجامعات، المنظمات غير الحكومية، المؤسسات العامة).
نقص التكامل: تركز الأدوات الموجودة إما فقط على التدوين (مثل LabelStudio وDeepWrite) أو على تقييم النماذج، لكنها تفتقر إلى سير عمل موحد ومدرك للأدوار يسمح لخبراء المجال بإدارة المسار بأكره دون الحاجة لكتابة برمجيات نصية (scripting).
2. المنهجية وهندسة النظام
يقدم المؤلفون BenGER (Benchmark for German Law)، وهو منصة ويب مفتوحة المصدر وجاهزة للإنتاج، صُممت لتوحيد دورة حياة التقييم المعياري القانوني بالكامل.
البنية التحتية: Redis وCelery workers لتنفيذ مهام تشغيل النماذج والتقييم في الخلفية بشكل قابل للتوسع. النظام يعمل بالكامل بنظام الحاويات (Docker Compose/Kubernetes).
سير العمل الأساسي:
إنشاء المهام: يقوم الخبراء القانونيون بتحديد المهام والإشارة إلى الحلول مباشرة داخل المنصة.
التدوين التعاوني: يقوم المدونون البشريون بتقديم الحلول عبر واجهة ويب.
التغذية الراجعة التكوينية (اختياري): يمكن للمدونين تلقي تغذية راجعة قائمة على النماذج اللغوية الكبيرة تقارن إجاباتهم بالحلول المرجعية لتوجيه التعلم (محاكاة لنموذج "Repetitor" التعليمي الألماني).
تنفيذ النموذج: تسمح مفاتيح واجهة برمجة التطبيقات (API keys) القابلة للتهيئة بتنفيذ نماذج لغوية مختارة على المهام.
التقييم: يتم تقييم النتال باستخدام مجموعة شاملة من المقاييس: المعجمية، والدلالية، والواقعية، والتصنيفية، و"النموذج اللغوي كحَكَم" (LLM-as-a-judge).
التحليل والتصدير: يتم تحليل النتائج داخل المنصة أو تصديرها للنشر.
الأمن والحوكمة:
عزل المستأجرين (Tenant Isolation): يتم عزل البيانات على مستوى طبقة البيانات للمؤسسات المختلفة.
التحكم في الوصول القائم على الأدوار (RBAC): أذونات دقيقة للمسؤولين، والمساهمين، والمدونين.
إدارة مفاتيح واجهة برمجة التطبيقات (API Key Management): يدعم مفاتيح لكل مستخدم أو لكل مشروع لتقليل الإدارة المركزية للاعتمادات وتماشياً مع السياسات المؤسسية.
الإشراف البشري: تم تصميم التغذية الراجعة للنماذج اللغوية لتكون داعمة/تعليمية وليست سلطوية؛ حيث يمكن للمشاريع تعطيل هذه الميزة لضمان بقاء الإشراف الخبير هو الآلية الأساسية لضمان الجودة.
3. المساهمات الرئيسية
منصة موحدة وشاملة: يعد BenGER أول نظام يدمج تعريف المهام، والتدوين التعاوني، وتنفيذ النماذج القابل للتهيئة، والتقييم متعدد المقاييس في سير عمل واحد يعتمد على المتصفح ومتاح للخبراء القانونيين غير التقنيين.
دعم تعدد المؤسسات: يقدم عزلاً قوياً للمستأجرين وصلاحيات قائمة على الأدوار، مما يتيح التعاون الآمن بين الجامعات والمؤسسات العامة والمنظمات غير الحكومية دون خطر تسرب البيانات.
وثائق تقييم معيارية: تقوم المنصة بتحويل تكوينات التقييم (تعريف المهام، الحلول المرجعية، تكوينات النماذج، المقاييس) إلى وثائق صريحة وقابلة للمشاركة والتدقيق، مما يحسن القابلية لإعادة الإنتاج بشكل كبير مقارنة بالبرمجيات النصية العشوائية.
آلية التغذية الراجعة التكوينية: يقدم حلقة تغذية راجعة اختيارية قائمة على المراجع للمدونين، مما يعزز جودة الخطوط المرجعية البشرية ويوفر قيمة تعليمية، وهي ميزة نادراً ما توجد في أدوات التدوين العامة.
مفتوح المصدر وقابل للتوسع: النظام مفتوح المصدر، مما يسمح بالإضافة التدريجية لمهام جديدة، ومزودي نماذج، وطرق تسجيل جديدة دون إعادة كتابة المسار الأساسي.
4. النتائج والعرض التوضيحي
النشر الحي: تصف الورقة عملية نشر حية لـ BenGER (المتاح عبر what-a-benger.net) توضح عملية الإنشاء الكاملة والتحليل لمعيار قانوني ألماني.
التحقق من سير العمل: نجح النظام في إثبات القدرة على التعامل مع مهام تتراوح بين الاستدلال بالنصوص الحرة، والأسئلة متعددة الخيارات، وتحديد النطاقات (span annotation).
تكامل المقاييس: نفذت المنصة بنجاح عمليات التقييم باستخدام مجموعة واسعة من المقاييس (المعجمية، الدلالية، الواقعية، إلخ) ومنهجيات "النموذج اللغوي كحَكَم"، مما أثبت قدرتها على التعامل مع تقييمات الاستدلال القانوني المعقدة.
إمكانية الاعتماد: تدعم البنية التحتية التنفيذ في الخلفية القابل للتوسع، مما يثبت قدرتها على التعامل مع عمليات التشغيل الجماعي لنماذج لغوية كبيرة متنوعة تتطلبها عمليات التقييم واسعة النطاق.
5. الأهمية والأثر
دمقرطة أبحاث الذكاء الاصطناعي القانوني: من خلال إزالة الحاجة إلى كتابة البرمجيات النصية وإدارة البنية التحتية التقنية، يمكّن BenGER الخبراء القانونيين من قيادة مبادرات التقييم المعياري، مما يضمن بقاء تعريف المهام وضمان الجودة في يد خبراء الموضوع.
تعزيز القابلية لإعادة الإنتاج: من خلال التعامل مع المهام والنماذج والمقاييس كوثائق صريحة وقابلة للمشاركة، يعالج BenGER "أزمة القابلية لإعادة الإنتاج" في الذكاء الاصطناعي القانوني، مما يسمح بتدقيق النتائج وإعادة تشغيلها من قبل مجموعات مختلفة وفي أوقات مختلفة.
القابلية للتوسع للمؤسسات العامة: تخفض المنصة الحواجز أمام المؤسسات العامة والمنظمات غير الحكومية التي تفتقر إلى القدرة الهندسية، مما يسمح لها بالمساهمة في مجموعات البيانات القانونية وتحليل أداء النماذج بشكل آمن.
أساس لأبحاث المستقبل: يوفر BenGER أساساً قابلاً للتوسع والتوسع لمبادرات التقييم المعياري طويلة الأمد، مما يسهل إجراء أبحاث أكثر موثوقية وقابلية للتوسع حول قدرات النماذج اللغوية الكبيرة ضمن المجال القانوني.
في الختام، يمثل BenGER تحولاً كبيراً من التقييم المجزأ والمعتمد على البرمجيات النصية للذكاء الاصطناعي القانوني نحو نظام بيئي تعاوني، شفاف، ومدفوع بالخبرة، مصمم خصيصاً للمتطلبات الصارمة للقانون الألماني ولكن مع إمكانية تطبيقه عالمياً.