Do Small Models Use the Law You Give Them? Context-Injected Fine-Tuning for Legal QA in Bangladesh
تُثبت هذه الورقة أن الضبط الدقيق للنماذج اللغوية الصغيرة ثنائية اللغة باستخدام أمثلة قانونية محقونة بالسياق يحسن بشكل كبير قدرتها على التطبيق الصحيح للنصوص التشريعية البنغلاديشية المسترجعة والحفاظ على اتساق اللغة، رغم أن هذه المكاسب تتباين باختلاف حجم النموذج ولا تفيد النماذج الأكبر حجماً بشكل موحد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً تكون فيه الحواسيب مثل طلاب أذكياء للغاية وسريعين جداً، وقد قرأوا كل كتاب تقريباً في المكتبة. يُطلق على هؤلاء الطلاب اسم "نماذج اللغات الكبيرة". إنهم بارعون في الدردشة، وكتابة القصص، وحل الألغاز، لكن لديهم عادة صعبة: أحياناً يختلقون أشياء من خيالهم أو ينسون القواعد المحددة للعبة يلعبونها. في مجال الذكاء الاصطناعي، يحاول الباحثون باستمرار تعليم هؤلاء الطلاب الرقميين كيفية التوقف عن التخمين والبدء في اتباع القواعد بدقة. إحدى الطرق الشائعة لفعل ذلك هي "الاسترجاع"، وهو أمر يشبه تسليم الطالب صفحة محددة من كتاب مدرسي قبيل خوضه اختباراً، على أمل أن يقرأها ويستخدم تلك المعلومات للإجابة بشكل صحيح. ولكن هنا يكمن السؤال الكبير: إذا سلمت طالباً صغيراً وأقل قدرة صفحة الكتاب هذه، فهل سيقرؤها حقاً ويستخدمها، أم أنه سيتجاهلها ويستمر في التخمين؟ هذا هو اللغز الذي يحاول العلماء في بنغلاديش حله، خاصة وأن الأنظمة القانونية هناك تعتمد على قوانين محددة مكتوبة بكل من الإنجليزية والبنجالية، والخطأ في الإجابة يمكن أن يؤدي إلى عواقب وخيمة في الواقع.
قرر الباحثون وراء هذه الدراسة اختبار فكرة ذكية: بدلاً من مجرد الأمل في أن يقرأ الطالب الكتاب عندما يصل إلى الاختبار، ماذا لو دربناه والكتاب مفتوح أمامه منذ البداية؟ لقد أنشأوا مجموعة تدريبية خاصة مكونة من 2,165 سؤالاً وجواباً قانونياً، حيث جاء مع كل سؤال بالضبط القانون اللازم لحله، مكتوباً بجانبه مباشرة. ثم أخذوا نموذجاً برمجياً صغيراً ومفتوح المصدر يسمى Qwen3.5 وأعطوه ثلاثة أحجام مختلفة: نسخة ضئيلة بحجم 0.8 مليار معلمة، ونسخة متوسطة بحجم 2 مليار، ونسخة أكبر قليلاً بحجم 4 مليارات. لقد علموا هذه النماذج باستخدام أسلوبهم "المحقون بالسياق"، حيث كان القانون دائماً جزءاً من الدرس.
بعد التدريب، وضعوا النماذج تحت الاختبار باستخدام أسئلة امتحانات حقيقية من مجلس نقابة المحامين في بنغلاديش، وهي المنظمة التي تختبر المحامين. قدموا للنماذج نفس الأسئلة مرة أخرى، ولكن هذه المرة لم يكتفوا بترك النماذج تخمن فحسب؛ بل حاولوا أيضاً تزويدها بالقوانين ذات الصلة باستخدام طريقتين مختلفتين للبحث (BM25 و FAISS) لمعرفة ما إذا كانت النماذج قادرة بالفعل على استخدام المعلومات المقدمة لها. كانت النتائج مزيجاً من النجاح الكبير والارتباك المفاجئ. بالنسبة لأصغر نموذج (0.8B)، نجح التدريب كأنه سحر. قبل التدريب، لم يصب النموذج إلا عدداً ضئيلاً جداً من الأسئلة عندما تم تزويده بالقوانين، حيث سجل درجتين فقط من أصل 100. بعد التدريب، قفز إلى 34 من أصل 100. كما أصبح النموذج المتوسط (2B) أفضل بشكل ملحوظ، مما أظهر أنه تعلم كيف يقرأ القوانين التي تُعطى له بالفعل.
ومع ذلك، تغيرت القصة بالنسبة للنموذج الأكبر (4B). فبينما تحسن قليلاً في الإجابة باللغة الصحيحة، أصبح في الواقع أسوأ في الإجابة على الأسئلة الإنجليزية عند تزويده بالقوانين، مما يشير إلى أنه بالنسبة لهذا الحجم، ربما يكون التدريب قد تسبب في إرباكه بدلاً من مساعدته. كان هناك فوز هائل آخر للتدريب وهو إصلاح خطأ سخيف: قبل التدريب، عندما كان يُسأل باللغة البنجالية، كانت النماذج غالباً ما تتجاهل اللغة وتجيب بالإنجليزية بنسبة تتراوح بين 44% إلى 53% من الوقت. بعد التدريب، اختفى هذا الخطأ تقريباً، حيث انخفض إلى أقل من 1%. تشير الدراسة إلى أنه بالنسبة للنماذج الأصغر، فإن تعليمهم كيفية استخدام القوانين التي تُعطى لهم يعد تغييراً جذرياً، ولكن بالنسبة للنماذج الأكبر، فالأمر ليس حلاً مضموناً، ومجرد امتلاك المعلومات الصحيحة ليس كافياً إذا لم يعرف النموذج كيفية استخدامها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.