ArguLens: An Open-Source System for Automated Essay Scoring and Label-Aware Feedback Generation
تقدم هذه الورقة نظام ArguLens، وهو نظام مفتوح المصدر وقابل للنشر محلياً يعالج أوجه القصور في أدوات تصحيح المقالات الآلية الحالية من خلال تفكيك العملية إلى مصنف للحركات الخطابية، ومُقيّم قائم على الميزات، ومولد تعليقات مدرك للتصنيفات، محققاً أداءً قوياً على مجموعة بيانات PERSUADE 2.0 مع ضمان خصوصية البيانات وقابلية التفسير.
في همهمة هادئة داخل فصل دراسي، يقرأ معلم مقالاً جدلياً لأحد الطلاب، موازناً الجمل من حيث الوضوح والمنطق والقوة. لعقود من الزمن، حاولت الحواسيب محاكاة هذا الحكم البشري، وهو مجال يُعرف باسم التصحيح الآلي للمقالات. اعتمدت المحاولات المبكرة على حسابات بسيطة للكلمات أو طول الجمل، بينما تستخدم النسخ الحديثة شبكات عصبية معقدة تعمل كصناديق سوداء، تقدم درجة ولكنها نادراً ما تشرح السبب. وهذا يخلق معضلة: فالأنظمة التي تتسم بالدقة غالباً ما تفتقر إلى الشفافية، بينما الأنظمة الواضحة غالباً ما تفتقر إلى الدقة. علاوة على على ذلك، فإن أقوى الأدوات اليوم تتطلب عادةً إرسال كتابات الطلاب إلى خوادم شركات بعيدة، مما يثير مخاوف بشأن الخصوصية والتكلفة. لقد كان الهدف للباحثين لفترة طويلة هو بناء نظام يكون ذكياً بما يكفي لتصحيح المقالات بدقة، ومنفتحاً بما يكفي لإظهار طريقة عمله، كل ذلك مع الحفاظ على أمان البيانات داخل حواسيب المدرسة نفسها.
لقد عالج فريق من الباحثين في جامعة فودان هذا التحدي بابتكار "ArguLens"، وهو نظام جديد مفتوح المصدر مصمم ليتم تثبيته محلياً، مما يبقي مقالات الطلاب بعيداً عن الإنترنت. وبدلاً من محاولة تخمين الدرجة في قفزة واحدة ضخمة، يقسم النظام المهمة إلى ثلاث خطوات متميزة وسهلة الإدارة. أولاً، يعمل النظام كـ "محقق بلاغي"، حيث يقرأ المقال جملة بجملة لتحديد وظيفة كل جزء. إنه يبحث عن تحركات محددة في الحجة، مثل الادعاء، أو دليل، أو حجة مضادة، أو تفنيد. وللقيام بذلك، يستخدم نسخة متخصصة من نموذج لغوي كبير تم تدريبه على التعرف على هذه الأنماط دون الحاجة إلى إعادة كتابة المقال بأكدله. وبمجرد أن يفهم النظام هيكل الحجة، ينتقل إلى الخطوة الثانية: التصحيح. هنا، لا يعتمد على النموذج اللغوي الثقيل؛ بل يقوم بحساب واحد وثلاثين سمة محددة، مثل تنوع المفردات المستخدمة، وتعقيد تراكيب الجمل، وتكرار التحركات الجدلية التي حددها للتو. تُغذى هذه الأرقام في محرك تصحيح خفيف الوزن وعالي الكفاءة يحسب الدرجة النهائية. الخطوة الثالثة هي توليد الملاحظات؛ فباستاستخدام الدرجات والتحركات الحجاجية المحددة، يكتب النظام تقريراً منظماً للطالب، يشير فيه إلى نقاط القوة ويقترح تحسينات محددة، مع ضمان أن تكون النصائح بناءة ومستندة إلى النص الفعلي.
اختبر الباحثون هذا النظام على مجموعة كبيرة من المقالات الجدلية لطلاب المدارس المتوسطة، وهي مجموعة بيانات تحتوي على آلاف الأمثلة التي كتبها طلاب في جميع أنحاء الولايات المتحدة. ووجدوا أن قدرة النظام على تحديد الأجزاء المختلفة للحجة كانت قوية للغاية، حيث نجح في تسمية وظيفة الجمل بشكل صحيح في أكثر من اثنين وثمانين بالمائة من الحالات. وبينما خلط أحياناً بين الادعاء الرئيسي والدليل الداعم له — وهو صعوبة شائعة حتى بالنسبة للبشر — فقد نجح في التمييز بين أنواع الحجج المختلفة في معظم الأوقات. وعندما تعلق الأمر بتعيين الدرجة النهائية، أظهر النظام مستوى من الاتفاق مع المعلمين البشر يُعتبر عالياً جداً في هذا المجال. واكتشف الباحثون أن تضمين المعلومات الهيكلية حول التحركات الحجاجية حسن دقة الدرجة النهائية بشكل ملحوظ. فعندما اختبروا النظام بدون هذه المعرفة الهيكلية، مع الاعتماد فقط على المفردات وأنماط الجمل، انخفضت الدقة بشكل ملحوظ. وهذا يشير إلى أن فهم كيفية بناء الحجة لا يقل أهمية عن معرفة ما هي الكلمات المستخدمة.
إن أحد أهم جوانب هذا العمل ليس مجرد الأرقام، بل التصميم. فالنظام مبني ليكون شفافاً وقابلاً للتكرار. كل مكون، بدءاً من الكود الذي يستخرج السمات وصولاً إلى الإعدادات المحددة المستخدمة لتدريب النماذج، متاح لأي شخص لفحصه. لقد كان الباحثون حذرين في التمييز بين ما يمكن للنظام فعله بالمعلومات المثالية وما يمكنه فعله في العالم الحقيقي. فقد أظهروا أنه إذا عرف النظام هيكل الحجة الدقيق مسبقاً، فيمكنه التصحيح بدقة عالية، لكنهم أقروا أيضاً بأنه في الفصل الدراسي الحقيقي، يجب على النظام التنبؤ بهذا الهيكل بنفسه. وقد قاسوا المدة التي تستغرقها كل خطوة على أجهزة كمبيوتر قياسية، ووجدوا أن خطوة التصحيح كانت فورية تقريباً، بينما استغرق تحليل هيكل الحجة ما يزيد قليلاً عن ثانية واحدة للمقال النموذجي. أما خطوة توليد الملاحظات، التي تنتج التعليقات المكتوبة، فقد صُممت لتكون مرنة، بحيث يمكن تشغيلها على خوادم محلية أو الاتصال بخدمات خارجية إذا لزم الأمر، رغم أن السرعة المحددة لهذه الخطوة الأخيرة لم تُقس في هذا الإصدار الأولي.
إن الفريق واضح بشأن حدود ابتكاره. فقد تم تدريب النظام حصرياً على مقالات كتبها طلاب المدارس المتوسطة والثانوية الأمريكيون، ويحذر الباحثون من عدم استخدامه لتصحيح أنواع أخرى من الكتابة، مثل القصص الإبداعية أو التقارير العلمية، دون مزيد من التدريب. كما أشاروا أيضاً إلى أن النظام لم يُختبر بعد على المسودات الجزئية، بل فقط على المقالات المكتملة، وهو أمر مهم إذا أراد المعلم استخدامه للتوجيه المستمر أثناء عملية الكتابة. وربما الأهم من ذلك، يؤكد الباحثون أنه بينما يتسم النظام بالدقة، فإنه ليس بديلاً عن الحكم البشري في المواقف عالية المخاطر. إنه مُعد ليكون أداة لمساعدة المعلمين، حيث يقدم رأياً ثانياً وتحليلات مفصلة يمكن أن تساعد الطلاب على فهم كتابتهم. ومن خلال جعل النظام بأكمله مفتوحاً ومجانياً للاستخدام، يأمل الباحثون في تشجيع التربويين والعلماء الآخرين على البناء على عملهم، واختباره في سياقات ولغات مختلفة، وفي النهاية تحسين الملاحظات التي يقدمها لضمان مساعدته لكل متعلم على التحسن.
ملخص تقني: ArguLens
بيان المشكلة تواجه أنظمة تصحيح المقالات الآلية (AES) الحالية توتراً جوهرياً بين القابلية للتفسير والأداء. توفر الطرق التقليدية القائمة على الميزات الشفافية ولكنها تفتقر إلى الدقة، بينما تحسن أساليب التعلم العميق والنماذج اللغوية الكبيرة (LLMs) الدقة على حساب الغموض (العتامة). علاوة على ذلك، فإن الاعتماد على واجهات برمجة التطبيقات (APIs) المغلقة للنماذج اللغوية الكبيرة يفرض عوائق كبيرة تتعلق بخصوصية البيانات، والتكلفة، والنشر المحلي. عادةً ما تخرج الأنظمة الحالية درجة واحدة شاملة دون تقديم أدلة لغوية أو بلاغية قابلة للتفسير، ونادراً ما توفر تغذية راجعة دقيقة ومرتبطة بالسمات لمساعدة المتعلمين في عملية المراجعة.
المنهجية ArguLens هو نظام مفتوح المص المصدر، قابل للنشر محلياً، صُمم لتفكيك تصحيح المقالات الآلي إلى ثلاثة مكونات منفصلة، يتم تنسيقها عبر واجهة مستخدم رسومية من نوع Gradio. يتجنب النظام نهج "الصندوق الأسود" الشامل في التصحيح لصالح مسار عمل معياري:
البنية: مصنف على مستوى الجملة بـ 4 فئات (يتنبأ بـ: الادعاء، البيانات، الادعاء المضاد، التفنيد) يعتمد على نموذج Qwen2.5-7B-Instruct.
التدريب: تم ضبط النموذج بدقة باستخدام تقنية LoRA (الرتبة r=32، α=64) على مجموعة بيانات PERSUADE 2.0. تم موازنة مجموعة التدريب عبر إعادة أخذ العينات لتصل إلى 25,000 جملة لكل فئة.
الاستدلال: يستخدم مسبار لوجيت (logit probe) تمييزي بدلاً من توليد النص الحر. يقوم برسم خرائط للأكواد المحددة للنظام (A, B, C, D) على أنواع الحركات الأربعة، ويستخرج قيم اللوجيت من آخر موضع غير حشوي (non-padding) لتحديد التسمية ومستوى الثقة.
الخلفيات البرمجية (Backends): يدعم خلفيات Hug hộp Hugging Face (transformers/peft) و vLLM (مع التوازي التنسوري).
مصحح LightGBM المستقل عن الدرجة:
الميزات: يبني متجهاً مكوناً من 31 ميزة تشمل:
المعجمية (16): مقاييس TAALED (التنوع المعجمي، عدد الكلمات، الكلمات الأكاديمية الشائعة AWL، إلخ).
الخطابية (7): مشتقة من مخرجات المصنف (مثل تعداد حركات معينة، وجود الادعاء المضاد والتفنيد).
النموذج: مصنف متعدد الفئات من نوع LightGBM مدرب على ست فئات ترتيبية (الدرجات 1–6).
البروتوكول: يستخدم التقييم المبلغ عنه بروتوكول "الأوراكل" (oracle) حيث يتم اختبار المصحح باستخدام تسميات خطابية "ذهبية" (gold) من مجموعة PERSUADE 2.0 لعزل قيمة الميزات الخطابية. في بيئة الإنتاج، يتم ملء هذه الحقول بتنبؤات المصنف.
تصميم العدالة: يتم حساب الميزات دون معلومات درجات المتعلم لمنع التسرب المباشر للهدف، رغم أن المؤلفين يشيرون إلى أن هذا لا يضمن العدالة ضد الارتباطات الديموغرافية.
البنية: يتم تشغيله عبر Qwen2.5-14B-Instruct (باستخدام vLLM أو واجهات برمجة تطبيقات متوافقة مع OpenAI).
الهندسة التحفيزية (Prompting): يستقبل نص المقال، والدرجة المتوقعة، وأعلام الثقة، ومجموعة مختارة من 14 ميزة مرتبطة بنطاقات "منخفض/متوسط/عالي" بناءً على الثلاثيات (tertiles) على مستوى المجموعة.
المخرجات: يولد تغذية راجعة مهيكلة في خمسة أقسام ثابتة: التقييم العام، البعد المعجمي، البعد النحوي، بعد الخطابة/الجدل، والتحسينات القابلة للتنفيذ. يفرض قيوداً مثل اقتباس نصوص حقيقية والتوصية بالمراجعة البشرية في حالات انخفاض الثقة.
المساهمات الرئيسية
بنية معيارية: مسار عمل مفكك يفصل بين تصنيف الخطاب، والتصحيح القائم على الميزات، وتوليد التغذية الراجعة، مما يسمح بالتطوير المستقل واستبدال المكونات.
النشر المحلي: النظام مفتوح المصدر بالكامل (رخصة Apache 2.0)، ويدعم الاستدلال المحلي عبر vLLM مع التوازي التنسوري والعودة إلى نماذج الكمية (quantization) بـ 4-بت، مما يلغي الاعتماد على واجهات برمجة التطبيقات التجارية المغلقة.
قابلية التكرار: تتضمن النسخة المصدرة نموذج المصحح، وإعدادات تكيف LoRA، واستراتيجية توزيع الأصول التي يتم التحقق منها عبر مجموع التحقق (checksum). يتميز النظام بأولوية تكوين صارمة (متغيرات البيئة > config.yaml > القيم الافتراضية) ومجموعة اختبار غير متصلة بالإنترنت (22/22 اختباراً ناجحة).
التقييم التشخيصي: تقدم الورقة تقييماً على مستوى المكون بدلاً من مقياس واحد شامل، مع التمييز بوضوح بين أداء المصنف والقيمة الإضافية للميزات الخطابية في المصحح.
النتائج
مصنف الحركات الخطابية: على تقسيم اختبار PERSUDA 2.0 المنفصل عن المقالات (12,000 جملة)، حقق المصنف القائم على مسبار اللوجيت دقة بلغت 82.58% و F1-macro قدره 0.727. حققت فئة البيانات أفضل أداء (F1 0.862)، بينما أظهرت فئتا الادعاء المضاد و التفنيد دقة أقل (0.501 و 0.533 على التوالي) ولكن استدعاءً أعلى. شكل الخلط بين الادعاء و البيانات 73% من الأخطاء.
مصحح LightGBM: تحت بروتوكول التحقق المتقاطع خماسي الطيات المجموع حسب المطالبات (prompt-grouped 5-fold CV) باستخدام التسميات الخطابية الذهبية، حقق نموذج الـ 31 ميزة كاملة متوسط كابا المربعة الموزونة (QWK) قدره 0.813 (انحراف معياري 0.048) و 62.73% دقة.
دراسة الاستئصال (Ablation Study): أدى إضافة الميزات الخطابية الذهبية إلى تكوين الميزات المعجمية والنحوية إلى زيادة ذات دلالة إحصائية قدرها +0.055 QWK (اختبار t للعينات المرتبطة، p=0.010). يُعرض هذا كتشخيص لقيمة الميزة، وليس ضماناً للأداء النهائي في المسار الكامل باستخدام التسميات المتوقعة.
زمن الاستجابة (Latency): يعالج المصنف مقالاً مكوناً من 21 جملة في حوالي 1.3 ثانية (خلفية HF، بتنسيق BF16) على بطاقة RTX 5000 Ada. يعمل المصحح القائم على المعالج المركزي (CPU) بزمن استجابة أقل من 10 مللي ثانية. لم يتم قياس زمن استجونة خلفية التغذية الراجعة في هذا الإصدار.
الأهمية والقيود تضع الورقة ArguLens كخطوة نحو تصحيح مقالات آلي شفاف، متاح، وقابل للنشر محلياً. تكمن أهميته في إثبات أن النهج المعياري يمكن أن يحقق مقاييس تصحيح تنافسية (QWK 0.813) مع توفير أدلة قابلة للتفسير وتغذية راجعة مهيكلة دون الحاجة إلى واجهات برمجة تطبيقات مغلقة.
يحافظ المؤلفون على موقف متواضع بشأن ادعاءاتهم:
إن التحسن المذكور في QWK الناتج عن الميزات الخطابية هو تقييم مكون "أوراكل"، وليس ادعاءً بشأن أداء الميزات المتوقعة من المصنف في مسار العمل الكامل.
تم تدريب النظام حصرياً على مقالات جدلية لطلاب المرحلة المتوسطة في الولايات المتحدة؛ لذا لا يُتوقع تعميمه على الأنواع الأدبية الأخرى، أو الفئات العمرية، أو اللغات دون ضبط دقيق خاص بالمجال.
العدالة ليست مدعاة؛ فالنظام لا يقدم مقاييس للفئات الفرعية، ويذكر المؤلفون صراحة أن العمل المستقبلي يجب أن يقيم التحيزات الديموغرافية قبل النشر التعليمي.
جودة التغذية الراجعة محددة ببروتوكول مهيكل (الصلة، القابلية للتنفيذ، النبرة)، لكن دراسات المقيمين البشريين تُركت صراحة للعمل المستقبلي.
النظام مخصص للأبحاث والاستخدام الدراسي المساعد، وليس لاتخاذ القرارات عالية المخاطر.