A Controlled Synthetic Benchmark for Educational Aspect-Based Sentiment Analysis

ملخص تقني: معيار اصطناعي محكم لتحليل المشاعر القائم على الجوانب في المجال التعليمي

بيان المشكلة
يوفر تحليل المشاعر القائم على الجوانب (ABSA) في المجال التعليمي مساراً لتحويل ملاحظات الطلاب الخام إلى رؤى قابلة للتنفيذ فيما يتعلق بتصميم المساقات، ووضوح التدريس، وبيئات التعلم. ومع ذلك، فإن تطوير نماذج ABSA قوية يعوقه بشدة ندرة مجموعات البيانات العامة المصنفة حسب الجوانب. فملاحظات الطلاب الحقيقية غالباً ما تكون خاصة، ومقتصرة على مؤسسات معينة، وتتطلب تكلفة عالية للترميز بسبب تعقيد تحديد الجوانب الضمنية، والمشاعر المختلطة، والمصطلحات التربوية المتخصصة. كما أن موارد تنقيب النصوص التعليمية الحالية غالباً ما تكون صغيرة جداً، أو غير متجانسة، أو مقتصرة على إشارات رضا عامة بدلاً من الأبعاد التربوية دقيقة التفاصيل.

المنهجية
تعالج هذه الدراسة ندرة البيانات من خلال تقديم خط إنتاج لتوليد بيانات اصطناعية محكومة مقترن بإطار تقييم معياري صارم.

1. بروتوكول توليد البيانات الاصطناعية:

   • المخطط (Schema): بُنيت المتون (Corpus) على مخطط تربوي يتكون من 20 جانباً، مصنفة إلى خمس مجموعات: جودة التدريس، والتقييم وإدارة المساق، ومتطلبات التعلم والجاهزية، وبيئة التعلم، والتفاعل والقيمة.
   • الفصل المحكوم: تعمل عملية التوليد على فصل أهداف الإشراف (1-3 أزواج من الجانب-المشاعر من مخزن الـ 20 جانباً) عن سمات الدقة (المتغيرات السياقية مثل مستوى المساق، وخلفية الطالب، وأسلوب الكتابة، وضوابط الواقعية).
   • هندسة الأوامر (Prompt Engineering): تدمج تعليمات "الواقعية المقيدة" هذه الأهداف والسمات المستخلصة. وقد تم تحسين الأمر عبر إجراء "القاضي-المحرر" المكون من ثلاث دورات، حيث يحاول قاضٍ بشري التمييز بين المراجعات الاصطناعية ومراجعات OMSCS العامة الحقيقية. تُستخدم الإشارات الاصطناعية المكتشفة (مثل المقايضات المتوازنة بشكل مفرط، أو تغطية قوائم التحقق) لتثبيت الأمر بشكل تكراري.
   • بناء المتن: تتكون مجموعة البيانات النهائية من 10,000 مراجعة مساق اصطناعية مع تقسيمات صريحة للتدريب/التحقق/الاختبار (8,000/1,000/1,000). يستخدم التوليد قالباً ثابتاً مع تغيير لكل صف لضمان التنوع في سياقات المساقات والأساليب البلاغية مع الحفاظ على دقة التسمية.

2. خط أنابيب تقييم المعيار المرجعي:

   • صياغة المهمة: تُعرف المهمة الأساسية كمسألة ABSA ذات خطوتين: (1) الكشف عن الجوانب متعددة الملصقات و(2) التنبؤ بالمشاعر للجوانب المكتشفة.
   • عائلات النماذج: يقيم المعيار عدة مقاربات تحت تقسيم مشترك وصارم:
     • النماذج المرجعية الكلاسيكية: تقنية TF-IDF مع كشف ثنائي الخطوات وانحدار المشاعر.
     • المشفرات المحولة (Transformer Encoders): نماذج ثنائية الخطوات (الكشف + المشاعر) ونماذج التنبؤ المشترك باستخدام BERT وDistilBERT وALBERT وRoBERTa.
     • الاستدلال القائم على GPT: الاستدلال بنمط "الصفر محاولة" (Zero-shot) و"المحاولات القليلة" (Few-shot) (ثابت، متنوع، وقائم على الاسترجاع) باستخدام GPT-5.2، ويتم التقييم عبر الاستدلال بالدفعات (Batch inference) دون ضبط دقيق (Fine-tuning).
   • المقاييس: يركز التقييم على micro-F1 لكشف الجوانب، وخطأ متوسط المربعات (MSE) للمشاعر على الجوانب المكتشفة، بالإضافة إلى تشخيصات تكميلية مثل الدقة المتوازنة ومعامل ارتباط ماتيوس لمراعاة ندرة الملصقات.

3. استراتيجيات التحقق:

   • التحقق من الواقعية: حلقة "القاضي-المحرر" باستخدام 32 مراجعة حقيقية من OMSCS لتقييم وتقليل قابلية الكشف عن المحتوى الاصطناعي.
   • النقل الخارجي: تقييم محافظ على مجموعة بيانات Herath المكونة من 2,829 مراجعة لآراء الطلاب، والمقتصر على 9 جوانب متداخلة مع المخطط الاصطناعي لاختبار النقل من الاصطناعي إلى الحقيقي.
   • تدقيق الأمانة (Faithfulness Audit): تدقيق بمساعدة النموذج (باستخدام GPT-5.2) للتحقق مما إذا كانت مشاعر الجوانب المعلنة مدعومة بشكل مرئي في النص المولد.

المساهمات الرئيسية

• مورد معياري تعليمي: متن اصطناعي مكون من 10,000 مراجعة مع مخطط تربوي من 20 جانباً، وهو أغنى بكثير من موارد تحليل المشاعر التعليمية العامة المعتادة.
• تصميم توليد محكوم: منهجية تفصل أهداف الإشراف عن الفروق السياقية الدقيقة، مما يسمح بظهور نفس ملصقات الجوانب عبر مختلف شخصيات الطلاب وسياقات المساقات دون الانهيار في أنماط الأوامر المتكررة.
• إعداد معياري قابل لإعادة الإنتاج: بروتوكول موثق للتدريب/التحقق/الاختبار يتيح المقارنة المباشرة بين النماذج المحلية الخاضعة للإشراف ونماذج التوليد المرجعية عند الاستدلال.
• الارتباط الخارجي الأولي: دليل على وجود نقل جزئي من الاصطناعي إلى الحقيقي على مجموعة بيانات حقيقية من Herath، إلى جانب التشخيصات التي توضح حدود أمانة الملصقات.

النتائج

• الأداء الداخلي للمعيار: المهمة ليست بسيطة. حقق أقوى نموذج محلي غير مضبوط، bert-base-uncased، درجة micro-F1 بلغت 0.2760 لكشف الجوانب. أدى تعديل طفيف لجدول التدريب (خفض معدل التعلم، وزيادة عدد الدورات) إلى تحسين هذه النتيجة لتصل إلى 0.2930. سجلت المشفرات المشتركة ونماذج TF-IDF أداءً أقل، بينما اتجهت نماذج ALBERT وRoBERTA نحو استدعاء (Recall) عالٍ ولكن بدقة (Precision) ضعيفة.
• الاستدلال القائم على GPT: حقق الاستدلال بالدفعات باستخدام GPT-5.2 في وضع "الصفر محاولة" درجة micro-F1 بلغت 0.2519، متفوقاً على TF-IDF والمشفرات المشتركة، لكنه لم يصل إلى قوة المحولات (Transformers) الثنائية الخطوات التي خضعت للضبط الدقيق. أما الاستدلال القائم على المحاولات القليلة والاسترجاع فقد أعطى نتائج مماثلة (0.2501).
• النقل الخارجي: على مجموعة بيانات Herath المخططة (تداخل 9 جوانب)، حقق bert-base-uncased درجة micro-F1 بلغت 0.4593. كان هذا الأداء أعلى من الدرجات الداخلية، ويرجع ذلك على الأرجح إلى انخفاض تعقيد الجوانب وهيمنة إشارة lecturer_quality في البيانات الحقيقية.
• تشخيصات المولد:
  • الواقعية: نجح إجراء "القاضي-المحرر" في تقليل الإشارات الاصطمانية، حيث انخفضت دقة القاضي إلى مستويات الصدفة (0.4333) في الدورة النهائية، رغم عدم إثبات التكافؤ الإحصائي مع المراجعات الحقيقية بشكل قاطع.
  • الأمانة: بينما كانت 77% من الجوانب المعلنة مدعومة نصياً، كانت معدلات مطابقة قطبية المشاعر أقل (42.3% على مستوى الجانب، و21.2% على مستوى المراجعة الكاملة)، مما يشير إلى أن المتن هو مورد مفيد ولكنه مشوب بالضجيج وليس معياراً ذهبياً مثالياً.

الأهمية والادعاءات
يدعي البحث أن الإشراف الاصطناعي المحكوم هو نهج منتج لدراسة ABSA التعليمي في المجالات التي تعاني من ندرة البيانات. ولا يدعي البحث استبدال التدوين البشري أو توفير مجموعة بيانات مثالية (Gold-standard). بدلاً من ذلك، يضع المتلو الاصطناعي كركيزة لـ:

1. بدء تشغيل النماذج (Model Bootstrapping): السماح للمؤسسات بالتدريب المسبق للنماذج على بيانات اصطناعية قبل الضبط الدقيق على بيانات حقيقية صغيرة ومحققة.
2. المراقبة الطولية: توفير مقياس مستقر لتتبع أداء النماذج عبر الفصول الدراسات والدفعات.
3. اختبار الإجهاد: كشف الجوانب الأقل تمثيلاً (مثل سهولة الوصول، وشفافية التقييم) التي غالباً ما تكون ممثلة بنسبة ضئية في الأرشيفات الخاصة بمؤسسة واحدة.

تخلص الدراسة إلى أنه بينما يضيف المتن الاصطناعي ضجيجاً في الملصقات، خاصة فيما يتعلق بقطبية المشاعر، إلا أنه يدعم بنجاح القدرة على التعلم الداخلي، والمقارنة القابلة لإعادة الإنتاج، والنقل الجزئي إلى مساحات التغذية الراجعة التعليمية الحقيقية. ويؤكد العمل على قيمة الجمع بين تأطير المهمة، والتوليد المحكوم، والدمج المعياري، بدلاً من مجرد توليد النصوص الاصطناعية بمعزل عن السياق.