Examining the robustness of a model selection procedure in the binary latent block model through a language placement test data set

ملخص تقني: فحص متانة إجراء اختيار النماذج في نموذج الكتل الكامنة الثنائي من خلال مجموعة بيانات اختبار تحديد المستوى اللغوي

بيان المشكلة
تتناول الورقة البحثية تحدي تحليل بيانات اختبارات تحديد المستوى، وتحديداً اختبار SELF المستخدم في جامعة غرونوبل ألب (Université Grenoble Alpes)، لتصنيف الطلاب في آن واحد إلى مجموعات متجانسة بناءً على الكفاءة، وتصنيف العناصر (الأسئلة) إلى مجموعات بناءً على الصعوبة أو المهارة. يتم تمثيل البيانات في مصفوفة ثنائية، حيث تمثل الصفوف الطلاب، والأعمدة عناصر الاختبار، والمدخلات تشير إلى الإجابة الصحيحة (1) أو الخاطئة (0).

تكمن الصعوبة الجوهرية في تطبيق نماذج الكتل الكامنة (LBM) على هذه البيانات الثنائية. فبينما يسمح نموذج LBM بالتصنيف المتزامن للصفوف والأعمدة، فإن اختيار العدد الصحيح لمجموعات الصفوف ($g$) ومجموعات الأعمدة ($m$) ليس بالأمر الهين. المعايير القياسية مثل AIC و BIC لا يمكن تطبيقها مباشرة لأن تعظيم الاحتمالية (maximized likelihood) لا يمكن حسابه في نماذج LBM. علاوة على ذلك، فإن خوارزميات التقدير (مثل التقدير التجريبي المتغير V-EM أو عينات جيبس Gibbs sampling) حساسة للقيم الأولية وعرضة للتقارب نحو مجموعات فارغة أو نقاط مثلى محلية. ويشير المؤلفون إلى غياب النتائج النظرية أو تفاوتات التركيز غير التقاربية لمعايير اختيار النماذح في هذا السياق المحدد، مما يستدعي نهجاً حوسبياً.

المنهجية
يقترح المؤلفون إجراءً لاختيار النموذج يعتمد على معيار الاحتمالية المكتملة المتكاملة (ICL)، والموسع لنماذج الكتل الكامية الثنائية. تتضمن المنهجية ثلاثة مكونات رئيسية:

1. خوارزمية التقدير: تستخدم الدراسة خوارزمية (V-Bayes Gibbs) المدمجة. يعتمد هذا النهج على تقريب "فاريشنال بايز" (Variational Bayes) لتجنب المجموعات الفارغة، وعلى عينة جيبس (Gibbs sampler) للتخفيف من الحساسية للقيم الأولية. يتم تشغيل الخوارزمية $T$ من المرات (عمليات تهيئة أولية) لكل زوج مرشح من $(g, m)$، مع الاحتفاظ بالحل الذي يعظم الطاقة الحرة (free energy).
2. اختيار النموذج: يقوم الإجراء بالمرور عبر شبكة من أزواج $(g, m)$ المحتملة. لكل زوج، يتم حساب معيار ICL باستخدام التقسيم $(\hat{z}, \hat{w})$ الذي تم الحصول عليه عبر قاعدة الحد الأقصى البعدي (MAP) بعد الخطوة النهائية لـ V-Bayes. ويتم اختيار الزوج $(\hat{g}, \hat{m})$ الذي يعظم معيار ICL كنموذج أمثل.
3. تحليل المتانة: يتم تقييم متانة الإجراء بطريقتين:
   • ضبط التهيئة الأولية: تحديد عدد عمليات التهيئة الأولية ($T$) اللازمة لاستعادة النموذج الحقيقي بشكل موثوق، وذلك عبر الاختبار من خلال المحاكاة والبيانات الحقيقية.
   • استقرار حجم العينة: تقييم استقرار تقسيمات الطلاب مع تغير حجم العينة ($n$). يتضمن ذلك محاكاة عينات فرعية من الطلاب ومقارنة التقسيمات الناتجة مع نموذج مرجعي باستخدام معدلات التصنيف الخاطئ وجداول التوافق مع تعديلات تبديل العلامات (label switching).

مجموعات البيانات
تستخدم الدراسة مجموعتين من البيانات الواقعية من اختبار SELF لتحديد المستوى:

• اختبار اللغة اليابانية: 137 طالباً، 33 عنصراً (المرحلة الأولى).
• اختبار اللغة الإنجليزية: 228 طالباً، 36 عنصراً (المرحلة الأولى).
  تغطي كلتا المجموعتين ثلاث مهارات: الفهم الشفهي، والفهم الكتابي، والتعبير الكتابي.

النتائج الرئيسية

• الحساسية للتهيئة الأولية: يعتمد عدد التهئيات الأولية المطلوبة ($T$) بشكل كبير على "صعوبة" مجموعة البيانات.
  • في اختبار اللغة اليابانية (الذي يعتبر حالة "سهلة")، تم العثج النموذج المرجعي $(3, 4)$ في 100% من أصل 170,000 عملية تشغيل باستخدام تهيئة واحدة فقط ($T=1$). وكانت أوقات الوصول البيني (inter-arrival times) للنموذج المرجعي جميعها تساوي 1.
  • في اختبار اللغة الإنجليزية (الذي يعتبر حالة "صعبة")، وُجد النموذج المرجعي $(4, 5)$ 16 مرة فقط من أصل 170,000 عملية تشغيل. وكان وسيط وقت الوصول البيني هو 6,595.5، مما يشير إلى أن مئات أو آلاف التهئيات الأولية ضرورية للعثور على النموذج الأمثل بشكل موثوق في السيناريوهات المعقدة.
  • أكدت دراسات المحاكاة أنه في مستويات الضجيج المنخفضة ($\epsilon \leq 0.25$)، غالباً ما يكون $T=1$ كافياً، ولكن مع زيادة الضجيج ($\epsilon = 0.3$)، ينتقل توزيع $T$ بشكل ملحوظ نحو قيم أعلى.
• المتانة تجاه حجم العينة:
  • مع زيادة عدد الطلاب ($n$)، يتقارب عدد المجموعات المختار $(\hat{g}, \hat{m})$ نحو الزوج المرجعي.
  • ينخفض معدل الطلاب المصنفين خطأً مع زيادة $n$ عند اختيار العدد الصحيح من المجموعات.
  • بالنسبة لأحجام العينات الصغيرة ومستويات الضجيج العالية، يصبح توزيع النماذج المختارة أكثر تشتتاً، وإن كان لا يزال يميل إلى التركز حول النموذج المرجعي مع نمو $n$.
• تقديرات المعلمات: في اختبار اللغة الإنجليزية، كشفت المعلمات المقدرة عن وجود مجموعة عناصر واحدة كانت فيها احتمالية الإجابة الصحيحة متشابهة عبر جميع مجموعات الطلاب. ويشير المؤلفون إلى أن هذا يدل على وجود سمات ضوضائية أو غير ذات صلة قد تعيق التصنيف المشترك (co-clustering).

الأهمية والادعاءات
تدعي الورقة تقديم إطار عمل حوسبي وعملي لضبط اختيار النماذج في نماذج الكتل الكامنة الثنائية حيث تغيب الضمانات النظرية. وتتمثل المساهمة الأساسية في إثبات أن عدد التهئيات الأولية للخوارزمية يجب أن يتكيف مع صعوبة مجموعة البيانات؛ إذ إن نهج "المقاس الواحد الذي يناسب الجميع" غير كافٍ.

يخلص المؤلفون بتواضع إلى أنه بينما يعد الإجراء متيناً من حيث استقرار المجموعات مع زيادة حجم العينة، إلا أنه قد يواجه صعوبات مع مجموعات البيانات التي تحتوي على سمات ضوضائية (عناصر ذات احتمالات نجاح موحدة). وكآفاق مستقبلية، يقترحون أن دمج "فئة ضوضاء" (noise class) في نموذج الكتل الكامنة (كما اقترح Laclau و Brault) يمكن أن يحسن النتائج من خلال عزل العناصر التي لا تساهم في تصنيف الطلاب، مما قد يساعد في تحسين اختبارات تحديد المستوى. لا تدعي هذه الدراسة حل مشكلات التحديد (identifiability) النظرية، بل تقدم استراتيجية حوسبية تم التحقق من صحتها للممارسين الذين يتعاملون مع بيانات اختبارات تحديد المستوى.