Distilling Black-Box Machine Learning into a Small, Self-Explaining Language Model for Learning Analytics
تقترح هذه الورقة مساراً للضبط الدقيق يتكون من مرحلتين، يقوم بتقطير نماذج تعلم آلي "الصندوق الأسود" وتفسيراتها إلى نموذج لغوي صغير مفتوح الأوزان، قادر على توليد تنبؤات دقيقة ومدققة وتحافظ على الخصوصية على المستوى الفردي، بالإضافة إلى تفسيرات باللغة الطبيعية لتحليلات التعلم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم التعليم، تعتمد المدارس والمستشارون غالباً على برامج حاسوبية معقدة لفهم كيفية تعلم الطلاب ولتقرير أي المساقات قد تساعدهم على النجاح. هذه البرامج قوية؛ إذ يمكنها رصد أنماط في آلاف السجلات الطلابية قد تغفل عنها العين البشرية. ومع ذلك، غالباً ما تعمل هذه البرامج كـ "صندوق أسود": فهي تستقبل البيانات وتخرج تنبؤاً، لكنها لا تستطيع شرح لماذا توصلت إلى تلك النتيجة. فالاستدلال مدفون داخل ملايين الحسابات الصغيرة، مما يترك الآباء والمعلمين والطلاب أمام رقم لا يمكنهم الوثوق به أو فهمه. علاوة على تقنيات التشغيل، فإن تشغيل هذه البرامج المتطورة يتطلب عادةً حواسيب باهظة الثمن وخبراء متخصصين، مما يجعلها غير متاحة للاستخدام اليومي في الفصل الدراسي أو في غرفة المعيشة لعائلة ما.
ولحل هذه المشكلة، يستكشف الباحثون طريقة جديدة لجعل هذه الأدوات شفافة وسهلة الوصول. إنهم ينظرون إلى نوع من الذكاء الاصطناعي يُعرف بالنموذج اللغوي الكبير، وهو نفس التقنية التي تشغل برامج الدردشة الآلية القادرة على كتابة المقالات أو الإجابة على الأسតئلات بلغة طبيعية وسلسة. الفكرة هي تعليم نسخة صغيرة وفعالة من هذه التقنية ليس فقط تقديم تنبؤ، بل وأيضاً شرح الاستدلال وراءه بلغة إنجليزية بسيطة. وإذا نجح هذا، فسيسمح للمستشار المدرسي بأن يسأل الحاسوب: "هل سيستفيد هذا الطالب من الرياضيات المتقدمة؟" ويتلقى إجابة واضحة وصادقة تسرد العوامل المحددة التي أثرت في القرار، كل ذلك مع الحفاظ على خصوصية بيانات الطالب على جهاز كمبيوتر محمول محلي.
قام فريق من الباحثين في كلية المعلمين بجامعة كولومبيا بتطوير طريقة لجعل هذه الرؤية حقيقة واقعة. لقد ابتكروا عملية مكونة من خطوتين تأخذ نموذج تعلم آلي قوياً ومعقداً وتعلم نموذجاً أصغر وأبسط محاكاة تفكيره وشروحاته. في الخطوة الأولى، قاموا بتدريب نظام "مُعلم" (mentor). يستخدم هذا النظام خوارزمية تعلم آلي مرنة للتنبؤ بنجاح الطالب المستقبلي ثم يقوم بتفكيك هذا التنبؤ إلى أجزائه المكونة. فهو يحسب متوسطاً أساسياً، ويحدد الخصائص المحددة للطالب التي تدفع التنبؤ للأعلى أو للأسفل، بل ويرصد أيضاً كيف يمكن لبعض السمات أن تعمل معاً لتغيير النتيجة. ثم يقوم هذا النظام بترجمة تلك الأرقام إلى تقرير هيكلي وواقعي، مما يضمن أن كل رقم في الشرح يضاف بدقة إلى التنبؤ النهائي.
وفي الخطوة الثانية، استخدم الباحثون تقنية تسمى "التقطير" (distillation) لتعليم نموذج لغوي صغير، أطلقوا عليه اسم "المتدرب" (mentee)، لقراءة هذه التقارير والتعلم منها. وبدلاً من مجرد حفظ الإجابة النهائية، يتعلم "المتدرب" عملية التفكير بأكملها: الرياضيات وراء التنبؤ، والأسباب المحددة للنتيجة، والمنطق الخاص بالتوصية النهائية. قام الباحثون بتدريب هذا النموذج الصغير على آلاف الأمثلة حتى أصبح قادراً على توليد تنبؤاته وشروحاته الخاصة من الصفر. والنتي نتيجة ذلك هي برنامج حاسوبي واحد ومدمج يمكنه العمل على حاسوب محمول قياسي دون الحاجة إلى اتصال بالإنترنت أو حاسوب خارق. يمكنه أخذ ملف تعريف الطالب، والتنبؤ بنتيجته المحتملة، وكتابة فقرة تشرح بالضبط لماذا، مستشهداً بالعوامل المحددة مثل درجات الرياضيات السابقة أو دخل الأسرة التي دفعت القرار.
لاختبار مدى فعالية هذا النظام الجديد، قام الباحثون أولاً بإجراء محاكاة حيث عرفوا الإجابة المثالية مسبقاً. لقد أنشأوا مجموعة بيانات وهمية بقواعد معروفة وطلبوا من النظام تعلم هذه القواعد. وعندما تم تغذية النظام ببيانات مثالية وخالية من الأخطاء، تعلم النموذج اللغوي الصغير القواعد بشكل شبه مثالي. فقد صنف العوامل المهمة بشكل صحيح، وتجنب اختلاق أسباب وهمية، وطابقتت شروحاته الحقيقة بنسبة ارتباط تزيد عن 90 بالمائة. أثبت هذا أن النموذج الصغير قادر على تعلم المنطق المعقد دون فقدان أي قدر من الدقة. ومع ذلك، عندما انتقل الباحثون إلى سيناريو أكثر واقعية حيث احتوت البيانات الأولية على أخطاء وضجيج، انخفض أداء النظام، ولكن ليس لأن النموذج الصغير قد فشل، بل لأن الأخطاء جاءت من البيانات الأولية نفسها. لقد أعاد النموذج الصغير إنتاج أخطاء النظام الأكبر بدقة، مما أظهر أنه لا يتجاوز جودة المعلومات التي يُعطى إياها.
طبق الباحثون بعد ذلك طريقتهم على مجموعة بيانات واقعية تتبع آلاف الطلاب في المدارس الثانوية الأمريكية. وطلبوا من النظام التنبؤ بكيفية تأثير دراسة مساقات الرياضيات المتقدمة على فرص التحاق الطالب بجامعة تمنح درجة البكالوريوس. أكد النظام حقيقة معروفة في أبحاث التعليم: وهي أن مساقات الرياضيات المتقدمة تفيد الطلاب الأكثر عرضة لعدم الالتحاق بالجامعة بخلافهم. وقد حدد أن الطلاب ذوي درجات الرياضيات السابقة المنخفضة والدخل الأسري المنخفض هم الأكثر استفادة من هذه المساقات. ومن الأهمية بمكان أن النظام قدم هذه الرؤى بدرجة عالية من الموثوقية. في الاختبار الواقعي، اجتاز ما يقرب من 99 بالمائة من الشروحات التي ولدها النموذج الصغير عملية تدقيق صارمة، مما يعني أن كل رقم تم الاستشهاد به كان دقيقاً، وكل سبب تم ذكره كان مدعوماً بالبيانات، ولم يتم اختراع أي إحصائيات كاذبة.
كما كشفت الدراسة عن درس حاسم حول حدود هذه التقنية. فبينما كان النموذج الصغير ممتازاً في شرح لماذا اتخذ قراراً ما، فإنه واجه أحياناً صعوبة في اتخاذ القرار الصحيح عندما كانت البيانات منحازة بشدة نحو نتيجة واحدة. في الحالات التي كان فيها معظم الطلاب يُتوقع نجاحهم، مال النموذج إلى التوصية بالنجاح للجميع، حتى عندما أشارت البيانات إلى أن بعض الطلاب قد يتضررون. حدث هذا لأن النموذج تعلم اتباع النمط الغالب في البيانات. ووجد الباحثون أنه بينما كانت شروحات النموذج سلسة وواثقة، فإن السلاسة لا تضمن الصحة. فإذا كانت البيانات الأساسية معيبة أو غير متوازنة، فإن النموذج سيشرح استنتاجاً خاطئاً بنفس الثقة التي يشرح بها استنتاجاً صحيحاً.
في نهاية المطاف، يثبت هذا البحث أنه من الممكن تقطير قوة التعلم الآلي المعقد في أداة صغيرة ذاتية الشرح تعمل على أجهزة عادية. تسمح النتيجة للتربويين بالوصول إلى رؤى متطورة دون الحاجة إلى إرسال بيانات الطلاب الحساسة إلى السحابة أو توظيف علماء بيانات. يمكن للنموذج الصغير أن يستقر على الحاسوب المحمول للمستشار، مستعداً لتقديم شرح شخصي ومدقق لأي طالب في ثوانٍ معدودة. ورغم أن هذه التقنية ليست مثالية وتعتمد بشدة على جودة البيانات الأولية، إلا أنها تمثل خطوة كبيرة نحو جعل الذكاء الاصطناعي في التعليم شفافاً، وموثوقاً، ومتاحاً للأشخاص الذين هم في أمس الحاجة إليه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.