Using Vision + Language Models to Predict Item Difficulty
تُظهر هذه الدراسة أن النهج متعدد الوسائط الذي يجمع بين نماذج الرؤية واللغة (GPT-4.1-nano) لتحليل كل من صور التصورات والسمات النصية يتفوق بشكل كبير على الأساليب أحادية الوسائط في التنبؤ بصعوبة بنود اختبار الثقافة البياناتية للبالغين في الولايات المتحدة، محققاً متوسط خطأ مطلق قدره 0.224.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك معلم يحاول كتابة اختبار حول قراءة المخططات والرسوم البيانية. تريد التأكد من أن أسئلتك ليست سهلة للغاية (مملة) وليست صعبة للغاية (محبطة). ولكن كيف تعرف مدى صعوبة السؤال قبل أن تقدمه للطلاب فعلياً؟ عادةً، عليك الانتظار، وتقديم الاختبار، ثم النظر في النتائج.
هذه الورقة البحثية تتحدث عن تعليم كمبيوتر فائق الذكاء (ذكاء اصطناعي) كيفية تخمين مدى صعوبة السؤال بمجرد النظر إليه، دون الحاجة لانتظار الطلاب حتى يخوضوا الاختبار.
إليك تفاصيل كيفية قيامهم بذلك، باستخدام تشبيهات من الحياة اليومية:
الهدف: "البلورة السحرية للصعوبة"
أراد الباحثون بناء "بلورة سحرية" يمكنها النظر إلى سؤال حول تمثيل البيانات (الذي يتكون من صورة لمخطط وبعض النص) والتنبؤ بـ: "ما هي نسبة الأشخاص الذين سيجيبون عليه بشكل صحيح؟"
إذا تنبأ الذكاء الاصطناعي بأن 90% سيجيبون بشكل صحيح، فهذا سؤال سهل. إذا تنبأ بـ 10%، فهو سؤال كابوسي.
"المحققون الثلاثة"
لمعرفة أفضل طريقة لجعل هذه التنبؤات، قاموا بتدريب ثلاثة أنواع مختلفة من محققي الذكاء الاصطناعي باستخدام نموذج قوي يسمى GPT-4.1-nano. فكر في الأمر كأنها ثلاث طرق مختلفة لحل لغز ما:
"محقق النصوص" (النص فقط):
- ماذا يفعل: يقرأ هذا المحقق السؤال وخيارات الإجابة فقط. إنه يتجاهل الصورة تماماً.
- التشبيه: تخيل أنك تحاول تخمين مدى صعوبة لغز بمجرد قراءة التعليمات، دون رؤية الصورة الموجودة على الصندوق.
- النتيجة: كان جيداً، لكن ليس رائعاً. لقد فاتته الأدلة البصرية التي تجعل المخطط مربكاً.
"الناقد الفني" (الرؤية فقط):
- ماذا يفعل: ينظر هذا المحقق إلى المخطط أو الرسم البياني فقط. إنه يتجاهل نص السؤال.
- التشبيه: تخيل أنك تنظر إلى لوحة فوضوية ومزدحمة وتحاول تخمين مدى صعوبة فهمها، دون معرفة ما الذي أراد الفنان أن يسألك عنه.
- النتيجة: كان أفضل من محقق النصوص، لكنه لا يزال يفتقر إلى السياق. فالمخطط البسيط يمكن أن يصبح صعباً جداً إذا طرح السؤال عن تفصيل مخادع فيه.
"المحقق الخارق" (متعدد الوسائط):
- ماذا يفعل: ينظر هذا المحقق إلى كل من الصورة والنص معاً. إنه يرى كيف يتفاعل السؤال مع المخطط.
- التشبيه: هذا يشبه المحقق الذي يقرأ التعليمات و ينظر إلى قطع اللغز في آن واحد. هو يدرك أن المخطط البسيط يصبح كابوساً إذا طلب منك السؤال العثور على تفصيل صغير مخفي.
- النتيجة: كان هذا هو الفائز. من خلال دمج كلا المنظورين، قدم الذكاء الاصطناعي التخمينات الأكثر دقة.
النتائج: من فاز بالسباق؟
اختبر الباحثون هؤلاء المحققين على مجموعة من الأسئلة الحقيقية. وقاسوا "الأخطاء" باستخدام درجة تسمى MAE (متوسط الخطأ المطلق). فكر في هذا كـ "المسافة" بين تخمين الذكاء الاصطناعي والإجابة الحقيقية. كلما انخفض الرقم، كان ذلك أفضل.
- محقق النصوص: ارتكب أخطاء كبيرة (الدرجة: 0.338).
- الناقد الفني: ارتكب أخطاء متوسطة (الدرجة: 0.282).
- المحقق الخارق: ارتكب أصغر الأخطاء (الدرجة: 0.224).
أثبت "المحقق الخارق" أنه لفهم مدى صعوبة السؤال، لا يمكنك مجرد النظر إلى الكلمات أو مجرد النظر إلى الصورة. يجب أن ترى كيف يعملان معاً.
الاختبار النهائي: "تحدي العمى"
للتأكد من أن الذكاء الاصطناعي لم يكن يقوم بمجرد حفظ الإجابات، أعطوا "المحقق الخارق" مجموعة جديدة تماماً من الأسئلة التي لم يرها من قبل ("مجموعة اختبار مستبعدة").
حتى مع هذه الأسئلة الجديدة وغير المرئية سابقاً، قام الذكاء الاصطناعي بعمل جيد جداً. كان قريباً بما يكفي من النتائج الحقيقية لدرجة تجعل الباحثين واثقين من إمكانية استخدام هذه التكنولوجيا فعلياً في العالم الحقيقي.
لماذا يهم هذا؟ (الصورة الكبيرة)
لماذا يجب أن نهتم إذا كان بإمكان الكمبيوتر تخمين صعوبة الاختبار؟
- تعزيز قدرات واضعي الاختبارات: تخيل معلماً أو واضع اختبار يمكنه كتابة سؤال، ثم يعرضه على الذكاء الاصطناعي، فيقول له الذكاء الاصطناي: "مهلاً، هذا المخطط مزدحم للغاية، أو هذا السؤال مخادع للغاية. دعنا نصلحه قبل طباعة 10,000 نسخة."
- تعلم أفضل: يساعد ذلك في إنشاء اختبارات أكثر عدلاً تقيس ما يعرفه الناس حقاً، بدلاً من مجرد قياس مدى إرباك المخطط.
- السرعة: بدلاً من الانتظار لأشهر لرؤية كيفية أداء الطلاب في اختبار جديد، يمكننا الحصول على ملاحظات فورية حول مدى صعوبة الأسئلة.
العقبة الوحيدة
واجه الذكاء الاصطناعي مشكلة صغيرة واحدة؛ لم يستطع قراءة نوع معين من ملفات الصور (SVG) المستخدمة في بعض أسئلة الاختبار. بالنسبة لتلك الصور القليلة، كان الذكاء الاصطناعي يكتفي بالتخمين بنسبة "50/50" (مثل رمي العملة المعدنية). لم يكن هذا مثالياً، ولكن بالنسبة لبقية الاختبار، فقد عمل بشكل مذهل.
باختصار: من خلال تعليم الذكاء الاصطناعي كيفية النظر إلى الصورة والكلمات معاً، يمكننا الآن التنبؤ بمدى صعوبة أسئلة البيانات. إنه يشبه منح واضعي الاختبارات بلورة سحرية لبناء اختبارات أفضل، وأكثر عدلاً، وأكثر فعالية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.