Take Out Your Calculators: Estimating the Real Difficulty of Question Items with LLM Student Simulations
تُثبت هذه الورقة أن محاكاة فصول دراسية متنوعة للطلاب باستخدام نماذج لغوية كبيرة مفتوحة المصدر لتتناسب مع نماذج نظرية الاستجابة للمفردة يمكن أن تتنبأ بفعالية بصعوبة أسئلة الرياضيات في العالم الحقيقي، محققةً معاملات ارتباط تصل إلى 0.82 وكاشفةً أن النماذج ذات القدرات الرياضية الأضعف غالباً ما تقدم تنبؤات أفضل من النماذج الأقوى.