Laplace-PSN-IRT: Uncertainty Quantification for Neural Item Response Theory Models of LLM Benchmarks
تقدم هذه الورقة Laplace-PSN-IRT، وهي طريقة بايزية لاحقة (post-hoc) تعزز نماذج نظرية الاستجابة للمفردات العصبية بتقدير كمي مُعاير لعدم اليقين، كاشفةً أن العديد من تصنيفات معايير النماذج اللغوية الكبيرة (LLM) غير متمايزة إحصائياً، ومثبتةً أن معلومات فيشر المتوقعة من التوزيع البعدي توفر اختياراً أكثر استقراراً ودقة للمفردات مقارنة بالتقديرات النقطية التقليدية.