Laplace-PSN-IRT: Uncertainty Quantification for Neural Item Response Theory Models of LLM Benchmarks
تقدم هذه الورقة Laplace-PSN-IRT، وهي طريقة بايزية لاحقة (post-hoc) تعزز نماذج نظرية الاستجابة للمفردات العصبية بتقدير كمي مُعاير لعدم اليقين، كاشفةً أن العديد من تصنيفات معايير النماذج اللغوية الكبيرة (LLM) غير متمايزة إحصائياً، ومثبتةً أن معلومات فيشر المتوقعة من التوزيع البعدي توفر اختياراً أكثر استقراراً ودقة للمفردات مقارنة بالتقديرات النقطية التقليدية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول ترتيب أفضل ألعاب الفيديو لهذا العام. لديك قائمة ضخمة من الألعاب ومجموعة هائلة من اللاعبين. لتحديد من هو "الأفضل"، قد تكتفي فقط بعدّ عدد الألعاب التي فاز بها كل لاعب. ولكن ماذا لو كانت الألعاب نفسها "معطلة"؟ ماذا لو كانت بعض الألعاب سهلة للغاية لدرجة أن أي مبتدئ يمكنه الفوز بها، بينما البعض الآخر صعبة للغاية لدرجة أنه لا يمكن لأحد إنهاؤها؟ في هذه الحالة، فإن ترتيبك سيخبرك عن الألعاب المعطلة أكثر مما يخبرك عن مهارات اللاعبين الفعلية. هذه هي المشكلة التي تواجه عالم الذكاء الاصطناعي. يستخدم العلماء "المعايير المرجعية" (benchmarks)—وهي مجموعات من الأسئلة الصعبة—لاختبار مدى ذكاء النماذج اللغوية الكبيرة (LLMs). ولكن تماماً مثل ألعاب الفيديو المعطلة، غالباً ما تحتوي هذه المعايير على أسئلة إما سهلة جداً أو صعبة جداً، مما يجعل من المستحب معرفة ما إذا كان أحد نماذج الذكاء الاصطناعي أفضل حقاً من الآخر، أم أنه مجرد ضربة حظ في مجموعة معينة من الأسئلة.
ولإصلاح ذلك، يستخدم الباحثون أداة إحصائية تسمى "نظرية الاستجابة للمفردة" (Item Response Theory - IRT). فكر في (IRT) كحكم ذكي للغاية لا يكتفي فقط بعدّ الانتصارات والخسائر، بل يحاول اكتشاف شيئين خفيين في وقت واحد: مدى "مهارة" النموذج، ومدى "صعوبة" أو "قدرة التمييز" لكل سؤال. السؤال الجيد يجب أن يكون صعباً بما يكفي ليفصل بين الخبراء والمبتدئين. مؤخراً، استخدمت طريقة جديدة تسمى (PSN-IRT) الشبكات العصبية (نوع من أدمغة الذكاء الاصطناعي) للقيام بمهمة الحكم هذه بسرعة كبيرة. ومع ذلك، كانت هناك عقبة: فقد أعطت رقماً واحداً دقيقاً فقط لمهارة النموذج وصعوبة السؤال. كان الأمر يشبه حكماً يقول: "اللاعب (أ) مهارته 95.2% بالضبط"، دون أن يعترف بـ "لكنني لست متأكداً بنسبة 100%؛ فربما تكون مهارته 94% أو 96%". وبدون معرفة مدى الثقة في تلك الأرقام، يصعب معرفة ما إذا كان هذا الترتيب حقيقياً أم مجرد صدفة.
هنا يأتي دور الورقة البحثية الجديدة، "Laplace-PSN-IRT"، لتضيف طبقة من "عدم اليقين" إلى المزيج. لقد أخذ المؤلفون نظام (PSN-IRT) الحالي وأضافوا إليه خدعة رياضية ذكية تسمى "تقريب لابلاب" (Laplace approximation). تخيل أن لديك خريطة لسلسلة جبال (تدريب نموذج الذكاء الاصطناعي). الطريقة القديمة كانت تشير فقط إلى القمة وتكتفي بالقول: "هذه هي أعلى نقطة". أما الطريقة الجديدة، فترسم سحابة ضبابية حول تلك القمة، لتوضح لك المنطقة التي يمكن أن تكون فيها أعلى نقطة. تمثل هذه السحابة "التوزيع اللاحق" (posterior distribution)، وهو مصطلح معقد يعني: "إليك نطاق الاحتمالات التي نحن واثقون بشأنها".
وجد الباحثون أنه عندما نظروا إلى هذه السحب الضبابية لـ 12 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي على لوحة صدارة قياسية، وجدت السحب تداخلت في كل مكان تقريباً. ومن بين 66 مواجهة محتملة بين هذه النماذج، كان هناك زوجان فقط مختلفان بوضوح عن بعضهما البعض. أما الأزواج الـ 64 الأخرى، فكانت متقاربة جداً لدرجة أنه من الناحية الإحصائية، لا يمكنك التمييز بينها. الأمر يشبه محاولة ترتيب عدائين ينهون السباق جميعاً في جزء ضئيل من الثانية من بعضهم البعض؛ فقولك إن أحدهم "الأول" هو مجرد تخمين في الغالب.
كما تناولت الورقة البحثية كيفية اختيار أفضل الأسئلة لاختبار هذه النماذج. كانت الطريقة القديمة تختار الأسئلة بناءً على "تقدير نقطي" واحد للصعوبة. وقد أظهر المؤلفون أن هذا النهج هش؛ فإذا اخترت سؤالاً بناءً على تخمين واحد للصعوبة، فإنه غالباً ما يصبح عديم الفائدة (أو "مشبعاً") بالنسبة للنماذج الأكثر ذكاءً أو الأقل ذكاءً من ذلك التخمين. الأمر يشبه اختيار سؤال في الرياضيات مناسب تماماً لطالب في الصف الخامس؛ فهو لا يخبرك بشيء عن طالب في الصف العاشر أو طالب في الصف الأول. أما الطريقة الجديدة، التي تعتمد على المتوسط عبر جميع الصعوبات المحتملة (أي "السحابة الضبابية")، فقد وجدت أن الأسئلة تظل مفيدة عبر نطاق أوسع بكثير من مستويات المهارة.
عندما اختبر الباحثون هذه الطريقة الجديدة لمعرفة ما إذا كان بإمكانهم إعادة بناء الترتيب الكامل باستخدام مجموعة فرعية صغيرة فقط من الأسئلة (مثل 100 أو 1,000 عنصر بدلاً من الـ 29,000 كاملة)، كانت طريقة "السحابة الضبابية" تعمل بشكل أفضل في 8 من أصل 10 حالات. لقد كانت أكثر استقراراً وموثوقية من طريقة الرقم الواحد القديمة. ومع ذلك، كان المؤلفون حذرين في ملاحظة أنه عند أصغر أحجام الاختبار (50 عنصراً)، كانت الطريقة القديمة تتفوق أحياناً بشكل طفيف، ويرجع ذلك على الأرجح إلى الصدفة. كما اعترفوا بأنه نظراً لعدم قدرتهم على مقارنة نتائجهم بترتيب "تفضيلات البشر" الحقيقي (لأن بعض البيانات القديمة فُقدت)، فقد اضطروا للاختبار مقابل "أوراكل" داخلي (ترتيب مثالي تم توليده بواسطة نموذجهم الخاص). وبينما تفوقت طريقتهم على الطريقة القديمة في معظم السيناريوهات، إلا أن أيتا الطريقتين لم تستطع باستمرار التفوق على التخمين العشوائي ضد هذا "الأوراكل" الداخلي، مما يشير إلى أن مشكلة اختيار المجموعة الاختبارية الصغيرة "المثالية" لا تزال صعبة للغاية.
باختصار، لا تدعي هذه الورقة البحثية أنها حلت لغز تصنيفات الذكاء الاصطناعي. بدلاً من ذلك، فهي تقدم "مقياس ثقة" كان ضرورياً بشدة. إنها توضح لنا أن الفروق بين نماذج الذكاء الاصطناعي الرائدة في معظم الأوقات ضئيلة جداً، وأن عدم اليقين مرتفع للغاية لدرجة أننا لا نستطيع الجزم بمن هو الأفضل حقاً. كما تحذرنا من أن اختيار أسئلة الاختبار بناءً على تخمين واحد هو أمر محفوف بالمخاطر، وتقترح أن النظر إلى النطاق الكامل للاحتمالات يمنحنا صورة أوضح وأكثر صدقاً لما يمكن لهذه النماذج القيام به فعلياً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.