Who Defines "Best"? Towards Interactive, User-Defined Evaluation of LLM Leaderboards
تنتقد هذه الورقة أوجه القصور في لوحات الصدارة الثابتة للنماذج اللغوية الكبيرة من خلال تحليل التحيزات في مجموعة بيانات LMArena واقتراح أداة تصور تفاعلية تمكن المستخدمين من تحديد أولويات تقييم مخصصة، مما يعزز الشفافية ويدعم تقييم النماذج وفق سياقات محددة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة بحثية بعنوان "من يحدد معنى 'الأفضل'؟" باستخدام لغة بسيطة وتشبيهات إبداعية.
المشكلة: بطاقة تقييم "مقاس واحد يناسب الجميع"
تخيل أنك تحاول شراء سيارة. تذهب إلى موقع إلكتروني يصنف السيارات بناءً على رقم واحد: "درجة أفضل سيارة".
يتم حساب هذه الدرجة من قبل مجموعة صغيرة من عشاق السيارات الذين يعشقون السباقات على الحلبات. هم يضعون وزناً كبيراً لأشياء مثل "السرعة القصوى" و"الانعطاف". وبسبب ذلك، تحصل سيارة فورمولا 1 على درجة 100/100، بينما تحصل سيارة "مينيفان" عائلية على درجة 40/100.
المشكلة: أنت لست سائق سباقات. أنت أب يحتاج لنقل ثلاثة أطفال، وكلب، ومشتريات البقالة. أنت تهتم بـ "الأمان"، "مساحة التخزين"، و"كفاءة استهلاك الوقود".
إذا اشتريت "أفضل سيارة" (سيارة السباق) لأنها تملك أعلى درجة، فستكون تعيساً. الدرجة لم تخبرك بالحقيقة؛ بل أخبرتك فقط بما كان يهتم به مصممو تلك الدرجة.
هذا هو بالضبط ما يحدث مع الذكاء الاصطناعي.
حالياً، نستخدم "لوحات المتصدرين" (مثل LMArena) لتصنيف النماذج اللغوية الكبيرة (LLMs). تمنح هذه اللوحات كل ذكاء اصطناعي درجة واحدة بناءً على مدى أدائه في مجموعة محددة من الأسئلة. لكن الأشخاص الذين صمموا هذه الأسئلة غالباً ما يكونون مطورين أو مهتمين بالتقنية، لذا يطرحون الكثير من أسئلة البرمجة والألغاز المنطقية.
إذا كنت معلماً، أو طبيباً، أو مديراً لخدمة العملاء، فقد تكون تلك الدرجة الواحدة عديمة الفائدة تماماً بالنسبة لك. فهي تخفي حقيقة أن الذكاء الاصطناعي قد يكون سيئاً جداً في وظيفتك المحددة، حتى لو كان هو "الرقم واحد" في لوحة المتصدرين.
التحقيق: إلقاء نظرة تحت غطاء المحرك
قرر مؤلفو هذه الورقة البحثية التحقيق في أشهر لوحة متصدرين للذكاء الاصطناعي (LMArena) لمعرفة ما يحدث حقاً. لقد عاملوا مجموعة البيانات كأنها كيس ضخم من الكرات الزجاجية وقاموا بفرزها حسب اللون (الموضوع).
ما وجدوه:
- الكيس منحاز: الكيس مليء بأسئلة "البرمجة" و"الذكاء الاصطناعي" (حوالي 30% من البيانات). الأمر يشبه موقع مراجعة سيارات لا يراجع إلا السيارات الرياضية.
- التصنيفات تتغير: عندما نظروا إلى شرائح محددة من البيانات، انقلبت الترتيبات.
- تشبيه: تخيل مسابقة "أفضل رياضي". إذا كانت المسابقة 100% سباحة، سيفوز السباح. إذا كانت 100% رفع أثقال، سيفوز رافع الأثقال. لكن لوحة المتصدرين ستظهر السباح فقط كأنه رقم 1. إذا كنت بحاجة لرافع أثقال، فإن لوحة المتصدرين تكذب عليك.
- مشكلة "التعادل": أحياناً، يقدم نموذجان للذكاء الاصطناعي نفس الإجابة الصحيحة تماماً لمسألة رياضية. لكن البشر لا يزالون يصوتون لأحدهما دون الآخر لأن أحد الإجابات كُتبت بشكل أجمل أو بدا أكثر أناقة. لوحة المتصدرين تحتسب هذا كـ "فوز" للأسلوب، وليس للحقيقة.
- فخ "السياسة": عندما يسأل الناس عن مواضيع سياسية حساسة، لا توجد إجابة واحدة "صحيحة". البعض يريد إجابة محايدة، والبعض الآخر يريد رأياً قوياً. لوحة المتصدرين تقوم ببساطة بمتوسط هذه الآراء المتضاربة في درجة واحدة، وهو أمر لا معنى له لأي شخص.
الحل: أداة "اصنع تقريرك الخاص"
بدلاً من إعطائك درجة ثابتة، قام المؤلفون ببناء نموذج أولي لأداة (واجهة تصور بياني) تتيح لك أن تكون أنت الحَكم.
كيف تعمل (التشبيه):
تخيل بوفيه مفتوح قابل للتخصيص بدلاً من وجبة جاهزة التقديم.
- الطريقة القد القديمة: يقدم لك الطاهي طبقاً يحتوي على 50% بروكلي و50% ستيك. عليك أن تأكل كل شيء وتقيم الوجبة.
- الطريقة الجديدة: يعطيك الطاهي قائمة بالمكونات (مواضيع مثل "الرياضيات"، "التاريخ"، "البرمجة"، "الكتابة الإبداعية"). تحصل على طبق ومجموعة من الملاقط.
- تقول: "أنا لا أهتم إلا بالرياضيات والتاريخ".
- تقول: "أريد حصة مضاعفة من التاريخ".
- تقول: "لا أريد أي برمجة".
تقوم الأداة بعد ذلك بإعادة حساب التصنيفات فوراً بناءً على اختياراتك فقط.
ما تظهره لك الأداة:
- عرض "الشريحة": يمكنك أن ترى أن النموذج (أ) مذهل في البرمجة ولكنه سيء في التاريخ. والنموذج (ب) هو العكس تماماً.
- عرض "لماذا": يمكنك النقر على نتيجة محددة لرؤية الأسئلة والإجابات الفعلية. يمكنك رؤية لماذا فاز النموذج (أ) (مثلاً: "لقد قدم قائمة منظمة للغاية"، أو "كان موجزاً").
- عرض "المقايضة": يمكنك أن ترى أنك إذا أعطيت الأولوية لـ "السرعة"، فقد تخسر "الدقة". تساعدك الأداة على تحديد المقايضة التي أنت مستعد لتقديمها.
التجربة: هل نجح الأمر؟
اختبر الباحثون هذه الأداة مع 10 مهنيين من العالم الحقيقي (مهندسين، معلمين، محللي بيانات).
ماذا حدث:
- المفاجأة: كان الناس في كثير من الأحيان مصدومين. ظن أحدهم أن "النموذج X" هو الأفضل لأنه مشهور. ولكن عندما قام بتصفية البيانات لتناسب احتياجاته المحددة (مثل "خدمة العملاء")، وجد أن نموذجاً أصغر وأقل شهرة كان يؤدي بشكل أفضل.
- الثقة: بدلاً من الثقة العمياء في رقم ما، شعر الناس بالثقة في خياراتهم لأنهم استطاعوا رؤية الأدلة. أصبح بإمكانهم القول: "لقد اخترت النموذج (Y) لأنه رائع في شرح الرياضيات للأطفال، وهذا ما أحتاجه".
- التفكير النقدي: توقفوا عن سؤال "من هو الأفضل؟" وبدأوا في سؤال "من هو الأفضل بالنسبة لي؟"
الخلاصة الكبرى
تجادل الورقة البحثية بأنه لا يوجد ذكاء اصطناعي "أفضل" بشكل مطلق. كلمة "الأفضل" هي سؤال يعتمد كلياً على من يسأل وماذا يحتاج.
- العقلية القديمة: "لوحة المتصدرين تقول إن النموذج (أ) هو رقم 1، لذا يجب أن نستخدم النموذج (أ)".
- العقلية الجديدة: "لوحة المتصدرين هي خريطة. لكنني أحتاج لرسم طريقي الخاص بناءً على وجهتي. سأستخدم هذه الأداة لأجد الذكاء الاصطنا الذي يناسب رحلتي الخاصة".
باختصار: لا تترك مجموعة صغيرة من الناس تقرر ما هو "الجيد" للجميع. امنح المستخدمين الأدوات لتحديد ما هو "الجيد" بالنسبة لهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.