There Is No Neutral Harness: Modern LLM Leaderboards Are Manufactured by Config-Fragile Items
تُثبت هذه الورقة أن لوحات صدارة النماذج اللغوية الكبيرة الحديثة غير موثوقة بشكل أساسي لأن إعدادات أدوات التقييم (مثل صياغة المطالبات وطرق تسجيل النقاط) هي المحركات الرئيسية لتباين الأداء، وغالباً ما تحدد ترتيب النماذج أكثر من قدراتها الفعلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي المتطور بسرعة، يعتمد الباحثون على اختبارات معيارية لقياس مدى قدرة البرامج الحاسوبية على فهم اللغة. هذه الاختبارات، التي تُسمى غالباً "المقاييس المرجعية" (benchmarks)، تقدم سلسلة من الأسئلة متعددة الخيارات للنموذج وتسجل عدد الإجابات التي أصابها. ويُعامل الرقم الناتج كحقيقة مطلقة حول ذكاء الآلة، مما يسمح للعلماء بتصنيف النماذج المختلفة مقابل بعضها البعض وإعلان فائز. لسنوات، عمل المجتمع العلمي تحت افتراض أنه بينما قد يتذبذب أداء النموذج قلياً بسبب الصدفة العشوائية، فإن التصنيف العام يعكس حقيقة مستقرة حول قدرات التكنولوجيا. وقد تمت الإجابة على سؤال ما إذا كان نموذج ما أذكى حقاً من نموذج آخر من خلال النظر إلى رقم واحد: نسبة الإجابات الصحيحة.
ومع ذلك، يشير تحقيق جديد إلى أن هذا الرقم الواحد يروي قصة أكثر تعقيداً بكثير. إذ يكشف البحث أن الدرجة التي يحصل عليها النموذج ليست مجرد مقياس لذكائه، بل هي أيضاً نتاج للقواعد المحددة المستخدمة في تقييمه. هذه القواعد، المعروفة باسم "أداة التقييم" (evaluation harness)، تتضمن خيارات تبدو تافهة في ظاهرها: ترتيب الخيارات التي تلي السؤال، والصياغة الدقيقة للتعليمات المعطاة للآلة، والطريقة المستخدمة لتحديد ما إذا كانت الإجابة صحيحة أم لا. وبينما تُتخذ هذه الخيارات غالباً بشكل عشوائي أو بناءً على الملاءمة، وجد الباحث أن تغييرها يمكن أن يعيد كتابة لوحة المتصدرين بالكامل، محولاً النموذج الذي يحتل المركز الأخير إلى المتصدر، أو العكس. وتوحي النتائج بأن الطريقة الحالية لتصنيف الذكاء الاصطناعي أقل استقراراً بكثير مما كان يُعتقد سابقاً، وأن النموذج "الأفضل" يعتمد كلياً على كيفية إجراء الاختبار.
ولكشف هذا عدم الاستقرار الخفي، صمم باحث من جامعة كاليفورنيا، سان دييغو، تجربة ضخمة عاملت قواعد الاختبار نفسها كمتغير. وبدلاً من إجراء اختبار واحد وقبول النتيجة، أنشأ شبكة من ستة وعشرين طريقة مختلفة لإدارة الاختبار نفسه. وأخذ اثني عشر نموذجاً لغوياً مختلفاً من أربع عائلات رئيسية وطلب منها الإجابة على 3,679 سؤالاً من الأسئلة متعددة الخيارات. ولكل سؤال على حدٍ، مرر النماذج عبر كل توليفة ممكنة من قواعد الاختبار. وشمل ذلك إعادة ترتيب خيارات الإجابة، وتغيير كيفية صياغة الأسئلة، والتبديل بين طريقتين مختلفتين لتسجيل الإجابات: إحداهما حيث يولد النموذج استجابة نصية، والأخرى حيث يحسب الكمبيوتر الاحتمالية الرياضية لكل خيار ليكون صحيحاً.
كانت النتائج مذهلة. فعندما نظر الباحث في درجات نموذج واحد، لم يجد نقطة دقة واحدة؛ بل وجد نطاقاً واسعاً من الدرجات الممكنة. فأحد النماذج الأعلى أداءً، تراوحت درجته بين منخفض قدره 31 بالمئة ومرتفع قدره 89 بالمئة، اعتماداً كلياً على مجموعة القواعد الست وعشرين المستخدمة. وهذا يعني أن نفس الآلة، بنفس الكود الداخلي ونفس المعرفة، يمكن نسب الفضل إليها في الإجابة على جميع الأسئلة تقريباً أو الفشل في الإجابة على ثلثها، لمجرد أن مسؤول الاختبار غير ترتيب الحروف أو أسلوب التوجيه. وفي المتوسط، فإن 85 بالمئة من الإجابات التي تم منح النموذج حقها فيها بموجب القواعد القياسية، يمكن اعتبارها خاطئة بموجب مجموعة أخرى متساوية في الصلاحية من القواعد.
وكان الاكتشاف الأكثر أهمية هو أن هذه التقلبات لم تكن ضوضاء عشوائية موزعة بالتساوي عبر الاختبار. بل كان عدم الاستقرار متركزاً بدقة في الأسئلة التي تفصل بين النماذج وبعضها البعض. فعندما نظر الباحث في الأسئلة التي أجابت عليها النماذجان المتجاورتان بشكل صحيح أو خاطئ بغض النظر عن القواعد، وجد أن النماذج كانت في حالة تعادل فعلي. إن الاختلافات التي خلقت التصنيفات وجدت فقط في الأسئلة التي كانت النماذج فيها غير متيقنة. وفي الواقع، بالنسبة لأزواج النماذج المصنفة جنباً إلى جنب، كان ما يقرب من 96 بالمئة من الفجوة في درجاتهم ناتجاً عن هذه الأسئلة غير المستقرة. وإذا تمت إزالة الأسئلة التي تتقلب صعوداً وهبوطاً، فإن التصنيفات تتلاشى، وتصبح النماذج غير قابلة للتمييز.
هذه الهشاشة تعني أن هوية "الفائز" لم تكن خاصية ثابتة للنماذج، بل كانت خياراً يتخذه المُقيّم. فبموجب مجموعة واحدة من القواعد، قد يحتل نموذج معين المركز الأول، بينما تحت مجموعة قواعد أخرى، قد يفوز نموذج مختلف تماماً. وفي هذه الدراسة، تمكنت أربعة نماذج مختلفة من الوصول إلى المركز الأول اعتماداً على التكوين المستخدم. أحد النماذج التي أنهت في المركز الحادي عشر من أصل اثني عشر بموجب القواعد القياسية، قفز إلى المركز الأول بموجب طريقة تسجيل مختلفة. وأشار الباحث إلى أن اختيار كيفية تسجيل الإجابة — سواء بقراءة النص الذي كتبه النموذج أو بحساب الاحتمالات — كان العامل الأكثر قوة، حيث تسبب في تغييرات في التصنيفات أكثر مما فعله ترتيب الخيارات أو صياغة التوجيه.
كما بحثت الدراسة في توجه شائع في هذا المجال: وهو ضغط هذه الاختبارات الكبيرة وتقليصها إلى مجموعة أصغر من الأسئلة الأكثر "إخباراً" (informative) لتوف توفير الوقت. والمنطق وراء ذلك هو أن بضع مئات من الأسئلة المختارة جيداً يمكن أن تمثل الاختبار بأكمله. لكن الباحث وجد أن هذه الممارسة تجعل المشكلة أسوأ. فالأسئلة التي يتم اختيارها لتكون الأكثر إخباراً هي بالضبط تلك الأكثر حساسية لقواعد الاختبار. ومن خلال الاحتفاظ فقط بهذه الأسئلة الصعبة وعالية المخاطر، تصبح المقاييس المرجعية المضغوطة أكثر تقلبًا من الاختبارات الكاملة التي استبدلتها. فالاختبار الأصغر لا يوفر صورة أوضح، بل يوفر صورة أكثر هشاشة، حيث يكون التصنيف أكثر عرضة للتغيير بناءً على تعديلات طفيفة في الإعداد.
في الختام، تجادل الورقة البحثية بأن الممارسة الحالية المتمثلة في تقديم رقم واحد كحقيقة حول قدرة النموذج هي ممارسة مضللة. فالدرجة ليست خاصية للنموذج وحده، بل هي خاصية لتفاعل النموذج مع مجموعة محددة من القواعد. ويقترح الباحث أنه يجب على التقارير المستقبلية التوقف عن معاملة لوحة المتصدرين كتراتب ثابت، والبدء في تقديم نطاق الدرجات الممكنة. ويقترح أنه عند مقارنة النماذج، يجب على العلماء التركيز على الأسئلة التي تكون فيها النماذج مستقرة ومتفقة، بدلاً من الأسئلة التي تملي فيها القواعد النتيجة. وإلى أن يتفق المجتمع على طريقة واحدة وغير قابلة للتغيير لإجراء هذه الاختبارات، ستظل التصنيفات انعكاساً لخيارات المُقيّم بدلاً من كونها مقياساً حاسماً للذكاء الاصطناعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.