Mind the Gap: Explicit Cross-Benchmark Calibrations for Estimating Missing LLM Evaluation Scores
تقدم الورقة البحثية "benchgap"، وهو مسار عمل يقوم بتقدير درجات تقييم النماذج اللغوية الكبيرة المفقودة من خلال معايرة المعايير المرجعية صراحةً ضمن مجموعات القدرات باستخدام ملاءمة المنحنيات الرتيبة والخرائط متعددة المتغيرات، محققاً معدلات خطأ أقل بكثير من نماذج إكمال المصفوفات الأساسية مع تحديد التباينات في إعداد التقييم المعروفة باسم "ضريبة التجهيز" (harness tax).
المؤلفون الأصليون:Patrik P. Süli, György Eigner, Roland Hollós
في عالم الذكاء الاصطناعي المتطور بسرعة، يتم إصدار نماذج لغوية جديدة بوتيرة أسرع من قدرة الناس على اختبارها. صُممت هذه النماذج لحل المشكلات، وكتابة الأكواد، والتفكير في المهام المعقدة، ولكن قدراتها الحقيقية لا تُعرف إلا عندما تخضع لاختبارات معيارية تسمى "المقاييس المرجعية" (benchmarks). فكر في المقياس المرجعي كأنه ورقة امتحان محددة؛ ودرجة النموذج في تلك الورقة هي لقطة لأدائه تحت ظروف صارمة. ومع ذلك، فإن مشهد هذه الامتحانات واسع ومجزأ؛ إذ تختار مختبرات الأبحılı والشركات المختلفة مجموعات مختلفة من الاختبارات لاستعراض نماذجها، وتقوم خدمات التقييم بتشغيل مجموعات فرعية خاصة بها من النماذج وفق جداول زمنية خاصة بها. والنتيجة هي صورة ضخمة وغير مكتملة حيث تم اختبار معظم النماذج في عدد قليل فقط من الامتحانات، مما يترك الغالبية العظمى من الدرجات المحتملة مفقودة. وتجعل هذه الفجوة من الصعب مقارنة النماذج بشكل عادل أو فهم نطاق قدراتها الكامل، حيث يضطر المحللون إلى النظر في جداض تحتوي على أكثر من تسعين بالمائة من البيانات الفارغة.
ولحل هذا اللغز، طور الباحثون باتريك ب. سولي، وجورجي إيجنر، ورولاند هولوسس، طريقة تسمى "benchgap"، وهي نظام مصمم لتقدير الدرجات المفقودة دون تشغيل الاختبارات فعلياً. وبدلاً من محاولة التنبؤ بأداء النموذج من الصفر أو استخدام معادلة عالمية واحدة لجميع النماذج، يعمل هذا النظام كمترجم بين امتحانات محددة؛ فهو ينظر إلى النماذج التي خضعت بالفعل لاختبارين مختلفين ويرسم العلاقة بين درجاتها. فإذا سجل نموذج درجة عالية في امتحان ما، يستخدم النظام البيانات التاريخية لنماذج أخرى لتقدير ما ستكون عليه درجة هذا النموذج نفسه في امتحان مختلف لم يُختبر فيه بعد. هذه العملية ليست مجرد تخمين، بل هي معايرة دقيقة تطابق منحنىً انسيابياً مع البيانات، مما يضمن أن التقدير يحترم الحدود الطبيعية للاختبارات وقدرات النماذج. والنظام صارم في قواعده: فهو لا يسمح أبداً بتقدير درجة نموذج في اختبار غير مناسب له جوهرياً، مثل التنبؤ بدرجة اختبار رؤية بناءً على نتائج نصية فقط، كما يرفض إجراء تقديرات تتجاوز نطاق البيانات التي رآها بشكل مبالغ فيه.
اختبر الباحثون هذا النهج على مجموعة بيانات تحتوي على 401 نموذجاً مختلفاً و146 نسخة من المقاييس المرجعية. ووجدوا أن النظام استطاع بنجاح ملء 71 بالمائة من الدرجات المفقودة بدرجة عالية من الدقة. وعندما قارنوا تقديراتهم بالدرجات الفعلية المقاسة التي كانت مخفية لأغراض الاختبار، كان متوسط الخطأ في النظام 4.6 نقطة مئوية فقط. وكان هذا أفضل بكثير من طريقة منافسة حاولت ملء الفجوات باستخدام نمط عالمي واسع، مما أدى إلى أخطاء أكبر في نفس الخلايا. كما أن النظام شفاف بشأن عدم اليقين الخاص به؛ فكل تقدير ينتجه يأتي مع مستوى ثقة وهامش خطأ محدد، مما يخبر المستخدم مدى موثوقية هذا الرقم بالضبط. فعلى سبيل المثال، التقديرات القائمة على علاقات قوية وواضحة بين الاختبارات تُصنف كعالية الثقة، بينما التقديرات القائمة على نقاط بيانات أقل أو روابط أكثر شكاً تُصنف كمنخفضة الثقة، مما يسمح للمستخدمين بوزن المعلومات بشكل مناسب.
وكان أحد الاكتشافات الرئيسية في هذا العمل هو تحديد ما يسميه المؤلفون "ضريبة هارنيس" (harness tax). وهي حالة عدم الاتفاق التي تنشأ عندما يتم تشغيل نفس المقياس المرجعي بواسطة إعدادات تقييم مختلفة. فحتى عندما تقوم خدمتان باختبار نفس النموذج تماماً على نفس مجموعة الأسئلة، يمكن أن تختلف الدرجات بشكل كبير اعتماداً على البرمجيات والبروتوكولات المستخدمة لتشغيل الاختبار. ووجد الباحثون أنه بالنسبة للمقاييس المرجعية التي تتضمن وكلاء (agents) يمكنهم استخدام الأدوات أو التنقل في محطات الكمبيوتر، كانت هذه الاختلافات جوهرية، حيث اختلفت الدرجات بمتوسط 8.7 نقطة مئوية بين الإعدادات. وفي المقابل، بالنسبة لاختبارات المعرفة البسيطة التي لا تستخدم أدوات، كان عدم الاتفاق أصغر بكثير، بواقع 2.3 نقطة مئوية فقط. يسلط هذا الاكتشاف الضوء على أن درجة المقياس المرجعي ليست مجرد خاصية للنموذج نفسه، بل هي أيضاً خاصية للبيئة المحددة التي اختُبر فيها. ويعالج النظام هذا الأمر من خلال المعايرة فقط بين الاختبارات التي تشترك في نفس مجموعة القدرات، ومن خلال تسجيل مصدر كل درجة، مما يضمن أن تعكس التقديرات واقع كيفية إجراء هذه الاختبارات.
يعمل النظام كخط إنتاج حي يتحدث يومياً، حيث يسحب الدرجات الجديدة فور نشرها ويعيد حساب التقديرات. وهو لا يعتمد على بيانات تدريب مخفية أو البنية الداخلية للنماذج، مما يجعله قابلاً للتطبيق على أي نموذج، بما في ذلك النماذج مغلقة المصدر التي تصدر درجاتها النهائية فقط. ومن خلال ملء الفجوات بمعايرات صريحة وقابلة للتتبع، يوفر النظام رؤية أكثر اكتمالاً وأمانة للمشهد العام للذكاء الاصطناعي. وهو يقر بأنه رغم عدم كمال أي تقدير، فإن التنبؤ المبني بعناية على بيانات من العالم الحقيقي هو أكثر فائدة بكحلة فارغة. والنتيجة هي أداة تساعد الباحثين والمطورين والجمهور على التنقل في عالم تقييم النماذج المعقد بوضوح أكبر، محولةً مصفوفة شحيحة ومربكة من البيانات إلى خريطة متماسكة للقدرات.
ملخص تقني: سد الفجوة: المعايرات الصريحة عبر الاختبارات المرجعية لتقدير درجات نماذج اللغات الكبيرة (LLMs) المفقودة
بيان المشكلة يتجاوز وتيرة إصدار نماذج اللغات الكبيرة (LLMs) القدرة على التقييم الشامل، مما يؤدي إلى مصفوفة "النموذج × الاختبار المرجعي" متفرقة. في مجموعة بيانات تضم 401 نموذجاً و146 نسخة من الاختبارات المرجعية، تحتوي 8.3% فقط من الخلايا على درجات مقاسة. تعتمد الأساليب الحالية للتنبؤ بالدرجات المفقودة، مثل إكمال المصفوفة العالمي أو قوانين القياس لعوامل الكمون، غالباً على فضاء كامن، حيث تعامل المصفوفة بأكملها ككيان واحد. وبينما تثبت هذه الأساليب أن الدرجات مترابطة بشكل كبير، إلا أنها تحجب المصدر المحدد للتنبؤات وقد تفشل في احترام مجموعات القدرات المتميزة أو إعدادات التقييم (harnesses) التي تحدد درجات الاختبار المرجعي. علاوة على ذلك، لا توفر الأساليب العالمية تقديرات للخطأ لكل خلية أو مستويات ثقة، مما يجعل من الصعب تدقيق التنبؤات الفردية في لوحات المتصدرين العامة.
المنهجية: خط معالجة benchgap يقدم المؤلفون benchgap وهو خط معالجة يقوم بتقدير الدرجات المفقودة باستخدام معايرات محلية صريحة بدلاً من التحليل العام للعوامل الكامنة. يعمل النظام على مبدأ أنه يمكن رسم خرائط لدرجات الاختبارات المرجعية مع بعضها البعض من خلال منحنيات رتيبة، بشرط أن تشترك في نفس مجموعة القدرات.
المعايرات أحادية المتغير: لكل زوج مرتب من الاختبارات المرجعية ذات القدرة نفسها والتي تشترك في خمسة نماذج على الأقل، يقوم النظام بملاءمة ست عائلات من المنحنيات الرتيبة (Hill، وlinear، وMichaelis–Menten، وoffset logistic، وinverse MM، وMM + offset).
الاختيار: يتم اختيار أفضل منحنى بناءً على أدنى خطأ في التحقق المتقاطع "Leave-One-Out" (LOO).
القيود: يتم الاحتفاظ بالنماذج الصاعدة فقط (استبعاد النماذج ذات الارتباط العكسي التي تشير غالباً إلى عدم كفاية تغطية البيانات). يجب أن تحقق الملاءمات R2≥0.3 وخطأ LOO لا يتجاوز 15 نقطة مئوية (pp).
الاستقراء: يتم حصر التنبؤات ضمن نطاق يبلغ "عرض الملاءمة" (w=xmax−xmin) خارج البيانات المرصودة.
الخرائط متعددة المتغيرات: لتحسين الدقة، يتم التنبؤ بالاختبارات المرجعية المستهدفة من عدة اختبارات مرجعية مصدرية في آن واحد.
اختيار الميزات: يقوم نظام (elastic net) مع مكون (lasso)، أو بحث أمامي جشع، باختيار الاختبارات المرجعية المصدرية الأكثر إخباراً.
الشكل الوظيفي: يقارن النظام بين (linear elastic net) ذي المعاملات غير السالبة وبين منحنى (Michaelis–Menten) متعدد المتغيرات.
بوابة الجودة: لا تُخزن الخرائط متعددة المتغيرات إلا إذا اجتازت نفس بوابات الجودة الخاصة بالمعايرات أحادية المتغير وأظهرت خطأ LOO أقل من البديل الأحادي الأفضل.
ملء الفجوات والقيود:
لا يوجد تكرار: تُشتق التقديرات حصرياً من الدرجات المقاسة؛ ولا يمكن لتقدير أن يغذي تقديراً آخر.
بوابة القدرة: لا تتجاوز المعايرات حدود القدرات (على سبيل المثال، لا تتنبأ اختبارات النصوص بدرجات الرؤية).
مستويات الثقة: يتم تخصيص مستوى ثقة لكل تقدير (عالية، متوسطة، منخفضة) بناءً على خطأ LOO وثلاثة تحذيرات محتملة: الاستقراء، أو صغر حجم العينة (<8 نماذج)، أو ملاءمة غير إخبارية (R2<0.5).
قياس ضريبة الإعداد (Harness Tax): يحدد النظام "ضريبة الإعداد" — وهو عدم الاتفاق بين إعدادات التقييم المختلفة (المصادر) لنفس الاختبار المرجعي. ويُقاس ذلك من خلال مقارنة فروقات الدرجات لكل نموذج عبر أزواج العناصر المتماثلة التي تم التحقق منها.
المساهمات الرئيسية
خط معالجة شفاف لملء الفجوات: نظام يوفر تقديرات قابلة للتتبع حيث يرتبط كل تنبؤ بدرجة مصدر محددة، وعائلة منحنى، ومعاملات، ومقياس خطأ عبر واجهة برمجة تطبيقات (API).
الخرائط متعددة المتغيرات: آلية لدمج عدة اختبارات مرجعية مصدرية للتنبؤ، باستخدام اختيار الميزات لاستبعاد المصادر غير المخبِرة.
تقييم شامل: اختبار استبقاء صارم يحجب 15% من الدرجات المقاسة للتحقق من صحة تسميات الخطأ المنشورة مقابل الأخطاء الفعلية.
قياس ضريبة الإعداد: أول دراسة تقيس عدم الاتفاق في إعدادات التقييم لكل نموذج عبر عائلات الاختبارات المرجعية، مع التمييز بين الاختلافات الوكيلة (agentic)، والخالية من الأدوات (tool-free)، واختلافات طبقة البروتوكول.
نظام يعمل باستمرار: نظام يتحدث يومياً، مرخص بموجب رخصة MIT (benchgap.net)، وينشر الدرجات، والمعايرات، وسجلات المصدر عبر واجهة برمجة تطبيقات عامة.
النتائج
الدقة مقابل الخطوط المرجعية: في اختبار استبقاء بنسبة 15%، ملأ benchgap 71% من الخلايا المحجوبة بمتوسط خطأ مطلق (MAE) قدره 4.6 نقطة مئوية (pp). وهذا أقل بنسبة 23% من خط مرجعي لإكمال المصفوفة من الرتبة الثانية (5.9 pp MAE) على نفس الخلايا. وفي الـ 29% من الخلايا التي تركها المسار فارغة (بسبب نقص الخرائط الصالحة)، كان خطأ المرجع المرجعي أعلى بكثير (11.8 pp).
معايرة الثقة: يرتبط الخطأ الفعلي بمستويات الثقة: عالية (3.1 pp MAE)، متوسطة (5.1 pp)، ومنخفضة (7.5 pp). ومع ذلك، فإن جذر متوسط مربع الخطأ (RMSE) الفعلي يتجاوز تسميات خطأ LOO المطالب بها بمعامل يتراوح بين 1.4 إلى 1.7، مما يشير إلى أن التسميات هي قيم دنيا متفائلة.
ضريبة الإعداد: تظهر الاختبارات المرجعية الوكيلية (Agentic) ضريبة إعداد عالية، حيث أظهرت أزواج العناصر المتماثلة التي تم التحقق منها متوسط اختلاف قدره 8.7 نقطة مئوية. في المقابل، تظهر الاختبارات الخالية من الأدوات اختلافاً قدره 2.3 نقطة مئوية فقط. أدى تمكين الأدوات في "Humanity's Last Exam" إلى زيادة الدرجات بمتوسط 10.0 نقطة مئوية عبر جميع النماذج الـ 11 التي تم قياسها في كلا الاتجاهين.
الأداء في البيانات المتفرقة: بالنسبة للنماذج ذات الدرجات المقاسة القليلة جداً (1 أو 2)، يملأ المسار 19-26% من الخلايا المتبقية بمتوسط خطأ مطلق يبلغ حوالي 5.0 نقاط مئوية، وهو ما يضاهي نتائج الحجب العشوائي.
الأهمية والادعاءات تضع الورقة البحثية benchgap كنهج مكمل لطرق العوامل الكامنة العالمية. بينما تفترض الطرق العالمية وجود هيكل مشترك عبر المصفوفة بأكملها، يعطي benchgap الأولوية للصراحة والقابلية للتدقيق. ومن خلال إبقاء المعايرات محلية وصريحة، يضمن النظام إمكانية تتبع كل تقدير إلى مصدره، وتوضيح حدوده (مثل الاستقراء، أو صغر حجم العينة) بشكل مرئي.
يدعي المؤلفون أن هذه الصراحة تأتي على حساب التغطية (ملء 71% مقابل 99% من الخلايا) ولكنها تحقق دقة أعلى على الخلايا المملوءة وتوفر آلية للكشف عن عدم اتساق إعدادات التقييم (ضريبة الإعداد) وقياسها. لا يمكن للنظام اكتشاف النماذ ذات ملفات القدرات المختلفة عن تلك الموجودة في مجموعة التدريب، لكنه يجعل عوامل الخطر معروفة من خلال خفض مستويات الثقة وتسميات الخطأ. يُقدم النظام ليس كحل نهائي، بل كلقطة شفافة وقابلة للتدقيق للمشهد الحالي للاختبارات المرجعية لنماذج اللغات الكبيرة، والتي تُحدث يومياً لتعكس الحالة الحية للاختبارات المرجعية.