🤖 machine learning

Resolution Diagnostics for Paired LLM Evaluation

تشخص هذه الورقة عجزاً حرجاً في القوة الإحصائية في لوحات المتصدرين الحالية للنماذج اللغوية الكبيرة المزدوجة، كاشفةً أن العديد من التصنيفات الزوجية غير محسومة بسبب عدم كفاية أحجام العينات والاستخدام الواسع النطاق لاختصارات حجم الأثر غير المزدوجة التي تقلل من أحجام العينات المطلوبة بنحو عامل قدره اثنين تقريباً.

المؤلفون الأصليون: Anany Kotawala

نُشر 2026-05-29

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Anany Kotawala

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك حكم في مسابقة طبخ، وقد انتهى للتو الشيف (أ) والشيف (ب) من إعداد أطباقهما. تذوقت الطبقين وقلت: "طبق الشيف (أ) أفضل من طبق الشيف (ب) بنسبة 0.8%". يشتعل الجمهور حماساً، وتتصدر العناوين الإخبارية جملة "الشيف (أ) يفوز!"، ويبدأ الناس في شراء كتب الطبخ الخاصة بالشيف (أ).

ولكن مهلاً، هل عرفت حقاً أن الشيف (أ) كان أفضل، أم أنك كنت مجرد محظوظ بخصوص المكونات المحددة التي تذوقتها؟

هذه الورقة البحثية هي "فحص للواقع" لعالم النماذج اللغوية الكبيرة (LLMs). وهي تجادل بأن العديد من لوحات المتصدرين الحالية (التي تمثل "مسابقات الطبخ" للذكاء الاصطناعي) تقدم ادعاءات واهية للغاية لدرجة يصعب معها تصديقها. إنها تعلن عن فائزين بناءً على فروق ضئيلة يمكن أن تكون مجرد ضوضاء عشوائية.

إليك تفصيل نتائج الورقة باستخدام تشبيهات بسيطة:

1. مشكلة "الاقتران": إنها ليست سباقاً، بل مبارزة

يعتقد معظم الناس أن اختبار نموذجين من الذكاء الاصطناعي يشبه سباقاً حيث يركض كل منهما في مسارات مختلفة. لكن في الواقع، يتم اختبار هذه النماذج على نفس الأسئلة تماماً (نفس المسار).

التشبيه: تخيل عداءين يركضان على نفس المسار وفي نفس الوقت. إذا هبت الرياح، ستهب على كليهما. إذا كان المسار زلقاً، سيكون زلقاً لكليهما. ولأنهم يواجهون نفس الظروف تماماً، فإن نتائجهم "مقترنة".
الخطأ: العديد من الأدوات الحالية تحسب "القوة الإحصائية" (مدى الثقة في أن النتيجة حقيقية) كما لو كان العداءون على مسارات مختلفة. هذا يشبه تجاهل تأثير الرياح وظروف المسار.
النتيجة: وجدت الورقة أن تجاهل طبيعة "الاقتران" هذه يجعل العديد من الأدوات تقلل من تقدير حجم العينة المطلوب بمعامل قدره اثنين. الأمر يشبه الاعتقاد بأنك تحتاج فقط إلى 50 متذوقاً لإثبات وجود فرق، بينما أنت في الواقع بحاجة إلى 100.

2. تشخيص "الدقة": فحص المجهر

ابتكر المؤلفون أداة جديدة تسمى "تشخيص الدقة" (Resolution Diagnostic). فكر في هذا كأنه مجهر للوحة المتصدرين.

كيف يعمل: قبل أن تعلن عن فائز، تنظر من خلال المجهر.
- إذا كانت الفجوة بين النموذجين ضخمة (مثل 15%)، فإن المجهر يظهر صورة واضحة وحادة. الفائز حقيقي.
- إذا كانت الفجوة ضئيلة (مثل 0.5%)، فإن المجهر يظهر صورة باهتة وضبابية. لا يمكنك معرفة ما إذا كان الضباب ناتجاً عن كون أحد النماذج أفضل بالفعل، أم أنه مجرد ضوضاء عشوائية.
النتيجة: عندما نظروا في لوحتين شهيرتين للمتصدرين (Open LLM Leaderboard و MMLU-Pro)، وجدوا أن العديد من "الفائزين" كانوا في الواقع مجرد صور ضبابية.
- في لوحة Open LLM Leaderboard، كانت 11 من أصل 40 حالة اقتران تدعي وجود فجوة غير واضحة بما يكفي.
- في قائمة أفضل 10 لـ MMLU-Pro، كانت 4 من أصل 9 من أقرب المنافسات غير واضحة المعالم.

3. فخ "الاختصار": الآلة الحاسبة المعطلة

اكتشفت الورقة أن العديد من الباحثين يستخدمون "اختصاراً" في حساباتهم الرياضية.

التشبيه: تخيل أن لديك آلة حاسبة مصممة للعدائين المنفردين (غير المقترنين). تحاول استخدامها لمبارزة (مقترنة) عبر الضغط ببساطة على زر "اضرب في 0.7" في النهاية.
المشكلة: أثبتت الورقة رياضياً أن هذا الاختصار معطل في السباقات المتقاربة. فهو يخبرك باستمرار أنك بحاجة إلى نصف البيانات التي تحتاجها فعلياً.
الدليل: اختبروا خمس أدوات إحصائية شائعة. سقطت ثلاث منها (بما في ذلك صيغة مشهورة من الكتب المدرسية وبرنامج شهير يسمى G*Power) في هذا الفخ. لقد أعطت هذه الأدوات إجابات أصغر بنصف الحجم الذي يجب أن تكون عليه بصمت، مما جعل الناس يعتقدون أن لديهم بيانات كافية بينما هم لا يملكونها.

4. تأثير "المجموعة": الأصدقاء الجالسون معاً

الاختبارات في العالم الحقيقي ليست مجرد أسئلة عشوائية؛ فهي غالباً ما تكون مجمعة حسب الموضوع (مثل الرياضيات، التاريخ، العلوم).

التشبيه: تخيل أنك تختبر ما إذا كانت طريقة دراسة جديدة فعالة. إذا اختبرتها على مجموعة من الأصدقاء الذين يجلسون معاً وينقلون الإجابات عن بعضهم البعض، فستكون نتائجهم مترابطة. لا يمكنك معاملتهم كـ 100 شخص مستقل؛ بل يتصرفون كـ 10 أشخاص فقط.
النتيجة: عندما أخذ المؤلفون هذه "المجموعات" (العناقيد) في الاعتبار في اختبار MMLU-Pro، ارتفع عدد الأزواج "غير الواضحة" (الضبابية).
- بدون التحقق من المجموعات: كان هناك 4 أزواج ضبابية.
- مع التحقق من المجموعات: ارتفع العدد إلى 6 أزواج ضبابية.
- بعض الأزواج التي بدت كفوز واضح أصبحت فجأة قريبة جداً لدرجة لا يمكن الحسم فيها.

5. مشكلة "البث المباشر": التوقف المبكر جداً

تتحدث لوحات المتصدرين باستمرار، وتُضاف نماذج جديدة كل يوم.

التشبيه: تخيل أنك تشاهد بثاً مباشً لسباق. إذا أوقفت السباق في اللحظة التي ترى فيها عداءً يتقدم، فقد تكون مخطئاً. فقد يكون قد حصل فقط على دفعة حظ، وقد يلحق به المنافس الآخر لاحقاً.
النتيجة: اختبرت الورقة ما يحدث إذا عاملت لوحة المتصدرين كبث مباشر مستمر بدلاً من لقطة واحدة ثابتة. هذا الاختبار "الصالح في أي وقت" (anytime-valid) أكثر صرامة. وقد حدد زوجاً واحداً إضافياً كزوج غير واضح، وهو ما فات الاختبار القياسي.

الخلاصة

لا تقول الورقة إن النماذج سيئة أو أن التصنيفات مزيفة. بل تقول: "نحن نعلن عن الفائزين بسرعة كبيرة جداً."

العديد من الفجوات الضئيلة التي نراها في لوحات المتصدرين (مثل 0.5% أو 1%) هي حالياً أصغر من أن تكون مؤكدة إحصائياً. "المجهر" (تشخيص الدقة) يظهر أننا غالباً ما ننظر إلى ضوضاء ساكنة ونسميها إشارة.

نصيحة المؤلفين: قبل أن تضع عنواناً إخبارياً عن كون نموذج ما "أفضل"، عليك التأكد مما إذا كان اختبارك يمتلك "دقة" كافية لرؤية هذا الفرق بوضوح. إذا كانت الإجابة لا، فإن الفجوة هي مجرد تخمين، وليست حقيقة.

ملخص تقني: تشخيصات دقة التمييز للتقييم المزدوج للنماذج اللغوية الكبيرة (LLM)

بيان المشكلة
تعتمد لوحات المتصدرين (Leaderboards) الحديثة للنماذج اللغوية الكبيرة (LLM) في كثير من الأحيان على تصنيف النماذج بناءً على فجوات النقاط المئوية المستمدة من اختبارات المعايير ذات المطالبات المشتركة. وبينما تدفع الفجوة الرئيسية (مثل 78.3% مقابل 77.5%) قرارات المنتجات والسرديات، فإن الادعاء الإحصائي بأن نموذجًا ما أفضل بشكل ملموس من نموذج آخر يعتمد على ما إذا كان حجم المعيار وهيكل البيانات يوفران دقة كافية لتمييز الفجوة عن ضجيج أخذ العينات.

تحدد الورقة فجوة حرجة في ممارسات التقييم الحالية: تفشل العديد من التصنيفات المزدوجة المعروضة في لوحات المتصدرين العامة في تلبية أهداف دقة الاختبار المزدوج التقليدية (تحديدًا $\alpha=0.05$ وقدرة $1-\beta=0.8$ ). ويجادل المؤلفون بأن حاسبات القدرة (Power Calculators) وبروتوكولات التقييم القياسية غالبًا ما تتجاهل الطبيعة المزدوجة (Paired Nature) لمعايير المطالبات المشتركة، مما يؤدي إلى مقارنات ضعيفة القدرة. وتحديدًا، تسلط الورقة الضوء على أن:

في لوحة المتصدرين المفتوحة للنماذج اللغوية الكبيرة (OLL) الإصدار الأول، هناك 11 من أصل 40 مقارنة ثنائية غير محددة الدقة (Unresolved).
في MMLU-Pro لأعلى 10 نماذج، هناك 4 من أصل 9 أزواج متجاورة في التصنيف غير محددة الدقة عند حجم المعيار الفعلي ( $N=12,032$ ).
إن "الاختصارات" الشائعة لحساب أحجام العينات المطلوبة في السياقات المزدوجة (مثل تطبيق تصحيح $(1-\rho)$ على معامل Cohen's $h$ غير المزدوج) تقلل بشكل منهجي من حجم العينة المطلوب بمعامل يقارب اثنين في أنظمة المقارنة الوثيقة.

المنهجية
يؤطر المؤلفون تقييم الـ LLM المزدوج كمسألة اختبار فرضيات، ويشتقون إطار عمل لتقرير دقة التمييز عن طريق عكس اختبارات المستوى- $\alpha$ والقدرة- $(1-\beta)$ .

نسبة الدقة ( $q$ ): يُعرف التشخيص الأساسي بـ $q = N / N^\star$ ، حيث $N$ هو حجم المعيار الفعلي و $N^\star$ هو حجم العينة المطلوب لاكتشاف فجوة ملحوحة $\hat{\delta}$ بالقدرة المستهدفة. تُعتبر الفجوة "محددة الدقة" (Resolved) إذا كان $q \ge 1$ .
التباين المزدوج: بالنسبة للدقة الثنائية، يتم اشتقاق حجم العينة المطلوب $N^\star$ باستخدام صيغة McNemar-Connor، التي تأخذ في الاعتبار تباين الفرق المزدوج $\sigma_D^2 = p_A q_A + p_B q_B - 2\rho\sqrt{p_A q_A p_B q_B}$ . وهذا يتناقض مع الصيغ غير المزدوجة التي تضخم $N$ المطلوبة عبر تجاهل التباين المشترك $\rho$ .
تمهيدية الاختصار (التمهيدية 1): توفر الورقة توسعًا دقيقًا للمؤثرات الصغيرة يصف فشل اختصار "الـ $h$ لـ Cohen غير المزدوج بالإضافة إلى $(1-\rho)$ " واسع الاستخدام. يثبت المؤلفون أنه بالنسبة لأحجام التأثير الصغيرة $\delta$ ، فإن نسبة تقدير الاختصار ( $n_h$ ) إلى التقدير المزدوج الصحيح ( $N^\star$ ) تتقارب مع $1/2$ مع ثابت ثابت من الدرجة الثانية $C(p, \rho)$ . وهذا يفسر لماذا الأدوات التي تطبق $(1-\rho)$ على مخرجات ذراع واحدة غير مزدوجة تقلل بشكل منهجي من $N^\star$ بنحو النصف في أنظمة المقارنة الوثيقة.
التوسعات: يدمج إطار العمل:
- تصحيح التعددية (Multiplicity Correction): ضبط معدلات الخطأ في العائلة بأكملها (Bonferroni/Holm) أو معدلات الاكتشاف الخاطئ (BH) عند تقييم أزواج متعددة.
- حساسية التكتل (Cluster Sensitivity): تغيير مقياس $N^\star$ بواسطة تأثير التصميم ( $DE$ ) لمراعاة الارتباط داخل التكتل (مثل فئات الموضوعات في MMLU-Pro).
- الاختبار الصالح في أي وقت (Anytime-Valid Testing): استبدال عتبات $N$ الثابتة بحدود موحدة زمنيًا مشتقة من عمليات-e للتعامل مع تحديثات لوحة المتصدرين المستمرة.

المساهمات الرئيسية

التوصيف النظري لنمط سوء الاستخدام: تقدم الورقة تمهيدية جديدة (التمهيدية 1) مع ثابت صريح يحدد انحراف اختصار "غير المزدوج + $(1-\rho)$ " عن حجم العينة المزدوج الصحيح. وتوضح أن هذا الاختصار يقلل من حجم العينة المطلوب بمعامل قدره اثنين في نظام المقارنة الوثيقة، وهو نمط ورثته ثلاثة من أصل خمس حاسبات قدرة شائعة (Cohen 1988, G*Power, R pwr).
تشخيصات دقة التمييز التجريبية: يطبق المؤلفون إطار عملهم على بيانات لوحات المتصدرين الحقيقية (OLL v1 و MMLU-Pro). ويظهرون أن جزءًا كبيرًا من فجوات التصنيف المتجاورة غير محددة الدقة عند مستهدفات القدرة القياسية.
- في OLL v1، هناك 11/40 مقارنة ثنائية غير محددة الدقة.
- في MMLU-Pro، يرتفع عدد الأزواج المتجاورة غير محددة الدقة من 4/9 (بافتراض فرضيات IID) إلى 6/9 عند مراعاة التكتل الحقيقي على مستوى الموضوعات.
بروتوكول وإدوات الإبلاغ: تقدم الورقة بروتوكولًا مغلفًا (llm-power) يسمح بإظهار تشخيصات دقة التمييز باستدعاء بسيط، مما يتيح لمصممي المعايير الإبلاغ عن الحد الأدنى من التأثير القابل للكشف (MDE) ونسبة الدقة $q$ جنبًا إلى جنب مع الفجوات الرئيسية.

النتائج

سوء استخدام الحاسبة: في مثال عملي بمعلمات $(p_A, p_B, \rho) = (0.65, 0.60, 0.30)$ ، أعادت ثلاث أدوات شائعة حجم عينة مطلوب قدره $\approx 515$ بينما كان $N^\star$ المزدوج الصحيح هو $1,028 $. طبقت الأدوات تصحيح$ (1-\rho)$ على تباين الذراع الواحدة بدلاً من تباين الفرق المزدوج.
الأثر الواقعي:
- OLL v1: فشلت 28% من المقارنات الثنائية (11/40) في تحقيق هدف الدقة. كانت جميع الأزوات ذات الفجوات $\le 2\%$ غير محددة الدقة.
- MMLU-Pro: تحت افتراض العناصر المستقلة، كانت 4/9 من الأزواج المتجاورة غير محددة الدقة. عند تطبيق تصحيح التكتل بناءً على 14 فئة موضوعات، ارتفع عدد الحالات غير المحددة الدقة إلى 6/9. تحول زوجان (الرتبة 4 مقابل 5 والرتبة 5 مقابل 6) من حالة "محددة الدقة بوضوح" إلى الحاجة لأحجام عينات $>3N$ .
- الاختبار الصالح في أي وقت: أدى تطبيق العتبات الموحدة زمنيًا للمراقبة المستمرة إلى تشديد الأحكام، مما جعل 5/9 من أزواج MMLU-Pro غير محددة الدقة (زوج واحد إضافي مقارنة باختبارات $N$ الثابتة).
المعايرة: تم التحقق من صحة اشتراطات $N^\star$ الخاصة بإطار العمل عبر أخذ عينات فرعية بطريقة Bootstrap من البيانات الحقيقية، مما أكد أن أحجام العينات المستمدة تحقق القدرة المستهدفة ( $\approx 0.80$ ) تجريبيًا.

الأهمية والادعاءات
تدعي الورقة أن التأكيد بأن نموذجًا ما "أفضل" من نموذج آخر هو ادعاء إحصائي حول الفجوة، وليس الفجوة نفسها. تكمن أهمية هذا العمل في نقل التركيز من مجرد الإبلاغ عن فجوة وقيمة $p$ إلى الإبلاង عن دقة تمييز (Resolution) المعيار.

يجادل المؤلفون بأن العديد من ادعاءات لوحات المتصدرين الحالية غير مدعومة بالقدرة الإحصائية للبيانات، لا سيما في "نظام المقارنة الوثيقة" حيث يتم تصنيف النماذج المتجاورة. ومن خلال كشف نقص التقدير بمعامل قدره اثنين في الأدوات الشائعة، وتوضيح كيف يؤدي التكتل والتعددية إلى تدهور الدقة، توفر الورقة إطارًا تشخيصيًا لمنع الاستنتاجات المفرطة في الثقة. العمل لا يدعي أن النماذج متساوية، بل يشير إلى أن أحجام المعايير الحالية غير كافية لتمييز الفجوات المرصودة عن الضجيج بموجب المعايير الإحصائية الصارمة. وتخلص الورقة إلى أن المعيار يمكن أن يتمتع بصلاحية بناء عالية ومع ذلك يكون صغيرًا جدًا لاختبار الفرضيات المحدد، مما يستلزم معيار إبلاغ جديد لتقييمات الـ LLM.