🤖 machine learning

When LLM Judge Scores Look Good but Best-of-N Decisions Fail

توضح هذه الورقة أن الاعتماد على مقاييس الارتباط العالمي لتقييم حكام النماذج اللغوية الكبيرة أمر مضلل في مهام اختيار "الأفضل من بين n"، حيث إن الدرجات العالمية العالية غالباً ما تحجب ضعف أداء الترتيب داخل المطالبة الواحدة ومعدلات التعادل المفرطة، والتي يمكن تحسينها بشكل كبير باستخدام التحكيم الزوجي الصريح.

المؤلفون الأصليون: Eddie Landesberg

نُشر 2026-03-16

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Eddie Landesberg

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "عندما تبدو درجات حَكَم الذكاء الاصطناعي جيدة ولكن قرارات (أفضل من N) تفشل"، مترجمة إلى لغة بسيطة وسهلة الاستخدام مع بعض التشبيهات الإبداعية.

الفكرة الكبرى: فخ "المتوسط الجيد"

تخẫل أنك مدير توظيف. لديك مساعد ذكاء اصطناعي جديد يساعدك في فحص المتقدمين للوظائف. تطلب من الذكاء الاصطناعي تقييم 100 مرشح مختلف على مقياس من 1 إلى 100.

تقوم بالتحقق من أداء الذكاء الاصطناعي بمقارنة تقييماته بقرارات التوظيف النهائية الخاصة بك. تحسب "درجة الارتباط" (وهي مقياس لمدى اتفاق الذكاء الاصطناعي معك). النتيجة هي 0.47. في عالم البيانات، تبدو هذه النتيجة "مقبولة". إنها ليست مثالية، لكنها ليست سيئة أيضاً. تعتقد قائلًا: "رائع، هذا الذكاء الاصطناعي جيد بما يكفي لمساعدتي في اختيار أفضل مرشح!"

تقول الورقة البحثية: توقف. أنت تتعرض للخداع.

بينما يتفق معك الذكاء الاصطناعي في "المتوسط"، إلا أنه في الواقع سيء جداً في اختيار المرشح الأفضل لوظيفة محددة بعينها. إذا استخدمت هذا الذكاء الاصطناعي لاختيار الفائز من بين مجموعة مكونة من 4 متقدمين، فسينجح في حوالي 21% فقط من المرات. وفي الـ 79% المتبقية، يكون الأمر بمثابة تخمين عشوائي.

التشبيه: "اختبار الفصل الدراسي" مقابل "السباق"

لفهم سبب حدوث ذلك، دعونا نستخدم تشبيه الفصل الدراسي.

السيناريو:
لديك 5,000 اختبار رياضيات مختلف (مطالبات/Prompts). في كل اختبار، هناك 4 طلاب (مرشحون) يحاولون حل نفس المسألة.

الحقيقة المطلقة (Oracle): أنت تعرف بالضبط من حصل على أفضل درجة في كل اختبار من الاختبارات.
الحَكَم (الذكاء الاصطناعي): يعطي الذكاء الاصطناعي درجة لكل طالب في كل اختبار.

الخداع (الارتباط العالمي):
الذكاء الاصطناعي بارع جداً في ملاحظة مدى صعوبة الاختبار.

في الاختبار السهل، يحصل جميع الطلاب على درجات عالية (في التسعينات). يعطي الذكاء الاصطناعي جميعاً 90.
في الاختبار الصعب، يحصل جميع الطلاب على درجات منخفضة (في الأربعينات). يعطي الذكاء الاصطناعي جميعاً 40.

لأن الذكاء الاصطناعي يتوقع بشكل صحيح أن "الاختبارات السهلة = درجات عالية" و"الاختبارات الصعبة = درجات منخفضة"، فإن اتفاقه العام معك يبدو رائعاً. الأمر يشبه خبير الأرصاد الجوية الذي يصيب في توقعاته بنسبة 90% لأنه يكتفي بقول "إنه فصل الصيف" كل يوم. هو محق بشأن الموسم، لكنه لا يستطيع إخبارك ما إذا كانت السماء ستمطر اليوم أم لا.

الفشل (الترتيب داخل المطالبة الواحدة):
الوظيفة الحقيقية ليست معرفة ما إذا كان الاختبار صعباً أم سهلاً. الوظيفة هي النظر إلى الطلاب الأربعة في اختبار محدد والقول: "الطالب (أ) أفضل قليلاً من الطالب (ب)".

في بيانات الورقة البحثية، الذكاء الاصطناعي سيء جداً في هذا الأمر.

مشكلة التعادل: يستخدم الذكاء الاصطناعي حوالي 20 رقماً مختلفاً فقط (مثل 1، 2، 3... وصولاً إلى 20). عندما يكون طالبان متقاربين جداً في الجودة، غالباً ما يعطيهما الذكاء الاصطناعي نفس الدرجة تماماً (مثلاً، كلاهما يحصل على "15").
النتيجة: عندما يحدث تعادل، لا يستطيع الذكاء الاصطناعي اختيار الفائز. يضطر إلى رمي عملة معدنية (الاختيار العشوائي). وبما أنه يتعادل في 67% من الحالات، فإنه ينتهي به الأمر باختيار الفائز عن طريق الصدفة العشوائية معظم الوقت.

مشكلة "أفضل من N" (Best-of-N)

في العالم الحقيقي، غالباً ما نستخدم الذكاء الاصطناعي للقيام بعملية اختيار "أفضل من N". وهذا يعني:

اطلب من الذكاء الاصطناعي توليد 4 إجابات مختلفة لسؤال ما.
اطلب من "ذكاء اصطناعي حَكَم" تقييم هذه الإجابات.
اختر الإجابة ذات الدرجة الأعلى.

وجدت الورقة البحثية أنه حتى لو كان لدى "الذكاء الاصطناعي الحَكَم" درجة ارتباط عالمية "جيدة"، فإنه يفشل في هذه المهمة المحددة لأنه لا يستطيع التمييز بين الإجابات "الجيدة" والإجابات "العظيمة" عندما تكون جميعها حول نفس السؤال. الأمر يشبه حكماً يمكنه التمييز بين سيارة فيراري ودراجة هوائية، لكنه لا يستطيع التمييز بين سيارة فيراري وأخرى فيراري أسرع منها قليلاً.

الحل: تغيير قواعد اللعبة

اختبر المؤلفون عدة طرق لإصلاح ذلك:

1. توقف عن التقييم الرقمي، وابدأ بالمقارنة (الحكم الثنائي - Pairwise Judging)
بدلاً من سؤال الذكاء الاصطناعي: "قيم هذه الإجابة من 1 إلى 100"، اسأله: "أيهما أفضل: الإجابة (أ) أم الإجابة (ب)؟"

النتيجة: هذا نجح بشكل أفضل بكثير! من خلال إجبار الذكاء الاصطناعي على اتخاذ قرار مباشر، توقف عن إعطاء حالات التعادل. ارتفرت قدرته على اختيار الفائز من 21% إلى 61%.
لماذا: من الأسهل على البشر (والذكاء الاصطناعي) قول "أ أفضل من ب" بدلاً من تخصيص رقم مثالي لـ "أ" ورقم مثالي لـ "ب".

2. تحقق من المقاييس الصحيحة
لا تنظر فقط إلى "الارتباط العالمي" (الاتفاق الإجمالي). يجب أن تنظر إلى:

معدل الاسترداد (Recovery Rate): ما مدى تفوق اختيار الذكاء الاصطناعي مقارنة بمجرد الاختيار العشوائي؟
معدل التعادل (Tie Rate): كم مرة يقول الذكاء الاصطناعي "لا أعرف، إنهما متساويان"؟ إذا كان هذا الرقم مرتفعاً، فإن الذكاء الاصطناعي غير مفيد لاختيار الفائزين.

الخلاصة للجميع

إذا كنت تبني أنظمة ذكاء اصطناعي أو تستخدمها لاتخاذ القرارات:

لا تثق في الرقم الرئيسي. درجة ارتباط "جيدة" لا تعني أن الذكاء الاصطناعي جيد في اختيار الخيار الأفضل.
احذر من حالات التعادل. إذا كان الذكاء الاصطناعي يعطي باستمرار نفس الدرجة لخيارات مختلفة، فهو لا يتخذ قراراً فعلياً؛ بل يخمن فقط.
اطرح الأسئلة الصحيحة. إذا كنت بحاجة لاختيار فائز، اطلب من الذكاء الاصطناğu مقارنة الخيارات مباشرة (أ مقابل ب) بدلاً من طلب تقييم كل خيار على حدة.

باخت_صار: الحَكَم الذي يجيد تقييم صعوبة الامتحان ليس بالضرورة حكماً يجيد اختيار الطالب المتفوق. لاختيار الطالب المتفوق، تحتاج إلى حَكَم يمكنه رؤة الفروق الدقيقة بين أفضل المرشحين، وليس فقط الفروق الكبيرة بين الاختبارات السهلة والصعبة.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "عندما تبدو درجات حَكَم الـ LLM جيدة ولكن قرارات 'أفضل من N' تفشل" للكاتب إيدي لاندسبيرج.

١. بيان المشكلة

تتناول الورقة نمط فشل حرج في نشر النماذج اللغوية الكبيرة (LLMs) كحكام لعمليات اختيار "أفضل من N" (Best-of-N)، وإعادة الترتيب (reranking)، وتكرار النماذج (model iteration).

الممارسة الشائعة: يقوم الممارسون عادةً بالتحقق من صحة حَكَم الـ LLM باستخدام مقياس عالمي واحد، مثل الارتباط ( $r$ ) بين درجات الحَكَم والملصقات المرجعية (درجات الأوراكل/المرجع) عبر مجموعة بيانات. وغالباً ما يُفسر الارتباط المتوسط (على سبيل المثال، $r \approx 0.5$ ) على أنه دليل كافٍ بأن الحَكَم آمن للاستخدام في عمليات التحسين.
الفشل: يوضح المؤلفون أن الاتفاق العالمي لا يضمن صلاحية القرار المحلي. يمكن للحَكَم أن يمتلك ارتباطاً عالمياً عالياً مدفوعاً بتأثيرات المستوى الأساسي للمطالبات (على سبيل المثال، الاتفاق على أن بعض المطالبات "صعبة" بشكل عام والأخرى "سهلة") بينما يفشل في التمييز بين المرشحين داخل مطالبة معينة.
النتيجة: في سيناريو النشر حيث يكون الهدف هو اختيار أفضل مرشح واحد من بين $N$ من الخيارات لمطالبة معينة، فإن الحَكَم الذي يمتلك ارتباطاً عالمياً متوسطاً قد يؤدي أداءً يكاد لا يتجاوز الاختيار العشوائي، مستخلصاً جزءاً ضئيلاً جداً من المنفعة المحتملة.

٢. المنهجية والإعداد التجريبي

تستخدم الدراسة تفكيكاً صارماً لأداء الحَكَم لعزل الإشارة ذات الصلة باتخاذ القرار.

مجموعة البيانات: اختبار مرجعي متعدد السياسات مكون من ٥,٠٠٠ مطالبة من Chatbot Arena. لكل مطالبة، هناك ٤ استجابات مرشحة تم إنشاؤها بواسطة سياسات مختلفة (بما في ذلك متغيرات Llama-3.3-70B و Llama-405B).
الأوراكل (المرجع): الملصقات المرجعية هي درجات استجابة موجودة مسبقاً، مُطبعة (normalized) تتراوح بين (٠–١) ومرفقة مع مجموعة البيانات، وتعمل كحقيقة أرضية ( $O_{x,i}$ ).
الحَكَم: نسخة ثابتة من GPT-5 (gpt-5-2025-08-07) تُستخدم لتسجيل الدرجات على مقياس من ٠ إلى ١٠٠.
تفكيك المقاييس الرئيسية:
- الارتباط العالمي ( $r$ ): الارتباط عبر جميع أزواج (المطالبة، المرشح).
- الارتباط داخل المطالبة ( $r_{within}$ ): ارتباط البواقي بعد إزالة متوسطات مستوى المطالبة. هذا يقيس قدرة الحَكَم على ترتيب المرشحين نسبياً تجاه بعضهم البعض داخل نفس السياق.
- معدل الاسترداد (Recovery Rate): نسبة الفجوة في المنفعة بين الاختيار العشوائي والاختيار الأمثل للأوراكل التي يستعيدها الحَكَم.
  $\text{Recovery} = \frac{E[O_{judge}] - E[O_{random}]}{E[O_{oracle}] - E[O_{random}]}$
- تحليل التعادل (Tie Analysis)::% فحص كيف يؤدي التكميم الخشن للدرجات (٢٠ فئة) إلى حدوث حالات تعادل، مما يجعل الاختيار عشوائياً.
التدقيق المقارن:
- النقطي مقابل الزوجي (Pointwise vs. Pairwise): مقارنة تسجيل النقاط النقطي القياسي مقابل مطالبات المقارنة الزوجية الصريحة.
- متعدد الحكام (Multi-Judge): تكرار النتائج عبر ٥ نماذج حَكَم مختلفة (GPT-5.2, Claude Sonnet 4, GPT-4.1-mini, Gemini-2.5-flash, Llama-3.3-70B).
- تحليل التوجيه (Routing Analysis): اختبار ما إذا كان يمكن استخدام إشارات الثقة (الهوامش) لتوجيه المطالبات الصعبة إلى أوراكل مكلف.

٣. المساهمات الرئيسية

تقدم الورقة أربع مساهمات رئيسية في تقييم حكام الـ LLM:
١. التدقيق المتمحور حول القرار: تقترح التحول من التركيز على الاتفاق العالمي إلى معدل الاسترداد ودقة Top-1 (PCS)، والتي تقيس مباشرة منفعة عملية الاختيار.
٢. التفكيك بين "داخل-وخارج" السياق: صياغة رسمية للفصل بين تأثيرات خط الأساس (صعوبة المطالبة) وجودة المرشح. وتثبت أن الارتباط العالمي غالباً ما يهيمن عليه الأول، مما يحجب ضعف الثاني.
٣. تحليل آلية التعادل: تحدد كيف يؤدي التكميم الخشن للدرجات (مثل ٢٠ فئة) إلى خلق معدلات تعادل هائلة (٦٧٪ في المقارنات الزوجية)، مما يجعل اختيار أفضل مرشح عشوائياً.
٤. الحكم الزوجي كعلاج: توضح أن المطالبة الزوجية الصريحة تقلل من حالات التعادل بشكل كبير وتستعيد الإشارة المفقودة في سيناريوهات Best-of-2، رغم أن هذا لا يترجم تلقائياً إلى Best-of-4 دون ميزانية دقيقة.

٤. النتائج الرئيسية

أ. فجوة "تبدو جيدة"

في اختبار Best-of-4 الرئيسي المكون من ٥,٠٠٠ مطالبة:

الارتباط العالمي: $r = 0.47$ (يبدو متوسطاً/مقبولاً).
الارتباط داخل المطالبة: $r_{within} = 0.27$ (ضعيف).
معدل الاسترداد: ٢١.٠٪ فقط. يلتقط الحَكَم ٢١٪ فقط من التحسن الذي قد يوفره "أوراكل" مقارنة بالاختيار العشوائي.
دقة Top-1: ٣١.٦٪.
معدل التعادل: ٦٦.٥٪ من المقارنات الزوجية تنتهي بالتعادل بسبب التكميم ذي الـ ٢٠ فئة.

ب. تفكيك التباين

٧٤٪ من التباين في درجات الحَكَم و٨١٪ في درجات الأوراكل تأتي من تأثيرات بين السياقات (مستوى المطالبة).
٢٦٪ فقط (للحَكَم) و١٩٪ (للأوراكل) من التباين هي تأثيرات داخل السياق (مستوى المرشح).
يتم تضخيم الارتباط العالمي بسبب الاتفاق على صعوبة المطالبة، وهو أمر غير ذي صلة باختيار أفضل مرشح داخل المطالبة.

ج. الزوجي مقابل النقطي

في تدقيق Best-of-2 المتوافق، أدى الانتقال من تسجيل النقاط النقطي إلى المقارنة الزوجية الصريحة إلى تقليل معدل التعادل من ٥٩.٨٪ إلى ٣.٩٪.
قفز معدل الاسترداد من ٢١.١٪ إلى ٦١.٢٪.
تنبيه: في إعداد Best-of-4 بنظام "الدور الكامل" (round-robin) مع ميزانيات الرموز (tokens)، لم تتفوق الطرق الزوجية دائماً على الطرق النقطية، مما يشير إلى أن الفائدة تعتمد على النظام المستخدم.

د. فشل المعايرة والتوجيه

المعايرة (Calibration): تطبيق المعايرة المتساوية (isotonic calibration) حسن الارتباط العالمي ولكنه كان له تأثير ضئيل على الاسترداد أو الدقة الاتجاهية. المعايرة لا يمكنها إصلاح نقص معلومات الترتيب.
التوجيه (Routing): فشل استخدام "الهامش" (فرق الدرجة) لتوجيه المطالبات غير المؤكدة إلى أوراكل. المطالبات ذات الهامش العالي كانت غالباً مطالبات "سهلة" ذات قيمة منخفضة للتحسين، بينما المطالبات "الصعبة" كانت ذات هوامش منخفضة ولكن إمكانات ربح عالية.
استخراج عدم اليقين: تقديم طلب صريح للحَكَم لتوفير فترات الثقة (CI width) أو استخدام إعادة أخذ العينات وفر إشارة أقوى بكثير ( $r \approx 0.26$ ) للتوجيه مقارنة بمجرد الهوامش ( $r \approx 0$ ).

هـ. القابلية للتعميم

ينطبق هذا النمط عبر عائلات الحكام المختلفة (OpenAI, Anthanthic, Google, Meta) وفي أنظمة تقييم مختلفة (بما في ذلك PPE-MATH مع تسميات الصحة الثنائية)، مما يؤكد أن فجوة "المستوى مقابل القرار" هي مشكلة هيكلية أساسية، وليست مجرد نتاج نموذج أو مجموعة بيانات معينة.

٥. الأهمية والآثار العملية

تتحدى هذه الورقة بشكل جوهري كيفية تقييم ونشر حكام الـ LLM:

للمقارنة على مستوى النظام: قد تظل المقاييس العالمية (الارتباط) مناسبة لمقارنة متوسط أداء النماذج عبر العديد من المطالبات.
للتحسين على مستوى الحالة (RLHF، إعادة الترتيب): المقاييس العالمية مضللة. يجب على الفرق تقديم مقاييس داخل المطالبة ( $r_{within}$ ، معدلات التعادل، الاسترداد، ودقة Top-1).
عتبات النشر: تقترح الورقة أنه لكي يكون Best-of-4 مفيداً عملياً، يجب أن يكون $r_{within}$ على الأقل ٠.٤٠ (حالياً، الحَكَم المختبر كان عند ٠.٢٧).
نصائح عملية:
١. قم بتدقيق الحكام في "النظام الصعب" (المرشحين المتجاورين)، وليس في اختبارات التنوع في الصعوبة.
٢. استخدم المطالبة الزوجية الصريحة لتقليل حالات التعادل في سيناريوهات Best-of-2.
٣. لا تعتمد على هوامش الدرجات للتوجيه؛ استخدم استخراج عدم اليقين الصريح (فترات الثقة) أو إعادة أخذ العينات.
٤. أدرك أن المعايرة تصلح المقياس (scale) وليس الترتيب (ranking)؛ إذا كان الحَكَم لا يستطيع التمييز بين المرشحين، فلن تساعد المعايرة.

في الختام، تجادل الورقة بأن الصلاحية التجميعية لا تعني بالضرورة صلاحية القرار. يمكن للحَكَم أن يكون "صحيحاً في المتوسط" بينما يكون عديم الفائدة لمهمة محددة وهي اختيار أفضل استجابة لاستعلام مستخدم واحد.