💬 NLP

Rating Roulette: Self-Inconsistency in LLM-As-A-Judge Frameworks

تكشف هذه الورقة أن الحكام القائمين على النماذج اللغوية الكبيرة يظهرون عدم اتساق ملحوظاً في التقييم داخل نفس المُقيّم عبر عمليات تشغيل مختلفة، مما يقوض موثوقية درجاتهم، وتستقصي ما إذا كان يمكن استغلال مثل هذه التقييمات بفعالية من خلال إرشادات محددة.

المؤلفون الأصليون: Rajarshi Haldar, Julia Hockenmaier

نُشر 2026-04-29

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Rajarshi Haldar, Julia Hockenmaier

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الفكرة الكبرى: القاضي "الأفعوانية" (الرولر كوستر)

تخيل أنك استأجرت ناقد طعام مشهورًا لمراجعة مطعم جديد. طلبت منه تذوق نفس الطبق ثلاث مرات متتالية، وهو جالس على نفس الطاولة، وأمامه نفس المنديل.

التذوق الأول: أعطى تقييم 5 نجوم، ووصفه بأنه "تحفة فنية".
التذوق الثاني: أعطى تقييم نجمتين، ووصفه بأنه "باهت ومطهو أكثر من اللازم".
التذوق الثالث: أعطى تقييم 4 نجوم، وقال إنه "جيد لكنه يحتاج لمزيد من الملح".

إذا حدث هذا، فلن تثق بهذا الناقد. ستدرك أن حكمه يشبه عجلة الروليت — تدور وتستقر على رقم مختلف في كل مرة، رغم أن الطعام (المدخلات) لم يتغير أبدًا.

هذا بالضبط ما اكتشفه الباحثون عندما طلبوا من النماذج اللغوية الكبيرة (LLMs) أن تعمل كقضاة لتقييم نصوص أنتجها ذكاء اصطناعي آخر. لقد اكتشفوا أن هؤلاء القضاة من الذكاء الاصطناعي يعانون مما يسمى "روليت التقييم" (Rating Roulette).

المشكلة: القاضي الذكي لا يستطيع الاتفاق مع نفسه

في عالم الذكاء الاصطناعي، غالبًا ما نستخدم ذكاءً اصطناعيًا واحدًا لتقييم عمل ذكاء اصطناعي آخر. يُسمى هذا "النموذج اللغوي الكبير كحكم" (LLM-as-a-Judge). وهو أمر شائع لأنه أسرع وأرخص من توظيف البشر.

ومع ذلك، أجرى الباحثون اختبارًا بسيطًا:

أخذوا قطعة من النص (مثل ملخص إخباري أو محادثة دردشة).
طلبوا من نفس القاضي الذكي تقييمها ثلاث مرات باستخدام نفس التعليمات تمامًا.
تحققوا مما إذا كان الذكاء الاصطناعي قد أعطى نفس الدرجة في كل مرة.

النتيجة: كانت أحكام القضاة من الذكاء الاصطناعي متخبطة للغاية.

في مهمة تسمى SummaC (التحقق مما إذا كان الملخص حقيقيًا من الناحية الواقعية)، اتفق أفضل قاضٍ ذكاء اصطناعي مع نفسه بنسبة 79% فقط من المرات.
في مهمة تسمى MT-Bench (ترتيب محادثات الدردشة)، انخفض الاتفاق إلى مستوى أدنى. حيث أعطى أحد قضاة الذكاء الاصطناعي نفس الإجابة بالضبط ثلاث مرات متتالية في 61% فقط من الحالات.

الأمر كما لو أن مزاج القاضي يتغير في كل مرة تسأله فيها، رغم أن السؤال والإجابة لم يتغيرا.

"الخدعة السحرية" التي تأتي بنتائج عكسية

قد تقول: "حسنًا، دعنا نخبر الذكاء الاصطناعي أن يتوقف عن العشوائية. لنقم بإيقاف جزء 'رمي النرد' في دماغه حتى يعطي دائمًا نفس الإجابة".

جرب الباحثون ذلك. قاموا بضبط الذكاء الاصطناعي ليكون حتميًا بنسبة 100% (بدون عشوائية).

هل أصبح أكثر اتساقًا؟ نعم.
هل أصبح قاضيًا أفضل؟ لا.

في الواقع، عندما أجبروا الذكاء الاصطناعي على التوقف عن رمي النرد، أصبحت درجاته في الواقع أسوأ مقارلة بالمحكمين البشر. الأمر يشبه إجبار طباخ على استخدام نفس الوصفة تمامًا في كل مرة؛ قد يتوقف عن ارتكاب الأخطاء، لكنه أيضًا سيتوقف عن أن يكون مبدعًا أو متكيفًا، وينتهي الأمر بالطعام مذاقه أسوأ.

تشير الورقة البحثية إلى وجود مقايضة (Trade-off): لكي يحصل الذكاء الاصطناعي على درجة جيدة تطابق رأي البشر، فإنه يحتاج إلى القليل من "العشوائية" (التنوع). ولكن هذه العشوائية نفسها تجعل الذكاء الاصطناعي غير متسق مع نفسه.

المقارنة بالبشر: هل البشر أفضل حالًا؟

نظر الباحثون أيضًا في القضاة البشر لمعرفة ما إذا كانت هذه مشكلة خاصة بالذكاء الاصطناعي فقط.

الخبراء البشريون: عندما قام الخبراء بتقييم نفس النص، اتفقوا مع بعضهم البعض بشكل معقول، ولكن ليس بشكل مثالي.
عمال الجمهور (Crowd Workers): عندما قام أشخاص عاديون (عمال الجمهور) بالتقييم، اختلفوا كثيرًا مع بعضهم البعض ومع الخبراء.
المفاجأة: في بعض الحالات، كان قضاة الذكاء الاصطناعي في الواقع أكثر اتساقًا مع أنفسهم من البشر مع بعضهم البعض. ومع ذلك، نظرًا لأن درجات الذكاء الاصطناعي كانت متقلبة للغاية، فمن الصعب معرفة ما إذا كان الذكاء الاصطناعي "على حق" أم أنه كان "محظوظًا" فحسب.

لماذا يهم هذا؟ (تشبيه "المسطرة المكسورة")

تخيل أنك تحاول قياس ارتفاع شجرة.

الطريقة القديمة: تستخدم مسطرة منحنية قليلاً. إنها ليست مثالية، لكنها ثابتة.
الطريقة الجديدة (حكم الـ LLM): تستخدم مسطرة مصنوعة من المطاط. أحيانًا تتمدد، وأحيانًا تنكمش. حتى لو قمت بقياس نفس الشجرة ثلاث مرات، ستحصل على ثلاثة أرقام مختلفة.

إذا استخدمت مسطرة مطاطية، فلا يمكنك الوثوق بالقياس. تشير الورقة إلى أن استخدام الـ LLM كحكم هو حاليًا مثل استخدام مسطرة مطاطية.

إذا أجريت الاختبار مرة واحدة، تحصل على درجة.
إذا أجرته مرة أخرى، تحصل على درجة أخرى.
إذا أجرته للمرة الثالثة، تحصل على درجة ثالثة.

لأن الدرجة تتغير في كل مرة، فنحن لا نعرف ما إذا كان الذكاء الاصطناعي جيدًا حقًا في تقييم الجودة، أم أنه مجرد يخمن.

ماذا وجدوا في المهام المختلفة؟

اختبر الباحثون ثلاثة أنواع مختلفة من "الألعاب" التي كان على الذكاء الاصطناعي لعبها:

صواب أم خطأ (SummaC): هل الملخص صحيح واقعيًا؟ (خيار ثنائي).
- النتيجة: كانت قضاة الذكاء الاصطناعي غير متسقة، لكن النماذج الأحدث والأكبر كانت أفضل قليلاً.
تقييم النجوم من 1 إلى 5 (SummEval): تقييم الملخص من حيث "التماسك"، "الطلاقة"، إلخ.
- النتيجة: كان الذكاء الاصطناعي غير متسق للغاية، خاصة في "الطلاقة" (مدى سلاسة النص). ومن المثير للاهتمام أن الذكاء الاصطناعي كان أحيانًا أفضل في تقييم الطلاقة مما كان البشر متفقين عليه فيما بينهم.
معركة البقاء (MT-Bench): أي من روبوتات الدردشة قدم إجابة أفضل؟
- النتيجة: كانت هذه هي المهمة الأصعب. كانت قضاة الذكاء الاصطناعي متقلبين للغاية هنا، وغالبًا ما كانوا يغيرون رأيهم بشأن أي روبوت دردشة كان الأفضل.

الخلاصة: كيف تعالج "عجلة الروليت"؟

تقدم الورقة البحثية بعض النصائح العملية للأشخاص الذين يرغبون في استخدام قضاة الذكاء الاصطناعي:

لا تثق في جولة واحدة: إذا طلبت من ذكاء اصطناعي تقييم شيء ما، فلا تكتفِ بالإجابة الأولى فقط. اطلب منه تقييمه ثلاث مرات وخذ المتوسط أو تصويت الأغلبية. هذا يقلل من تأثير "الروليت" ويعطي درجة أقرب لما سيقوله البشر.
لا توقف العشوائية: على الرغم من أن العشوائية تسبب عدم الاتساق، إلا أن إيقافها تمامًا يجعل الذكاء الاصطناعي أسوأ في مطابقة الآراء البشرية. أنت بحاجة إلى القليل من الفوضى للحصول على الإجابة الصحيحة.
تحقق من اتساقك الخاص: قبل أن تثق في قاضٍ من الذكاء الاصطناعي، يجب أن تتحقق مما إذا كان يتفق مع نفسه. إذا لم يستطع الاتفاق مع نفسه، فمن المحتمل ألا يتفق معك أيضًا.

الملخص

تكشف الورقة أن قضاة الذكاء الاصطناعي غير موثوقين حاليًا لأنهم يعطون إجابات مختلفة لنفس السؤال في كل مرة يُطلب منهم ذلك. إنهم يشبهون عجلة الروليت أكثر من كونهم ميزانًا ثابتًا. وبينما تعد نماذج الذكاء الاصطناعي الأحدث أكثر اتساقًا قليلاً، إلا أنها لا تزال تعاني لتكون موثوقة. الحل الأفضل حاليًا هو جعل الذكاء الاصطناعي يلعب اللعبة عدة مرات وأخذ متوسط النتائج، بدًا من الثقة في "دورة" واحدة من عجلة الروليت.

إليك ملخص تقني مفصل لورقة البحث "Rating Roulette: Self-Inconsistency in LLM-As-a-Judge Frameworks" من إعداد هالدال وهوكينماير.

1. بيان المشكلة

مع انتشار توليد اللغة الطبيعية (NLG)، انتقل تقييم مخرجات النماذج من المقاييس التقليدية (مثل BLEU وROUGE) إلى أطر عمل "النموذج اللغوي الكبير كحَكَم" (LLM-as-a-Judge)، حيث تقوم النماذج اللغوية الكبيرة بتعيين درجات أو تصنيفات للنصوص المولدة. وبينما توفر هذه الأطر قابلية للتوسع وتوافقاً أفضل مع التفضيلات البشرية مقارنة بمقاييس n-gram، إلا أنها تعاني من خلل جوهري غالباً ما يتم تجاهله: انخفاض الموثوقية داخل الحَكَم نفسه (الموثوقية الذاتية).

حدد المؤلفون أن الحكام من النماذج اللغوية الكبيرة يظهرون عدم اتساق ذاتي كبير. فعندما يتم تزويد نفس النموذج بمدخلات، ومعلمات فائقة (hyperparameters)، وإعدادات متطابقة عبر جولات متعددة، فإنه غالباً ما ينتج تقييمات مختلفة. هذا التباين يجعل الأحكام الفردية عرضة للتحيز أو العشوائية، ويجعل من الصعب تحديد القدرات التقييمية الحقيقية للنموذج. علاوة على ذلك، تعتمد الدراسات الحالية غالباً على مقاييس مثل الارتباط أو الدقة، والتي تفشل في مراعاة "الاتفاق بالصدفة"، مما قد يؤدي إلى تضخيم الموثوقية المتصورة.

2. المنهجية

أجرى المؤلفون دراسة تجريبية شاملة عبر ثلاث مهام مختلفة من مهام توليد اللغة الطبيعية (NLG) لقياس الموثوقية الذاتية وتأثيرها على أداء التقييم.

مجموعات البيانات والمهام

SummaC: مهمة تصنيف ثنائي (متسق مقابل غير متسق) للتحقق من الاتساق الواقعي في التلخيص.
SummEval: تقييم متعدد المقاييس لتلخيص النصوص باستخدام مقياس ليكرت (Likert scale) من 1 إلى 5 عبر أربعة أبعاد: التماسك (Coherence)، الاتساق (Consistency)، السلاسة (Fluency)، والارتباط (Relevance).
MT-Bench: مهمة تصنيف محادثة متعددة الأدوار حيث يختار الحَكَم الاستجابة الأفضل بين نموذجين (النموذج أ، النموذج ب، أو تعادل).

الإعداد التجريبي

النماذج: تم استخدام ثلاثة نماذج لغوية كبيرة كحكام: Llama-3.1-70B-Instruct، وDeepSeek-R1-Distill-Qwen، وQwen3-32B.
الإجراء: تم تشغيل كل حَكَم ثلاث مرات على نفس مجموعة البيانات مع مطالبات (prompts) وإعدادات متطابقة لقياس التباين داخل الحَكَم.
مقاييس الاتفاق:
- ألفا كريبندورف ( $\alpha$ ): المقياس الأساسي المستخدم لقياس الاتفاق. تم اختياره بدلاً من الدقة أو الارتباط لأنه يصحح الاتفاق الناتج عن الصدفة ويتعامل مع البيانات المفقودة، وعدد الحكام المتفاوت، وأنواع البيانات المختلفة (اسمية، ترتيبية، فترية).
- دوال المسافة: مسافة اسمية للمهام الثنائية (SummaC)؛ ومسافة ترتيبية لمقاييس ليكرت والتصنيفات (SummEval، MT-Bench).
- الدقة المتوازنة (Balanced Accuracy): استُخدمت لـ SummaC لمراعاة عدم توازن الفئات.
المقارنات: قارنت الدراسة بين:
- الموثوقية الذاتية: اتفاق النموذج مع نفسه عبر الجولات.
- الموثوقية بين الحكام: الاتفاق بين النماذج اللغوية الكبيرة والحكام البشر (الخبراء والعاملين في منصات التعهيد الجماعي/Turkers).
- تأثير الأداء: تأثير "التصويت بالأغلبية" (تجميع الجولات المتعددة) مقابل "عدم أخذ العينات" (ضبط درجة الحرارة عند 0) على الاتفاق مع المعايير البشرية الذهبية.

3. المساهمات الرئيسية

تحديد كمية عدم الاتساق الذاتي: تقدم الورقة أول تحديد كمي منهجي لانخفاض الموثوقية داخل الحَكَم في النماذج اللغوية الكبيرة عبر مهام متنوعة (التلخيص، التحقق من الحقائق، والحوار).
المقايضة بين التباين والأداء: أظهر المؤلفون نتيجة مثيرة للجدل: تعطيل أخذ العينات (ضبط درجة الحرارة إلى 0) لفرض مخرجات حتمية يقلل من اتفاق النموذج مع الأحكام البشرية. يشير هذا إلى أن العشوائية المتأصلة في النماذج اللغوية الكبيرة، رغم تسببها في عدم الاتساق الذاتي، قد تساعد في الواقع في استكشاف مساحة الحلول للوصول إلى إجابات أقرب إلى الإجماع البشري.
نقد مقاييس التقييم: تسلط الدراسة الضوء على أن المقاييس القياسية مثل الدقة والارتباط تبالغ في تقدير الاتفاق بين النماذج والبشر لأنها لا تصحح عامل الصدفة. وتكشف "ألفا كريبندورف" عن مستويات اتفاق أقل بكثير وأكثر واقعية.
التباين الخاص بالمهمة: عدم الاتساق ليس موحداً؛ فهو يختلف بشكل كبير حسب المهمة (مثلاً، هو أقل في MT-Bench منه في SummaC) وحسب المقياس (مثلاً، "السلاسة" صعبة للغاية بالنسبة للنماذج اللتمكن من تقييمها باتساق).

4. النتائج الرئيسية

الموثوقية الذاتية (داخل الحَكَم)

SummaC: تراوحت قيمة ألفا كريبندورف بين 0.32 (Llama 3.1) و 0.79 (Qwen 3). حتى أفضل نموذج (Qwen 3) بالكاد وصل إلى عتبة 0.8 للاتفاق "الجيد".
SummEval: تباينت الموثوقية الذاتية حسب المقياس. بينما أظهر التماسك والاتساق موثوقية متوسطة، سجلت السلاسة موثوقية منخفضة جداً عبر جميع النماذج.
MT-Bench: كانت الموثوقية الذاتية هي الأدنى، حيث تراوحت قيم ألفا حول 0.26–0.56. وافق Qwen 3 نفسه في 61.3% فقط من الحالات عبر ثلاث جولات.
الاستنتاج: الحكام من النماذج اللغوية الكبيرة متقلبون للغاية، وغالباً ما يكون تقلبهم أكبر من الحكام البشر.

الاتفاق مع البشر

تحيز المقياس: باستخدام "الدقة"، بدا أن النماذج تتفق مع البشر بمعدلات عالية (مثلاً 0.827 للبشر مقابل البشر في MT-Bench). ومع ذلك، باستخدام "ألفا كريبندورف"، انخفض اتفاق البشر مع بعضهم البعض إلى 0.478، وانخفض اتفاق النموذج مع البشر بشكل أكبر (مثلاً Qwen 3 مقابل البشر: 0.426).
الخبير مقابل الجمهور: أظهر الخبماء البشريون اتفاقاً أعلى مع بعضهم البعض مقارنة بالعاملين في التعهيد الجماعي. أظهرت النماذج اللغوية توافقاً متوسطاً مع الخبراء لكنها تباينت بشكل كبير مع العاملين في التعهيد الجماعي، مما يشيع أن النماذج قد تتوافق بشكل أفضل مع التفكير الخبير ولكنها لا تزال بعيدة عن "المعيار الذهبي".

تأثير استراتيجيات أخذ العينات

التصويت بالأغلبية: تجميع النتائج من جولات متعددة (مثل أخذ رأي الأغلبية من 3 جولات) حسن الاتفاق مع العلامات البشرية مقارمة بجولة واحدة.
الوضع الحتمي (درجة حرارة = 0): تشغيل النموذج بدون أخذ عينات (لإزالة التباين) أدى إلى تراجع الأداء. على سبيل المثال، في SummaC، انخفضت الدقة المتوازنة لنموذج Qwen 3 من 80.6% (التصويت بالأغلبية) إلى 79.2% (بدون أخذ عينات). وهذا يشير إلى أن فرض الحتمية يضر بقدرة النموذج على التوافق مع التفضيلات البشرية.

5. الأهمية والتوصيات

الأهمية:
تتحدى هذه الورقة النموذج الحالي لتقييم "الجولة الواحدة" للنماذج اللغوية الكبيرة. فهي تكشف أن "المعيار الذهبي" لتقييم "النموذج اللغوي كحَكَم" غير مستقر. إذا كان النموذج لا يستطيع الاتفاق مع نفسه، فإن فائدته كمقيم موثوق تصبح مشكوكاً فيها. تشير النتائج إلى أن الطبيعة العشوائية للنماذج اللغوية ليست مجرد "خطأ" بل هي "ميزة" تساعد في الوصول إلى إجماع يتوافق مع البشر، وإزالتها تكون ضارة.

توصيات للبحوث المستقبلية:

الإبلاغ عن الموثوقية الذاتية: يجب أن تبلغ أطر التقييم عن الموثوقية داخل الحَكَم (مثل ألفا كريبندورف) جنباً إلى جنب مع الاتفاق بين الحكام.
استخدام مقاييس مصححة للصدفة: تجنب استخدام "الدقة" أو "الارتباط" لتقييم الحكام؛ واستخدم "ألفا كريبندورف" أو "كابا كوهين".
تجميع الجولات المتعددة: بدلاً من الاستدلال لمرة واحدة، استخدم التصويت بالأغلبية أو تجميع الجولات المتعددة لاستقرار الدرجات وتحسين التوافق مع الحكم البشري.
عدم فرض الحتمية: تجنب ضبط درجة الحرارة عند الصفر لحل مشكلات الاتساق، لأن ذلك يقلل من الأداء.
قياس الموثوقية الذاتية للبشر: يجب أن تتضمن الاختبارات المستقبلية ملاحظات بشرية متكررة لتحديد الحد الأعلى الواقعي لموثوقية النموذج اللغوي الكبيرة.

في الختام، يرى المؤلفون أنه بينما يعد "النموذج اللغوي كحَكَم" بديلاً قابلاً للتوسع للتقييم البشري، فإن تنفيذه الحالي يعاني من "روليت التقييم" (العشوائية). يتطلب التقييم القوي الاعتراف بهذا التباين، واستخدام مقاييس إحصائية مناسبة، والاستفادة من جولات الاستدلال المتعددة بدلاً من الاعتماد على أحكام الجولة الواحدة.