💻 computer science

JudgeSense: A Benchmark for Prompt Sensitivity in LLM-as-a-Judge Systems

تقدم الورقة البحثية JudgeSense، وهو معيار مرجعي صُمم لقياس استقرار أنظمة "النموذج اللغوي الكبير كحَكَم" (LLM-as-a-judge) من خلال قياس مدى تغير أحكامها عند إعادة صياغة المطالبات، مما يكشف عن عدم اتساق كبير في أداء المهام وتحيزات متأصلة عبر النماذج المختلفة.

المؤلفون الأصليون: Rohith Reddy Bellibatlu

نُشر 2026-04-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Rohith Reddy Bellibatlu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

مشكلة "القاضي المتقلب": لماذا قد يكون مُقيّم الذكاء الاصطناعي الخاص بك غير موثوق؟

تخيل أنك تشارك في مسابقة للطبخ. قدمت طبق لازانيا لذيذاً إلى أحد الحكام.

في المرة الأولى التي تسأل فيها: "كيف تقيم هذه اللازانيا على مقياس من 1 إلى 10؟"، يعطيك الحكم 9.

في اليوم التالي، تسأل نفس الحكم، ولكن بصياغة مختلفة قليلاً: "على مقياس من 1 إلى 10، ما مدى لذة هذه اللازانيا؟". فجأة، يعطيك الحكم 6.

اللازانيا لم تتغير. والحكم لم يتغير. وحتى المقياس ظل كما هو. ولكن لأنك غيرت بضع كلمات، انقلب الحكم تماماً. في عالم الذكاء الاصطناعي، هذه مشكلة ضخمة، وقد سلط بحث جديد يسمى JudgeSense الضوء عليها للتو.

المفهوم الجوهري: "درجة حساسية القاضي" (JSS)

في الوقت الحاضن، وبدلاً من استخدام البشر لتقييم نماذج الذكاء الاصطنا، نستخدم "قضاة ذكاء اصطناعي" (مثل GPT-4 أو Claude) لتقييم أجهزة ذكاء اصطناعي أخرى. نحن نفترض أن هؤلاء القضاة يعملون بموضوعية، مثل حكم محترف.

ومع ذلك، اكتشف الباحثون وراء JudgeSense أن العديد من قضاة الذكاء الاصطناعي "متقلبون" للغاية. فهم حساسون بشكل مفرط لكيفية صياغة السؤال. إذا غيرت "هل هذا صحيح؟" إلى "هل هذا دقيق؟"، فقد يغير الذكاء الاصطناعي رأيه.

ولقياس هذا "التقلب"، ابتكروا درجة حساسية القاضي (JSS):

الدرجة 1.0 تعني حكماً راسخاً كالصخر: مهما كانت طريقة طرحك للسؤال، تظل الإجابة هي نفسها دائماً.
الدرجة المنخفضة تشبه حكماً يسهل التأثير عليه بالرياح: تغيير بسيط في صياغتك يجعلهم يتخبطون في قراراتهم.

الاكتشافات الأربعة الكبرى

اختبر الباحثون تسعة نماذج مختلفة من الذكاء الاصطناي عبر أربع "مهام" مختلفة (مثل التحقق من الحقائق أو الحكم على مدى سلاسة ملخص ما). وإليكم ما وجدوه:

1. "أفعوانية التماسك" (المهمة الأكثر تقلباً)

عند سؤال الذكاء الاصطناعي عن مدى "سلاسة" قصة ما (التماسك)، كانت النتائج متضاربة للغاية. بعض النماذج، مثل Claude، كانت مستقرة بشكل مذهل (تقترب من 1.0 المثالية). لكن نماذج أخرى، مثل Gemini، كانت متذبذبة بشكل عشوائي. اتضح أن الحكم على "الجودة" أصعب بكثير على الذكاء الاصطناعي من مجرد التحقق من حقيقة ما، مما يجعل من السهل جداً أن تضللهم الصياغة.

2. "فخ القطبية" (الطالب المرتبك)

وجد الباحثون خللاً غريباً في كيفية تعامل الذكاء الاصطناعي مع الحقائق. إذا سألت: "هل هذا صحيح؟ أجب بنعم أو لا"، قد يجيب الذكاء الاصطناعي بـ نعم. ولكن إذا سألت: "هل يحتوي هذا على أخطاء؟ أجب بنعم أو لا"، فقد يرتبك الذكاء الاصطناعي ويجيب بـ نعم أيضاً—رغم أن كلمة "نعم" تعني الآن المعنى العكسي! هذا ليس لأن الذكاء الاصطناعي "غبي"، بل لأن طريقة قلب "القطبية" (الجهة المقابلة) تربك منطقه.

3. "الحجم لا يعني الاستقرار" (قاعدة "الأكبر ليس دائماً الأفضل")

في عالم الذكاء الاصطناعي، يُفترض عادة أن النماذج الأكبر (التي تمتلك "خلايا دماغية" أو معاملات أكثر) هي الأذكى. لكن JudgeSense أثبت أن الأكبر ليس دائماً الأكثر استقراراً. يمكن لنموذج أصغر وأكثر تركيزاً أن يكون أحيناً حكماً أكثر موثوقية من نموذج ضخم ومكلف، والذي قد يتشتت بسبب الصياغات المزخرفة.

4. "خلل الخيار (أ) الدائم" (الحكم الكسول)

في بعض الاختبارات، أصبح قضاة الذكاء الاصطناعي "كسالى". فعند مطالبتهم بالاختيار بين خيارين (الخيار أ أو الخيار ب)، اختارت معظم النماذج الخيار (أ) في كل مرة، بغض النظر عما يقوله المحتوى فعلياً. إنه يشبه حكماً يمنح ركلة الجزاء للفريق المضيف دائماً لمجرد أنهم يقفون على الجانب الأيسر من الملعب. يسمى هذا "تحيز الموضع"، وهو ما يجعل القاضي عديم الفائدة لإجراء مقارنات حقيقية.

الخلاصة: كيف تستخدم قضاة الذكاء الاصطناعي بأمان

إذا كنت مطوراً تستخدم الذكاء الاصطناعي لتقييم عملك، فإن البحث يقدم ثلاث نصائح "للبقاء على قيد الحياة":

لا تثق في سؤال واحد فقط: بما أن الذكاء الاصطناعي حساس للصياغة، فلا تعتمد على أمر (Prompt) واحد. إذا تغيرت الإجابة عند إعادة صياغة السؤال، فإن حكماً غير موثوق.
انتبه لمنطق "نعم/لا": كن حذراً جداً عند طرح أسئلة تقلب المعنى (مثل "هل هذا خطأ؟" مقابل "هل هذا صحيح؟").
اختر بناءً على الاستقرار، وليس فقط "الذكاء": عند اختيار قاضٍ من الذكاء الاصطناعي، لا تختر فقط النموذج الأكثر شهرة أو الأكبر حجماً. اختر النموذج الذي يثبت قدرته على إعطاء نفس الإجابة مرتين.

باخت-اختصار: يذكرنا بحث JudgeSense أنه حتى في عصر الذكاء الاصطناعي الفائق، فإن الطريقة التي تطرح بها السؤال لا تقل أهمية عن الإجابة التي تحصل عليها.

ملخص تقني: JudgeSense: معيار لقياس حساسية التلقين في أنظمة "النموذج اللغوي الكبير كحَكَم" (LLM-as-a-Judge)

1. بيان المشكلة

مع تزايد استخدام النماذج اللغوية الكبيرة (LLMs) كمقيمين آليين ("النموذج اللغوي الكبير كحَكَم")، ظهرت ثغرة منهجية حرجة وهي: حساسية التلقين (Prompt Sensitivity). وبينما يتعامل الباحثون غالبًا مع قوالب التلقين (Prompt Templates) كمجرد تفاصيل تنفيذية، يجادل البحث بأن إعادة الصياغة الدلالية الطفيفة يمكن أن تتسبب في تغيير قرار الحَكَم. هذا عدم الاستقرار يحول الحَكَم من أداة قياس موثوقة إلى مصدر للضجيج، مما قد يؤدي بالباحثين المختلفين إلى استخلاص استنتاجات متضاربة من نفس البيانات الأساسية. تركز الأدبيات الحالية على حساسية التلقين في "نماذج حل المهام" (كيف يجيب النموذج على سؤال ما)، ولكن هناك نقص في المقاييس المعيارية لـ "الحكام" (كيف يمنح النموذج تسمية أو حكمًا على إجابة شخص آخر).

2. المنهجية

قدم المؤلفون JudgeSense، وهو إطار عمل مصمم لقياس استقرار القرار عبر تلقينات متكافئة دلاليًا.

المقياس: درجة حساسية الحَكَم (JSS): المساهمة الجوهرية هي مقياس JSS، والذي يُعرف بأنه نسبة أزواج إعادة الصياغة التي يعود فيها الحَكَم بقرار متطابق.
$JSS(j, t) = \frac{1}{|P|} \sum_{i=1}^{|P|} \delta(j(p_i), j(p'_i))$
حيث يمثل $j$ الحَكَم، و $t$ المهمة، و $P$ مجموعة أزواج إعادة الصياغة. تشير قيمة JSS البالغة 1.0 إلى الاتساق التام، بينما تشير القيم الأقل من 0.8 إلى عدم الموثوقية العملي.
مجموعة بيانات المعيار (Benchmark Dataset): أنشأ المؤلفون مجموعة بيانات مكونة من 494 زوجًا من إعادة الصياغة المعتمدة عبر أربعة أبعاد تقييمية:
1. الواقعية (Factuality) (من TruthfulQA)
2. التماسك (Coherence) (من SummEval)
3. الصلة (Relevance) (من BEIR)
4. التفضيل (Preference) (من MT-Bench)
  تم التحقق من تكافؤ إعادة الصياغة باستخدام GPT-4o-mini كمصنف مستقل.
الإعداد التجريبي: تم تقييم تسعة نماذج (5 تجارية و4 مفتوحة المصدر) باستخدام فك التشفير الجشع (Greedy Decoding) (درجة الحرارة $\approx$ 0). استخدمت الدراسة قوالب تعليمات تبسيطية لعزل تأثير إعادة الصياغة اللغوية الطبيعية عن العوامل الأخرى مثل "سلسلة الأفكام" (Chain-of-Thought) أو "تحديد الدور" (Role-priming).

3. المساهمات الرئيسية

مقياس رسمي (JSS): مقياس بسيط، قابل للتكرار، ويمكن الإبلاغ عنه كرقم واحد لاستقرار الحَكَم.
معيار قياسي: مجموعة بيانات عامة من أزواج إعادة الصياغة المعتمدة التي تغطي أبعاد تقييم متعددة وحرجة.
تحليل تجريبي: دراسة واسعة النطاق لتسع عائلات رئيسية من النماذج اللغوية الكبيرة، توضح كيفية استجابة المهام ومعماريات النماذج المختلفة لتغير التلقين.
توجيه للممارسين: توصيات ملموسة بشأن النماذج التي يجب استخدامها لمهام محددة وكيفية تصميم التلقينات لتجنب آثار "التقلب" (Flip artifacts).

4. النتائج الرئيسية

تكشف النتيات أن حساسية التلقين تعتمد بشكل كبير على المهمة:

التماسك (المُميز): كانت هذه المهمة الوحيدة التي أظهرت فيها الحكام تباينًا كبيرًا. تراوح مقياس JSS بين 0.389 (Gemini-2.5-flash) و 0.992 (Claude-Sonnet-4.5). ومن الجدير بالذكر أن حجم النموذج لم يتنبأ بالاتساق؛ حيث كان النموذج الرائد (Gemini) أسوأ بكثير من النماذج متوسطة الحجم أو المتخصصة.
الواقعية (أثر التلقين): أظهرت جميع الحكام التسعة معدل تقلب موحد بنسبة $\sim$ 37%. اكتشف المؤلفون أن هذا ليس عيبًا في النموذج بل هو أثر ناتج عن تصميم التلقين بسبب "انعكاس القطبية" (على سبيل المثال، أحد التلقينات يسأل "هل هذا صحيح؟" بينما يسأل الآخر "هل يحتوي هذا على أخطاء؟"). وبمجرد تصحيح القطبية، ارتفع JSS إلى $\approx$ 0.9+.
التفضيل والصلة (التدهور): أظهر ثمانية من أصل تسعة حكام سلوك "دائمًا-A" (انحياز الموضع)، حيث يعيدون نفس التسمية بغض النظر عن التلقين. أدى ذلك إلى JES قدره 1.0، لكنه لم يكن ذا قيمة معلوماتية لأن النماذج لم تكن "تحكم" فعليًا بل كانت "ترتكز" على موضع معين.
كابا السالبة ( $\kappa$ ): أنتج نموذجان (Gemini-2.5-flash و Mistral-7b) معامل كونا كابا سالباً في مهمة التماسك، مما يعني أنهما كانا متضادين في الارتباط بشكل منهجي مع نفسيهما — حيث دفعهما اختلاف الصياغة في اتجاهات متعاكسة على مقياس ليكرت.

5. الأهمية والآثار المترتبة

للورقة آثار عميقة على موثوقية التقييم القائم على النماذج اللغية الكبيرة:

الموثوقية مقابل الدقة: يميز المؤلفون بين كون الحَكَم صحيحًا (اتفاق عالٍ مع البشر) وبين كونه مستقرًا (JSS مرتفع). يمكن للحَكَم أن يكون خاطئًا باستمرار، أو صحيحًا بدقة ولكنه حساس للغاية للصياغة. يجب الإبلاغ عن كليهما.
اختيار النموذج: لا ينبغي للممارسين الافتراض بأن النموذج الأكبر أو الأحدث هو الأفضل للتقييم. بالنسبة للمهام القائمة على التماسك، تعتبر نماذج مثل Claude-Sonnet-4.5 و Qwen-2.5-72b متفوقة نظرًا لانضباطها العالي في اتباع التعليمات.
هندسة التلقين للحكام: لتقليل الضجيج، يجب على الباحثين تجنب قوالب "انعكاس القطبية" وتطبيق "عشوائية ترتيب الخيارات" (اختبار A/B) للتخفيف من انحياز الموضع الملاحظ في المهام الثنائية.
التقنين: تدعو الورقة المجتمع إلى اعتماد JSS كمقياس إبلاغ قياسي لضمان أن تقييمات "النموذج اللغوي الكبير كحَكَم" قابلة للتكرار وسليمة علميًا.