Evidence Lock Before Commitment: A Frozen Interface Degrades LLM-as-Judge Evaluation
تُثبت هذه الورقة أن "قفل الأدلة" (evidence locking) —وهو سير عمل يقوم فيه حكام النماذج اللغوية الكبيرة باستخراج الأدلة وحفظها في استدعاء منفصل قبل إصدار حكم نهائي— يؤدي إلى تدهور أداء التقييم بشكل كبير من خلال تقليل التوافق مع التفضيلات البشرية وزيادة عدم الاتساق مع ترتيب الإجابات مقارنة بالتحكيم المهيكل ذي الاستدعاء الواحد.
تخيل أنك محقق يحاول حل لغز ما، ولكن بدلاً من فحص مسرح الجريمة بنفسك، تجد نفسك مضطراً لقراءة تقرير شرطة كتبه شخص آخر. يتعين عليك تحديد الجاني بناءً على هذا الملخص المكتوب فقط. هذا هو عالم "القضاة الاصطناعيين". في مجال الذكاء الاصطناعي، غالباً ما نطلب من النماذج الحاسوبية الذكية أن تعمل كحكام، لتُقرر أي الإجابتين هي الأفضل. عادةً، ينظر هؤلاء القضاة الاصطناعيون إلى الإجابات الأصلية والسؤال معاً في آن واحد، ويتخذون قراراً سريعاً. لكن مؤخراً، انتشرت فكرة جديدة: "لنطلب من الذكاء الاصطناعي كتابة أسبابه أولاً!". كان الأمل هو أنه إذا اضطر الذكاء الاصطناعي إلى شرح تفكيره وجمع الأدلة قبل اختيار الفائز، فسيكون أكثر عدلاً ومنطقية ويصعب خداعه. الأمر يشبه أن تطلب من طالب أن يوضح خطوات حله في اختبار الرياضيات قبل إعطائه الدرجة. ولكن ماذا لو لم يكن هذا "العمل" المكتوب كافياً بالفعل لحل المشكلة؟ ماذا لو كان فعل تجميد تلك الملاحظة المكتوبة ورمي الإجابات الأصلية بعيداً يجعل الذكاء الاصطناعي أسوأ في أداء مهمته؟
هذه الورقة البحثية، التي تحمل عنوان "قفل الأدلة قبل الالتزام" (Evidence Lock Before Commitment)، تغوص في هذا السؤال تحديداً. أراد الباحث ديفيانش سينغ من جامعة فلوريدا اختبار سير عمل محدد بدأ الكثير من الناس في استخدامه. لقد تساءل: إذا أجبرنا الذكاء الاصطناعي على كتابة أدلته في خطوة واحدة، وحفظ تلك الملاحظة، ثم أعطينا تلك الملاحظة فقط لخطوة ثانية لاتخاذ القرار النهائي (دون السماح لها برؤية الإجابات الأصلية مرة أخرى)، فهل سيظل يتخذ خيارات جيدة؟ اختبر ذلك باستخدام نموذجين ذكيين جداً من الذكاء الاصطناعي، وهما Claude Sonnet 4.5 و GPT-5، عبر 24,000 سيناريو تحكيم مختلف.
كانت النتائج صادمة نوعاً ما. وجد الباحث أن طريقة "قفل الأدلة" هذه جعلت القضاة الاصطناعيين أسوأ في الواقع. فعندما أُجبر الذكاء الاصطناعي على الاعتماد فقط على ملاحظاته المجمدة، وافق التفضيلات البشرية بنسبة أقل بـ 4 إلى 6 نقاط مئوية عما لو كان بإمكانه ببساطة النظر إلى الإجابات الأصلية. كما أصبح أكثر ارتباكاً بسبب ترتيب عرض الإجابات، حيث أصبح غير متسق بنسبة تزيد بـ 8 إلى 10 نقاط مئوية. ومن المثير للاهتمام أن مجرد طلب كتابة الأدلة من الذكاء الاصطناعي أثناء استمراره في النظر إلى الإجابات الأصلية (وهي طريقة "النداء الواحد المنظم") كان يعمل بشكل جيد تماماً. لم تكن المشكلة في الكتابة؛ بل كانت المشكلة في "القفل". فمن خلال تجميد الأدلة وقطع الوصول إلى المصدر، فقد الذكاء الاصطناعي القدرة على رؤية الصورة الكاملة. تشير الورقة البحثية إلى أنه بينما يعد الاحتفاظ بسجل مكتوب أمراً رائعاً للتدقيق ومراجعة العمل لاحقاً، إلا أنه لا ينبغي أن يحل محل المادة المصدرية الأصلية عند اتخاذ القرار النهائي. إن "الواجهة المجمدة" تُضعف جودة الحكم، مما يثبت أنك في بعض الأحيان تحتاج حقاً لرؤية مسرح الجريمة بنفسك، وليس فقط قراءة التقرير.
ملخص تقني: قفل الأدلة قبل الالتزام (Evidence Lock Before Commitment)
بيان المشكلة تتناول الورقة فرضية سير عمل سائدة في تقييمات "النموذج اللغوي الكبير كحكم" (LLM-as-a-judge)، وهي أن استخراج المعايير والأدلة في خطوة وسيطة قبل إصدار الحكم النهائي يحافظ على قدر كافٍ من المعلومات لاتخاذ قرار منفصل لاحقاً. وبينما تهدف طرق التقييم المهيكلة (مثل طلب الخطط أو المبررات قبل إعطاء درجة) إلى تعزيز القابلية للتدقيق والمتانة، إلا أنها تفترض غالباً أن السجل اللغوي الطبيعي للأدلة يعد واجهة كافية لإعادة إنتاج الحكم. ويشكك المؤلف في ما إذا كان حفظ سجل الأدلة هذا وجعل هذا السجل هو المدخل الحصري لنداء القرار النهائي — وبالتالي إزالة الوصول إلى الإجابات المصدرية الأصلية — يؤدي إلى تدهور جودة التقييم. ويكتسب هذا الأمر أهمية خاصة بالنسبة للنماذج القادرة على الاستنتاج، حيث لا يعكس ترتيب المخرجات المرئي بالضرورة ترتيب القرار الداخلي.
المنهجية تستخدم الدراسة تقييماً مضبوطاً ومتكرر القياس عبر 24,000 حكم باستخدام نموذجين تجاريين قادرين على الاستنتاج (Claude Sonnet 4.5 و GPT-5) وثلاث مجموعات بيانات (HelpStep3، وFeedbackQA، وCoVal). يقارن الباحثون بين أربعة بروتوكولات تحكيم متميزة:
التحكيم الزوجي القياسي (Standard Pairwise Judging): يرى الحَكَم السياق وكلتا الإجابتين (أ و ب) ويصدر حكماً مباشراً.
التحكيم المهيكل في نداء واحد (Structured One-Call Judging): يرى الحَكَم السياق وكلتا الإجابتين، ولكن يتم توجيهه صراحةً لتوليد معايير وأدلة قبل اختيار الفائز ضمن نفس النداء.
قفل الأدلة - نداءان (Evidence Lock - Two-Call):
النداء الأول: يفحص الحَكَم السياق وكلتا الإجابتين، ويكتب الأدلة/المعايير، ويحفظ السجل دون اختيار فائز.
النداء الثاني: يرى الحَكَم فقط سجل الأدلة المحفوظ (لا السياق الأصلي ولا الإجابات) ويختار (أ) أو (ب) أو تعادلاً.
القفل النقطي - ثلاثة نداءات (Pointwise Lock - Three-Call):
النداءان الأول والثاني: يتم تقييم الإجابتين (أ) و (ب) بشكل مستقل لتوليد تقييمات مجمدة.
النداء الثالث: يقارن الحَكَم بين هذين التقييمين المجمدين لتحديد الفائز، دون رؤية الإجابات الأصلية.
تقيس الدراسة نتيجتين رئيسيتين:
الاتفاق على التفضيل (Preference Agreement): دقة حكم الحَكَم مقابل الملصقات البشرية الصارمة المفضلة (أ/ب)، بمتوسط عبر كلا ترتيب عرض الإجابات (AB و BA).
عدم اتساق ترتيب الإجابات (Answer-Order Inconsistency): وتيرة تغير الحكم المعياري عندما يتم تبديل ترتيب تقديم المرشحين.
المساهمات الرئيسية
التدخل الملحوظ (Observable Intervention): تقدم الورقة "قفل الأدلة" كتدخل ملحوظ يعزل تأثير تجميد السجل الوسيط وإزالة الوصول للمصدر، دون الاعتماد على ادعاءات غير قابلة للتحقق بشأن ترتيب سلسلة الأفكار الخفية.
التقييم واسع النطاق: تقييم شامل يتضمن 24,000 حكم عبر نموذجين وثلاث مجموعات بيانات متنوعة، باستخدام إعادة أخذ العينات بطريقة "بوتستراب" غير معلمية لضمان الثقة الإحصائية.
نتيجة سلبية على الواجهات المقفلة: تقدم الدراسة دليلاً متسقاً على أنه بينما تظل عملية الاستخلاص المهيكلة (طلب الأدلة في نداء واحد) فعالة، فإن تحويل تلك الأدلة إلى واجهة مجمدة وحصرية لنداء قرار لاحق يؤدي إلى تدهور الأداء بشكل كبير.
النتائج تظهر النتائج التجريبية أن "قفل" الأدلة يؤدي إلى تدهور ملموس في جودة التقييم مقارنة بالتحكيم المهيكل في نداء واحد:
انخفاض الاتفاق على التفضيل: أدى قفل الأدلة إلى تقليل الاتفاق مع التفضيلات البشرية بنسبة تتراوح بين 4 إلى 6 نقاط مئوية مقارنة بالتحكيم المهيكل في نداء واحد.
Claude Sonnet 4.5: انخفض من 76.0% (مهيكل) إلى 71.7% (قفل الأدلة).
GPT-5: انخفض من 75.6% (مهيكل) إلى 70.0% (قفل الأدلة).
أظهر القفل النقطي (Pointwise locking) اتفاقاً أقل حتى (67.3% و 69.2%).
زيادة عدم اتساق الترتيب: أدت البروتوكولات المقفلة إلى زيادة الحساسية لترتيب الإجابات بشكل ملحوظ.
زاد قفل الأدلة من عدم الاتساق بنسبة 8 إلى 10 نقاط مئوية مقارنة بالتحكيم المهيكل.
بالنسبة لـ Claude Sonnet 4.5، ارتفع عدم الاتساق من 10.9% (مهيكل) إلى 18.9% (قفل الأدلة).
التكلفة الحسابية: تتطلب البروتوكولات المقفلة المزيد من نداءات API والرموز (Tokens) (على سبيل المثال، 4,183 رمزاً لقفل الأدلة مقابل 1,864 للتحكيم المهيكل لنموذج Claude) بينما تنتج نتائج أسوأ.
القدرة على التعميم: كانت الآثار السلبية متسقة عبر جميع مجموعات البيانات الثلاث (HelpSteer3، وFeedbackQA، وCoVal) وكلا نموذجي الحَكَم.
الأهمية والادعاءات تخلص الورقة إلى أن سجلات الأدلة المحفوظة لا ينبغي أن تحل محل الإجابات المصدرية وقت اتخاذ القرار. يحدث التدهور في الأداء تحديداً عندما يصبح سجل الأدلة هو الواجهة الحصرية للقرار النهائي، وليس مجرد عند طلب الأدلة.
تدفق المعلومات: يجادل المؤلف بأن هذا هو "تأثير تدفق المعلومات". قد تغفل السجلات اللغوية الطبيعية بعض الفروق، أو تضغط المقايضات، أو تحفظ التأطير (framing) المعتمد على ترتيب العرض الأصلي. وبمجرد أن يفقد نداء القرار النهائي الوصول إلى الإجابات المصدرية، فإنه لا يستطيع تصحيح هذه السهو أو خيارات التأطير.
القابلية للتدقيق مقابل اتخاذ القرار: بينما يدعم حفظ الأدلة التدقيق، والتسجيل، والنمطية، فإن الدرس العملي هو أن السجل يجب أن يساعد القرار بدلاً من أن يحل محل الزوج الأصلي. يجب على الحَكَم النهائي، من الناحية المثالية، فحص كل من الأثر (الوثيقة) والإجابات المصدرية.
تواضع الادعاءات: يذكر المؤلف صراحةً أن "قفل الأدلة" هو تدخل مدمج (يجمع بين فصل المراحل، ونداء إضافي، وتجميد السجل، وإزالة المصدر). لذلك، بينما يتسبب سير العمل في التدهور، فإن المكون المسؤول تحديداً (مثل التجميد مقابل إزالة الوصول للمصدر) ليس محددًا بشكل فريد، وإن كان تفسير "عنق زجاجة المعلومات" (information-bottleneck) يمثل تفسيراً منطقياً. لا تدعي الدراسة إثبات آليات الاستنتاج الخفية، بل تثبت العواقب الملحوظة لتقييد بيانات المدخلات.