ملخص تقني: دوائر التقييم (Judge Circuits)

بيان المشكلة

أصبح نموذج "النموذج اللغوي الكبير كحكم" (LLM-as-a-Judge أو LaaJ) هو المعيار القياسي لتوسيع نطاق تقييم النماذج، ومع ذلك فإنه يعاني من مشكلة حرجة في الموثوقية: تمنح النماذج درجات مختلفة بشكل منهجي لنفس المدخلات بناءً على تنسيق المخرجات (على سبيل المثال، تقييم من 1 إلى 5 مقابل تصنيف صحيح/خاطئ). لقد وثقت الدراسات السابقة هذا التضارب، لكنها توقفت عند مستوى المدخلات والمخرجات، وفشلت في تفسير الآليات الحسابية الداخلية. السؤال المركزي الذي تعالجه هذه الورقة ليس ما إذا كانت النماذج تحكم باستمرار، بل أين في المسار الحسابي من المدخلات إلى المخرجات ينشأ التضارب الناتج عن تنسيق المدخلات.

المنهجية

يستخدم المؤلفون تقنية تخصيص الحواف الواعي بالموضع (Position-aware Edge Attribution Patching - PEAP) للتحقيق السببي في الآليات الداخلية لدوائر التقييم في نماذج Gemma-3 وQwen2.5 وLlama-3. يتضمن نهجهم ما يلي:

1. اكتشاف الدوائر: استخدام PEAP لتتبع الحواف السببية عبر مواضع الرموز (وهو أمر ضروري للمهام التي تقارن بين مساحات منفصلة مثل المقدمة مقابل الفرضية) من رموز المدخلات المتباينة (المطالبات النظيفة مقابل الفاسدة) إلى المخرجات.
2. التفكيك التبايني: تتبع دائرتين لنفس حالات البيانات: إحداهما لمهمة التقييم الرقمي ($C_{rate}$) والأخرى لمهمة التحكم في التصنيف ($C_{class}$). يحدد تقاطع هاتين الدائرتين ($C_{LE} = C_{rate} \cap C_{class}$) المقيم الكامن (Latent Evaluator - LE)، بينما تحدد الفروقات بينهما منسقات المهام (Task Formatters - TF).
3. المجسات السببية: التحقق من صحة الدوائر المكتشفة من خلال ثلاث طرق مستقلة:
   • الإلغاء الصفري (Zero-Ablation): تثبيت مكونات LE عند الصفر لاختبار ما إذا كانت المعرفة بالعالم ستظل محفوظة بينما ينهار الحكم.
   • توجيه الفضاء الجزئي (Subspace Steering): تحديد اتجاه حكم أحادي البعد في فضاء تنشيط LE وتوجيهه لمراقبة تغيرات المخرجات.
   • حقن نقل التنسيق (Format Transfer Injection - FTI): التقاط تنشيطات LE من مطالبة تقييم رقمي وحقنها في رسم بياني لمطالبة تصنيف لمعرفة ما إذا كان رمز المخرج سيتغير.

المساهمات والنتائج الرئيسية

1. اكتشاف مقيم كامن مشترك

تحدد الدراسة مقيماً كامناً (LE) متفرقاً ومعمماً، وهو عبارة عن رسم بياني فرعي يقع في منتصف إلى أواخر طبقات الإدراك المتعدد (MLPs) ورؤوس الانتباه المتأخرة المختارة.

• التداخل عبر المهام: تشترك مهام الحكم المتميزة (الصحة اللغوية الهيكلية، التفضيل، والمشاعر) في جذع حسابي كثيف. على سبيل المثال، في نموذج Qwen2.5-7B، يتراوح تقاطع الحواف (Edge IoU) بين المهام من 34.9% إلى 47.0%.
• الأمانة (Faithfulness): هذه الدوائر المتفرقة (أعلى $k \le 200$ حافة) كافية سببياً، حيث استعادت $\ge 87\%$ من سلوك التقييم للنموذج في 21 حالة من أصل 25 لتكوينات النموذج والمهمة.

2. الوحدوية المعتمدة على البنية

إن العزل الوظيفي لـ LE ليس نتيجة عالمية للحجم، بل يعتمد على بنية النموذج:

• النماذج الوحدوية (Modular Models): في نماذج Qwen2.5-7B، وQwen2.5-14B، وLlama-3.1-8B، وGemma-3-27B، يؤدي إلغاء LE إلى انهيار أداء الحكم مع بقاء المعرفة بالعالم (MMLU، StrategyQA) سليمة.
• النماذج المتشابكة (Entangled Models): في Gemma-3-12B، يكون LE متشابكاً بشدة مع مسارات المعرفة بالعالم؛ حيث يؤدي إلغاؤه إلى تدهور كل من الحكم والاستدعاء الحقائقي. يشير هذا إلى أن الوحدوية هي خاصية بنيوية، وليست مجرد دالة لعدد المعلمات.

cel 3. آلية التضارب الناتج عن التنسيق

تقدم الورقة تفسيراً ميكانيكياً لسبب تسبب تغيير التنسيق في التضارب:

• الانقسام: يتم حساب الحكم بواسطة إشارة مستمرة ومستقرة في جذع LE المشترك. ثم يتم تعيين هذه الإشارة إلى رموز مخرجات محددة بواسطة فروع طرفية هشة وخاصة بالتنسيق (منسقات المهام).
• الاختناق (The Bottleneck): لا ينشأ التضارب في عملية التقييم نفسها، بل في عملية التوجيه (Routing). يقوم LE بحساب اتجاه حكم أحادي البعد مستقر، ولكن "هندسة الجذب" (Attractor Geometry) الخاصة بمنسق المهمة (كيفية تعيين هذا القياس الرقمي إلى رموز منفصلة) تختلف حسب التنسيق والنموذ de.
  • التنسيقات الثنائية/الترتيبية: في التنسيقات ذات مراكز الجذب الواضحة (مثل نعم/لا الثنائية أو مقاييس 1-5)، يتم فك تشفير إشارة LE بنجاح.
  • التنسيقات متعددة الجذب: في مهام مثل MNLI (استلزام/محايد/تناقض)، يقوم المنسق بتوزيع كتلة الاحتمالية عبر ثلاثة رموز متنافسة. غالباً ما يفشل حقن إشارة حكم أحادية البعد في تغيير المخرج لأن الإشارة تتجزأ عبر مراكز الجذب الثلاثة، مما يمنع وصول تسمية واحدة إلى الحد الأقصى (argmax).
• دليل FTI: حقن التنشيط الشامل من مطالبة تقييم رقمي في مطالبة تصنيف يقلب رمز المخرج في النماذج الوحدوية (على سبيل المثال، Qwen2.5-7B يقلب $\ge 99\%$ من الحالات) ولكنه يفشل في النماذج التي يكون فيها المنسق معزولاً هندسياً (مثل Gemma-3-27B في مهمة MNLI).

4. الآثار العملية للتقييم

يوضح المؤلفون أن اتجاه الحكم أحادي البعد لـ LE يمكن أن يعمل كـ مقياس حكم صفري (Zero-shot judgment scalar).

• في بيانات التفضيل ذات العدد الصغير ($N$) (حيث تكون مخرجات المطالبة غير معايرة جيداً وتفرط في ضبط المجسات الخاضعة للإشراف)، تطابق هذه الإشارة الكامنة أو تتجاوز المجسات المتبقية الخاضعة للإشراف.
• ومع ذلك، في المهام التي تكون فيها المفردات المطلوبة متوافقة في المقياس مع الملصقات البشرية (مثل تقييمات Yelp 1-5 نجوم)، تظل القيم المتوقعة المرجحة بالاحتمالية قاعدة قوية لا يتفوق عليها الاتجاه الكامن.

الأهمية والادعاءات

تعيد الورقة صياغة النقاش حول موثوقية LaaJ. فهي تجادل بأن التضارب السلوكي تحت تأثير اضطرابات التنسيق هو العلامة المتوقعة لـ حكم داخلي مستقر يتم توجيهه عبر تعيين طرفي هش، وليس فشلاً في قدرة التقييم الأساسية.

• التحول التشخيصي: ينتقل السؤال التشخيصي من "هل يحكم النموذج باستمرار؟" إلى "هل يحافظ منسق مواصفات المخرات هذه على الحكم الأساسي؟".
• تفسير المعايير المرجعية: مقارنات الموثوقية على مستوى المعايير المرجعية عبر التنسيقات تقيس جزئياً هندسة المنسق بدلاً من جودة التقييم.
• رؤية بنيوية: تتحدى النتائج الافتراض بأن التجريدات الداخلية النظيفة تظهر بشكل عام مع زيادة الحجم؛ وبدلاً من ذلك، تلعب الخيارات البنيوية (بيانات التدريب، ندرة الانتباه، التطبيع) دوراً جوهرياً في تحديد ما إذا كان النموذج يظهر وحدوية وظيفية.

يخلص المؤلفون إلى أن إصلاحات عدم اتساق LaaJ يجب أن تستهدف المنسق (آلية التوجيه) دون المساس بكفاءة الحكم الأساسية للنموذج، وأن استخراج الفضاء الجزئي الكامن هو بديل قابل للتطبيق للمخرات المطالب بها، خاصة في الحالات التي تكون فيها المخرات المنفصلة غير معايرة جيداً.