SafetyRepro: Configuration-Conditional Rank Instability on Alignment Benchmarks

ملخص تقني: SafetyRepro: عدم استقرار التصنيف المشروط بالتهيئة في معايير قياس المحاذاة

بيان المشكلة
تتناول الورقة فجوة حرجة في قابلية إعادة إنتاج معايير قياس محاذاة النماذج اللغوية الكبيرة (LLM). فبينما تُعامل المقارنات الزوجية (مثل "النموذج أ أكثر أمانًا من النموذج ب") كأحكام كمية في الأدبيات، إلا أنها تعتمد على أدوات تقييم تفتقر إلى التحديد الدقيق لخيارات التهيئة الحرجة. يجب على المقيمين اختيار قوالب المطالبات (prompts)، وإعدادات فك الترميز (decoding)، ومستويات التعلم من أمثلة قليلة (few-shot)، وقواعد التسجيل، ومخططات التكميم (quantization). ويجادل المؤلفون بأن هذه الخيارات غالبًا ما تكون معقولة ولكنها غير محددة بدقة في أوراق معايير القياس، مما يؤدي إلى نقص في قابلية إعادة الإنتاج حيث يمكن لنفس زوج النماذج أن يعطي تصنيفات متناقضة بناءً على تهيئة أداة التقييم.

المنهجية
صاغ المؤلفون بروتوكول تقييم "مختوم بالنسخة" (commit-stamped) لاختبار استقرار التصنيفات الزوجية عبر نطاق تهيئة محدد.

• شبكة التجارب: تدرس الدراسة ثلاثة نماذج مفتوحة الأوزان مدربة على التعليمات بحجم 7-9 مليار معلمة (Qwen-2.5-7B-Instruct، وMistral-7B-Instruct-v0.3، وYi-1.5-9B-Chat) عبر خمسة معايير قياس متعلقة بالمحاذاة: TruthfulQA، وBBQ، وToxiGen، وCrowS-Pairs، وXSTest.
• نطاق التهيئة: تم مسح شبكة مكونة من 612 خلية، عبر تغيير أربعة محاور لكل زوج (نموذج، معيار قياس):
  1. قالب المطالبة (Prompt Template): أربعة مستويات (الحد الأدنى، الإطار الدورِي، التفصيلي، وسلسلة الأفكال - CoT).
  2. فك الترميز (Decoding): ثلاثة مستويات (الجشع - Greedy، T=0.3، T=0.7).
  3. التعلم من أمثلة قليلة (Few-shot): ثلاثة مستويات (0، 3، 5 أمثلة).
  4. التسجيل (Scoring): مستويان (استخراج Regex للنماذج الحرة مقابل argmax للاحتمالات اللوغاريتمية - Logprob).
• القيود: تم تثبيت الشبكة على تكميم NF4 (لمحاكاة أجهزة استهلاكية بذاكرة 16 جيجابايت) ومجموعة فرعية ثابتة من العناصر لكل معيار قياس لعزل تباين أداة التقييم عن تباين أخذ العينات من البيانات.
• المقاييس:
  • معدل التناقض الزوجي القابل للتحكم من قبل المشغل ($\rho_{flip}$): ويُعرف بـ $\min(N_+, N_-) / |C_b|$، حيث $N_+$ و $N_-$ هما عددا التكوينات التي يكون فيها النموذج أ > النموذج ب والنموذج ب > النموذج أ على التوالي. يقيس هذا المقياس وجود انعكاسات صارمة داخل النطاق.
  • توافق التصنيف ($\tau_R$): متوسط معامل كيندال $\tau$ عبر تصنيفات النماذج الثلاثة المستحثة.
  • عزو التباين: تحليل تباين من النوع الثاني (Type-II ANOVA) رباعي الاتجاهات لتقسيم التباين بين هوية النموذج ومحاور التنفيذ (القالب، فك الترميز، الأمثلة القليلة).
• دراسة حالة: يقوم تحليل منفصل بإعادة تشغيل تكوين مرجعي اسمي واحد (Qwen2.5-7B-Instruct) عبر ثلاث حزم تقييم رئيسية (lm-evaluation-harness، وHELM-lite، وInspect AI) لإثبات عدم التكافؤ في التنفيذ.

النتائج الرئيسية

1. عدم استقرار التصنيف الشامل: في كل معيار تم اختباره، يعد اختيار التهيئة وحده كافيًا لعكس الحكم الزوجي بين النماذج. قيمة $\rho_{flip}$ غير صفرية لجميع المعايير، مما يشير إلى أن الترتيب الصارم لا يمكن تحديده ضمن النطاق المختبر.
2. أقصى درجات عدم الاستقرار:
   • XSTest: المعيار الأكثر تقلبًا؛ حيث يمكن الوصول إلى جميع الترتيبات الستة الممكنة للنماذج الثلاثة ضمن النطاق الكامل. وحتى في "النطاق الأساسي" (استبعاد مستويات الإجهاد لـ CoT وفك الترميز المتنوع)، يظل 5 من أصل 6 ترتيبات قابلة للوصول.
   • TruthfulQA: يُظهر أعلى معدل تناقض زوجي ($\rho_{flip} \approx 47.9\%$ في النطاق الكامل، و$\approx 40.7\%$ في النطاق الأساسي).
   • BBQ وToxiGen: يُظهران أيضًا عدم استقرار كبير، بقيم $\rho_{flip}$ تبلغ حوالي 43.8% و35.4% على التوالي.
3. هيمنة التنفيذ مقابل النموذج: يكشف تقسيم التباين أن التأثيرات الرئيسية للتنفيذ تفسر قدرًا من التباكن الإجمالي يساوي أو يفوق هوية النموذج في ثلاثة من أصل أربعة معايير حرة (BBQ، وToxiGen، وXSTest). فقط TruthfulQA هو الذي تهيمن عليه هوية النموذج. تأثيرات التفاعل كبيرة (41–54%)، مما يشير إلى أن التقسيم هو اتجاه نوعي وليس نسبة دقيقة.
4. حساسية مسار التسجيل: يؤدي التبديل بين تحليل Regex للنماذج الحرة وبين scoring الخاص بـ logprob argmax إلى إنتاج درجات مختلفة جوهريًا (تصل إلى 22.7 نقطة مئوية في BBQ و21.7 في TruthfulQA في دراسة التباين بين الحزم)، مما يؤكد أن مسارات التسجيل المختلفة تقيس كائنات مرشحة غير متكافئة.
5. عدم التكافؤ عبر الحزم: تؤدي تشغيل نفس التكوين الاسمي عبر ثلاث حزم تقييم مختلفة إلى فروقات في الدرجات تصل إلى 22.7 نقطة مئوية. ويُعزى ذلك إلى عدم التكافؤ في التنفيذ (اختلاف الكائنات المرشحة، والنصوص التمهيدية للمطالبة، وخرائط القيم الأرضية) وليس إلى تأثير حزمة واحدة.

المساهمات

1. المقياس: تقديم معدل التناقض الزوجي القابل للتحكم من قبل المشغل ($\rho_{flip}$)، وهو مقياس مشروط بالتهيئة يحدد وجود انعكاسات ترتيب صارمة ضمن نطاق مستمد من الممارسات العملية.
2. البيانات: شبكة تقييم مكونة من 612 خلية تغطي 15 زوجًا (نموذج، معيار قياس) مع قواعد تهيئة مختومة بالنسخة.
3. الأدلة: دراسة حالة توضح عدم التكافؤ في التنفيذ عبر ثلاث حزم تقييم رئيسية، مما يظهر أن الإفصاح عن التهيئة ليس كافيًا لإعادة إنتاج الدرجات عبر الأدوات المختلفة.
4. الأدوات: قالب إفصاح بحثي (بطاقة GRID) لتسجيل تهيئات أداة التقييم جنبًا إلى جنب مع الدرجات، مع الإقرار بأنه رغم تحسين الشفافية، فإنه لا يحل مشكلة تلاعب المدعين بنطاقات التهيئة.
5. اختبارات المتانة: تحليل لنطاق فرعي محافظ (4 تكوينات) ومسبار عبر عائلات مختلفة (7B مقابل 32B/34B) والذي يستبعد الارتباطات الناتجة عن عائلة واحدة ولكنه لا يدعي وجود قانون توسع عام.

الأهمية والادعاءات
تدعي الورقة أن درجة معيار القياس التي تضع النموذج أ فوق النموذج ب هي خاصية للزوج (النموذج، أداة التقييم) وليست للنماذج وحدها. ويؤكد المؤلفون أنه بدون الإفصاح عن كل من النموذج وتكوين أداة التقييم المحدد، لا يمكن إعادة إنتاج هذه التصنيفات.

تكمن الأهمية في إغلاق "حلقة النظرية والمعيار" من خلال توفير اختبار من خطوة واحدة (الخاصية 1) لمعرفة ما إذا كان التصنيف الزوجي خاليًا من الانعكاس الصارم على شبكة تهيئة معينة. ويؤكد المؤلفون أن نتائجهم محدودة: فهم لا يدعون أنهم قاموا بقياس "قابلية إعادة إنتاج تقييم LLM" كعينة سكانية، ولا يدعون أنهم حلوا مشكلة إعادة الإنتاج. بدلاً من ذلك، هم يثبتون أنه ضمن نطاق محدد ومستمد من الممارسة (أجهزة استهلاكية، أحجام نماذج محددة، مجموعات فرعية ثابتة من العناصر)، يفشل البدائي "الترتيب الصارم" في تحديد حقيقة مستقرة. وتخلص الورقة إلى أن اعتماد أي تصنيفات منشورة يتطلب ليس نظرية جديدة ولا قدرة حوسبية جديدة، بل تطبيق هذا الاختبار المشروط بالتهيئة.