ملخص تقني: التحقق من صحة تسجيل درجات سلامة النماذج اللغوية الكبيرة المقارنة دون وجود تسميات مرجعية (Ground-Truth)

1. صياغة المشكلة

تتناول الورقة فجوة حرجة في نشر النماذج اللغوية الكبيرة (LLMs): الحاجة إلى مقارنة النماذج المرشحة من حيث السلامة في لغات أو قطاعات أو أنظمة تنظيمية محددة حيث لا توجد معايير مرجعية موسومة (Annotated Benchmarks).

في العديد من سيناريوهات النشر (على سبيل المثال، وكالة قطاع عام نرويجية تختبر نموذجاً محلياً)، يجب على الفرق اتخاذ قرار بشأن أي نموذج هو الأكثر أماناً بموجب قيود محددة دون الوصول إلى مجموعات بيانات موسومة. تفشل النماذج الحالية في معالجة هذه المسألة بشكل كامل:

• المعايير المرجعية الثابتة (Static Benchmarks): تتطلب تسميات مرجعية، وغالباً ما تكون متمحورة حول اللغة الإنجليزية، وتتجمد عملية التقييم عند وقت إصدارها.
• التدقيق الموجه للاكتشاف (Discovery-Oriented Auditing): (مثل اختبار الاختراق الآلي) يولد نصوصاً وفرضيات ولكنه يفتقر إلى آلية تسجيل ملتزمة وقابلة للتكرار مع تقدير لعدم اليقين بما يتناسب مع عمليات الشراء.
• النموذج اللغوي كحكم (LLM-as-Judge): بينما تعد المقارنات الزوجية أكثر موثوقية من الدرجات المطلقة، إلا أنها ترث تحيزات وعدم استقرار. وبدون سلسلة تحقق، لا يمكن الدفاع عن الدرجات كدليل على فروق السلامة بدلاً من كونها نتاجاً لأدوات التدقيق.

يعرف المؤلفون هذا المجال باسم تسجيل درجات السلامة المقارنة الخالية من المعايير المرجعية (Benchmarkless Comparative Safety Scoring). التحدي الجوههري هو إنتاج أدلة مقارنة يمكن الدفاع عنها (درجات، فروقات، معدلات حرجة) دون تسميات مرجعية، مع ضمان استجابة الأداة للسلوك المستهدف بدلاً من الضجيج أو نواتج المدقق/الحكم.

2. المنهجية: سلسلة الصلاحية الأداتية (Instrumental-Validity Chain)

للتحقق من صحة أداة تسجيل في غياب الحقيقة المرجعية، يقترح المؤلفون سلسلة صلاحية أداتية. تستبدل هذه السلسلة الاتفاق مع الحقيقة المرجعية بثلاثة متطلبات محددة:

1. الاستجابة (Responsiveness): يجب أن تميز الأداة بين تباين معروف ذي صلة بالسلامة. يستخدم المؤلفون تباين (آمن مقابل مجرد من القدرة - safe-vs-abliterated) (مقارنة نموذج محاذٍ للسلامة بنسخة مطابقة له في القدرة تم فيها إبطال سلوك الرفض عبر اتجاه الرفض).
2. حساسية الهدف (سيادة التباين) (Target Sensitivity): يجب أن يكون التباين في الدرجات مدفوعاً بشكل أساسي بـ النموذج المستهدف، وليس بآثار المدقق (المستقصي) أو الحكم (المقيم). ويتم قياس ذلك عبر تحليل التباين ($\eta^2$).
3. قابلية التكرار (Reproducibility): يجب أن تستقر الدرجات عبر عمليات تشغيل متعددة ($n$) لضمان عدم حجب الفروقات بين الأهداف بسبب الضجيج العشوائي.

تنفيذ SimpleAudit

يقوم المؤلفون بتطبيق هذه السلسلة في SimpleAudit، وهي مكتبة بايثون محلية أولاً وأداة قياس.

• البنية: تفصل بين ثلاثة أدوار مستقلة: الهدف (T)، المدقق (A)، والحكم (J).
• سير العمل: تقوم حزمة السيناريو بتهيئة محادثة؛ يقوم المدقق بتوليد استقصاءات؛ يستجيب الهدف؛ ويقوم الحكم بتقييم النص مع حكم مهيكل (شدة من 0 إلى 4).
• التسجيل: يتم إعادة تعيين تسميات الشدة إلى مقيًاس من 0 إلى 100. تسجل الأداة الدرجات الإجمالية، والفروقات المتطابقة ($\Delta$)، والمعدلات الحرجة (تكرار الإخفاقات الشديدة)، وفترات عدم اليقين.
• الالتزامات التصميمية: التنفيذ المحلي (لا يوجد اعتماد على واجهة برمجة تطبيقات خارجية للبيانات الحساسة)، نمطية الأدوار، التكوين الصريح، وحزم السيناريوهات ذات الإصدارات المحددة.

3. المساهمات الرئيسية

تقدم الورقة ست مساهمات رئيسية:

1. تعريف الفئة: تحديد "تسجيل درجات السلامة المقارنة الخالية من المعاييد المرجعية" كفئة تقييم متميزة لها عقد ادعاء خاص بها.
2. إطار التحقق: تحديد سلسلة الصلاحية الأداتية (الاستجابة، حساسية الهدف، قابلية التكرار) المطلوبة للتحقق من هذه الأدوات.
3. التنفيذ المرجعي: تقديم SimpleAudit، وهي أداة تجمع السيناريوهات الثابتة، والقواعد، والأدوار في أداة قابلة للتكرار.
4. التحقق التجريبي: التحقق من SimpleAudit باستخدام حزمة سلامة نرويجية، مما يثبت استيفائها لمتطلبات السلسلة الثلاثة.
5. فحص التعميم: تطبيق نفس سلسلة التحقق على Petri (أداة تدقيق موجهة للاكتشاف)، مما يظهر أن السلسلة تقبل Petri أيضاً، بشرما تم اختيار أبعاد محددة.
6. أدلة النشر: عرض تطبيق هذا الإطار في حالة شراء قطاع عام نرويجي لمقارنة Borealis و Gemma 3.

4. النتائج الرئيسية

التحقق من صحة SimpleAudit

• الاستجابة: نجحت SimpleAudit في الفصل بين الأهداف الآمنة والمجردة من القدرة. عبر تركيبات الحكم والمدقق الموثوقة، تراوحت قيم AUROC بين 0.89 و 1.00.
• حساسية الهدف: أظهر تحليل التباين أن النموذج المستهدف هو العامل المهيمن ($\eta^2 \approx 0.52$)، بينما كانت مساهمات المدقق والحكم جوهرية ولكن ثانوية. وهذا يؤكد أن الدرجات تعكس سلوك الهدف بدلاً من آثار الجهاز.
• قابلية التكرار: تستقر الدرجات بسرعة. بحلول 10 عمليات تشغيل، ينخفض متوسط الانحراف المطلق عن الدرجة المرجعية إلى حوالي نقطة واحدة على مقياس 0-100، وهو أقل بكرثير من الفروقات التي تحرك قرارات الشراء.
• رؤى التكوين:
  • اختيار المدقق: المدقق هو أهم نقطة تصميم. المدقق القوي جداً (مثل النماذج الرائدة) يضغط درجات الهدف الآمن، مما يمحو الفروقات المقارنة التي تهدف الأداة للإبلاغ عنها. يجب أن يطابق المدقق نطاق قدرة الهدف.
  • اختيار الحكم: بينما تختلف الدرجات المطلقة باختلاف الحكم، تظل الفروقات الزوجية مستقرة. الأحكام التي تقترب فيها نسبة الخطأ الحرج من 10% (نسبة إلى مرجع رائد) تعتبر صالحة للحوكمة.
  • كفاءة التكلفة: يُنصح بجعل قدرة الحكم مساوية لقدرة المدقق ($J=A$) كوضع افتراضي، مما يوفر الرموز (tokens) دون التضحية بالإشارة المقارنة.

المقارنة مع Petri

• تقبل سلسلة التحقق أداة Petri أيضاً. وتحديداً، يمر بُعد "المثير للقلق" في Petri بجميع المتطلبات الثلاثة (AUROC $\ge$ 0.99، هيمنة الهدف، الاستقرار).
• ومع ذلك، تختلف الأداتان في عقود الادعاء الصاعدة. تفرض SimpleAudit حزمة سيناريو واحدة وملتزمة وقاعدة تجميع، مما يجعلها مناسبة تشغيلياً لعمليات الشراء. بينما توفر Petri المرونة للاكتشاف ولكنها تتطلب من المستخدم الالتزام بالبناءات وقواعد التجميع لتوليد درجات قابلة للمقارنة.

دراسة حالة المشتريات النرويجية

• كشفت مقارنة Borealis و Gemma 3 عبر أحجام مختلفة (1B–27B) أن "الأكثر أماناً" ليست خاصية أحادية الجانب.
• أظهر Borealis عموماً درجات أعلى ومعدلات حرجة أقل، لكن الميزة كانت تعتمد على الفئة (مثلاً: قوي في الرعاية الصحية والقطاع العام، وأضعف في اللغة).
• التوسع: استقرت تحسينات السلامة عند 12B لبعض الفئات، مما يناقض قاعدة "الأكبر هو الأكثر أماناً".
• الاستنتاج: تدعم الأدلة رؤية دقيقة: النموذج الأكثر أماناً يعتمد على فئة السيناريو ومقياس المخاطر المحدد (متوسط الدرجة مقابل المعدل الحرج).

5. الأهمية والادعاءات

تدعي الورقة أن تسجيل درجات السلامة المقارنة الخالية من المعاييد المرجعية هي فئة تقييم متميزة، ولي لو كانت شكلاً متدهوراً من المعايير المرجعية. تكمن أهميتها في:

• تشغيل السلامة للمجالات المنظمة: توفر طريقة للفرق في البيئات المنظمة (مثل القطاع العام، اللغات غير الإنجليزية) لتوليد أدلة مقارنة يمكن الدفاع عنها دون انتظار المعايير المرجعية الموسومة.
• التحول من التصنيف إلى الدليل: يجادل المؤلفون ضد اختزال النتائج في لوحة صدارة واحدة. بدلاً من ذلك، يتكون دليل النشر الصالح من حزمة: درجات، فروقات متطابقة، معدلات حرجة، فترات عدم يقين، وفحوصات حساسية، وكلها مرتبطة بتكوين أداة محدد.
• القابلية للتفنيد: من خلال التصريح بـ "عقد الادعاء" (أداة ثابتة، حزمة سيناريو، أدوار)، يصبح التقييم قابلاً للتفنيد. يمكن لمجموعات أخرى إعادة تشغيل نفس الأداة أو استبدال المكونات لتحدي النتائج.
• حوكمة محلية أولاً: يضمن التصميم عدم خروج المطالبات والنصوص والسياسات من بيئة النشر، مما يعالج مخاوف سيادة البيانات والخصوصية في القطاعات المنظمة.

المؤلفون متواضعون في ادعاءاتهم: اجتياز سلسلة الصلاحية الأداتية هو شرط ضروري ولكنه ليس كافياً للنشر. إنه يثبت أن الأداة تعمل كأداة قياس، ولكن لا يزال يتعين على خبراء المجال الحكم على ما إذا كانت حزمة السيناريو تغطي بالفعل البناء المستهدف. المساهمة هي الفئة وسلسلة التحقق، مع عمل SimpleAudit كنموذج تنفيذي مؤقت لسوق المشتريات.