ملخص تقني: الإبحار في بحر تقييم النماذج اللغوية الكبيرة: استقصاء التحيز في معايير قياس السمية

بيان المشكلة

كشف الاعتماد السريع للنماذج اللغوية الكبيرة (LLMs) في مجالات البحث والصناعة عن فجوة حرجة في التقييم المنهجي لمعايير السلامة والسمية. وبينما تعتمد المؤسسات بشكل متزايد على هذه المعايير لاعتماد النماذج للتطبيقات الموجهة للعملاء (مثل أدوات التلخيص، وروبوتات دعم العملاء، وسير عمل الوكلاء المستقلين)، فإن إعدادات التقييم الحالية تفتقر غالباً إلى المتانة. تجادل الورقة بأن التحيزات غير المعترف بها المتعلقة باختيار النموذج، والمقاييس، وأنواع المهام يمكن أن تؤدي إلى نشر أنظمة معرضة للخطر أو غير آمنة. وتحديداً، تفشل معايير القياس الحالية في التعميم عبر السياقات أو المهام المختلفة، مما يوفر شعوراً زائفاً بالأمان. علاوة على ذلك، فإن الافتقار إلى تعريفات متسقة للسمية والانتشار السريع لمعايير قياس جديدة يجعل من الصعب سياق النتائج أو تحديد ما إذا كانت تصميمات معايير القياس واسعة الانتشار محدودة بإعدادات مبتكريها الخاصة.

المنهجية

للتحقيق في متانة إعدادات معايير القياس الراسخة، أجرى المؤلفون دراسة تحليلية (meta-study) باستخدام أربعة من أبرسات معايير السلامة:

1. RealToxicityPrompts (RTP): يقيس السمية عبر إكمال النصوص.
2. HarmBench: يقيم المتانة في مواجهة الهجمات السلوكية وسلوك الرفض.
3. ToxiGen: يقيم خطاب الكراهية الضمني.
4. DoNotAnswer (DNA): يختبر سلوك الرفض للتعليمات الضارة.

قيمت الدراسة خمسة نماذج لغوية كبيرة (GPT-3.5-Turbo، وMistral-7B-Instruct، وLlama2-7B-Chat، وQwen2-7B-Instruct، وDeepSeek-LLM-7B-Chat) عبر إعداد أساسي وحالتين محددتين من الاضطراب (perturbation):

1. تغيير المهمة (Task Shifting)

استبدل المؤلفون مهام الاستجابة الأصلية (مثل السؤال والجواب المباشر، أو إكمال النص) بـ التلخيص. تم اختيار التلخيص لأنه ممثل بشكل ناقص في معايير المحاذاة الحالية رغم انتشاره في سير عمل الوكلاء الواقعي. كان الهدف هو تحديد ما إذا كانت آليات السلامة تصمد عندما يعالج النموذج مدخلات ضارة ويكثفها بدلاً من الاستجابة لها مباشرة.

2. تغيير النطاق (Domain Shifting)

تم تكييف مدخلات معايير القياس لتصبح أربعة نطاقات مستهدفة: التمويل، ووسائل التواصل الاجتماعي، والهندسة الكيميائية، والرياضة. تم تحقيق ذلك باستخدام GPT-4o لإعادة صياغة المدخلات مع الحفاظ على نيتها الخبيثة الأصلية (للأجزاء الضارة) أو حيادها (للأجزاء غير الضارة). تم التحقق من جودة هذه التكييفات باستخدام Claude 3 Haiku كحكم لغوي (LLM judge) عبر خمس معاياي: (نقل النطاق، والحفاظ على النية، والطبيعية السياقية، والتماسك، والجودة الإجمالية)، حيث تجاوز متوسط الدرجات 3.5/5.0.

3. التحليل الإحصائي

استخدمت الدراسة عدة طرق إحصائية لتحليل التباينات:

• اختبار مكنيمار (McNemar's Test): استُخدم لتحليل تأثيرات تغيير المهمة على النتائج الثنائية المقترنة، مع الإبلاغ عن نسب الأرجحية المقترنة ($OR_p$).
• النماذج الخطية المعممة (GLMs): استُخدمت مع العائلات الثنائية والأخطاء المعيارية المتكتلة لتحليل تأثيرات تغيير النطاق، مع الإبلاغ عن نسب الأرجحية على مستوى المجتمع ($OR_{pop}$).
• اختبارات كا مربع (Chi-Squared Tests) ومعامل كرامر (Cramér's V): استُخدمت لقياس حجم تأثير حساسية النطاق عبر مجموعات محددة من النماذج والمعايير.
• معامل كوهين كابا ($\kappa$): استُخدم لقياس الاتفاق الزوجي بين المصنفات المختلفة المستخدمة في معايير القياس (مثل Perspective API، وLongformer، وToxiGenRoBERTa).

النتائج الرئيسية

تباينات تغيير المهمة

أدى تغيير المهمة من الاستجابة المباشرة إلى التلخيص إلى تغيير سلوكيات معايير القياس بشكل كبير:

• زيادة التصنيفات الضارة: بالنسبة لـ DoNotAnswer (DNA) وToxiGen، أدى التحول إلى التلخيص باستمرار إلى زيادة معدل التصنيفات الضارة عبر جميع النماذج. تراوحت نسب الأرجحية المقترنة ($OR_p$) بين 0.01 و0.18، مما يشير إلى تحول قوي نحو تصنيف المحتوى كضار. أظهر RTP نمطاً مشابهاً، وإن كان بفترات ثقة أوسع.
• انخفاض التصنيفات الضارة: تصرف HarmBench بشكل مختلف؛ حيث مال التلخيص إلى تقليل المخرجات الضارة لنماذج معينة (أظهر GPT-3.5-Turbo وMistral-7B-Instruct تأثيرات تقليل قوية بنسب $OR_p$ بلغت 18.0 و39.0 على التوالي)، بينما لم يظهر تغيير كبير في النماذج الأخرى.
• الاستنتاج: إن تغيير إطار المهمة يحرف نتائج معايير القياس بشكل كبير، مما يسلط الضوء على نقطة عمياء في تقييمات الاستجابة المباشرة القياسية.

حساسية تغيير النطاق

أدى تكييف المدخلات لنطاقات محددة عموماً إلى تقليل اكتشاف الضرر، مما يشير إلى أن المصنفات يمكن "خداعها" بسه بكلمات ومصطلحات خاصة بنطاقات معينة:

• حساسية RTP: أظهر مصنف Perspective API أقوى حساسية للنطاق. قللت جميع النطاقات المستهدفة الأربعة بشكل كبير من التصنيفات السامة لكل من المجموعات السامة وغير السامة، حيث أنتجت المجالات التقنية (الهندسة الكيميائية، والتمويل) أكبر التحولات.
• تأثيرات متغيرة: أظهر HarmBench وDNA تأثيرات أكثر تواضعاً، حيث وصلت نطاقات محددة فقط (مثل وسائل التواصل الاجتماعي لـ DNA) إلى دلالة إحصائية. أظهر ToxiGen انخفاضاً في اكتشاف السمية عبر النطاقات، رغم أن مجال التمويل وحده كان ذا دلالة إحصائية لمجموعة الكراهية.
• المدخلات غير الضارة: أدى تغيير النطاق أيضاً إلى تحريف النتائج للمدخلات غير الضارة؛ فبالنسبة لـ ToxiGen Neutral، أدت مجالات الهندسة الكيميائية والتمويل إلى زيادة التصنيفات الضارة بشكل كبير ($OR_{pop} \approx 7.2$).
• التفاعل بين النموذج ومعيار القياس: تركزت حساسية النطاق بشكل كبير في تركيبات محددة من النماذج والمعايير. أظهر HarmBench أكثر التناقضات حدة وعدم قابلية للتنبؤ، حيث سجل Mistral-7B-Instruct أكبر حجم تأثير (Cramér's $V = 0.549$).

الاتفاق بين معايير القياس

وجدت الدراسة اتفاقاً منخفضاً بشكل ملحوظ بين مصنفات التقييم:

• أظهرت معظم أزواج المصنفات اتفاقاً طفيفاً فقط ($\kappa < 0.20$).
• أظهرت أقلية فقط من الأزواج اتفاقاً متوسطاً، مثل Longformer $\times$ Llama2-13B-cls في HarmBench ($\kappa = 0.384$) وPerspective API $\times$ ToxiGenRoBERTa في RTP ($\kappa = 0.331$). يشير المؤلفون إلى أن هذا يعكس على الأرجح بيانات التدريب أو البنى التحتية المشتركة بدلاً من وجود إجماع قوي حول ماهية المحتوى الضار.
• بشكل عام، تسلط النتائج الضوء على الطبيعة الذاتية لعمليات التقييم الآلية الحالية للسلامة.

الأهمية والادعاءات

تدعي الورقة أن نتائجها تثير شكوكاً كبيرة في موثوقية مجموعات معايير القياس الحالية كأدوات أساسية لاتخاذ القرار في عمليات النشر المؤسسي. ويؤكد المؤلفون على ما يلي:

1. عدم الاستقرار نظامي: نتائج معايب القياس حساسة للغاية لتغييرات بسيطة في إطار المهمة (مثل التلخيص) والسياق (تغيير النطاق).
2. المخاطر الواقعية: يشكل عدم الاتساق خطراً كبيراً على التطبيقات التي تتطلب مراقبة محتوى قوية، خاصة مع ازدياد انتشار التلخيص في سير عمل الوكلاء.
3. الحاجة إلى التوحيد: هناك حاجة ملحة لجهود أكثر توحيداً ومنهجية في معايير القياس. يجادل المؤلفون بضرورة تجميع النتائج عبر معايير القياس ودراسة الاستقرار بصرامة لتقليل الجهود المكررة وتخفيف تحيز التقييم.
4. الاتجاهات المستقبلية: يتطلب المجال منهجيات محسنة لسياق نتائج معايير القياس، وتتبع التقدم الحقيقي للنماذج، ومراعاة القضايا النظامية مثل تلوث البيانات. تم تحديد تطوير أطر عمل لتكييف واختبار معايير السلامة بشكل منهجي عبر حالات استخدام متنوعة وواقعية كاتجاه حرج للعمل المستقبلي.

يحافظ المؤلفون على نبرة متواضعة، معترفين بأن دراستهم محدودة بمجموعة النماذج ومعايير القياس المحددة والتركيز على اللغة الإنجليزية، وأنه لا يمكن لأي درسة منفردة تقديم تقييم شامل تماماً دون جهود أوسع من المجتمع العلمي.