Do Large Language Models Reflect Demographic Pluralism in Safety?

ملخص تقني: هل تعكس النماذج اللغوية الكبيرة التعددية الديموغرافية في السلامة؟

1. بيان المشكلة

غالبًا ما تتعامل أبحاث محاذاة السلامة في النماذج اللغوية الكبيرة (LLMs) الحالية مع "السلامة" كبناء موحد وعالمي. ومع ذلك، فإن السلامة بطبيعتها تعددية؛ فما يُعتبر ضارًا أو غير لائق يختلف بشكل كبير عبر مختلف السياقات الديموغرافية والثقافية والاجتماعية (مثل الآراء حول الكحول، أو الفكاهة القائمة على النوع الاجتماعي، أو المعايير الدينية).

حدد المؤلفون فجوتين حرجتين في الأبحاث الحالية:

• الضيق الديموغرافي: تعتمد مجموعات بيانات المحاذاة الحالية (مثل ANTHROPIC-HH أو DICES) على مجموعات من المقيّمين غالبًا ما تكون متجانسة ديموغرافيًا أو متمحورة حول الغرب، مما يؤدي إلى ترميز أولويات ثقافية ضيقة.
• المتغيرات المربكة: تقيم أطر عمل "النموذج اللغوي الكبير كحكم" (LLM-as-a-Judge) الحالية السلامة بناءً على استجابات النموذج. وهذا يخلط بين إدراك النموذج للسلامة وبين تحيزاته الأسلوبية أو سلوكيات الرفض لديه، مما يجعل من الصعب عزل كيفية تأثير التأطير الديموغرافي وحده على إدراك السلامة.

2. المنهجية: Demo-SafetyBench

يقترح المؤلفون Demo-SafetyBench، وهو إطار عمل يتكون من مرحلتين مصمم لفصل تأطير القيم عن استجابات النماذج من خلال نمذجة التعددية الديموغرافية مباشرة على مستوى المطالبة (Prompt).

المرحلة الأولى: بناء البيانات (نمذجة مستوى المطالبة)

• إعادة التصنيف: أخذ الباحثون مطالبات من مجموعة بيانات DICES واستخدموا نموذج Mistral-7B-Instruct-v0.3 لإعادة تصنيفها إلى 14 مجالًا من مجالات السلامة (مقتبسة من تصنيف BEAVERTAILS)، مثل خطاب الكراهية، وإيذاء النفس، والجرائم المالية. تم التعامل مع ذلك كمهمة تصنيف متعددة الملصقات.
• التوسيع: لإصلاح عدم التوازن في الفئات، استخدموا Llama-3.1-8B-Instruct لتوليد استعلامات اصطناعية للمجالات ذات الموارد المنخفضة. ومن الأهمية بمكان أن هذه الاستعلامات كانت مشروطة ببيانات وصفية ديموغرافية (الجنس، العرق، العمر، التعليم) مستمدة من مجموعة البيانات الأصلية للحفاظ على الواقعية الديموغرافية.
• إزالة التكرار: استخدموا بصمة SimHash مع عتبة مسافة هامينج ($\tau=10$) لإزالة البيانات الاصطناعية الزائدة مع الحفاظ على التنوع الدلالي.

المرحلة الثانية: التقييم المرجعي (التقييم التعددي)

• النماذج كحكام: عملت ثلاثة نماذج — Gemma-7B وGPT-4o وLLaMA-2-7B — كحكام مستقلين.
• بروتوكول التعلم الصفري (Zero-Shot): تم تزويد كل حاكم بمدخلات مهيكلة تحتوي على مطالبة وسياقها الديموغرافي المرتبط بها. كُلفت النماذج بتقديم كل من حكم فئوي (آمن/غير آمن) ودرجة ثقة عددية معيارية ($s \in [0, 1]$).
• المقاييس: يستخدم إطار العمل أربعة مقاييس رئيسية لقياس التعددية:
  • الحساسية الديموغرافية (DS): التباين في درجات السلامة عبر المجموعات الديموغرافية الفرعية.
  • ارتباط الحكم بين المقيمين ($\bar{\rho}$): اتساق الاستدلال الأخلاقي بين مختلف الحكام من النماذج اللغوية الكبيرة.
  • فجوات العدالة (DPD & EOD): مقاييس التكافؤ الديموغرافي وتكافؤ الفرص للكشف عن التحيز.

3. المساهمات الرئيسية

• إطار عمل جديد: تقديم طريقة لتقييم تعددية السلامة على مستوى المطالبة، مما يزيل التحيز الناتج عن استجابات النماذج المولدة.
• مجموعة بيانات متنوعة: إنشاء مجموعة بيانات واسعة النطاق (43,050 عينة) ذات أساس ديموغرافي عبر 14 مجالًا من مجالات السلامة.
• بروتوكول تقييم قابل للتوسع: إثبات أن النماذج اللغوية الكبيرة يمكن أن تعمل كحكام موثوقين وقابلين للتوسع وفعالين حاسوبيًا لقياس الحساسية الديموغرافية.

4. النتائج الرئيسية

• أداء النموذج والتحيز:
  • أظهر GPT-4o أعلى موثوقية داخلية (ICC = 0.87) وأقل حساسية ديموغرافية (DS = 0.119)، مما يشير إلى أنه الحاكم الأكثر استقرارًا والأقل تحيزًا.
  • أظهر LLaMA-2-7B أعلى حساسية ديموغرافية (DS = 0.176) وأكبر فجوات في العدالة، مما يشير إلى أن النماذج الأصغر والأقل محاذاة هي أكثر عرضة للتقلبات الديموغرافية.
• الاتجاهات الديموغرافية: وجدت الدراسة اختلافات منهجية في إدراك السلامة. على سبيل المثال، المطالبات المرتبطة بفئات (ذكر، أبيض، أكبر سنًا (40+)، وتعليم منخفض) حصلت على درجات سلامة أعلى (مما يشير إلى أحكام أكثر صرامة/تحفظًا تجاه المخاطر)، بينما اعتُبرت ملفات التعريف (أنثى، آسيوية، أصغر سنًا، وحاصلة على دراسات عليا) "أكثر أمانًا".
• الكفاءة: أثبت المؤلفون أن النماذج الأصغر مثل Gemma-7B وLLaMA-2-7B توفر رؤى تعددية تنافسية بتكلفة حسابية وطاقة أقل بكثير من GPT-4o.

5. الأهمية

ينقل هذا البحث نموذج فهم سلامة النماذج اللغوية الكبيرة من "المحاذاة العالمية" إلى "المحاذاة التعددية". ومن خلال إثبات أن حتى النماذج المتطورة مثل GPT-4o تحتفظ بحساسية ديموغرافية متبقية، تؤكد هذه الدراسة أن السلامة ليست هدفًا ثابتًا. توفر هذه الدراسة أداة حيوية للباحثين لبناء نماذج ليست فقط "آمنة" وفق معيار واحد، بل حساسة للمشاهد الأخلاقية والثقافية المتنوعة لقاعدة مستخدمين عالمية.