One Persona, Many Cues, Different Results: How Sociodemographic Cues Impact LLM Personalization

إليك ملخص تقني مفصل للورقة البحثية بعنوان "شخصية واحدة، إشارات متعددة، نتائج مختلفة: كيف تؤثر الإشارات السوسيوديموغرافية على تخصيص النماذج اللغوية الكبيرة (LLMs)".

1. بيان المشكلة

تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في مهام حساسة (مثل المشورة الطبية، أو الاستشارات القانونية) حيث يمكن للتخصيص القائم على السمات السوسيوديموغرافية (الجنس، العرق، العمر) أن يحسن من الفائدة ولكنه قد يؤدي أيضاً إلى إدخال أو تضخيم التحيزات. تعتمد الأبحاث السابقة التي تبحث في هذه التحيزات عادةً على إشارات شخصية واحدة (مثل اسم مستخدم محدد أو عبارة صريحة مثل "أنت تتحدث مع رجل") لمحاكاة ملفات تعريف المستخدمين.

حدد المؤلفون خللاً حرجاً في هذا النهج:

• الحساسية تجاه الصياغة (Prompt Sensitivity): النماذج اللغوية الكبيرة حساسة للغاية لصياغة المطالبات (Prompts).
• الصلاحية الخارجية (External Validity): العديد من الإشارات المستخدمة في الأبحاث (مثل الذكر الصريح في مطالبات النظام) نادراً ما تحدث بشكل طبيعي في التفاعلات الواقعية بين المستخدم والنموذج.
• عدم الاتساق: من غير الواضح ما إذا كانت النتائج المتعلقة بالتحيز وعدم الإنصاف قوية عبر طرق مختلفة لتقديم الشخصية، أم أنها مجرد نتاج لخيارات إشارات معينة.

سؤال البحث الجوهري هو: ما مدى قوة النتائج الحالية بشأن التحيز وعدم الإنصاف في التخصيص خشن الحبيبات (coarse-grained personalization) فيما يتعلق بالشخصيات، والإشارات، والمهام، والنماذج؟

2. المنهجية

قام المؤلفون ببناء معيار تقييم مرن لاختبار تأثير مختلف إشارات الشخصية عبر أبعاد متعددة.

أ. الأبعاد التجريبية

• الشخصيات (10 إجمالاً): تم تحديدها من خلال ثلاثة متغيرات سوسيوديموغرافية:
  • الجنس: ذكر، أنثى، غير ثنائي (تم تسميتهم "Unisex" للإشارات القائمة على الأسماء بسبب الغموض).
  • العرق/الإثنية: أسود، آسيوي، هسباني، أبيض.
  • العمر: مقسم إلى 18-34، 35-54، و55+.
  • ملاحظة: يتم تغيير متغير واحد فقط لكل شخصية للحفاظ على الجدوى الحسابية، بينما يتم التحكم في المتغيرات الأخرى.
• إشارات الشخصية (6 أنواع + خط الأساس): تقارن الدراسة ست طرق لنقل معلومات الشخصية، مصنفة حسب مستوى صراحتها وصلاحيتها الخارجية:
  1. الأسماء (النظام/المستخدم): أسماء مرتبطة إحصائياً يتم إدراجها في مطالبات النظام أو المستخدم.
  2. الذكر الصريح (النظام/المستخدم): عبارات مباشرة (مثلاً: "المستخدم امرأة سوداء تبلغ من العمر 25 عاماً") في مطالبات النظام أو المستخدم.
  3. سجل المحادثة (بشري/LLM): علامات هوية ضمنية مستمدة من محادثات بشرية-نموذجية حقيقية (مجموعة بيانات PRISM) أو محادثات اصطناعية مولدة بواسطة LLM (مجموعة بيانات ImplicitPersona).
  4. خط الأساس (Baseline): عدم تقديم أي إشارة للشخصية.
• مهام التقييم (4 مجموعات بيانات):
  • SBB (معيار التحيز اللغوي الاجتماعي): 5 مهام فرعية (طبية، قانونية، مزايا حكومية، راتب، سياسية). معظمها مغلقة النهايات (نعم/لا أو رقمي).
  • MMMD (التضليل الطبي): التحقق من صحة الادعاءات الطبية (صحيح/خطأ).
  • AITA (هل أنا المخطئ؟): الحكم الأخلاقي على منشورات Reddit (نعم/لا).
  • IB (IssueBench): المساعدة في الكتابة المفتوحة حول القضاية السياسية (يتم تقييمها عبر كشف الموقف).
• النماذج (7 إجمالاً):
  • مفتوحة المصدر: Llama 3.1 (8B, 70B), Gemma 3 (12B, 27B), Qwen 2.5 (14B, 72B).
  • مملوكة: ChatGPT (gpt-4o-mini).

ب. الإجراءات

• النطاق: 1,666 سؤالاً $\times$ 6 إشارات $\times$ 10 شخصيات $\times$ 7 نماذج $\times$ 3 استجابات مأخوذة = ~10.5 مليون استجابة نموذجية.
• المقاييس:
  • الدقة (Accuracy): للمهام مغلقة النهايات (مطابقة الحقيقة الأرضية أو أحكام Reddit).
  • متوسط الاستجابة (Mean Response): للمهام الرقمية (الراتب) أو المهام القائمة على الموقف.
  • التحليل الإحصائي: معامل ارتباط سبيرمان لقياس الاتساق بين الإشارات؛ واختبار ANOVA أحادي الاتجاه واختبار Tukey-Kramer البعدي لتحديد ما إذا كانت التفاوتات بين الشخصيات ذات دلالة إحصائية ($\alpha = 0.01$).

3. المساهمات الرئيسية

1. معيار مرن: إطار عمل قابل لإعادة الإنتاج يسمح للباحثين باستبدال الشخصيات، والإشارات، ومجموعات البيانات، والنماذج لاختبار قوة تحيز التخصيص.
2. مقارنة منهجية: أول مقارنة واسعة النطاق لست إشارات شخصية متميزة (تتراوح من التاريخ الضمني إلى مطالبات النظام الصريحة) عبر سبعة نماذج وأربعة أنواع من المهام.
3. دليل تجريبي على تبعية الإشارات: إثبات أن اختيار إشارة الشخصية يغير الاستنتاجات حول التحيز بشكل كبير، مما يتحدى صلاحية الدراسات التي تعتمد على إشارة واحدة.

4. النتائج الرئيسية

أ. الارتباط مقابل التفاوت

• ارتباط عالٍ: عبر جميع النماذج ومجموعات البيانات، تظهر إشارات الشخصية ارتباطات قوية ($\rho \in [0.91, 0.96]$). وهذا يشير إلى أن النماذج تستجيب بشكل عام بطريقة مماثلة بغض النظر عن الإشارة.
• تباين ملحوظ: رغم الارتباطات العالية، فإن هذه الارتباطات تختلف بشكل كبير عن 1. وهذا يعني أن حجم واتجاه التحيز يختلفان بناءً على الإشارة.
• تبعية المهمة: يتأثر تأثير الإشارات بنوع المهمة. على سبيل المثال، أظهرت توصيات الرواتب ارتباطاً عالياً عبر الإشارات (تأثير منخفض)، بينما أظهرت النصائح الطبية والأحكام الأخلاقية (AITA) ارتباطات أقل وتباينات أعلى.

ب. النتائج الخاصة بكل إشارة

• الصراحة تقود التحيز: أنتجت الذكر الصريح في مطالبات المستخدم أكبر التفاوتات بين الشخصيات (20/24 تركيبة ذات دلالة). يفسر النموذج المدخلات الصريحة للمستخدم كإشارة قوية للتخصيص، حتى عندما تكون غير ذات صلة.
• مطالبات النظام مقابل مطالبات المستخدم: خلافاً لبعض الأعمال السابقة، كان لـ مطالبات المستخدم تأثير أقوى على التحيز من مطالبات النظام. ويعزو المؤلفون ذلك إلى "تأثير الحداثة" (Recency effect)، حيث تظهر مطالبات المستخدم لاحقاً في نافذة السياق.
• الأسماء: أظهرت الإشارات القائمة على الأسماء عموماً تفاوتات أقل دلالة من الذكر الصريح، ربما لأن الأسماء هي بدائل غير كاملة للديموغرافيا (خاصة للهويات غير الثنائية).
• سجل المحادثة: كانت الإشارة الأكثر "صلاحية خارجية" (التاريخ المكتوب بشرياً) تقدم استنتاجات مختلفة عن التفاوتات الإحصائية مقارنة بالذكر الصريح. في كثير من الحالات التي أظهرت فيها الإشارات الصريحة تحيزاً، لم تظهر سجلات المحادثة البشرية ذلك، والعكس صحيح.

ج. التفاصيل السوسيوديموغرافية

• الشخصيات غير الثنائية: أظهرت أكثر النتائج تميزاً وتفاوتاً مقارنة بشخصيات الذكور والإناث، خاصة مع الإشارات الصريحة. وغالباً ما تلقوا دقة أقل في مهام AITA/MMMD ومواقف سياسية أكثر ليبرالية.
• العمر: حصلت الشخصيات الأكبر سناً (55+) على توصيات رواتب أعلى ونُصحوا بشكل متكرر بطلب الرعاية الطبية، ولكن فقط عند ذكر ذلك صراحة.
• العرق/الإثنية: كانت التأثيرات غير متسقة. على سبيل المثال، في مهمة AITA، عكس الذكر الصريح نمط التحيز مقارنة بسجل المحادثة (مثلاً: الشخصيات البيضاء مقابل السوداء).

د. سلوك النموذج

• تشابه العائلة: أظهرت النماذج من نفس العائلة (مثل Qwen 14B مقابل 72B) ارتباطاً أعلى في استجاباتها للإشارات مقارنة بالنماذج من عائلات مختلفة.
• تأثير الحجم: لم يتم ملاحظة ارتباط واضح بين حجم النموذج وحجم التحيز؛ حيث كانت أنماط التحيز متسقة بين نماذج 8B و72B داخل نفس العائلة.

5. الأهمية والتوصيات

• إعادة تقييم ادعاءات التحيز: تجادل الورقة بأن الادعاءات المتعلقة بالتحيز أو عدم الإنصاف بناءً على إشارة شخصية واحدة هي ادعاءات غير موثوقة. فالدراسة التي تستخدم فقط الذكر الصريح قد تبالغ في تقدير تحيز التخصيض، بينما الدراسة التي تستخدم الأسماء فقط قد تقلل من قدره.
• الصلاحية الخارجية: الإشارات شديدة الصراحة (ذات الصلاحية الخارجية المنخفضة) قد لا تعكس التفاعلات الواقعية حيث نادراً ما يذكر المستخدمون سماتهم الديموغرافية صراحة. يجب على الباحثين إعطاء الأولوية للإشارات ذات الصلاحية الخارجية الأعلى (مثل سجل المحادثة) أو، الأفضل من ذلك، استخدام إشارات متعددة.
• أفضل الممارسات:
  • يجب على باحثي معالجة اللغات الطبيعية (NLP) ومهندسي النماذج اللغوية الكبيرة اختبار التخصيص والتحيز باستخدام إشارات شخصية متعددة بدلاً من نهج واحد.
  • يجب أن يشمل التقييم مهاماً متنوعة (مغلقة النهايات مقابل مفتوحة النهايات) ونماذج مختلفة.
  • يجب أن يتناول العمل المستقبلي التقاطعية (الجمع بين العرق والجنس والعمر) والديموغرافيا غير المتمحورة حول الولايات المتحدة.

الخلاصة: تخلص الدراسة إلى أنه بينما تُظهر النماذج اللغوية الكبيرة عموماً اتجاهات متسقة عبر الإشارات، فإن التفاوتات المحددة والاستنتاجات حول التحيز حساسة للغاية لكيفية تقديم الشخصية. الاعتماد على إشارة واحدة يخاطر بالوصول إلى استنتاجات خاطئة حول قدرات النماذج في التخصيص والإنصاف.