Improving the Distributional Alignment of LLMs using Supervision

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تحسين المحاذاة التوزيعية للنماذج اللغوية الكبيرة باستخدام الإشراف" (Improving the Distributional Alignment of LLMs using Supervision).

1. بيان المشكلة

مع تزايد نشر النماذج اللغوية الكبيرة (LLMs) في الأنظمة الواقعية (مثل محاكاة العلوم الاجتماعية، واختبار الاستبيانات، والتجارب النفسية)، هناك حاجة ماسة لمحاذاتها مع مجموعات سكانية بشرية متنوعة.

• الفجوة: تفشل الطرق الحالية، وخاصة التلقين السوسيوديموغرافي (SD Prompting) (تعريف شخصية عبر متغيرات ديموغرافية مثل "تخيل أنك امرأة تبلغ من العمر 30 عاماً")، في كثير من الأحيان في مواءمة مخرجات النماذج اللغوية الكبيرة باستمرار مع الآراء البشرية.
• الخلل في النهج الحالي: تعتمد معظم الأعمال السابقة على تصويت أغلبية واحد لكل مجموعة. وهذا يتجاهل الاختلاف داخل المجموعة الواحدة (حقيقة أن أعضاء المجموعة الديموغرافية يحملون آراءً متنوعة وغير موحدة).
• التحدي الجوهري: غالباً ما تولد النماذج اللغوية الكبيرة توزيعات صحيحة من حيث الاتجاه ولكنها غير معايرة (uncalibrated). فهي تميل إلى المبالغة في الفروق بين المجموعات الديموغرافية أو تفشل في التقاط التباين الحقيقي للاستجابات البشرية. تسأل الورقة: هل يمكننا الانتقال لما هو أبعد من مجرد التلقين البسيط لـ معايرة التوزيعات التي تولدها النماذج اللغوية الكبيرة بحيث تعكس بدقة التوزيع الإحصائي للاستجابات البشرية عبر المجموعات المتنوعة؟

2. المنهجية

يقترح المؤلفون إطار عمل لتقييم وتحسين المحاذاة التوزيعية باستخدام المعايرة الخاضعة للإشراف (supervised calibration).

أ. مجموعات البيانات والنطاق

تقيم الدراسة المحاذاة عبر ثلاث مجموعات بيانات استقصائية واسعة النطاق تغطي الصحة العامة، والرأي العام، والقيم:

1. مراقب ويلكوم العالمي (WGM): 14 سؤالاً، 14 منطقة عالمية.
2. أوبينيون كيو إيه (OpinionQA): 38 سؤالاً، الرأي العام الأمريكي (الأيديولوجيا السياسية، العرق، إلخ).
3. استطلاع القيم العالمي (WVS): 40 سؤالاً، الآراء الأخلاقية العالمية (الدخل، الدين، إلخ).

• الإجمالي: 92 سؤالاً و4,500 توزيع استجابة بشرية عبر مختلف المجموعات السوسيوديموغرافية (SD).

ب. طرق استخراج التوزيع (Elicitation Methods)

لتوليد توزيعات احتمالية من النماذج اللغوية الكبيرة، اختبر المؤلفون ثلاث طرق متوافقة مع النماذج مفتوحة المصدر، ومفتوحة الأوزان، وواجهات برمجة التطبيقات (APIs):

1. اللفظي (Verbalized): يخرج النموذج مباشرة قائمة احتمالات (مثلاً: [0.7, 0.2, 0.05, 0.05]).
2. العشوائي الذاتي (Self-Random): يقوم النموذج بأخذ عينة من إجابة واحدة $n=5$ مرات (بدرجة حرارة 0.7)، ويتم اشتقاق التوزيع من تكرار هذه العينات.
3. إعادة الصياغة (Paraphrase): يتم تلقين النموذج بـ $n=5$ صياغات مختلفة لنفس السؤال، ويتم اشتقاق التوزيع من الإجابات الناتجة.

ج. المعايرة الخاضعة للإشراف (المساهمة الجوهرية)

بدلاً من الاعتماد فقط على التلقين، يقدم المؤلفون خطوة انحدار خاضع للإشراف (supervised regression) لتحويل التوزيعات المولدة بواسطة النموذج اللغوي ($D_{LLM}$) إلى توزيعات معايرة ($D_{Calibrated}$) تتطابق بشكل أفضل مع التوزيعات البشرية الحقيقية ($D_{Human}$).

• الآلية: يتعلم نموذج الانحدار دالة تحويل لكل خيار إجابة بشكل مستقل. بالنسبة لسؤال يحتوي على $k$ من الخيارات، يتم رسم خريطة لمتجه مخرجات النموذج $[d_1, ..., d_k]$ إلى المتجه البشري $[h_1, ..., h_k]$.
• التدريب: يتم تدريب النموذج على أزواج من (الاحتمال الناتج عن النموذج، الاحتمال البشري) لكل خيار إجابة.
• المعالجة اللاحقة: يتم إعادة تطبيع القيم المتحولة لتلخص إلى 1 لضمان الحصول على توزيع احتمالي صالح.
• الحد الأدنى من الإشراف: تستقصي الدراسة عدد الأمثلة المطلوبة، حيث تختبر أحجام عينات تتراوح من 1 إلى 1,200.

د. مقاييس التقييم

• محاذاة الرأي: تُقاس باستخدام مسافة واسرستاينين (Wasserstein Distance) (المعروفة بمسافة باعة الأرض)، وهي مقياسية تأخذ في الاعتبار الطبيعة الترتيبية لإجابات الاستبيان (على سبيل المثال، "أوافق بشدة" أقرب إلى "أوافق" منها إلى "لا أوافق").
• تحليل التباين: قياس الانحراف المعياري لدرجات المحاذاة عبر النماذج ومجموعات البيانات المختلفة لتقييم الاتساق.

3. المساهمات الرئيسية

1. التقييم التوزيعي مقابل تقييم الأغلبية: تنقل الورقة نموذج التقييم من التنبؤ بإجابة "أغلبية" واحدة إلى نمذجة توزيع الآراء الكامل داخل المجموعة الديموغرافية، مما يعالج مغالطة التعميم البيئي (ecological fallacy) المتمثلة في افتراض تجانس المجموعة.
2. إطار المعايرة الخاضعة للإشراف: تثبت الورقة أن طبقة انحدار بسيطة خاضعة للإشراف يمكن أن تحسن المحاذاة بشكل كبير، حيث تعمل كـ "تصحيح" للتحيزات وعدم المعايرة المتأصلة في النماذج اللغوية الكبيرة.
3. معيار شامل (Benchmark): يقدم المؤلفون معياراً عبر 15 نموذجاً لغوياً كبيراً (بما في ذلك Claude، Llama، Mistral، OLMo، Qwen) بمختلف أحجامها وانفتاحها، و 3 طرق استخراج، مما يضع خط أساس للأبحاث المستقبلية.
4. نتيجة الحد الأدنى من الإشراف: يظهرون أن المعايرة تتطلب كمية قليلة جداً من البيانات (كما قلي من 1 إلى 10 أمثلة) للوصول إلى التقارب، مما يجعل هذا النهج عالي الكفاءة.

4. النتائج الرئيسية

أ. التلقين السوسيوديموغرافي (SD Prompting) غير متسق

• النتيجة: مجرد إضافة معلومات سوسيوديموغرافية إلى التلقين (SD Prompting) لا يحسن المحازاء باستمرار. في كثير من الحالات، كان أداء التلقين السوسيوديموغرافي مماثلاً أو حتى أسوأ من التلقين الأساسي (بدون معلومات ديموغرافية).
• الاستنتاج: التلقين الديموغرافي وحده غير كافٍ لالتقاط توزيعات الآراء المعقدة للمجموعات.

ب. المعايرة تحسن المحاذاة بشكل جذري

• النتيجة: تطبيق المعايرة الخاضعة للإشراف يحسن محاذاة الآراء بمتوسط 16.3% عبر جميع النماذج، ومجموعات البيانات، وطرق الاستخراج.
• الاتساق: تقلل المعايرة من التباين في الأداء. قبل المعايرة، تفاوتت المحاذاة بشكل كبير اعتماداً على النموذج ومجموعة البيانات. بعد المعاقة، أصبح الأداء أكثر اتساقاً (انخفض الانحراف المعياري بنسبة ~1.6 ضعف في المتوسط).
• المتانة: تعمل المعايرة بفعالية عبر عائلات النماذج المختلفة (من نماذج 7B الصغيرة إلى نماذج 90B الكبيرة) واستراتيجيات الاستخراج المختلفة.

ج. كفاية البيانات الدنيا

• النتيجة: تتقارب نماذج الانحدار مع مجموعات تدريب صغيرة للغاية. فغال-ما يكون 1 إلى 10 أمثلة كاملة كافية لتحقيق متوسط مربعات خطأ (MSE) قريب من المثالي، وهو ما يضاهي التدريب على مجموعة البيانات الكاملة.
• المقارنة: المعايرة باستخدام 5 أمثلة تتفوق على التلقين بـ 5 أمثلة (5-shot prompting) من حيث الاتساق وجودة المحاذاة.

د. الاختلافات الخاصة بالمجموعات

• التفاصيل: بينما تحسن المعايرة المحاذاة في المتوسط، إلا أن التأثير يختلف حسب الديموغرافيا. فهي تميل إلى تحسين المحاذاة بشكل كبير للمجموعات التي كانت ضعيفة المحاذاة سابقاً (مثل مناطق معينة في WGM)، ولكنها قد تؤدي إلى تراجع طفيف في المحاذاة للمجموعات التي كانت محاذاتها عالية بالفعل (مثل شمال أوروبا).
• اختلاف النماذج: تمتلك النماذج المختلفة محاذات أساسية مختلفة (مثلاً، Claude يتوافق بشكل أفضل مع بيانات OQA، و OLMo مع WVS)، لكن المعايرة تضيق هذه الفجوات.

5. الأهمية والآثار المترتبة

• المحاذاة التعددية (Pluralistic Alignment): يدعم هذا العمل التحول نحو المحاذاة التعددية، حيث يُتوقع من النماذج اللغوية الكبيرة تمثيل تنوع الآراء البشرية بدلاً من عرض وجهة نظر "متوسطة" أو "نمطية" واحدة. وهذا يقلل من خطر تشويه صورة المجموعات.
• الفائدة العملية: توفر الطريقة وسيلة منخفضة التكلفة وعالية التأثير لجعل النماذج اللغوية الكبيرة محاكيات أفضل لأبحاث العلوم الاجتماعية، واختبار الاستبيانات، واستطلاعات الرأي دون الحاجة إلى عملية ضبط دقيق (fine-tuning) مكلفة لأوزان النموذج الأساسي.
• الاعتبارات الأخلاقية: يحذر المؤلفون من أنه بينما يحسن هذا النهج المحاذاة الإحصائية، فإنه لا يحل المشكلة الجوهرية المتمثلة في جوهرة (essentializing) الخصائص الديموغرافية. فالديموغرافيا ليست المحدد الوحيد للرأي، واستخدامها لنمذجة المجموعات يحمل مخاطر تعزيز الصور النمطية إذا لم يُستخدم بحذر.
• البحث المستقبلي: تضع هذه الورقة معياراً للعمل المستقبلي في مجال المحاذاة التوزيعية، مما يشير إلى أن الجهود المستقبلية يجب أن تركز على تقنيات المعايرة والتعامل مع الديموغرافيا المتقاطعة (intersectional demographics) بدلاً من مجرد استراتيجيات التلقين.

باختة القول، تجادل الورقة بأن التلقين ليس كافياً؛ فلكي نضمن محاذاة النماذج اللغوية الكبيرة حقاً مع السكان البشر المتنوعين، يجب أن نعامل المخرجات كتوزيع احتمالي ونطبق المعايرة الخاضعة للإشراف لتصحيح التحيزات المنهجية، وهي عملية فعالة للغاية حتى مع الحد الأدنى من الإشراف.