Characterizing the ability of LLMs to recapitulate Americans' distributional responses to public opinion polling questions across political issues

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "توصيف قدرة النماذج اللغوية الكبيرة (LLMs) على استحضار الاستجابات التوزيعية لآراء الأمريكيين تجاه أسئلة استطلاع الرأي العام حول القضايا السياسية."

1. بيان المشكلة

تواجه استطلاعات الرأي السياسي التقليدية تحديات كبيرة، بما في ذلك ارتفاع معدلات عدم الاستجابة، وتراجع تغطية الفئات الديموغرافية الرئيسية، والتكاليف المرتفعة، والتحيزات المحتملة. وبينما تم اقتراح النماذج اللغوية الكبيرة (LLMs) كبدائل لمحاكاة الرأي العام، تعاني المنهجيات الحالية من قصورين رئيسيين:

• تحيز التجانس (Homogeneity Bias): عندما يتم استعلام النماذج اللغوية الكبيرة بشكل متكرر لمحاكاة مستجيبين أفراد ("العينات السيليكونية" - Silicon Sampling)، فإنها تميل إلى إنتاج استجابات موحدة للغاية، مما يفشل في التقاط التباين الطبيعي (الانتشار) للرأي البشري.
• عدم القدرة على التنبؤ (Unpredictability): تواجه الأطر الحالية صعوبة في عكس توزيع الاستجابات بدقة عبر مختلف المجموعات الديموغرافية والمواضيع، كما يصعب توقع أدائها قبل النشر.

يهدف المؤلفون إلى تحديد ما إذا كانت النماذج اللغوية الكبيرة قادرة على نمذجة توزيع الاستجابات البشرية لأسئلة استطلاع الرأي السياسي، وتطوير إطار عمل أكثر دقة وفعالية من حيث التكلفة وقابلية للتنبؤ مقارنة بطرق "محاكاة الأفراد" الحالية.

2. المنهجية

مجموعة البيانات والنطاق

• مصدر البيانات: تستخدم الدراسة مجموعة بيانات دراسة الانتخابات التعاونية (CES) لعام 2022، والتي تحتوي على حوالي 60,000 بالغ أمريكي.
• الأسئلة: تم اختيار 84 سؤالاً في السياسات متعدد الخيارات، تغطي مواضيع مثل الرعاية الصحية، والسياسة المالية، والمساواة الاجتماعية، والعلاقات الخارجية. تم تصفية الأسئلة للتركيز على الشعور العام بدلاً من المعرفة الواقعية أو الخبرة الشخصية.
• الديموغرافيا: تم تجميع الاستجابات في 20 تبديلاً ديموغرافياً متميزاً بناءً على ثلاث فئات:
  • الأيديولوجيا: ليبرالي جداً، ليبرالي، معتدل، محافظ، محافظ جداً.
  • الجنس: رجل، امرأة.
  • العرق: أبيض، غير أبيض.
• إجمالي التبديلات: 1,680 مزيجاً فريداً من (السؤال-الديموغرافيا).

أطر النماذج اللغوية الكبيرة المقارنة

قارن المؤلفون بين استراتيجيتين للحث (Prompting) باستخدام نموذج GPT-4o-mini:

1. استعلام الفرد الواحد (SI) (الخط المرجعي):

   • يتم حث النموذج اللغوي ليلعب دور فرد محدد من مجموعة ديموغرافية.
   • يتم استعلام النموذج 20 مرة لكل تبديل لتوليد توزيع اصطناعي.
   • يتضمن الحث "سلسلة من الأفكوت" (CoT) لتبرير الإجابة.
   • إجمالي الاستعلامات: 33,600.

2. التوزيع المباشر (DD) (المقترح):

   • يتم حث النموذج اللغوي لإخراج التوزيع الرقمي مباشرة (النسب المئوية) للاستجابات لمجموعة ديموغرافية محددة في استعلام واحد.
   • شملت المتغيرات المختبرة إضافة "تذكير بسلسلة الأفكوت" و"تذكير بالتوزيع" (التأكيد صراحة على أن التوزيع ليس بالضرورة متماثلاً أو طبيعياً).
   • إجمالي الاستعلامات: 6,720 (أقل تكلفة بشكل ملحوظ).

مقاييس التقييم

استخدم المؤلفون ثلاثة مقاييس لمقارنة تنبؤات النماذج اللغوية الكبيرة مع التوزيعات البشرية الحقيقية:

• فرق المتوسط (MD): يقيس الانحراف في متوسط الشعور (التحيز).
• فرق الانحراف المعياري (SDD): يقيس القدرة على التقاط الانتشار/التجانس للسكان.
• مسافة "الأرض-الناقل" المعيارية (NEMD): مقياس مسافة "واسرشتاين" يقيس التطابق الإجمالي بين التوزيعين.

النمذجة التنبؤية

لتحديد ما إذا كان يمكن توقع أداء النماذج اللغوية الكبيرة مسبقاً، قام المؤلفون بتدريب نماذج انحدار ريدج البايزي (ومقارنتها بـ Gradient Boosting) للتنبؤ بـ NEMD و MD و SDD. شملت الميزات:

• الفئات الديموغرافية.
• متغيرات الحث (التذكيرات).
• تضمينات نص السؤال (المولدة عبر text-embedding-3-small).
• وسوم المواضيع (المسندة عبر GPT-4.5).

3. النتائج الرئيسية

مقارنة الأداء: DD مقابل SI

تفوق إطار التوزيع المباشر (DD) باستمرار على إطار الفرد الواحد (SI):

• الدقة: حقق إطار DD انخفاضاً في NEMD (تطابق أفضل) في 77.3% من الحالات، وانخفاضاً في MD (متوسط شعور أفضل) في 72.7% من الحالات مقارنة بـ SI.
• التباين (التجانس):
  • فشل SI: فشل إطار SI باستمرار في التقاط التباين (بالغت في تقدير التجانس) لأنه أنتج تبايناً قريباً من الصفر لأن النموذج يميل لاختيار نفس الإجابة بشكل متكرر. نتج عن ذلك فرق في الانحراف المعياري (SDD) قدره -0.423 (أي قلل من تقدير الانتشار البشري).
  • نجاح DD: قلل إطار DD من تقدير التجانس قليلاً (SDD قدره +0.042)، مما يعني أنه التقط تبايناً أكثر من SI، وإن ظل أقل قليلاً من التوزيع البشري الحقيقي.
• كفاءة التكلفة: تطلب إطار DD استعلامات أقل بنسبة ~80% لتحقيق نتائج متفوقة.

قابلية التنبؤ بالأداء

النتيجة الحاسمة هي أن أداء إطار DD يمكن التنبؤ به بناءً على معلومات ما قبل الاستعلام:

• نماذج الانحدار: حقق نموذج انحدار ريدج البايزي مع حدود التفاعل معامل تحديد ($R^2$) خارج العينة قدره 0.526 لـ NEMD، و 0.268 لـ MD، و 0.687 لـ SDD.
• على النقييد مع SI: فشلت النماذج التنبؤية المماثلة لإطار SI (معامل $R^2$ سالب)، مما يشير إلى أن أداء SI عشوائي للغاية ولا يمكن توقعه بشكل موثوق.
• المتنبئات الرئيسية:
  • الأيديولوجيا: يتنبأ النموذج بالشعور (MD) بشكل أفضل للمعتدلين (Moderates) وبشكل أسوأ للمجموعات المتطرفة (خاصة المحافظين).
  • التجانس: يقلل النموذج باستمرار من تقدير التجانس للمجموعات "الليبرالية" ويبالغ في تقديره للمجموعات "المحافظة جداً".
  • المواضيع: يختلف الأداء حسب الموضوع؛ فعلى سبيل المثال، أظهرت الأسئلة المصنفة تحت "الإجهاض/حقوق الإنجاب" و"المواقف المتعلقة بالعرق والجنس" دقة أعلى (NEMD أقل).
  • الحث (Prompting): أدى إضافة "تذكير بسلسلة الأفكوت" إلى تحسين التطابق الإجمالي (NEMD) والتقاط التباين (SDD) ولكنه زاد قليلاً من التحيز (MD).

4. المساهمات الرئيسية

1. إطار عمل مبتكر: تقديم استراتيجية الحث للتوزيع المباشر (DD)، التي تطلب من النماذج اللغوية الكبيرة إخراج التوزيعات مباشرة بدلاً من محاكاة الأفراد. هذه الطريقة أكثر دقة وأقل تكلفة بكثير.
2. توصيف منهجي: تقييم شامل لكيفية تباين أداء النماذج اللغوية الكبيرة عبر 20 تبديلاً ديموغرافياً و84 موضوعاً سياسياً متنوعاً.
3. القدرة التنبؤية: إثبات أن دقة استطلاع الرأي للنماذج اللغوية الكبيرة يمكن التنبؤ بها كمياً قبل إجراء الاستعلام باستخدام نص السؤال (التضمينات) والهدف الديموغرافي فقط. وهذا يسمح للباحثين بوضع فترات ثقة لبيانات استطلاع الرأي المولدة بالذكاء الاصطناعي.
4. تحليل التحيز: تحديد التحيزات المنهجية، وتحديداً أن النماذج اللغوية الكبيرة تواجه صعوبة في إعادة إنتاج تباين الاستجابات البشرية للمجموعات الأيديولوجية المتطرفة، وتميل إلى تبني آراء الفئات ذات المستويات الاجتماعية والاقتصادية والتعليمية الأعلى.

5. الأهمية والآثار المترتبة

• ثورة في استطلاعات الرأي: يوفر إطار DD بديلاً قابلاً للتطبيق ومنخفض التكلفة لتعزيز الاستطلاń البشرية، خاصة للفئات التي يصعب الوصول إليها أو لاختبار السيناريوهات واسعة النطاق.
• نموذج الاستطلاع الهجين: تتيح القدرة على التنبؤ بالأداء نهجاً "هجيناً": يمكن للباحثين استخدام الذكاء الاصطناعي للأسئلة التي يُتوقع أن يكون فيها النموذج ذا دقة عالية، والاحتفاظ بالاستطلاعات البشرية المكلفة للمواضيع التي يُتوقع فيها أن يكون النموذج غير موثوق.
• القيود: تشير الدراسة إلى قيود تتعلق بالنموذج المحدد المستخدم (GPT-4o-mini)، والتقسيمات الديموغرافية الفجة (مثل الجنس الثنائي)، واحتمالية تسرب البيانات فيما يتعلق بمجموعة بيانات CES. يجب أن يستكشف العمل المستقبلي دقة ديموغرافية أدق ونماذج لغوية أخرى.

في الختام، تجادل الورقة بأنه بينما لا يمكن للنماذج اللغوية الكبيرة استبدال استطلاعات الرأي البشرية تماماً، فإن إطار التوزيع المباشر (DD) يوفر أداة دقيقة للغاية، وفعالة من حيث التكلفة، وقابلة للتنبؤ لتقدير توزيعات الرأي العام، بشرما فهم وحساب تحيزاتها المنهجية.