Persona-driven Simulation of Voting Behavior in the European Parliament with Large Language Models

فيما يلي ملخص تقني مفصل لورقة البحث بعنوان "المحاكاة القائمة على الشخصية لسلوك التصويت في البرلمان الأوروبي باستخدام النماذج اللغوية الكبيرة."

1. بيان المشكلة

تعالج الورقة تحدي محاكاة سلوك التصويت لأعضاء البرلمان الأوروبي (MEPs) باستخدام النماذج اللغوية الكبيرة (LLMs). وبينما أظهرت هذه النماذج قدرات في فهم الخطاب السياسي، إلا أنها تُظهر بطبيعتها انحيازاً تقدمياً يميل نحو اليسار بشكل افتراضي. هذا الانحياز يحد من قدرتها على تمثيل الطيف السياسي المتنوع للاتحاد الأوروبي بدقة، لا سيما للمجموعات اليمينية أو اليمينية المتطرفة.

تعتمد الطرق الحالية للتنبؤ بالتصويتات التشريعية غالباً على:

• البيانات التاريخية: التي تتطلب كميات هائلة من سجلات التصويت السابقة أو بيانات وسائل التواصل الاجتماعي، وهي ليست متاحة دائماً.
• التعلم الآلي التقليدي: مثل الغابات العشوائية (Random Forests) التي غالباً ما تؤدي أداءً أفضل قليلاً فقط من خطوط الأساس للأغلبية.
• الدراسات المتمحورة حول الولايات المتحدة: تركز معظم أبحاث الوكلاء القائمة على النماذج اللغوية الكبيرة على النظام ذي الحزبين في الولايات المتحدة، والذي يفتقر إلى التعقيد متعدد الأحزاب الموجود في البرلمان الأوروبي.

سؤال البحث الجوهري هو: هل يمكن لـ "التحفيز بالهوية الصفرية" (zero-shot persona prompting) باستخدام معلومات محدودة ومتاحة علناً أن يحاكي بدقة قرارات تصويت أعضاء البرلمان الأوروبي الفردية والمواقف الجماعية، حتى بالنسبة للمجموعات السياسية التي تبتعد عن الانحياز المتأصل في النموذج اللغوي الكبير؟

2. المنهجية

جمع البيانات

• المصدر: جمع المؤلفون البيانات من موقع HowTheyVote، مع التركيز على تصويت النداء بالاسم (roll-call votes) حيث يتم تسجيل أصوات الأعضاء الفردية.
• مجموعة البيانات: 47 مقترحاً رئيسياً من جلسة البرلمان الأوروبي لعام 2024، مما نتج عنه 27,770 قرار تصويت فردي من 710 سياسيين.
• التصنيفات: تم تصنيف الأصوات إلى مؤيد (FOR)، معارض (AGAINST)، أو ممتنع (ABSTENTION).
• السياق: لكل مقترح، جمع المؤلفون خطابات ممثلي المجموعات. ولتجنب الانحياز، تم إخفاء هوية المتحدثين والانتماءات الحزبية (على سبيل المثال، استبدالها بـ [GROUP]).

اختيار النماذج

لمنع تسرب البيانات (لضمان عدم تدريب النماذج على تصويتات عام 2024)، اختار المؤلفون نماذج ذات تواريخ انقطاع تدريب سابقة لـ 16 يناير 2024:

• Llama3-70B و Llama3-8B (نماذج غربية).
• Qwen2.5-72B و Qwen2.5-7B (نماذج غير غربية لاختبار تعميم الانحياز).
• ملاحظة: تم اختبار Mixtral و Phi-3 ولكن تم رفضهما بسبب ضعف الالتزام بتنسيقات التحفيز (prompt formats).

استراتيجيات هندسة التحفيز (Prompt Engineering)

استخدمت الدراسة استراتيجيتين لـ بناء الشخصية (Persona Construction):

1. التحفيز بالسمات (Attribute Prompting): تقديم سمات مهيكلة: الاسم، الجنس، العمر، مكان الميلاد، البلد، الحزب الوطني، والمجموعة الأوروبية.
2. ملخص ويكيبيديا (Wikipedia Summary): استخدام Llama3-70B لتلخيص مقال ويكيبيديا الإنجليزي الخاص بكل عضو برلمان لتوفير سياق أغنى.

معلومات المقترح: تم تزويد النموذج بخطابات مجهولة الهوية تمثل النقاش حول مقترح معين.

تنسيقات الاستجابة:

• بدون تفكير (no reasoning - nr): تصنيف مباشر (مؤيد/معارض/ممتنع).
• مع التفكير (reasoning - r): يقوم النموذج أولاً بتوليد سلسلة من الأفكدو (chain of thought) تشرح قراره بنص مفتوح، يليه التصنيف.

مقاييس التقييم

نظراً لعدم توازن الفئات (77% مؤيد، 17% معارض، 6% ممتنع)، كان المقياس الأساسي هو درجة F1 الموزونة (Weighted F1 Score).

3. المساهمات الرئيسية

1. أول محاكاة واسعة النطاق للاتحاد الأوروبي: هذه هي الدراسة الأولى التي تحاكي بشكل منهجي سلوك التصويت للبرلمان الأوروبي لعام 2024 بالكامل باستخدام وكلاء النماذج اللغوية الكبيرة، متجاوزة سياق الحزبين في الولايات المتحدة.
2. فعالية التحفيز بالهوية (Persona Prompting): تثبت أن التحفيز بالهوية الصفرية يمكن أن يوجه النماذج اللغية الكبيرة بفعالية بعيداً عن انحيازاتها الافتراضية لمحاكاة هويات سياسية محددة.
3. دراسات الاستئصال حول الانحياز والمتانة (Ablation Studies):
   • النقاشات المضادة للواقع (Counterfactual Debates): قام المؤلفون بتوليد خطابات مضادة للواقع (موقف معاكس) لاختبار ما إذا كان تصويت النموذج سيتغير بناءً على الحجج أم سيظل متمسكاً بالهوية.
   • تحليل السمات: تحديد أي السمات (مثل الحزب الوطني مقابل العمر) تقود التنبؤات الأكثر دقة.
4. الإصدار المفتوح: أطلق المؤلفون مجموعة بيانات الشخصية وكود المحاكاة لتسهيل المزيد من الأبحاث في العلوم السياسية ومعالجة اللغات الطبيعية (NLP).

4. النتائج الرئيسية

الأداء العام

• حققت أفضل تهيئة (Llama3-70B مع التحفيز بالسمات والتفكير) درجة F1 موزونة بلغت 0.793.
• يتفوق هذا بشكل كبير على خط الأساس للأغلبية (التنبؤ دائماً بـ "مؤيد")، والذي سجل 0.666.
• الاستقرار: كانت التنبؤات مستقرة للغاية عبر عمليات تشغيل متعددة (الانحراف المعياري < 0.002).

الأداء حسب المجموعة

• أفضل تنبؤ: تم التنبؤ بدقة أكبر للمجموعات الوسطية والتقدمية (S&D, Renew, Greens/EFA) (درجة F1 > 0.90 لـ S&D و Renew).
• أسوأ تنبؤ: تم التنبؤ بأقل دقة للمجموعات عند الأطراف السياسية (ID, ECR, GUE/NGL) (درجة F1 تتراوح بين 0.53 و 0.59).
• استمرار الانحياز: واجه النموذج صعوبة في محاكة أصوات "المعارضة" للمجموعات اليمينية، حيث كان يعود غالباً إلى الانحياز التقدمي المتأصل فيه.

تأثير التفكير والسمات

• التفكير (Reasoning): حسنت استراتيجية "التفكير" (سلسلة الأفكار) الأداء لمعظم النماذج، وخاصة في تحديد الفئات الأقلية مثل الامتناع والمعارضة. بالنسبة لنموذج Qwen-7B، أدى التفكير إلى تحويل التنبؤات من 95% "مؤيد" إلى توزيع أكثر توازناً، مما حسن درجة F1 للامتناع من 0.02 إلى 0.11.
• السمات:
  • تم تحديد الحزب الوطني كأقوى مُنبئ منفرد. حيث حقق توفير الحزب الوطني والمجموعة الأوروبية وحدها أداءً مماثلاً تقريباً لتوفير جميع السمات.
  • ويكيبيديا مقابل السمات: استفادت النماذج الأصغر (Llama-8B, Qwen-7B) بشكل طفيف أكثر من ملخصات ويكيبيديا التفصيلية، بينما حققت النماذج الأكبر (Llama-70B) أفضل أداء مع قوائم السمات الموجزة.

تحليل الواقع المضاد (Counterfactual Analysis)

• عند تقديم نقاشات مضادة للواقع (حجج معاكسة للمواقف الحقيقية)، حافظت النماذج التي تحاكي الشخصيات الوسطية (S&D, Renew) إلى حد كبير على موقف التصويت الأصلي لها.
• كانت النماذج التي تحاكي الشخصيات المتطرفة (ID, ECR, GUE/NGL) أكثر عرضة لتغيير أصواتها بناءً على الحجج المضادة للواقع، مما يشير إلى أن النماذج اللغوية الكبيرة تواجه صعوبة في محاكة المواقف الأيديولوجية الصلبة للشخصيات المتباعدة سياسياً بشكل ثابت.

القيود المحددة

• التنبؤ بالامتناع: تنبأت النماذج باستمرار بأعداد أقل من حالات الامتناع (F1 ~0.11)، ويرجع ذلك على الأرج في الغالب إلى أن الامتناع في العالم الحقيقي غالباً ما يكون استراتيجياً أو ناتجاً عن عوامل خارجية (مرض، تضارب مصالح) لا تلتقطها عملية التحفيز.
• انحياز البيانات: جعل الانحياز المتأصل في النموذج نحو اليسر من الصعب محاكاة أنماط التصويت اليمينية المتطرفة بدقة، حتى مع التحفيز بالهوية.

5. الأهمية والآثار المترتبة

• العلوم السياسية: تؤكد الدراسة أن الانتساب للحزب الوطني هو المحدد الرئيسي لسلوك التصويت لأعضاء البرلمان الأوروبي، وهو ما يتماشى مع الأبحاث السياسية الحالية (مثل Willumsen, 2023).
• محاذاة النماذج اللغوية الكبيرة (LLM Alignment): تسلط الضم الضوء على صعوبة "توجيه" النماذج اللغية الكبيرة لتمثيل وجهات نظر تتعارض مع انحيازات بيانات التدريب الخاصة بها، حتى مع تعليمات الهوية الصريحة.
• التقدم المنهجي: تضع الورقة خط أساس جديد للمحاكاة السياسية باستخدام النماذج اللغية الكبيرة، موضحة أن التفكير مفتوح النهايات يليه التصنيف هو أفضل من التصنيف المباشر، خاصة للنماذج الأصغر.
• الاعتبارات الأخلاقية: يناقش المؤلفون مخاطر استخدام النماذج اللغية الكبيرة لانتحال شخصيات السياسيين، مشيرين إلى إمكانية توليد حجج تبدو منطقية ولكنها كاذبة حول دوافع السياسيين، مما قد يُستخدم لنشر المعلومات المضللة.

في الختام، توضح الورقة أنه بينما لا تستطيع النماذج اللغية الكبيرة محاكة الطبيعة المعقدة والاستراتيجية والمتناقضة أحياناً لاتخاذ القرار السياسي البشري (خاصة فيما يتعلق بالامتناع والأيديولوجيات المتطرفة) بشكل مثالي، إلا أنها يمكن أن تعمل كأدوات قوية لتقريب سلوك التصويت وفهم الدوافع الهيكلية (مثل الانتساب الحزبي) للنتائج التشريعية في البرلمان الأوروبي.