Virtual Personas for Language Models via an Anthology of Backstories

ملخص تقني: الشخصيات الافتراضية للنماذج اللغوية عبر مختارات من السير الذاتية (Anthology of Backstories)

بيان المشكلة
تُدرب النماذج اللغوية الكبيرة (LLMs) على مجموعات بيانات ضخمة تحتوي على الأصوات المتنوعة لمئات الملايين من المؤلفين. ومع ذلك، فإن التطبيقات القياسية لهذه النماذج، لا سيما تلك التي تتضمن الضبط الدقيق للتعليمات (مثل RLHF)، تعمل على كبح هذا التنوع المتأصل لإنتاج صوت وكيل واحد، مفيد، ومجرد من العواطف إلى حد كبير. هذا "المواءمة" (alignment) يجعل من الصعب استخدام النماذج اللغوية الكبيرة كبدائل للمبحوثين البشريين في الدراسات السلوكية، حيث يعد تمثيل طيف واسع من السمات البشرية، والديموغرافيا، والآراء أمراً بالغ الأهمية. وقد أظهرت الطرق الحالية لتكييف النماذج اللغوية مع شخصيات محددة — مثل تقديم سير ذاتية نصية حرة أو تسلسلات من أزواج الأسئلة والأجوبة الديموغرافية — نجاحاً محدوداً في تحقيق التمثيل العالي، والاتساق، والتنوع، لا سيما للفئات الفرعية الممثلة تمثيلاً ناقصاً. علاوة على ذلك، تفشل النماذج المضبوطة بالتعليمات في توليد سير ذاتية واقعية ومعقدة، بدلاً من إنتاج استجابات قصيرة، تتهرب من الأسئلة، أو إيجابية بشكل مفرط تفتقر إلى تعقيد السرديات البشرية.

المنهجية: نهج المختارات (The Anthology Approach)
يقترح المؤلفون "Anthology" (المختارات)، وهي منهجية لتكييف النماذج اللغوية الكبيرة لتكون شخصيات افتراضية متنوعة ومتسقة وممثلة باستخدام سرديات حياة مفتوحة، تُسمى "السير الذاتية" (backstories). يتكون هذا النهج من أربع مراحل أساسية:

1. توليد السير الذاتية بواسطة النماذج اللغوية الكبيرة: بدلاً من الاعتماد على مجموعات البيانات السير ذاتية المحدودة الموجودة، يستخدم المؤلفون نماذج لغوية كبيرة غير مضبوطة بالتعليمات (pre-trained, non-instruction-tuned) لتوليد "مختارات" ضخمة من السير الذاتية. ومن خلال توجيه النماذج بأسئلة مفتوحة مثل "حدثني عن نفسك"، يقومون بتوليد سرديات طبيعية بضمير المتكلم تشفر ضمنياً التفاصيل الديموغرافية (العمر، الموقع، الحالة المالية) والسمات الصريحة (القيم، الشخصية، المعتقدات). ويؤكد المؤلفون أن النماذج سابقة التدريب (pre-trained) ضرورية هنا، لأن النماذج المضبوطة بالتعليمات تميل إلى إنتاج سرديات عامة، وآمنة، وغير متسقة.
2. المسح الديموغرافي للشخصيات الافتراضية: بما أن السير الذاتية لا تذكر جميع المتغيرات الديموغرافية صراحة، يقوم المؤلفون بإجراء "مسح ديموغرافي" على كل شخصية مولدة. حيث يقومون بتوجيه النموذج المشروط بالسيرة الذاتية بأسئلة ديموغرافية معيارية (مثل العمر، التعليم، الدخل) ويقومون بأخذ عينات من استجابات متعددة لتقدير توزيع احتمالي للسمات لذلك الموضوع الافتراضي المحدد.
3. مطابقة المجتمعات البشرية المستهدفة: لتقريب نموذج يماثل مجتمعاً بشرياً معيناً، يقوم المؤلفون بمطابقة الشخصيات الافتراضية مع التوزيع الديموغرافي للمجتمع البشري المستهدف. ويصيغون ذلك كمشكلة مطابقة ثنائية الأطراف بين المستخدمين البشر ($H$) والمستخدمين الافتراضيين ($V$). يتم حساب أوزان الحواف بناءً على احتمالية مطابقة التوزيع الديموغرافي للمستخدم الافتراضي لسمات المستخدم البشري. وقد تم استكشاف استراتيجيتين:
   • المطابقة الجشعة (Greedy Matching): تخصص كل مستخدم بشري للشخصية الافتراضية ذات وزن التشابه الأعلى، مما يسمح لعدة بشر بالارتباط بنفس الشخصية الافتراضية.
   • المطابقة ذات الوزن الأقصى (Maximum Weight Matching): تجد مراسلة مثالية واحد لواحد لتعظيم الوزن الإجمالي، باستخدام خوارزمية هانغاريان (Hungarian algorithm).
4. تقريب الدراسات البشرية: تُستخدم المجموعة الفرعية المطابقة من السير الذاتية كـ "سياق" (prefix) للنموذج اللغوي عند الإجابة على أسئلة المسح. وتعمل هذه الطريقة على محاكاة العملية الذهنية للمستجيبين البشر من خلال تقديم الأسئلة في سلسلة، بما في ذلك الإجابات السابقة كجزء من السياق.

المساهمات الرئيسية

• إطار عمل Anthology: تقديم طريقة لتوليد واستخدام "مختارات" من السٍر الذاتية المولدة لغوياً لتكييف النماذج، مما يثبت أن هذا النهج ينتج شخصيات افتراضية أكثر تمثيلاً واتساقاً من الطرق الأساسية (Bio و QA).
• المطابقة الديموغرافية: تقديم طريقة رسمية لأخذ عينات ومطابقة الشخصيات الافتراضية مع توزيعات المجتمعات البشرية المستهدفة، مما يحسن بشكل كبير تقريب توزيعات الاستجابة البشرية.
• الموارد مفتوحة المصدر: إصدار مختارات مفتوحة المصدر تضم حوالي 10,000 سيرة ذاتية والكود البرمجي المرتبط بها لتوليد ومعالجة وإدارة المسوح.
• رؤية اختيار النماذج: إثبات أن النماذج سابقة التدريب (pre-trained) تتفوق على النماذج المضبوطة بالتعليمات (instruction-tuned) في هذه المهمة، لأن الأخيرة قد تقاربت نحو شخصية واحدة متجانسة تفتقر إلى التنوع المطلوب للمحاكاة السلوكية.

النتائج التجريبية
تم التحقق من صحة المنهجية مقابل ثلاثة مسوح وطنية ممثلة من مركز بيو للأبحاث (Pew Research Center) الخاصة بـ (American Trends Panel - ATP Waves 34, 92, and 99)، والتي تغطي مواضيع تتراوح من القضايا الطبية الحيوية إلى الأيديولوجيا السياسية والذكاء الاصطناعي.

• التمثيل: حققت Anthology تحسناً يصل إلى 18% في مطابقة توزيعات الاستجابة البشرية (مقاسة بمسافة واسرشتاين - Wasserstein Distance) مقارنة بالطرق الأساسية.
• الاتساق: أظهرت الطريقة تحسناً يصل إلى 27% في مقاييس الاتساق (مقاسة بمعامل ارتباط مصفوفة فوروبينيوس وألفا كرونباخ)، مما يشير إلى أن الشخصيات الافتراضية حافظت على منطق داخلي متماسك عبر مختلف أسئلة المسح.
• التنوع: تفوقت Anthology على الطرق الأساسية عبر مجموعات ديموغرافية فرعية متنوعة (العرق، العمر، التعليم، الجنس). والجدير بالذكر أنها حققت أدنى مسافات واسرشتاين للمجموعات الممثلة تمثيلاً ناقصاً، رغم أن المؤلفين يشيرون إلى أن دقة المطابقة تنخفض للفئات العمرية الأكبر (65+)، وهو ما قد يعود إلى انحياز النماذج المتأصل نحو الفئات العمرية الأصغر.
• استراتيجية المطابقة: تفوقت المطابقة الجشعة عموماً على المطابقة ذات الوزن الأقصى من حيث مسافة واسرشتاين، ويرجع ذلك على الأرجح إلى أن قيد "واحد لواحد" في الأخيرة أجبر على إقرانات غير مثالية نظراً لمحدودية عدد المستخدمين الافتراضيين.

الأهمية والادعاءات
يرى البحث أن Anthology يوفر أداة جديدة لدراسة السلوك البشري، متميزة عن كونها مجرد بديل بسيط للدراسات البشرية. فمن خلال الاستفادة من التنوع "العلوي" للنماذج سابقة التدريب والسرديات المفتوحة، تتيح هذه المنهجية للباحثين:

• محاكاة دراسات بشرية واسعة النطاق بجزء ضئيل من التكلفة والوقت.
• الوصول إلى الفئات التي يصعب الوصول إليها أو الممثلة تمثيلاً ناقصاً (مثل المشردين، أو السجناء، أو الفئات غير المتعاونة) بطريقة قابلة للتوسع.
• إجراء دراسات "قابلة للفحص" (scrutable) حيث يمكن استجواب الموضوعات حول منطقهم باستخدام اللغة الطبيعية.

يتبنى المؤلفون موقفاً متواضعاً، حيث يقرون بأنه بينما تحسن Anthology من دقة المواضيع الافتراضية، إلا أنها لا تحاكي تماماً السلوكيات البشرية المعقدة مثل تغير المواقف طويل الأمد أو انحيازات الداخل/الخارج (in-group/out-group biases). كما يسلطون الضوء على المخاوف الأخلاقية المتعلقة بإمكانية إساءة استخدام الشخصيات عالية الدقة في الهندسة الاجتماعية أو التضليل الإعلامي، ويؤكدون أن انخفاض كثافة المجموعات الممثلة تمثيلاً ناقصاً في بيانات التدريب يظل تحدياً أمام المحاكاة المثالية. وفي النهاية، يشير العمل إلى أن الشخصيات الافتراضية المصممة بعناية يمكن أن تعمل كأدوات مكملة قيمة للبحث البشري، مما يوفر أداة قابلة للتوسع لاستكشاف "التنوع الهائل للسمات البشرية" المضمنة داخل النماذج اللغوية.