Rethinking the Evaluation and Optimization of LLM-Based Social Simulation
تتناول هذه الورقة أوجه القصور في التقييم القائم على الدقة والتدريب بالملصقات الصارمة للمحاكاة الاجتماعية القائمة على النماذج اللغوية الكبيرة من خلال تقديم معامل ذاتية لقياس التباين السلوكي واقتراح التدريب بالملصقات اللينة المتكيف مع الذاتية (SALT)، وهي طريقة تم التحقق من صحتها عبر معيار SUBJSIM الذي تم إنشاؤه حديثًا، والتي تتعامل بفعالية مع الذاتية المتأصلة في الاستجابات البشرية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في الزوايا الهادئة للعلوم الاجتماعية، سعى الباحثون طويلاً لفهم كيفية تفكير الناس، واتخاذهم للقرارات، وتفاعلهم مع بعضهم البعض. ولعقود من الزمن، كانت الأدوات الأساسية لهذا العمل هي الاستطلاعات والتجارب المنضبطة، حيث يُطلب من أشخاص حقيقيين الإجابة على أسئلة أو وضعهم في سيناريوهات لرؤية ردود أفعالهم. هذه الأساليب قوية، لكنها أيضاً بطيئة، ومكلفة، ويصعب توسيع نطاقها لدراسة الظواهر العالمية المعقدة مثل الاستقطاب السياسي أو تحولات السوق. مؤخراً، ظهرت أداة جديدة: النماذج اللغوية الكبيرة. وهي برامج حاسوبية متطورة يمكنها كتابة القصص، والإجابة على الأسئلة، وإجراء المحادثات. وقد بدأ العلماء في استخدامها لمحاكاة السلوك البشري، عبر إنشاء مجتمعات رقمية يمكن اختبارها في بيئات افتراضية. والأمل هو أن توفر هذه المحاكاة طريقة منخفضة التكلفة وقابلة للتحكم لدراسة المجتمع. ومع ذلك، فإن مشكلة جوهرية قد أعاقت هذا المجال؛ فعندما يحاول برنامج حاسوبي محاكاة إنسان، كيف نعرف ما إذا كان يقوم بعمل جيد حقاً؟ كانت الطريقة القياسية للتحقق من ذلك هي طرح سؤال بسيط: هل اختار الحاسوب نفس الإجابة التي قدمها شخص حقيقي تماماً؟ إذا تطابقت الإجابة، تُعتبر المحاكاة ناجحة. لكن هذا النهج يفترض أن السلوك البشري يشبه مسألة رياضية، حيث توجد إجابة واحدة صحيحة تنتظر من يجدها. وفي الواقع، الخيارات البشرية أكثر سيولة بكثير. فالشخص نفسه، عندما يواجه الموقف ذاته في يومين مختلفين، قد يختار بشكل منطقي وبشكل مختلف. كما قد ينقسم مجموعة من الناس ذوو الخلفيات المتشابهة في أصواتهم بين عدة خيارات. إن معاملة استجابة بشرية واحدة كأنها الحقيقة الوحيدة يتجاهل هذا التنوع الطبيعي وعدم اليقين الذي يحدد كيفية عيشنا بالفعل.
لقد تحدى فريق من الباحثين في جامعة "رنمين" بالصين هذا النهج القياسي، بحجة أن الطريقة التي نختبر ونُدرب بها هذه المحاكاة الاجتماعية حالياً معيبة بشكل أساسي. وهم يقترحون أن السلوك البشري ليس هدفاً ثابتاً، بل هو سحابة من الاحتمالات، وأن محاولة إجبار الحاسوب على إصابة نقطة واحدة داخل تلك السحابة هو خطأ. ولإثبات ذلك، قدم الفريق طريقة جديدة للتفكير في "الذاتية"، أو مدى اعتماد القرار على الشعور الشخصي بدلاً من الحقيقة الموضوعية. ووجدوا أنه بالنسبة لمهام مثل البرمجة أو الرياضيات، حيث توجد إجابة صحيحة واضحة، فإن الطرق القديمة تعمل بشكل جيد. ولكن بالنسبة للأسئلة الاجتماعية، حيث تتباين آراء الناس على نطاق واسع، فإن الطرق القديمة تفشل. فعندما يدرب الباحثون نموذجاً على مجرد نسخ الإجابة الوحيدة التي قدمها شخص ما، يتعلم النموذج أن يكون جامداً وضيق الأفق؛ إذ ينسى الخيارات المعقولة الأخرى التي ربما اتخذها الشخص، مما يؤدي فعلياً إلى فقدان الجوهر الحقيقي لعدم القدرة على التنبؤ لدى البشر. علاوة على ذلك، عندما يحاولون الحكم على نجاح النموذج من خلال التحقق مما إذا كان يطابق تلك الإجابة الواحدة، فإنهم غالباً ما يُضللون. فقد يكون النموذج سيئاً جداً في التقاط النطاق الكامل للفكر البشري، ومع ذلك يحصل على درجة عالية بمجرد الصدفة، أو قد يكون نموذجاً مثالياً ويحصل على درجة منخفضة ببساطة لأنه لم يخمن الإجابة المحددة التي اختارها المختبر.
ولإصلاح ذلك، طور الباحثون طريقة جديدة تسمى "التدريب على الملصقات الناعمة المتكيف مع الذاتية"، أو SALT. فبدلاً من إجبار الحاسوب على حفظ إجابة محددة، يعلّم نظام SALT النموذج فهم مشهد الإجابات الممكنة. ينظر النظام إلى العديد من المواقف المختلفة التي تشبه الموقف قيد الدراسة ويجمع الإجابات التي قدمها الناس في تلك السيناريوهات القريبة. ثم يقوم بدمج هذه الإجابات معاً لإنشاء هدف "ناعم"، وهو عبارة عن خريطة توضح مدى احتمالية الخيارات المختلفة. ومن الأهمية بمكان أن النظام ذكي بما يكفي لمعرفة مقدار الدمج الذي يجب القيام به. فإذا كان السؤال موضوعياً للغاية، مثل مسألة رياضية، فإنه يدمج القليل جداً ويلتزم بقوة بالقرب من الإجابة الملحوظة الواحدة. ولكن إذا كان السؤال ذاتياً للغاية، مثل السؤال عن القيم الشخصية، فإنه يدمج الإجابات من دائرة أوسع بكثير من المواقف المماثلة لالتقاط المدى الكامل للرأي البشري. وهذا يسمح للنموذج بتعلم الشكل الحقيقي للسلوك البشري بدلاً من مجرد لقطة واحدة منه.
ولاختبار هذه الفكرة، تعين على الفريق بناء شيء لم يكن موجوداً من قبل: مجموعة بيانات ضخمة حيث يمكنهم رؤية النطاق الكامل للاختيارات البشرية، وليس مجرد اختيار واحد. لقد استعانوا بـ 193 شخصاً للإجابة على 100 سؤال استطلاع تغطي مواضيع مثل السياسة والصحة والثقافة. ولكن بدلاً من مجرد اختيار إجابة واحدة، طُلب من كل شخص توزيع نقاط احتمالية عبر جميع الخيارات الممكنة، مما يعني فعلياً إخبار الباحثين بمدى احتمالية كل خيار من وجهة نظرهم. وقد خلق هذا خريطة غنية من 19,300 سيناريو فريد، يوضح بالضبط كيف توزعت آراء الناس. وباستخدام هذا المعيار الجديد، قاموا بتدريب نماذجهم. وكانت النتائج مذهلة؛ فالطريقة القياسية، التي تحاول نسخ إجابة واحدة، كان أداؤها ضعيفاً، وغالباً ما فشلت في التقاط التنوع الحقيقي للفكر البشري. ومع ذلك، تفوق منهج SALT بشكل كبير على كل الأساليب الأخرى. فقد قلل الخطأ في التنبؤ بالسلوك البشري بهوامش كبيرة، لا سيما بالنسبة للأسئلة الأكثر ذاتية حيث يتباين الرأي البشري بشكل أكبر. وفي الحالات الأكثر صعوبة، حيث كانت إجابات الناس مشتتة على نطاق واسع، حسن المنهج الجديد التنبؤ بتوزيع الاستجابة الكاملة بنسبة تقارب 97 بالمائة مقارنة بطريقة التدريب القديمة، وذلك وفقاً لقياس الانخفاض في تباعد KL.
كما كشفت الدراسة عن سبب معاناة الطرق القديمة. فعندما حاول الباحثون استخدام تقنيات تقوم ببساطة بتجميع الناس حسب فئات عريضة، مثل أعمارهم أو وظائفهم، كانت النتائج لا تزال مشوشة وغير دقيقة. وتبين أن المفتاح لم يكن مجرد تجميع الناس، بل العثور على القدر المناسب من التشابه للبحث عنه. وقد سمحت الطبيعة التكيفية لنظام SALT بالعثور على هذا التوازن تلقائياً، حيث يسحب عدداً كافياً فقط من الأمثلة المتشابهة لبناء صورة موثوقة دون خلطها بآراء غير ذات صلة. ووجد الباحثون أن هذا النهج يعمل بشكل أفضل عندما يُسمح للنموذج بأن يكون غير متيقن، محاكياً بذلك الطريقة التي يكون عليها البشر بالفعل. ويشير هذا العمل إلى أنه لكي نحاكي المجتمع حقاً، يجب أن نتوقف عن معاملة الخيارات البشرية كأخطاء يجب تصحيحها، ونبدأ في معاملتها كبيانات يجب فهمها في كامل تعقيدها. ومن خلال الانتقال من البحث الجامد عن إجابة واحدة صحيحة إلى الفهم المرن لنطاق من الاحتمالات، يمكننا بناء عمليات محاكاة ليست دقيقة إحصائياً فحسب، بل هي وفية حقاً لعدم القدرة على التنبؤ الممتعة والمعقدة للحياة البشرية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.