💬 NLP

Emulate or Estimate? The Divergent Strengths of Base and Post-Trained Language Models for Opinion Simulation

تحل هذه الورقة التضارب في النتائج المتعلقة باستخدام النماذج اللغوية الكبيرة لمحاكاة الآراء من خلال التمييز بين "المحاكاة" (توليد استجابات فردية) و"التقدير" (التنبؤ بالتوزيعات)، مظهرةً أن النماذج الأساسية تتفوق في الأولى بينما تتفوق النماذج التي خضعت للتدريب اللاحق في الثانية.

المؤلفون الأصليون: Seth Grief-Albert, Jessica Bo, Difan Jiao, Ashton Anderson

نُشر 2026-08-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Seth Grief-Albert, Jessica Bo, Difan Jiao, Ashton Anderson

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول فهم مزاج حشد هائل دون سؤال كل فرد على حدة. قد تسأل بضعة أشخاص عما يعتقدون، أو قد تطلب من خبير أن يخمن الانطباع العام. هذا هو نوع اللغز الذي يواجهه العلماء عندما يحاولون استخدام الذكاء الاصطناعي لمحاكاة الآراء البشرية. في عالم علوم الحاسوب، وتحديداً في مجال يُسمى "معالجة اللغات الطبيعية"، يبني الباحثون نماذج ذكاء اصطناعي ضخمة قرأت كل شيء تقريباً كُتب على الإنترنت. هذه النماذج بارعة للغاية في التنبؤ بالكلمات التالية، مما يجعلها تبدو وكأنها يمكن أن تعمل كبدلاء مثاليين للبشر الحقيقيين. ولكن هنا يكمن الجزء الصعب: مج unlike كون الذكاء الاصطناعي قادراً على كتابة قصة مقنعة، لا يعني بالضرورة أنه قادر على التنبؤ بدقة بكيفية تصويت مجموعة كاملة من الناس، أو شعورهم تجاه الاقتصاد، أو إجابتهم على استطلاع رأي. يتجادل العلماء حالياً حول ما إذا كان هؤلاء "البشر" من صنع الذكاء الاصطناعي جيدون حقاً في محاكاة التنوع البشري، أم أنهم يتظاهرون فقط بأنهم شيء آخر غير حقيقتهم.

تتدخل هذه الورقة البحثية في هذا الجدل لحل لغز: لماذا تقول بعض الدراسات إن الذكاء الاصطناعي رائع في محاكاة الآراء البشرية، بينما تقول دراسات أخرى إنه يفشل فشلاً ذريعاً؟ يقترح المؤلفون، وهم باحثون من جامعة كوينز وجامعة تورنتو، أن الارتباك يأتي من الخلط بين وظيفتين مختلفتين تماماً. أطلقوا على الوظيفة الأولى اسم المحاكاة (Emulation). وهي تشبه استئجار ممثل لأداء شخصية محددة؛ حيث يقوم الذكاء الاصطناعي بتوليد استجابة واحدة كما لو كان شخصاً حقيقياً، وإذا سألت عدداً كافياً من "الممثلين"، فإن إجاباتهم ستؤدي طبيعياً إلى إظهار شكل رأي الحشد. أما الوظيفة الثانية فهي التقدير (Estimation). وهي تشبه سؤال إحصائي للنظر إلى حشد وقوله ببساطة: "أعتقد أن 60% منهم سيختارون الخيار (أ)". اختبر الباحثون هذه الفكرة عبر وضع نوعين من الذكاء الاصطناعي في مواجهة بعضهما البعض: "النماذج الأساسية" (النسخ الخام غير المصقولة) و"النماذج التي خضعت للتدريب اللاحق" (النسخ التي تم ضبطها لتكون مساعدين مفيدين).

تكشف نتائج تجاربهم، التي أُجريت على بيانات استطلاع حقيقية من مركز "بيو" للأبحاث (Pew Research Center)، عن انقسام واضح في المواهب. فعندما كانت المهمة هي المحاكاة —أي توليد استجابات نصية فردية لمعرفة كيف يبدو الحشد عند جمعها معاً— كانت النماذج الأساسية هي الفائزة. فقد أنتجت استجابات تشبه البيانات البشرية الحقيقية إلى حد كبير، وأدت دوراً أفضل في الحفاظ على التمايز بين المجموعات (مثل الديمقراطيين مقابل الجمهوريين، أو الأثرياء مقابل الفقراء). وفي الواقع، عانت النماذج "التي خضعت للتدريب اللاحق" غالباً مما وصفه المؤلفون بـ "انهيار الشخصية"، حيث بدأوا جميعاً يبدون متشابهين، مثل جوقة من النسخ المتطابقة، مما أدى لفقدان التنوع الفوضوي للبشر الحقيقيين.

ومع ذلك، تنقلب القصة عندما تكون المهمة هي التقدير. فعندما سأل الباحثون الذكاء الاصطناعي ببساطة: "تنبأ بالنسبة المئوية للأشخاص الذين سيختارون هذه الإجابة"، تألقت النماذج التي خضعت للتدريب اللاحق. لقد كانت أفضل بكثير في إعطاء الأرقام الصحيحة مباشرة. كانت النماذج الأساسية الخام جيدة في هذا الأمر، لكن المساعدين المصقولين والمفيدين كانوا أكثر دقة بشكل ملحوظ في تخمين التوزيع دون الحاجة إلى توليد جملة نصية واحدة من النصوص المزيفة.

يشير المؤلفون إلى أن هذا يحدث لأن عملية "التدريب اللاحق" تعلم الذكاء الاصطناعي كيف يكون مساعداً مفيداً. فعندما تطلب من مساعد أن يخمن رأي حشد ما، فإنه يستخدم معرفته لتقديم إجابة ذكية ومباشرة. ولكن عندما تطلب من نفس هذا المساعد أن "يمثل" دور شخص معين، فإنه يعلق في دور "المساعد المفيد"، مما يجعله يبدو موحداً للغاية ويفقد السمات الفريدة لمختلف الفئات السكانية. أما النماذج الأساسية الخام، فلم يتم إجبارها على دخول صندوق "المساعد" الواحد، لذا يمكنها الاستقاء من مجموعة أوسع وأكثر فوضوية من الأصوات البشرية عندما يُطلب منها توليد نصوص.

لذا، تخلص الورقة البحثية إلى أنه لا يوجد نموذج ذكاء اصطناعي واحد "أفضل" لمحاكاة البشر. فإذا كنت بحاجة إلى توليد نصوص تشعر وكأنها صادرة عن مجموعة متنوعة من الناس (مثل لعبة فيديو أو محاكاة للعلوم الاجتماعية)، فيجب عليك استخدام النماذج الأساسية الخام. ولكن إذا كنت تريد فقط تنبؤاً سريعاً ودقيقاً بما سيفكر فيه حشد ما، فعليك أن تطلب من النماذج التي خضعت للتدريب اللاحق والمصقولة القيام بعملية التقدير. لم يكن الارتباك في هذا المجال بسبب تعطل نوع معين من الذكاء الاصطناعي، بل لأن الباحثين كانوا يستخدمون الأداة الخاطئة للمهمة المحددة التي يحاولون القيام بها.

ملخص تقني: محاكاة أم تقدير؟ التباين في نقاط القوة بين النماذج اللغوية الأساسية والمُدربة لاحقاً لمحاكاة الآراء

بيان المشكلة

تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد لمحاكاة الآراء البشرية لتطبيقات مثل اختبار السياسات، وأبحاث السوق، والعلوم الاجتماعية. ومع ذلك، تقدم الأدبيات السابقة نتائج متضاربة بشأن فعاليتها؛ حيث تشير بعض الدراسات إلى توافق واعد بين النماذج الأساسية وبيانات المسح البشري، بينما توثق دراسات أخرى "انهيار الشخصية" (persona collapse)، وضعف الحساسية الديموغرافية، والحساسية العالية للخيارات المنهجية (مثل ترتيب الآراء)، لا سيما عند تقييم النماذج المُدربة لاحقاً (post-trained models). يقترح المؤلفون أن هذا الخلاف ينبع من الخلط بين مهمتين متميزتين للمحاكاة: المحاكاة التوليدية (Emulation) والتقدير (Estimation).

المحاكاة التوليدية (Emulation): يقوم النموذج بتوليد استجابات فردية كمشارك محدد؛ ومن ثم تظهر توزيعات المجتمع من خلال تجميع هذه المخرجات الفردية.
التقدير (Estimation): يتنبأ النموذج صراحةً بتوزيع استجابة المجتمع بشكل مباشر.

ويجادل الورقة بأن الخلط بين هاتين المهمتين يحجب نقاط القوة والضعف المحددة لمختلف بنيات النماذج (الأساسية مقابل المُدربة لاحقاً).

المنهجية

تقيم الدراسة ستة أزواج متطابقة من النماذج الأساسية والمُدربة لاحقاً (بما في ذلك متغيرات Qwen3-14B وOlmo-3-7B وOlmo-3.1-32B) باستخدام لوحة "بيو" للاتجاهات الأمريكية (Pew American Trends Panel - الموجة 54) كمعيار مرجعي للحقيقة الأرضية. تتكون مجموعة البيانات من 59 بنداً، لكل منها أربعة خيارات، تستقصي الآراء الاقتصادية عبر سبعة ظروف ديموغرافية (غير مشروطة، سياسية، أيديولوجية، اقتصادية، ودينية).

ينفذ المؤلفون نموذجين مختلفين للتقييم:

نموذج المحاكاة التوليدية (الاستجابة المفتوحة):
- تولد النماذج ردود مقابلة نصية حرة دون الوصول إلى خيارات متعددة.
- يقوم نموذج لغوي كبير (LLM judge) برسم خرائط لهذه الردود النصية الحرة إلى فئات الإجابة (تم التحقق من صحتها مع مدققين خبراء، $\kappa = 0.66$ ).
- النماذج الأساسية: هيكلت كحوار بين مُحاور ومشارك مع اشتراط ديموغرافي في دورة سابقة.
- النماذج المُدربة لاحقاً: تُعطى تعليمات نظام لمحاكاة مشارك من ديموغرافيا معينة.
- المبرر: تتجنب هذه الطريقة "التحيز الموضعي" المتأصل في استخراج احتمالية الرمز الأول (first-token probability) وتنتج نصوصاً قابلة للتفسير.
نموذج التقدير (التوزيع المنطوق):
- يُطلب من النماذج التنبؤ مباشرة بتوزيع الاحتمالات عبر خيارات الإجابة لديموغرافية معينة، وإرجاع كائن JSON.
- النماذج الأساسية: يتم أخذ عينات متعددة من الإكمالات وحساب متوسطها لمراعاة التباين.
- النماذج المُدربة لاحقاً: يتم أخذ عينة واحدة تحت فك التشفير الجشع (greedy decoding) بسبب استقرار المخرجات.

المقاييس:

مسافة التباين الكلي (Total Variation Distance - TVD): تقيس التباعد التوزيعي دون افتراضات مسبقة.
مسافة واسرستاين (Wasserstein Distance): تحترم البنية الترتيبية لخيارات الإجابة، حيث تعاقب الأخطاء بناءً على مسافتها من الاستجابة الصحيحة.

النتائج الرئيسية

1. النماذج الأساسية هي الأفضل في المحاكاة التوليدية

عبر جميع النماذج الستة وسبعة ظروف تقييم، أنتجت النماذج الأساسية توزيعات محاكية أقرب بكثير إلى الحقيقة البشرية مقارنة بنظيراتها المُدربة لاحقاً.

الدقة التوزيعية: تفوقت النماذج الأساسية على النماذج المُدربة لاحقاً في كل من مسافة TVD ومسافة واسرستاين. وفي مسافة واسرستين، تفوقت النماذج الأساسية على المرجع الموحد في 20 من أصل 21 مقارنة، مما يشير إلى أنه حتى عند الخطأ في الاحتمالات الدقيقة، فقد تم وضع الكتلة بالقرب من الاستجابات المرتبة الصحيحة.
البنية الديموغرافية: تماشلت النماذج الأساسية باستمرار مع البنية الديموغرافية البشرية (معامل سبيرمان $\rho = 0.61\text{--}0.75}$ )، حيث ضغطت الفروق بين المجموعات إلى حوالي 70% من حجمها البشري. في المقابل، أظهرت النماذج المُدرة لاحقاً توافقاً هيكلياً أضعف ( $\rho = 0.35\text{--}0.59$ ) وضخمت الفروق بين المجموعات بمقدار 2 $\times$ تقريباً، وهو ما يتوافق مع محاكاة الشخصيات النمطية.
انهيار النمط (Mode Collapse): أظهرت مخرجات النماذج المُدربة لاحقاً انهياراً كبيراً في النمط، حيث كانت أكثر تشابهاً بمقدار 8.0-14.0 ضعفاً على مستوى الـ bigram مقارنة بمخرجات النماذج الأساسية. ولم يؤدِ رفع درجة الحرارة (temperature sampling) إلى حل هذا الانهيار.

2. النماذج المُدربة لاحقاً هي الأفضل في التقدير

تحت نموذج التقدير، أنتجت النماذج المُدرة لاحقاً توزيعات أقرب بكثير إلى الحقيقة البشرية من خط الأساس الموحد، وأفضل بكثير من نظيراتها الأساسية.

التنبؤ الصريح: انخفض خطأ التقدير مع حجم النموذج، وكان في أدنى مستوياته في النماذج المُدربة لاحقاً (على سبيل المثال، حقق Claude Opus 4.6 أقوى أداء).
إمكانية الوصول إلى المعرفة: أنتجت النماذج الأساسية أيضاً نتائج تقدير تتجاوز أو تماثل خط الأساس الموحد، مما يشير إلى أن المعرفة التوزيعية موجودة قبل التدريب اللاحق ولكنها أقل قابلية للوصول عبر التلفظ المباشر في النماذج الأساسية.

المساهمات الرئيسية

تمييز المهام: تميز الورقة رسمياً بين المحاكاة التوليدية (توليد نص فردي يتجمع ليصبح توزيعاً) والتقدير (التنبؤ بتوزيع مباشرة)، وتجادل بأن النتائج المتضاربة السابقة تنبع من تقييم هاتين القدرتين بشكل متبادل.
المقايضة الهيكلية: توضح الدراسة مقايضة واضحة: النماذج الأساسية هي الأنسب للمهام التي تتطلب توليد نصوص تحافظ على التنوع والهيكل الديموغرافي، بينما النماذج المُدربة لاحقاً تتفوق في المهام التي تتطلب تنبؤاً توزيعياً مباشراً.
منهجية التقييم: يقترح المؤلفون المحاكاة التوليدية بالاستجابة المفتوحة كمنهج تقييم قوي يلغي التحيز الموضعي الذي يربك طرق استخراج احتمالية الرمز الأول المستخدمة في الأعمال السابقة.

الأهمية والادعاءات

تدعي الورقة أن اختيار النموذج لمحاكاة البشر يجب أن يسترشد بمتطلبات المهمة النهائية المحددة:

إذا كان الهدف هو توليد نص يتوافق مع تنوع السكان (مثل المستجيبين الاصطناعيين أو الوكلاء التفاعليين)، فإن النماذج الأساسية هي الركيزة المناسبة لأن التوزيع المطلوب يجب أن ينبثق من العينات المنتجة.
إذا كان الهدف هو تقدير توزيعات الآراء الإجمالية، فإن النماذج المُدربة لاحقاً هي الأكثر ملاءمة لأنها تنتج تنبؤات جيدة المعايرة عند سؤالها صراحةً.

ويقترح المؤلفون أن التدريب اللاحق يوجه توزيع النموذج الأساسي الواسع والمتعدد الأشكال نحو شخصية "مساعد" (Assistant) واحدة محسنة لتقديم المساعدة. وعندما يُطلب منها محاكاة ديموغرافية، تقوم النماذج المُدرة لاحقاً بـ "محاكاة من الدرجة الثانية" (مساعد يحاكي شخصية)، مما يضغط تنوع المخرجات عبر عنق زجاجة لشخصية واحدة. وعلى العكس من ذلك، تسحب النماذج الأساسية مباشرة من التوزيع المسبق للنماذج فوق الشخصيات، مما يحافظ على التنوع التمثيلي اللازم للمحاكاة الوفية على حساب التقدير الميتا-معرفي (metacognitive estimation) الأضعف.

المحددات

يقر المؤلفون بعدة محددات:

الحجم: من غير المعروف ما إذا كانت مقايضة المحاكاة والتقدير ستستمر في أحجام النماذج الرائدة، حيث لا تُنشر متغيرات النماذج الأساسية الرائدة للعموم.
المحاذاة الزمنية: بيانات المسح (2019) تسبق مجموعات تدريب النماذج (التي تمتد إلى 2024-2025)، مما يخلق خللاً محتملاً فيما إذا كانت النماذج تحاكي آراء حقبة زمنية معينة أو تمثيلاً مدمجاً زمنياً.
النطاق: يقتصر التقييم على الآراء الاستقصائية؛ ويظل توسيع هذه النتائج إلى إعدادات سلوكية أغنى (حوار متعدد الجولات، محاكاة قائمة على الوكلاء) سؤالاً مفتوحاً.