Readable, Faithful, Used: Three Dissociable Properties of Demographic Identity in a Language Model
تُظهر هذه الورقة البحثية أنه في النماذج اللغوية الكبيرة، تُعد خصائص الهوية الديموغرافية المتمثلة في كونها قابلة للقراءة، وذات بنية أمينة، ومُستخدمة سببيًا، ثلاث ظواهر منفصلة، مما يكشف أنه بينما يمكن لرؤوس انتباه محددة ترميز الفروق الجماعية الشبيهة بالاستطلاعات بدقة عالية، فإن هذا الترميز لا يترجم بالضرورة إلى الاستخدام السببي الفعلي للنموذج في توليد الاستجابات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُطلب من النماذج اللغوية الكبيرة بشكل متزايد أن تعمل كبدائل للبشر في أبحاث العلوم الاجتماعية. فبدلاً من قضاء شهور وملايين الدولارات في إجراء مقابلات مع آلاف الأشخاص الحقيقيين لفهم كيف تشعر مجموعات مختلفة تجاه السياسة أو الدين أو الاقتصاد، يمكن للباحثين ببساطة أن يطلبوا من برنامج حاسوبي محاكاة تلك الاستجابات. والأمل هو أن تتمكن هذه البدائل الرقمية من التقاط الفروق الدقيقة بين ديمقراطي شاب وجمهوري مسن، أو بين هندوسي ومسيحي، تماماً كما يفعل استطلاع رأي حقيقي. لكن هناك مجموعة متنامية من الأدلة تشير إلى أن هذه المحاكاة تفشل. إذ تميل إجابات الحاسوب إلى أن تكون موحدة للغاية، وموافقة للغاية، ومتشابهة للغاية فيما بينها، بغض النظر عن الملصق الديموغرافي المرفق بالطلب. واللغز المركزي هو ما إذا كان هذا الفشل يحدث لأن النموذج ببساطة لا يعرف الاختلافات بين هذه المجموعات، أو لأنه يعرف الاختلافات ولكنه يختار عدم استخدامها عند التحدث.
ولحل هذه المعضلة، شرع باحث في البحث داخل "دماغ" نموذج لغوي كبير ليرى أين توجد المعلومات الديموغرافية بالفعل. ركز التحقيق على نموذج محدد، وهو Mistral-7B، وطرح ثلاثة أسئلة متميزة. أولاً، هل المعلومات المتعلقة بهوية المجيب مقروءة من الإشارات الداخلية للنموذج؟ ثانياً، هل هذه المعلومات مرتبة بطريقة تعكس العالم الحقيقي، حيث تتطابق المسافة بين مجموعتين في عقل الحاسوب مع المسافة بينهما في الواقع؟ وثالثاً، هل يستخدم النموذج فعلياً هذه الخريطة الداخلية عند توليد إجابة؟ وقد عاملت الدراسة هذه الأسئلة الثلاثة كخصائص منفصلة، مدركةً أن النموذج يمكن أن يمتلك خريطة داخلية أمينة دون أن يستشيرها أبداً لتكوين رأي.
بدأ الباحثون برسم خريطة للمشهد الداخلي للنموذج. فقد أنشأوا مطالبات لـ 169 مجموعة متداخلة، مثل ديمقراطي آسيوي شاب أو جمهوري هندوسي في منتصف العمر، وفحصوا الحالة الداخلية للنموذج عند نهاية معالجته تماماً. وقارنوا الترتيب الداخلي للنموذذ لهذه المجموعات مقابل بيانات استطلاع حقيقية من مركز "بيو" للأبحاث (Pew Research Center)، والذي قدم الحقيقة الأرضية لكيفية اختلاف هذه المجموعات في آرائها. وكشفت النتائج أن الطريقة القياسية لقراءة عقل النموذج — وهي النظر في طبقة المخرجات النهائية — كانت ضعيفة بشكل مضلل؛ إذ أوحت بأن النموذج لديه رؤية ضبابية وغير واضحة للاختلافات الديموغرافية. ومع ذلك، عندما نظر الباحثون بعمق أكبر، في المكونات المحددة التي تشكل معالجة النموذج، وجدوا صورة أكثر وضوحاً.
لم تكن المعلومات مفقودة، بل كانت مخبأة فقط في قنوات محددة وضيقة. اكتشفت الدراسة أن الهندسة الداخلية للنموذج تهيمن عليها "رؤوس الانتباه" الفردية، وهي معالجات فرعية متخصصة داخل النموذج. وفي خمسة من أصل ستة أنواع من السمات الديموغرافية المختبرة، قدم أفضل رأس انتباه واحد خريطة أكثر دقة لاختلافات المجموعات من طبقة المخرجات النهائية الكاملة للنموذج. وقد برز رأس انتباه واحد محدد، يقع في الطبقة الحادية عشرة من النموذج، كونه أميناً بشكل ملحوظ؛ فقد حمل تمثيلاً لجميع الأنواع الديموغرافية الستة — العمر، والتعليم، والدخل، والدين، والحزب السياسي، والأيديولوجيا السياسية — يتطابق بشكل وثيق مع البنية الواقعية لكيفية اختلاف هذه المجموعات. وقد حمل هذا المكون المنفرد خريطة حيث تم ترتيب العلاقات بين المجموعات بدقة وصلت إلى حوالي 70% من الحد النظري لما يمكن قياسه، حتى بعد مراعاة حقيقة أن بيانات الاستطلاع نفسها تحتوي على بعض الضجيج.
ومع ذلك، فإن العثور على خريطة أمينة داخل النموذج لم يعني أن النموذج يستخدمها. اختبر الباحثون بعد ذلك ما إذا كان هذا الترتيب الداكن الدقيق يؤثر فعلياً على إجابات النموذج. أجروا تجربة سببية حيث قاموا باستبدال الهوية الديموغرافية في المطالبة وراقبوا كيف تتغير الآراء المتوقعة للنموذج. كانت النتيجة صارخة: تغيير الهوية الكاملة للشخص في المطالبة حرك إجابات النموذج المتوقعة بأقل من 2% من إجمالي خطئها. أنتج النموذج إجابات مختلفة قليلاً، ولكنها خاطئة بنفس القدر لمجموعات مختلفة. والأكثر إثارة للدهشة، هو أن الباحثين وجدوا أن الموقع الذي يحتوي على أكثر خريطة أمينة لم يكن هو الموقع الذي يقود الإجابات. فقد وُجد أن المسار السببي الأكثر وضوحًا، حيث يؤدي تغيير الحالة الداخلية فعلياً إلى تحريك توقع النموذج نحو الحقيقة، قد وُجد في نوع ديموغرافي كان يمتلك واحدة من أضعف الخرائط الداخلية. وعلى العكس من ذلك، أظهر النوع الأكثر ترتيباً وأمانة أي تأثير سببي قابل للكشف عندما حاول الباحثون التدخل فيه.
يشير هذا الانفصال إلى أن فشل هذه النماذج في محاكاة السكان ليس مجرد نقص في المعرفة. فالنموذج يمتلك خريطة مفصلة ودقيقة لكيفية اختلاف المجموعات المختلفة، لا سيما فيما يتعلق بالعوامل السياسية والاقتصادية، بينما تظل معرفته بالعرق والدين ضعيفة وغير مستقرة. ومع ذلك، فإن النموذج لا يستشير هذه الخريطة عندما يتحدث. الهندسة الداخلية مرتبة بأمانة، لكنها منفصلة سببياً عن المخرجات النهائية. كما وجدت الدراسة أن مجرد قراءة هذه الخريطة الداخلية مباشرة، باستخدام مسبار رياضي على رأس الانتباه الأمين الوحيد ذاك، أنتج نتائج أقرب إلى حقيقة استطلاع الرأي الحقيقية بنسبة تتراوح بين 21% إلى 31% من إجابات النموذج نفسه. ومع ذلك، فإن هذا القراءة المتفوقة لم تستطع التنبؤ بالترتيب المحدد للآراء للأسئلة الفردية بشكل أفضل من إجابات النموذج الضعيفة نفسها.
إن تداعيات هذه النتائج كبيرة لأي شخص يحاول استخدام الذكاء الاصطناعي لفهم المجتمع البشري. يوضح البحث أن القدرة على محاكاة السكان لا يمكن افتراضها لمجرد أن النموذج يمكن توجيهه ليلعب دور شخص محدد. فالنموذج يمتلك المعرفة، لكنه لا يستخدمها بالطريقة التي يأملها الباحثون. علاوة على على ذلك، تحذر الدراسة من أن السمات الديموغرافية ليست قابلة للتبادل؛ فبينما يمتلك النموذج فهماً قوياً للهويات السياسية والاقتصادية، فإن فهمه للهويات العرقية والدينية هش وعرضة للانهيار تحت تأثير تغييرات طفيفة في كيفية صياغة السؤال. وتخلص الدراسة إلى أن معاملة المعرفة الداخلية للنموذذ وسلوكه الخارجي كشيء واحد هو ما يبقي الجدل حول قدرة هذه النماذج على محاكاة السكان دون حل. إن النموذج يمتلك الخريطة، لكنه لا يتبع الطريق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.