BenCSSmark: Making the Social Sciences Count in LLM Research

ملخص تقني: BenCSSmark: جعل العلوم الاجتماعية ذات قيمة في أبحاث النماذج اللغوية الكبيرة (LLM)

1. بيان المشكلة

تحدد الورقة فجوة حرجة في المشهد الحالي لتقييم النماذج اللغوية الكبيرة (LLM): التمثيل الناقص المنهجي للمهام المتعلقة بالعلوم الاجتماعية في المعايير المرجعية (benchmarks) السائدة. وبينما تلعب هذه المعايير دوراً محورياً في هيكلة أجندات أبحاث الذكاء الاصطناعي، والسمعة، والنتائج التجارية، إلا أنها تركز بشكل أساسي على مهام معالجة اللغات الطبيعية (NLP) التقليدية (مثل إعادة الصياغة، وتحديد الكيانات المسماة) أو المجالات المتخصصة مثل الطب والقانون. أما العلوم الاجتماعية (علم الاجتماع، والعلوم السياسية، والتاريخ، والاقتصاد، إلخ) فهي غائبة إلى حد كبير.

هذا الغياب يخلق مشكلة مزدوجة:

1. نقاط عمياء في التقييم: نادراً ما تُختبر النماذج في المهام التي تتطلب دقة في التفسير بدلاً من مجرد استرجاع الحقائق أو الدقة، وهي المهام التي تتسم بالحساسية للسياق والتعقيد الثقافي والتي تميز الاستقصاء العلمي الاجتماعي. ونتيجة لذلك، غالباً ما تعاني النماذج المتطورة (state-of-the-art) في المهام التي تتطلب متانة تفسيرية.
2. عدم وضوح الموارد: تظل مجموعات البيانات عالية الجودة والمشروحة بدقة من قبل علماء الاجتماع "غير مرئية" لمجتمع معالجة اللغات الطبيعية (NLP). فهذه البيانات غالباً ما تكون مشتتة، أو غير مفهرسة، أو يتم إنشاؤها كمجموعات مؤقتة لدراسات محددة، مما يفتقر إلى المعايير المطلوبة لإدراجها في حزم المعايير المرجعية. علاوة على ذلك، تقاوم مهام العلوم الاجتماعية غالباً عملية التقييس بسبب اعتمادها على فئات مرتبطة بسياقات محددة والحفاظ على وجهات نظر متعددة، ومتضاربة أحياناً، للخبراء (المنظورية/perspectivism)، وهو ما يتناقض مع منطق "الحقيقة الأرضية الوحيدة" (single ground truth) السائد في معظم المعايير المرجعية الحالية.

2. المنهجية: مبادرة BenCSSmark

لمعالجة هذه الفجوة، قدم المؤلفون BenCSSmark، وهو معيار مرجعي يتكون من مجموعات بيانات مستمدة من مشاريع حقيقية في العلوم الاجتماعية الحسابية. وتعد هذه المبادرة جزءاً من مشروع "Pantagruel"، الذي يهدف إلى تطوير نماذج لغوية كبيرة باللغة الفرنسية. وتتضمن المنهجية جهداً تعاونياً بين علماء الحاسوب وعلماء الاجتماع لتنظيم وهيكلة هذه الموارد.

استراتيجيات جمع البيانات:
استخدم المؤلفون استراتيجيتين متميزتين لجمع البيانات:

• إنتاج بيانات جديدة: تجميع فرق من الملحوظين (annotators) لتوليد مجموعات بيانات جديدة. وبخلاف الممارسات المعتادة في معالجة اللغات الطبيعية التي غالباً ما تستبعد الخلافات، فإن هذا النهج حافظ على جميع الملحوظات الفردية جنباً إلى جنب مع القرار المعتمد لتعكس تنوع وجهات النظر.
• تنظيم التوصيفات الخبيرة الموجودة: الاستفادة من مجموعات البيانات التي تم توصيفها من قبل خبراء منفردين (غالباً هم الباحثون أنفسهم). ورغم أنه لا يمكن تقييم هذه البيانات باستخدام مقاييس الاتفاق المعتادة بين الملحوظين، إلا أنها تمثل معرفة عالية الجودة ومتخصصة تمتد عبر مواضيع وفترات تاريخية متنوعة.

المبادئ التوجيهية:
بُني المعيار المرجعي بناءً على ثلاثة مبادئ أساسية:

1. تمثيل التنوع: استقاء مهام من مجالات غير ممثلة كفاية (مثل علم الاجتماع، والعلوم السياسية) واحترام المناهج التخصصية في مهام مثل اكتشاف الأطر (على سبيل المثال، التمييز بين أطر وسائل التواصل الاجتماعي وأطر الصحف في القرن العشرين).
2. التباين السياقي والزمني: تجميع بيانات من أنواع أدبية متنوعة (وسائل التواصل الاجتماعي، الأخبار، الخطب السياسية، الإذاعة) وفترات تاريخية (من أواخر القرن العشرين إلى الوقت الحاضل) لاختبار قدرة النموذج على التكيف مع الفئات الاجتماعية المتغيرة وأعراف الخطاب.
3. الحفاظ على المنظورية (Perspectivism): بالنسبة للمهام التي تم توصيفها من قبل الفريق، يوفر المعيار نسختين من البيانات: نسخة تحتوي على حقيقة أرضية واحدة، ونسخة تحتفظ بجميع الملحوظات الفردية. وهذا يسمح بتقييم صعوبة المهمة بناءً على اتفاق الملحوظين ويدعم الدعوة إلى البيانات المفصلة (disaggregated data).

هيكل البيانات والتصنيف:
يحتوي BenCSSmark حالياً على 27 مجموعة بيانات (جميعها باللغة الفرنسية). وقد قدم المؤلفون نظام تصنيف مزدوج مبتكر:

• فئة المهمة: ترتبط بمصطلحات معالجة اللغات الطبيعية القياسية (مثل التصنيف الثنائي، واكتشاف النطاق، وحل الإحالة المرجعية).
• المفهوم: يحدد بوضوح المفهوم العلمي الاجتماعي المحدد الذي يتم رصده (مثل "الاستناد إلى السلطة"، "الجنس"، "وعود الإصلاح"، "التنبؤ السياسي").
• البيانات الوصفية (Metadata): تتضمن معلومات مفصلة عن نوع البيانات، والنطاق الزمني، وخلفية الملحوظ، والسياق التخصصي.

تغطي المهام نطاقاً واسعاً من الأنواع، بما في ذلك التصنيف الثنائي/متعدد الفئات، والتصنيف متعدد الملصقات، واكتشاف النطاق، وحل الإحالة المرجية. وتمتد البيانات عبر أنواع نصية مثل الصحافة الوطنية، والبيانات السياسية، ونصوص الإذاعة، والملخصات الأكاديمية.

3. المساهمات الرئيسية

• معيار BenCSSmark: المساهمة الأساسية هي إنشاء معيار مرجعي مصمم خصيصاً لمهام العلوم الاجتماعية، مما يسد الفجوة بين تقييم معالجة اللغات الطبيعية والاستقصاء العلمي الاجتماعي.
• الإطار التصنيفي: تقديم نظام تصنيف مزدوج (نوع مهمة معالجة اللغات الطبيعية مقابل المفهوم العلمي الاجتماعي) لتسهيل التواصل والتبادل بين علماء الحاسوب وعلماء الاجتماع.
• التعامل مع البيانات المنظورية: إدراج مجموعات البيانات التي تحافظ على اختلاف الملحوظين ووجهات النظر المتعددة، مما يتحدى نموذج "الحقيقة الأرضية الوحيدة" ويقدم اختبار جهد لمتانة التفسير لدى النماذج.
• التعاون متعدد التخصصات: توضح الورقة إطاراً عملياً لدمج علماء الاجتماع مباشرة في تصميم تقييم النماذج اللغوية الكبيرة، وتجاوز دورهم كمجرد مدققين للتحيز.

4. النتائج والوضع الحالي

لا تقدم الورقة نتائج تجريبية لتقييم نماذج لغوية محددة على BenCSSmark. بدلاً من ذلك، هي تقدم البنية التحتية ومجموعة البيانات نفسها كإنجاز.

• توافر مجموعات البيانات: يتكون المعيار المرجعي من 27 مجموعة بيانات ذات أحجام متفاوتة (من حوالي 100 إلى 28,000 وحدة) ومستويات تفصيل مختلفة (جملة، فقرة، نص كامل).
• تنوع المهام: تضم المجموعة كلاً من فئات معالجة اللغات الطبيعية المدروسة جيداً (مثل اكتشاف خطاب الكراهية) المطبقة على مفاهيم علم اجتماعي جديدة (مثل التمييز بين التعليقات "الناقدة" و"المسيئة" في السياقات السياسية)، ومهام فريدة (مثل اكتشاف "وعود الإصلاح" في البيانات السياسية أو "الأخبار الموسيقية التوجيهية").
• الإقرار بالقصور: يذكر المؤلفون صراحة أن المعيار المرجعي مغلق حالياً (بسبب ملكية البيانات وخصوصيتها) ومقتصر على اللغة الفرنسية وتنسيقات إعلامية محددة. كما يقرون بأن النطاق محدود حالياً وأن البيانات ليست متاحة بالكامل للتحميل العام.

5. الأهمية والادعاءات

تضع الورقة BenCSSmark ليس كحل نهائي، بل كـ خطوة أولى استفزازية ودعوة للتعاون. وتتمحور أهميته حول عدة حجج رئيسية:

• اختبار جهد الذكاء الاصطناعي: يجادل المؤلفون بأن مهام العلوم الاجتماعية تعمل كـ "اختبار جهد" للذكاء الاصطناعي، حيث تقيم قدرة النموذج على التعامل مع الغموض، ووجهات النظر المتضاربة، والمعنى المعتمد على السياق—وهي أبعاد غالباً ما تكون ثانوية في تقييمات معالجة اللغات الطبيعية القياسية.
• تحسين التعميم: من خلال دمج منظور العلوم الاجتماعية، يزعم المؤلفون أن النماذج يمكن أن تحقق تعميماً ومتانة أفضل، ليس فقط لمهام العلوم الاجتماعية، بل أيضاً للتطبيقات الأوسع التي تتطلب دقة ثقافية وسياقية.
• الفائدة المتبادلة: تهدف المبادرة إلى إفادة كلا المجتمعين: حيث يحصل باحثو معالجة اللغات الطبيعية على وصول إلى بيانات غنية ومفصلة وموصوفة من قبل خبراء، بينما يحصل علماء الاجتماع على الوصول إلى نماذج مدربة على مهام تتماشى مع احتياجاتهم البحثية.
• التحذير من "النمذجة المرجعية" (Benchmarkization): تحذر الورقة بتواضع من مخاطر "النمذلة المرجعية"، حيث يمكن للتقييس المفرط أن يخنق التعددية والعمق التفسيري الضروري للعلوم الاجتماعية. وهم يدعون إلى معايير تسمح بالتقييم المفلتر (حسب التخصص، والزمن، والثقافة) بدلاً من دمج النتائج في درجة إجمالية واحدة.

في الختام، تجادل الورقة بأن جعل العلوم الاجتماعية "ذات قيمة" في أبحاث النماذج اللغوية الكبيرة أمر ضروري لتطوير أنظمة ذكاء اصطناعي أكثر متانة وشفافية وذات صلة اجتماعية، وأن BenCSSmark يوفر البنية التحتية اللازمة لبدء هذا الحوار.