ملخص تقني: انحراف التقييم في استحثاث الشخصية في النماذج اللغوية الكبيرة (LLM)

بيان المشكلة

تبحث هذه الورقة في مدى موثوقية النماذج اللغوية الكبيرة (LLMs) في التعبير عن شخصيات مستقرة تشبه البشر. وبينما حاولت الأعمال السابقة استحثاث سمات شخصية في هذه النماذج لأغراض مثل التماسك السردي، والثقة، والقدرة على التحكم، لا تزال هناك فجوة حرجة وهي: انحراف التقييم (evaluation drift). غالبًا ما تعتمد الدراسات السابقة على طرق قائمة على الأوامر البرمجية (prompts) أو تقييمات أحادية البعد تعاني من تباين إحصائي عالٍ ومحاكاة سطحية. ويتساءل المؤلفون عما إذا كانت النماذج اللغوية تمتلك ملف تعريف شخصية مستقر في الأساس أم أنها مجرد محاكاة لسمات سطحية، مشيرين إلى أن بروتوكولات التقييم الحالية غالبًا ما تغير "الهدف المتحرك" عبر تقييم سمات "الخمس الكبرى" (الانبساط، والضمير، والانفتاح، والمقبولية، والعصابية) بشكل منفصل، مما يتجاهل الطبيعة متعددة الأبعاد للشخصية.

المنهجية

تستخدم الدراسة منهجية مكونة من مرحلتين لتقييم استحثاث الشخصية عبر خمسة نماذج متميزة (تتراوح من 2 مليار إلى 175 مليار معلمة، بما في ذلك Gemma وLLaMA وGPT-3.5):

1. مجموعة البيانات: يستخدم المؤلفون مجموعة بيانات المقالات (Essays Dataset) (Pennebaker and King, 1999)، والتي تضم 2,467 مقالاً طويلاً (حوالي 1.9 مليون كلمة). وقد تم اختيار هذه المجموعة بدلاً من النصوص القصيرة لوسائل التواصل الاجتماعي (مثل تويتر أو ريديت) لالتقاط سمات شخصية مستقرة بدلاً من الأمزجة العابرة. ترتبط كل مقالة بتصنيفات ثنائية لسمات الخمس الكبرى (OCEAN).
2. تقييم استقرار الأوامر البرمجية: لمعالجة هشاشة التقييم، اختبر المؤلفون أولاً ثلاثة تنويعات للأوامر (S1: رقمي، S2: نصي، S3: أبجدي) على نماذج مدربة مسبقاً ومدربة بدقة. وقاسوا الانحراف المعياري للاستجابات لاستبيان IPIP-NEO لتحديد ما إذا كان التدريب الدقيق يقلل من الحساسية لإعادة صياغة الأوامر.
3. استراتيجيات التدريب الدقيق (Fine-Tuning):
   • التدريب الدقيق الخاضع للإشراف (SFT): تم تدريب النماذج على مقالات مقترنة بملصقات الشخصية المستهدفة. تم اختبار تنويعين: (1) المقالات فقط، و(2) المقالات المعززة بأجزاء من استبيان IPIP-NEO لربط النص صراحةً بدرجات السمات.
   • التدريب الدقيق التفضلي (DPO/ORPO): أنشأ المؤلفون مجموعات بيانات متوازية حيث تم إنشاء استجابات "مختارة" و"مرفوضة" بناءً على ملفات تعريف OCEAN غير متطابقة (على سبيل المثال، مقارنة عينة مع نظيرتها العكسية أو شبه العكسية) لمحاكاة إشارات التفضيل البشري.
4. بروتوكول التقييم: كان المقياس الأساسي هو معدل المطابقة التامة (exact match rate) لمتجه OCEAN خماسي الأبعاد الكامل (32 تركيبة ثنائية ممكنة) مقابل الحقيقة الأرضية (ground truth). وتمت مقارنة ذلك مع خط الأساس العشوائي (3.125%). كما قارنت الدراسة بين النسخ المقيدة (censored) (المتوافقة مع معايير السلامة) والنسخ غير المقيدة (uncensored) لتقييم تأثير المحاذاة الأمنية.

المساهمات والنتائج الرئيسية

1. تقليل تباين التقييم (RQ1)

تظهر الدراسة أن التدريب الدقيق (سواء بطرق SFT أو الطرق التفضلية) يقلل باستمرار من التباين الإحصائي في استجابات الاستبيان عبر جميع النماذج المختبرة.

• النتيجة: أظهرت النماذج المدربة بدقة انخفاضًا بنسبة 15% إلى 33% في الانحراف المعياري مقارنة بالنماذج المدربة مسبقًا عند تعرضها لإعادة صياغة الأوامر.
• الآثار المترتبة: يؤكد هذا أن الإشارات الخاضعة للإشراف تعمل على تثبيت استجابة النموذج للتقييمات النفسية، مما يخفف من "هشاشة التقييم" التي لوحظت في النماذج المدربة مسبقًا.

2. فشل استحثاث المتجه الكامل (RQ2)

على الرغم من تحسن الاستقرار، فشلت النماذج في استحثاث ملفات الشخصية متعددة الأبعاد المستهدفة من المقالات غير الموجهة.

• النتيجة: ظلت دقة متجه OCEAN خماسي الأبعاد الكامل قريبة من خط الأساس العشوائي (~3.13% إلى 9.38%)، حتى عندما بدت مقاييس السمات الفردية وكأنها تتحسن. أفضل نتيجة تم تحقيقها كانت 3/32 حالة (9.38%).
• التحليل: يرى المؤلفون أن العمل السابق الذي أبلغ عن دقة عالية في السمات الفردية هو عمل مضلل لأنه يتجاهل الفضاء المشترك للشخصية. يمكن للنموذج أن يكون صحيحًا في 4 من أصل 5 سمات ولكنه يفشل في الملف التعريفي الشامل بسبب خطأ نظامي واحد (على سبيل المثال، تفسير "الاجتماعية الطموحة" على أنها انبساط أو تفسير التأثير السلبي على المهام على أنه انخفاض في الضمير).
• الاستنتاج: تفتقر المقالات غير الموجهة إلى الإشارات اللازمة للتعبير عن شخصية وفية متعددة الأبعاد.

3. تأثير المحاذاة الأمنية (RQ3)

قارنت الدراسة النسخ غير المقيدة من النماذج (LLaMA 3.1-8B، Gemma-2-2B، LLaMA 3.2-3B) مقابل نظيراتها المتوافقة مع معايير السلامة.

• النتيجة: لم يتم ملاحظة أي مكاسب أداء كبيرة في النماذج غير المقيدة فيما يتعلق بدقة استحثاث الشخصية.
• الاستنتاج: المحاذاة الأمنية ليست عائقًا أساسيًا أمام فعالية استحثاث الشخصية في هذا السياق.

الأهمية والادعاءات

تدعي الورقة أن النموذج الحالي لتقييم استحثاث شخصية النماذج اللغوية الكبيرة معيب جوهريًا إذا كان يعتمد على مقاييس أحادية البعد أو يفترض أن المحاكاة السطحية تعادل ملف تعريف مستقر.

• إعادة صياغة الهدف: يجادل المؤلفون بأنه لكي تُعتبر النماذج اللغوية الكبيرة وكأنها تمتلك "شخصية"، يجب أن تعيد إنتاج المتجه الكامل متعدد الأبعاد المتسق مع البروتوكولات الاختبارية البشرية (مثل IPIP-NEO)، وليس مجرد سمات معزولة.
• محدودية البيانات الحالية: تشير النتائج إلى أن النصوص غير الموجهة (المقالات) غير كافية لتعلم متجهات الشخصية المعقدة. ويقترح المؤلفون أن العمل المستقبلي يتطلب مجموعات بيانات قائمة على السيناريوهات أو استقصاءً تفاعليًا يجمع الأدلة بمرور الوقت لتقييم الشخصية بشكل موثوق.
• الحذر بشأن المقاييس: تحذر الورقة من أن النجاحات المبلغ عنها في استحثاث السمات الفردية قد تكون ناتجة عن طريقة التقييم وليس عن نمذجة شخصية حقيقية، حيث يمكن لأساليب "حقيبة الكلمات" (bag-of-words) البسيطة تحقيق دقة مماثلة للسمة الواحدة دون فهم دلالي حقيقي.

باختصار، بينما يعمل التدريب الدقيق على تثبيت استجابات النماذج اللغوية الكبيرة للاستبيانات النفسية، فإنه لا يمكّن حاليًا من استحثاث شخصيات بشرية متماسكة ومتعددة الأبعاد بشكل موثوق من النصوص غير الموجهة. ويدعو المؤلفون إلى التحول نحو معايير تقييم أكثر صرامة وتعددًا في الأبعاد ومصادر بيانات أغنى وسياقية.