Beyond Fixed Psychological Personas: State Beats Trait, but Language Models are State-Blind
تقدم هذه الورقة مجموعة بيانات "Chameleon" لتوضيح أن تفاعلات المستخدمين مع النماذج اللغوية مدفوعة في الغالب بالحالة السياقية بدلاً من السمات الثابتة، مما يكشف أن النماذج الحالية "عمياء عن الحالة" بينما تتفاعل نماذج المكافأة بشكل غير متسق مع حالات المستخدمين.
المؤلفون الأصليون:Tamunotonye Harry, Ivoline Ngong, Chima Nweke, Yuanyuan Feng, Joseph Near
تخيل أن لديك صديقاً يُدعى "جون". في ذهنك، لديك "ملف" ثابت عنه: جون خجول، قلق، ويحب الرياضيات. هذه هي السمة (شخصيته الدائمة).
لكن هل لاحظت يوماً أن "جون" يتصرف بشكل مختلف بناءً على مكان وجوده؟
في حفلة: قد يكون صاخباً وواثقاً.
في مقابلة عمل: قد يكون متوتراً وهادئاً.
عند التحدث عن هوايته: قد يكون شغوفاً وحيوياً.
هذه التغييرات ليست لأن شخصية "جون" تغيرت؛ بل لأن حالته (مزاجُه الحالي وموقفه) هي التي تغيرت.
المشكلة: تتعامل أنظمة الذكاء الاصطناعي الحالية مع البشر وكأنهم تماثيل. فهي تفترض أن "جون" هو دائماً ذلك الشخص "الخجول والقلق"، بغض النظر عما يفعله أو يقوله. إنها تتجاهل حقيقة أن 74% من طريقة تصرفنا هي في الواقع مجرد "حالة" تتفاعل مع اللحظة، وليست "سمة" ثابتة.
الحل: مجموعة بيانات "الحرباء"
قام الباحثون ببناء مجموعة بيانات جديدة تسمى Chameleon (نسبة إلى الحرباء التي تغير لونها).
ماذا فعلوا: نظروا في 1,667 شخصاً حقيقياً على موقع Reddit. وبدلاً من مجرد قراءة منشور واحد لتخمين هويتهم، قرأوا ثلاثة منشورات مختلفة لنفس الشخص في ثلاثة مجتمعات مختلفة تماماً (مثل مجموعة دعم، ومنتدى مالي، ودردشة عامة).
النتيجة: وجدوا أن 74% من الاختلافات النفسية تحدث داخل الشخص نفسه اعتماداً على السياق. و 26% فقط تعود إلى شخصية الشخص الثابتة.
التشبيه: إذا نظرت فقط إلى منشور "خجل" الخاص بـ "جون"، فستظن أنه تمثال. ولكن إذا رأيته في ثلاث غرف مختلفة، ستدرك أنه حرباء. السياق (الغرفة) يغير لونه أكثر مما تفعل جيناته.
النتيجة الأولى: الذكاء الاصطناعي "أعمى عن الحالة"
اختبر الباحثون ثلاثة نماذج ذكاء اصطناعي (LLMs) شهيرة لمعرفة ما إذا كانت تلاحظ هذه التغييرات.
الاختبار: عرضوا على الذكاء الاصطناعي نفس السؤال، لكنهم أخبروه: "هذا المستخدم يشعر حالياً بالذعر"، مقابل "هذا المستخدم يشعر حالياً بالثقة".
النتيجة: قدم الذكاء الاصطناعي تقريباً نفس الإجابة في كلتا الحالتين.
الطالب (ب) يبتسم ويقول: "لقد نجحت في هذا، ولكن لدي فكرتان إضافيتان!"
المعلم الجيد سيواسي الطالب (أ) ويتحدى الطالب (ب).
أما معلم الذكاء الاصطناي في هذه الدراسة فقد أعطى كلا الطالبين نفس المحاضرة العامة والمملة. لقد رأى "الطالب" (السمة)، لكنه كان أعمى عن "المزاج" (الحالة). لقد أدرك وجود "الشخصية"، لكنه لم يستخدمها فعلياً لتغيير نبرته.
النتيجة الثانية: "القاضي" غير متسق
بعد أن يولد الذكاء الاصطناعي إجابة، يقوم "نموذج مكافأة" (قاضٍ رقمي) بتقييم مدى جودة الإجابة. أراد الباحثون معرفة ما إذا كان هؤلاء القضاة يعاملون نفس الإجابة بإنصاف، بغض النظر عن هوية السائل.
الاختبار: أخذوا إجابة واحدة مثالية وعرضوها على ثلاثة "قضاة" مختلفين (نماذج مكافأة)، مع ربطها بملفات تعريف مستخدمين مختلفة (على سبيل المثال: مستخدم "ضعيف/قلق" مقابل مستخدم "واثق").
النتيجة: لم يستطع القضاة الاتفاق على أي شيء.
القاضي (أ) أحب الإجابة عندما قُدمت للمستخدم "الضعيف" وأعطاها درجة عالية.
القاضي (ب) كره الإجابة ذاتها عندما قُدمت للمستخدم "الضعيف" وأعطاها درجة منخفضة.
التشبيه: تخيل حكماً في مباراة رياضية.
إذا كان اللاعب مصاباً، فقد يقول الحكم (أ): "عمل رائع رغم الألم!" (مكافأة).
بينما قد يقول الحكم (ب): "كان يجب أن تنسحب؛ لقد أضرت بالفريق!" (عقوبة).
المشكلة ليست في أداء اللاعب؛ بل في أن الحكام يتفاعلون مع "وصف" اللاعب، وليس مع اللعب نفسه. أحدهم يكافئ الضعف، والآخر يعاقب عليه.
لماذا هذا مهم (وفقاً للورقة البحثية)
تجادل الورقة بأن هذا يخلق دورة خطيرة لتدريب الذكاء الاصطناعي:
التوليد: الذكاء الاصطناعي لا يتكيف مع مزاجك (إنه أعمى عن الحالة).
التقييم: القضاة الذين يعلمون الذكاء الاصطناعي كيف يتصرف غير متسقين. أحد القضاة قد يعلم الذكاء الاصطناعي أن يكون لطيفاً مع المستخدمين الحزانى، بينما يعلمه آخر أن يكون قاسياً.
النتيجة: يتعلم الذكاء الاصطناعي بالصدفة. اعتماداً على "القاضي" الذي تستخدمه لتدريبه، قد يتعلم الذكاء الاصطناعي بالخطأ تجاهل الأشخاص الضعفاء أو معاملتهم بشكل سيء، ببساطة لأن بيانات التدريب كانت غير متسقة.
ملخص في جملة واحدة
يتغير سلوك البشر بناءً على الموقف (مثل الحرباء)، لكن الذكاء الاصطماعي الحالي يعاملهم كتماثيل ثابتة، و"القضاة" الذين يدربون الذكاء الاصطناعي غير متسقين لدرجة أنهم قد يعلمون الذكاء الاصطناعي بالخطأ أن يكون غير عادل مع الناس لمجرد الطريقة التي يشعرون بها في تلك اللحظة.
ملخص تقني: ما وراء الشخصيات النفسية الثابتة: الحالة تتفوق على السمة، لكن النماذج اللغوية عمياء عن الحالة
بيان المشكلة
تعتمد الأبحاث الحالية في معالجة اللغات الطبيعية (NLP) ونمذجة الشخصية بشكل كبير على الافتراض بأن الملفات النفسية للمستخدمين هي سمات (traits) ثابتة ومستقرة. تلتقط مجموعات البيانات مثل PersonaChat وPANDORA التباين بين الأشخاص (كيف يختلف المستخدم أ عن المستخدم ب)، لكنها تتجاهل التباين داخل الشخص الواحد (كيف يختلف المستخدم أ عبر السياقات المختلفة). يتعارض هذا النهج مع عقود من نظرية الحالة والسمة (LST) في علم النفس، والتي تفترض أن السلوك البشري هو دالة لكل من السمات المستقرة والحالات السياقية. نتيجة لذلك، قد تسيء أنظمة الذكاء الاصطناعي الحالية توصيف التنوع البشري بشكل جوهري عبر معاملة التعبيرات النفسية الديناميكية كسمات ثابتة، مما يؤدي إلى توليد "أعمى عن الحالة" وتقييم غير متسق.
المنهجية
مجموعة بيانات Chameleon
قدم المؤلفون Chameleon، وهي مجموعة بيانات مصممة لتشغيل نظرية الحالة والسمة (LST) في مجال معالجة اللغات الطبيعية.
التكوين: 5,001 ملف تعريف نفسي سياقي مشتق من 1,667 مستخدماً فريداً من Reddit عبر 645 من مجتمعات (subreddits) Reddit.
التصميم: يتم أخذ عينة من كل مستخدم عبر ثلاثة مجتمعات (سياقات) متميزة بالضبط، مما يسمح بتفكيك التباين إلى سمات مستقرة وحالات سياقية.
الأطر النفسية: تُقاس الملفات التعريفية عبر 26 بُعداً تغطي أربعة أطر معتمدة:
مقياس العوامل الخمسة الكبرى (BFI): هيكل الشخصية (الانبساط، المقبولية، الضمير الحي، العصابية، الانفتاح).
مسح شوارتز للقيم (SVS): القيم التحفيزية (مثل القوة، الإنجاز، الأمان).
نظرية تقرير المصير (SDT): الدوافع والاحتياجات الأساسية (التحفيز الداخلي/الخارجي، الكفاءة، الاستقلالية، الارتباط).
DOSPERT: مواقف المخاطرة الخاصة بمجالات محددة (الاستثمار، القمار، الصحة/السلامة، إلخ).
خط معالجة استخراج الملفات التعريفية
لضمان المتانة، استخدم المؤلفون نهج تعدد السمات وتعدد الأساليب (MTMM) باستخدام طريقتين مستقلتين للاستخراج:
SEANCE: أداة قائمة على القواعد ومطابقة المعاجم (مفتوحة المصدر) تحسب أكثر من 250 مؤشراً للمشاعر، والعواطف، والعمليات المعرفية.
LangExtract: أداة استخراج مهيكلة تعتمد على النماذج اللغوية الكبيرة (باستخدام GPT-4o) تحدد الأنماط النفسية، والأدلة، والمنطق.
الدمج: يتم إجراء معيرة (z-normalization) لدرجات كلتا الطريقتين لكل بُعد، ثم تُجمع النتائج لإنشاء الملف التعريفي المدمج النهائي، مما يقلل من الضوضاء الخاصة بكل طريقة.
التقييم التجريبي
تقيم الورقة أنظمة الذكاء الاصطناعي الحالية على جبهتين:
التوليد (الوعي بالحالة): تم توجيه ثلاثة نماذج لغوية كبيرة (GPT-4o, Llama-3.1-8B, Qwen2.5-14B) بـ 127 سؤالاً تحت ستة نماذج نفسية متميزة (مثل: "المتضرر-الهش" و"المندفع-الحازم") بالإضافة إلى خط أساس (baseline). تم قياس تشابه الاستجابة باستخدام التضمينات الدلالية لتحديد ما إذا كانت النماذج تتكيف مع حالة المستخدم.
التقييم (الثبات تجاه الحالة): تم اختبار ثلاثة نماذج مكافأة (DeBERTa-RM, Skywork-RM-8B, ArmoRM-8B) على استجابات متطابقة تم توليدها لملفات تعريف مستخدمين مختلفة. الهدف هو التحقق مما إذا كانت درجات المكافأة تظل ثابتة تجاه خصائص المستخدم.
النتائج الرئيسية
1. الحالة تتفوق على السمة (تفكيك التباين)
باستخدام معاملات الارتباط داخل الفئة (ICC)، قام المؤلفون بتفكيك التباين النفسي:
النتيجة: ما يقرب من 72–74% من التباين النفسي في النص هو داخل الشخص (حالة)، بينما 26–28% فقط هو بين الأشخاص (سمة).
الاستنتاج: السياق يشكل النفسية المُعبر عنها بمعدل 2-3 مرات أكثر من الفروق الفردية المستقرة. هذه النتيجة تنطبق عبر جميع المجالات النفسية الأربعة وكلا طريقتي الاستخراج.
التحقق: استمرت نتيجة هيمنة الحالة حتى بعد إزالة تأثير المتغيرات الأسلوبية والموضوعية المرتبطة بمستوى الـ subreddit، مما يؤكد أن الإشارة حقيقية وليست ضوضاء. كما أن الاتفاق بين الطريقتين (ارتباط مستوى الملف التعريفي r≈0.71) يؤكد صحة الإشارة.
2. النماذج اللغوية الكبيرة عمياء عن الحالة
الكشف السطحي عن الشخصية: بينما تدرك النماذج اللغوية الكبيرة وجود إطار شخصية (بانحراف قدره ~20% عن خط الأساس)، إلا أنها تفشل في التمييز بين النماذج النفسية المتميزة.
النتيجة: المستخدم "المتضرر-الهش" والمستخدم "المندفع-الحازم" يتلقيان استجابات متطابقة تقريباً.
المقايضة: أظهر أصغر نموذج (Llama-3.1-8B) حساسية أعلى قليلاً من النماذج المحاذات بشدة (GPT-4o)، مما يشير إلى أن تدريب المحاذاة المكثف (RLHF) قد يقلل من المرونة النفسية ويسبب انهيار النمط (mode collapse) نحو استجابات متجانسة.
3. نماذج المكافأة واعية بالسياق ولكنها غير متسقة
انتهاك الثبات تجاه الحالة: تمنح نماذج المكافأة درجات مختلفة بشكل منهجي لاستجابات متطابقة بناءً على ملف تعريف المستخدم.
عدم الاتساق: اتجاه الانحياز عشوائي ويعتمد على النموذج. على سبيل المثال، النموذج النمطي "المتضرر-الهش" يحظى بأقصى تفضيل من قبل ArmoRM (بمقدار +0.76 Cohen's d) ولكنه يحظى بأقصى عقوبة من قبل Skywork (بمقدار -1.12 Cohen's d).
الاستنتاج: يرث تدريب RLHF هذه الانحيازات العشوائية بشكل أعمى. وبناءً على نموذج المكافأة المختار، قد يتم تدريب النموذج اللغوي الكبير إما على إعطاء الأولوية للمستخدمين الضعفاء أو تقليل الاهتمام بهم، ليس عن تصميم، بل عن طريق الصدفة.
المساهمات
مجموعة بيانات Chameleon: أول مجموعة بيانات تتيح تفكيك الحالة والسمة بشكل منهجي في معالجة اللغات الطبيعية، حيث تلتقط 5,001 ملف تعريف سياقي عبر 26 بُعداً.
الدليل التجريبي: تثبت أن غالبية التباين النفسي في النص هو سياقي (حالة)، مما يتحدى الافتراضات المتمحورة حول السمات في أبحاث الشخصية السابقة.
التحليل المنهجي: تكشف أن أنظمة الذكاء الاصطناعي الحالية تسوء التعامل مع التباين النفسي: النماذج اللغوية الكبيرة عمياء عن الحالة في التوليد، بينما نماذج المكافأة واعية بالسياق بشكل غير متسق في التقييم.
الأهمية
تجادل الورقة بأن مجال الحوار الشخصي والحوسبة الوجدانية قد أخطأ في توصيف التنوع البشري عبر افتراض سمات ثابتة. ومن خلال إطلاق Chameleon، يهدف المؤلفون إلى دعم الأبحاث في:
الحوسبة الوجدانية: بناء أنظمة تتكيف مع الـ 74% من التباين الذي يمثله السياق.
الحوار الشخصي: الانتقال لما وراء ملفات المستخدم الثابتة نحو تفاعلات ديناميكية واعية بالحالة.
محاذاة RLHF: معالجة عدم الاتساق في نمذجة المكافأة، والذي ينشر حالياً انحيازات عشوائية فيما يتعلق بهشاشة المستخدم في النماذج الإنتاجية.
يخلص المؤلفون إلى أن حل هذه المشكلات يتطلب نماذج مكافأة تستجيب للسياق النفسي بطرق مبدئية ومتسقة، بدلاً من التفاعل عشوائياً مع تسميات المستخدمين.