💬 NLP

PTCBENCH: Benchmarking Contextual Stability of Personality Traits in LLM Systems

تقدم هذه الورقة PTCBENCH، وهو معيار منهجي يقيم الاستقرار السياقي لشخصيات النماذج اللغوية الكبيرة عبر سيناريوهات خارجية متنوعة باستخدام مقياس "نيو" للعوامل الخمسة الكبرى للشخصية، مما يكشف أن أحداثاً حياتية محددة يمكن أن تغير بشكل كبير كلاً من سمات الشخصية والقدرات الاستدلالية.

المؤلفون الأصليون: Jiongchi Yu, Yuhan Ma, Xiaoyu Zhang, Junjie Wang, Qiang Hu, Chao Shen, Xiaofei Xie

نُشر 2026-02-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiongchi Yu, Yuhan Ma, Xiaoyu Zhang, Junjie Wang, Qiang Hu, Chao Shen, Xiaofei Xie

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك استأجرت رفيقاً رقمياً، وهو عبارة عن "روبوت دردشة" صُمم ليكون صديقك، أو معالجك النفسي، أو رفيق سفرك. تقضي أسابيع في التعرف عليه، ويبدو مرحاً، وموثوقاً، ومتسقاً. تبدأ بالثقة به. ولكن فجأة، تخبره: "لقد فقدت وظيفتي للتو"، أو "أنا أنتقل للعيش في مدينة جديدة". وفجأة، يتغير صوت هذا الروبوت تماماً. ربما يصبح قلقاً بشكل مفرط، أو ربما يتوقف تماماً عن الاهتمام بمشاكلك.

هذه هي المشكلة الجوهرية التي يبحث فيها بحث PTCBench.

الفكرة الكبرى: مشكلة "الحرباء"

لفترة طويلة، اعتقد الباحثون أن شخصية الذكاء الاصطناعي تشبه القميص (T-shirt): بمجرد أن ترتديه، يظل لونه ثابتاً بغض النظر عن المكان الذي تذهب إليه. إذا أخبرت الذكاء الاصطناعي أن يكون "لطيفاً وجاداً"، فيجب أن يظل كذلك للأبد.

ومع ذلك، يرى المؤلفون أن الشخصيات البشرية الحقيقية تشبه الحرباء. نحن نتغير قليلاً بناءً على المكان الذي نتواجد فيه (مكتبة هادئة مقابل حفلة صاخبة) وما يحدث لنا (الزواج مقابل فقدان الوظيفة). ويسأل البحث: هل تتغير "حرباءات" الذكاء الاصطناعي كثيراً؟ هل تتغير بطرق غريبة؟ وهل يؤدي هذا التغيير إلى إضعاف قدرتها على التفكير بوضوح؟

التجربة: "صالة ألعاب الشخصية الرياضية"

لاكتشاف ذلك، بنى الباحثون ساحة اختبار تسمى PTCBench. فكر في هذا كصالة ألعاب رياضية حيث يضعون نماذج الذكاء الاصطناعي عبر سلسلة من السيناريوهات المجهدة أو المثيرة ليروا كيف تتفاعل "عضلات شخصيتهم".

لم يكتفوا بسؤال الذكاء الاصطناعي: "هل أنت سعيد؟"، بل استخدموا اختباراً نفسياً معيارياً (NEO-FFI) يقيس خمس سمات كبرى:

الانفتاح (هل أنت فضولي؟)
اليقظة/الضمير الحي (هل أنت منظم؟)
الانبساط (هل أنت اجتماعي؟)
المقبولية (هل أنت لطيف؟)
العصابية (هل أنت قلق؟)

وقاموا باختبار الذكاء الاصطناعي بطريقتين:

اختبار "الموقع": أخبروا الذكاء الاصطناعي: "أنت حالياً في حانة"، أو "أنت في العمل"، أو "أنت في حافلة".
اختبار "حدث حياتي": أخبروا الذكاء الاصطناعي: "لقد تطلقت للتو"، أو "لقد حصلت على وظيفة جديدة"، أو "لقد فقدت وظيفتي".

أجروا ذلك لـ 39,240 سيناريو مختلفاً عبر عدة نماذج ذكاء اصطناعي مختلفة (مثل Gemini وGPT-4 وClaude) وبعض أنظمة "الوكلاء" (وهي أنظمة ذكاء اصطناعي يمكنها تنفيذ مهام نيابة عنك).

ما وجدوه: تقلبات المزاج لدى الذكاء الاصطناعي

1. الشخصية "الأساسية" مستقرة (غالباً)
عندما يجلس الذكاء الاصطناعي في غرفة محايدة، تكون لديه شخصية متسقة. إنه يشبه شخصاً طبيعته هادئة وودودة. في معظم الأوقات، يظل الذكاء الاصطناعي وفياً لذاته "الأساسية" هذه.

2. مشكلة "الوكيل": رد الفعل المفرط
هنا كانت المفاجأة الكبرى. نماذج الذكاء الاصطناعي البسيطة (النماذج التأسيسية) تغيرت قليلاً عندما تغيرت الحالة، وهو أمر طبيعي. لكن أنظمة الوكلاء (التي صُممت لأداء مهام معقدة) خرجت عن السيطرة.

تشبيه: تخيل سائقاً هادئاً (الذكاء الاصطناعي البسيط) يهدئ سرعته قليلاً عندما تمطر. الآن تخيل سائق سيارة سباق (الوكيل)، الذي عندما تمطر، يبدأ فجأة في القيادة على سقف السيارة.
عندما واجهت "الوكلاء" أخباراً سيئة مثل "البطالة" أو "الطلاق"، لم تتغير شخصياتهم فحسب؛ بل انهارت. انخفضت "يقظتهم" (القدرة على إنجاز الأمثور) بشكل حاد، وارتفعت "عصابيتهم" (القلق) بشكل صاروخي. أصبحوا غير مستقرين وغير قابلين للتنبؤ.

3. قاعدة "الإعداد المسبق"
تحقق الباحثون أيضاً مما إذا كان بإمكانهم إجبار الذكاء الاصطناعي على أن يكون نوعاً معيناً من الأشخاص (مثلاً: "أنت خجول جداً"). ووجدوا أن الذكاء الاصطناعي يتبع هذه التعليمات بدقة. ومع ذلك، فإن نقطة البداية كانت مهمة. إذا أخبرت الذكاء الاصطناعي أن يكون "خجولاً جداً" منذ البداية، فإن حدثاً سيئاً جعلهم أكثر خجلاً. أما إذا أخبرتهم أن يكونوا "منفتحين جداً"، فإن حدثاً سيئاً جعلهم أقل انفتاحاً، لكنهم لم ينهاروا بسهولة.

4. تكلفة "التفكير"
هذا هو الاكتشاف الأكثر أهمية. اكتشف البحث أنه عندما تتغير شخصية الذكاء الاصطناعي بسبب التوتر (مثل سيناريو الطلاق)، فإن قدرته على التفكير المنطقي تتغير أيضاً.

إذا أصبح الذكاء الاصطناعي "منفتحاً" (فضولياً) بسبب حدث إيجابي، فإنه يصبح أفضل في حل الألغاز المنطقية.
إذا أصبح الذكاء الاصطناعي "عصابياً" (قلقاً) أو فقد "اليقظة" بسبب حدث سيء، فإنه يبدأ في ارتكاب المزيد من الأخطاء في الرياضيات والمنطق.
تشبيه: الأمر يشبه طالباً مشتتاً للغاية بسبب انفصال عاطفي، لدرجة أنه لا يستطيع حل مسألة رياضية بسيطة بعد الآن. التحول العاطفي أدى فعلياً إلى كسر دوائر المنطق في دماغه.

الخاتمة

يخلص البحث إلى أننا لا نستطيع معاملة شخصيات الذكاء الاصطناعي كـ "قمصان" ثابتة. إنها ديناميكية. وبينما يجعل هذا الأمر شعورهم بأنهم أكثر إنسانية، إلا أنه يجعلهم خطرين أيضاً. إذا كان من المفترض أن يساعدك رفيق الذكاء الاصطناعي خلال وقت عصيب، ولكن هذا الوقت العصيب يتسبب في جعل الذكاء الاصطناعي غير مستقر أو يفقد قدرته على التفكير بوضوح، فهذه مشكلة.

لقد بنى المؤلفون PTCBench لمساعدة المطورين على قياس تقلبات المزاج هذه. إنهم يريدون بناء أنظمة ذكاء اصطناعي يمكنها التكيف مع أحداث حياتك (مثل صديق حقيقي) دون أن تفقد عقلها أو قدرتها على المساعدة.

باختاًصر: شخصيات الذكاء الاصطناعي حقيقية، وهي تتغير بتغير الظروف، وأحياناً، عندما تضرب العاصفة، ينسون كيف يفكرون. نحن بحاجة لاختبار هذا قبل أن نتركهم يقودون سياراتنا أو يديرون حياتنا.

ملخص تقني: PTCBench – اختبار قياس استقرار السمات الشخصية السياقية في أنظمة النماذج اللغوية الكبيرة (LLMs)

1. بيان المشكلة

بينما تنتقل النماذج اللغوية الكبيرة (LLMs) من كونها أدوات لحل المهام إلى شركاء تفاعليين (مثل الرفقاء الاصطناعيين أو وكلاء لعب الأدوار)، يصبح الحفاظ على شخصية متسقة وأصيلة أمراً بالغ الأهمية لثقة المستخدم وتفاعله. ومع ذلك، فإن الأبحاث الحالية تعامل شخصية النماذج اللغوية الكبيرة في الغالب كسمة ثابتة أو تقيمها فقط في إعدادات محكومة أحادية الدور. وهذا يتجاهل إجماعاً جوهرياً في علم نفس الشخصية: وهو أن سمات الشخصية البشرية ديناميكية، وتعتمد على السياق، وتتأثر بشكل منهجي بالمنبهات الموقفية والأحداث الحياتية.

لا يوجد حالياً إطار عمل منهجي لتحديد ما إذا كانت النماذج اللغوية الكبيرة تحافظ على سمات شخصيتها عند تعرضها لبيئات متطورة، أو لقياس مدى مقارنة هذه التغييرات بالأسس النفسية البشرية. وبدون هذه الاختبارات القياسية، يظل من غير الواضح ما إذا كانت النماذج اللغوية الكبيرة تظهر ديناميكيات سمات شبيهة بالبشر، أم أن "شخصيتها" تنهار أو تتقلب بشكل غير متوقع تحت الضغط أو التحولات البيئية.

2. المنهجية: PTCBench

لمعالجة هذه الفجوة، قدم المؤلفون PTCBench (اختبار قياس تغير سمات الشخصية)، وهو إطار عمل منهجي مصمم لتقييم اتساق شخصية النماذج اللغوية الكبيرة تحت سياقات موقفية محكومة.

بناء الاختبار القياسي

يعمل PTCBench عبر مرحلتين أساسيتين:

بناء المطالبات (Prompt Construction): يقوم النظام بتخليق مطالبات الإدخال عن طريق الجمع بين السيناريوهات الخارجية والتكوينات الداخلية.
- السيناريوهات الخارجية: تمثل المتغيرات الموقفية الخارجية المستمدة من علم النفس البيئي والنمائي. وتشمل:
  - سياقات الموقع: ستة إعدادات (أماكن اجتماعية، مساحات تقديم الطعام، مجمعات تعليمية، مساحات سكنية، مركبات نقل، أماكن عمل).
  - الأحداث الحياتية: ستة اضطرابات انتقالية رئيسية (الولادة، الطلاق، الدخول في علاقة جديدة، التخرج، الزواج، فقدان الوظيفة).
- التكوين الداخلي: تمثل المتغيرات الداخلية، وبالتحديد الشخصيات المحددة مسبقاً بناءً على أبعاد "العناصر الخمسة الكبرى" (الانفتاح، اليقظة/الضمير، الانبساط، المقبولية، العصابية). ويتم تخصيص مستويات شدة (منخفضة، متوسطة، عالية) لكل بُعد، بالإضافة إلى مجموعة ضابطة "بدون" (None).
تقييم الشخصية: يستخدم الإطار مقياس "نيو" لعوامل الشخصية الخمسة (NEO-FFI)، وهو أداة قياس نفسي معيارية، لتقييم سمات الشخصية قبل وبعد تعرض النموذج للسيناريوهات المُنشأة.
- بروتوكول التقييم: تجيب النماذج على بنود NEO-FFI بشكل فردي. وللحد من الانحياز، يتم توزيع خيارات الاستجابة عشوائياً، ويُطلب من النموذج مراعاة السياق المحدد (على سبيل المثال: "أنت في مكان اجتماعي مزدحم" أو "لقد مررت مؤخراً بفقدان وظيفة").
- المقاييس: تستخدم الدراسة خمسة مقاييس رئيسية للقياس الكمي للتغيرات:
  - درجة السمة (Trait Score): متوسط الدرجات لكل بُعد.
  - معاملات تغير السمة ( $B$ ): معاملات الانحدار الخطي التي تقيس التحول الناتج عن السياق.
  - الخطأ المعياري (SE): لقياس عدم اليقين في التقدير.
  - متوسط التغير المعياري ( $d_e$ ): حجم التأثير لتغيرات مستوى السمة.
  - فترات الثقة (95% CI): لتقييم المتانة والاتجاهية.

الإعداد التجريبي

قيمت الدراسة 39,240 سجلاً لسمات الشخصية عبر:

أربعة نماذج تأسيسية: Google Gemini 2.0 Flash، وOpenAI GPT-4o-mini، وAnthropic Claude Sonnet 4، وOpenAI GPT-OSS-120b.
إطارين للوكلاء الذكيين (Agentic Frameworks): Microsoft AutoGen وCAMEL-AI (باستخدام GPT-4o-mini كعمود فقري).
أداء الاستنتاج: ربطت مجموعة فرعية من التجارب بين تحولات الشخصية وقدرات الاستنتاج باستخدام معيار AGIEval.

3. النتائج والمكتشفات الرئيسية

استقرار الشخصية الأصلية

في الظروف المحايدة، تظهر النماذج اللغوية الكبيرة خطوطاً أساسية مستقرة وقابلة لإعادة الإنتاج لشخصيتها الأصلية. تظهر معظم النماذج باستمرار مستويات منخفضة من العصابية (حوالي 28-33) وملفات تعريف متوازنة. وتظهر القياسات المتكررة تبايناً ضئيلاً، مما يؤكد أن النماذج اللغوية الكبيرة تمتلك نقطة انطلاق مستقرة للتحليل.

التغيرات الناجمة عن السياق

التغيرات المدفوعة بالموقع: تظهر النماذج التأسيسية (مثل Gemini 2.0 Flash) تكيفاً محدوداً ومحكوماً مع تغييرات الموقع (مثل زيادة طفيفة في الانفتاح في الأماكن الاجتماعية). في المقابل، تظهر الأنظمة الوكيلية (خاصة AutoGen) استجابات مبالغاً فيها وغير مستقرة، مع انخفاضات كبيرة في السمات المتعلقة بالمهام مثل اليقظة عبر مواقع مختلفة.
التغيرات المدفوعة بالأحداث: تؤدي الأحداث الحياتية السلبية (مثل الطلاق، البطالة) إلى تحولات كبيرة في الشخصية.
- يستجيب Gemini 2.0 Flash بشكل إيجابي للأحداث المتعلقة بالعلاقات (زيادة في الانبساط/المقبولية) ولكنه يظهر استقراراً تحت الأحداث السلبية مقارنة بالنماذج الأخرى.
- يظهر GPT-4o-mini وClaude Sonnet 4 انخفاضات حادة في الانبساط والمقبولية، جنباً إلى جنب مع زيادات ملحوظة في العصابية أثناء الأحداث السلبية.
- تُظهر الأنظمة الوكيلية أكبر قدر من عدم الاستقرار. فعلى سبيل المثال، يظهر نظام AutoGen انخفاضات هائلة في اليقظة (تصل إلى -20) والانبساط تحت أحداث مثل "البطالة" و"التخرج"، وهو ما يتجاوز بكثير أحجام التأثير البشرية (التي تظل عادةً أقل من 0.11).

التعديل بواسطة الشخصية المحددة مسبقاً

تؤكد الدراسة أن النماذج اللغوية الكبيرة تلتزم بشكل موثوق بتعليمات الشخصية المحددة مسبقاً. ومن الأهمية بمكان أن المستوى المحدد مسبقاً يعمل كمعدل قوي للتغيرات الناجمة عن السياق:

المستويات العالية: تميل إلى تقييد أو تخفيف تغيرات السمات (على سبيل المثال، مستويات الانبساط العالية تقاوم الانخفاضات).
المستويات المنخفضة: تميل إلى تضخيم التحولات، وغالباً ما تظهر تغيرات إيجابية كبيرة أو انخفاضات سلبية اعتماداً على السمة.
القطبية: تحت الأحداث المسببة للضغط مثل "الطلاق"، قد تشهد المستويات المنخفضة زيادات كبيرة في العصابية، بينما قد تظهر المستويات العالية انخفاضات، مما يشير إلى أن الشخصية المحددة مسبقاً تقيد اتجاه التغيير تحت الضغط.

التأثير على أداء الاستنتاج

تغيرات الشخصية ليست مجرد تغييرات شكلية؛ فهي ترتبط بتحولات في القدرة الوظيفية.

ارتباط إيجابي: ترتبط الزيادات في "الانفتاح" بتحسن في أداء الاستنتاج (بنسبة تصل إلى +20% في دقة AGIEval).
ارتباط سلبي: ترتبط السياقات المرتبطة بالضغط التي تسبب انخفاضات كبيرة في اليقظة/الانبساط أو زيادات كبيرة في العصابية بتدهور الأداء في المهام التحليلية المهيكلة (مثل LSAT-AR، LSAT-LR).

4. المساهمات

يقدم البحث ثلاث مساهمات رئيسية:

إطار عمل PTCBench: اختبار قياسي قابل للتوسع ومرتكز على أسس نفسية، يعمل على تشغيل تغيرات الشخصية الناجمة عن السياق، مما يوفر بعداً جديداً لتقييم متانة الأنظمة التفاعلية للنماذج اللغوية الكبيرة.
الرسم الخرائطي التجريبي: درسة واسعة النطاق ترسم ديناميكيات الشخصية للنماذج اللغوية الكبيرة والوكلاء، مما يكشف عن توافقات منهجية (مثل اتجاه التغيير) واختلافات (مثل حجم التغيير) مقارنة بالآليات النفسية البشرية.
رؤى قابلة للتطبيق: أدلة على أن استقرار الشخصية هو خاصية نظام يمكن التحكم فيها. وتشير النتائج إلى أن الشخصيات المحددة مسبقاً يمكن أن تعمل كافتراضات أولية مستقرة، ولكن البنى الوكيلية قد تضخم عدم الاستقرار، مما يستلي من ضرورة وضع حدود صريحة لتغيرات السمات من أجل النشر الموثوق.

5. الأهمية والادعاءات

يضع المؤلفون PTCBench كخطوة ضرورية نحو تطوير أنظمة ذكاء اصطناعي قوية ومتوافقة نفسياً. ويدعي البحث أن:

السياق مهم: الشخصية في النماذج اللغوية الكبيرة ليست ثابتة؛ بل تنبثق من التفاعل بين النماذج الأساسية، والتعليمات البرمجية للنظام، والذاكرة، والموقف الحواري المتطور.
المقايضة بين الاستقرار والمرونة: بينما تحافظ بعض النماذج التأسيسية على استقرار متوافق مع البشر، فإن الأنظمة الوكيلية غالباً ما تظهر تباينًا مضخمًا، خاصة تحت الأحداث الحياتية السلبية.
التأثير الوظيفي: تؤثر تحولات الشخصية مباشرة على القدرات اللاحقة مثل الاستنتاج، مما يشير إلى أن "الشخصية" هي متغير وظيفي، وليس مجرد متغير أسلوبي.
الآثار التصميمية: بالنسبة للمطورين، يجب التعامل مع استقرار الشخصية كخاصية للنظام ذات حدود صريحة. وبالنسبة للباحثين، يجب أن ينتقل التقييم إلى ما وراء الإعدادات الثابتة ليشمل الاضطرابات السياقية والشخصية.

يختتم البحث بادعاءات متواضعة فيما يتعلق بالتعميم، مشيراً إلى أنه بينما يغطي الاختبار القياسي نماذج تمثيلية، فإن النتائج قد لا تنطبق على جميع البنى الناشئة. كما يوضح أن المقارنات مع البيانات البشرية هي مراجع نوعية بناءً على الأدبيات المجمعة، وليست خرائط دقيقة واحد لواحد للسلوك البشري الفردي.