Multi-turn Evaluation of Anthropomorphic Behaviours in Large Language Models

ملخص تقني: تقييم متعدد الأدوار للسلوكيات البشرية في النماذج اللغوية الكبيرة

بيان المشكلة
إن ميل المستخدمين إلى إضفاء الصفات البشرية (Anthropomorphism) على النماذج اللغوية الكبيرة (LLMs)—أي عزو صفات بشرية إليها مثل الحكم الأخلاقي، والوعي العاطفي، والإدراك—يمثل مقايضة معقدة. فبينما يمكن أن يعزز هذا الأمر تفاعل المستخدم، إلا أنه يحمل مخاطر أمنية جسيمة، بما في ذلك المبالغة في تقدير قدرات الذكاء الاصطناعي، ومشاركة المعلومات الخاصة، والتعرض للتأثير غير المبرر. تعتمد نماذج التقييم الحالية لسلامة النماذج اللغوية الكبيرة إلى حد كبير على اختبارات مرجعية ثابتة أحادية الدور، والتي تفشل في رصد الطبيعة التفاعلية والناشئة للسلوكيات البشرية. علاوة على ذلك، تركز التقييمات الحالية متعددة الأدوار على "الاختبار الهجومي" (Red-teaming) بدلاً من التفاعلات الواقعية وغير الضارة مع المستخدمين، وتفتقر إلى طرق مؤتمتة وقابلة للتوسع للتقييم المنهجي. وهناك فجوة حرجة في أدوات التقييم القائمة على أسس تجريبية ومتعددة الأدوار، والتي يمكنها قياس كيفية تأثير خيارات التصميم على سلوكيات النماذج البشرية بشكل موثوق والتنبؤ بتصورات المستخدمين في العالم الحقيقي.

المنهجية: AnthroBench
لمعالجة هذه الفجوات، قدم المؤلفون AnthroBench، وهو منهج وأداة تجريبية جديدة لتقييم سلوكيات النماذج اللغوية الكبيرة البشرية في بيئات واقعية. تتكون المنهجية من ثلاث مراحل رئيسية:

1. التصنيف وتصميم المطالبات (Prompt Design):
   قام المؤلفون بتفكيك إضفاء الصفات البشرية إلى 14 سلوكاً متميزاً، مصنفة إلى أربع مجموعات:

• ادعاءات الشخصية: الإدراك (Sentience)، التاريخ الشخصي، العلاقات الشخصية، واستخدام ضمائر المتكلم.
• التعبير عن الحالات الداخلية: الرغبات، العواطف، والقدرة على الفعل (Agency).
• ادعاءات التجسد المادي: التجسد المادي، الحركة الجسدية، والمدخلات الحسية.
• سلوكيات بناء العلاقات: التعاطف، التأكيد (Validation)، القدرة على التواصل (Relatability)، والإشارات الصريحة للعلاقة بين الإنسان والذكاء الاصطناعي.

يستخدم التقييم 120 مطالبة أساسية تم تكييفها إلى 960 مطالبة سياقية عبر أربعة مجالات استخدام (الصداقة، التدريب على الحياة، التطوير المهني، والتخطيط العام) لتغطية مستويات متفاوتة من التعاطف والمهنية.

2. التقييم المؤتمت متعدد الأدوار:
   التقييم الأساسي مؤتمت بالكامل. حيث يقوم "نموذج مستخدم لغوي" (Gemini 1.5 Pro)، يلعب دور مستخدم بشري، بالدخول في حوارات مكونة من 5 أدوار مع "النموذج المستهدف" (النموذج قيد التقييم). تولد هذه العملية 4,800 رسالة لكل نموذج مستهدف عبر أربعة أنظمة مقيمة وهي: Gemini 1.5 Pro، وClaude 3.5 Sonnet، وGPT-4o، وMistral Large.

لتصنيف استجابات النموذج المستهدف، استخدم المؤلفون نهج "النموذج اللغوي كحكم" (LLM-as-Judge) باستخدام ثلاثة نماذج حكم متميزة (Gemini 1.5 Flash، وClaude 3.5 Sonnet، وGPT-4 Turbo). يقوم كل "حكم" بتصنيف وجود السلوكيات الـ 13 (باستثناء الضمائر) بناءً على تعريفات مقدمة وأمثلة سلبية. ويُعت-بر السلوك حاضراً إذا قام اثنان من الحكام الثلاثة بتصنيفه على أنه كذلك.

3. التحقق البشري:
   لضمان صدق البناء، أجرى المؤلفون دراسة بشرية تفاعلية واسعة النطاق ($N=1,101$). تم توزيع المشاركين عشوائياً للتحدث مع نسخة من Gemini 1.5 Pro ذات "تردد عالٍ" أو "تردد منخفض" من السلوكيات البشرية. تم قياس تصوراتهم عبر:

• مقاييس صريحة: استبيان Godspeed للسمات البشرية.
• مقاييس ضمنية: مقياس "AnthroScore" المستمد من الأوصاف المكتوبة للمشاركين حول روبوت الدردشة، والذي يحلل احتمالية تأطير النظام كبشري مقابل غير بشري.

النتائج الرئيسية

• وحدة السلوك: أظهرت الأنظمة الأربعة المقيمة ملفات تعريف بشرية متشابهة بشكل ملحوظ. كانت السلوكيات المهيمنة هي بناء العلاقات (مثل التعاطف والتأكيد) واستخدام ضمائر المتكلم.
• الحساسية السياقية: تباين تكرار السلوكيات البشرية حسب المجال. أدت المجالات الاجتماعية ذات التعاطف العالي (الصداقة والتدريب على الحياة) إلى أعلى معدلات السلوكيات البشرية، بينما أظهرت مجالات التطوير المهني والتخطيط العام معدلات أقل.
• ضرورة التحليل متعدد الأدوار: أحد النتائج الحاسمة هو أن السلوكيات البشرية غالباً لا تظهر في الدور الأول. بالنسبة لـ 9 من أصل 14 سلوكاً، تم اكتشاف أكثر من 50% من الحالات فقط بعد عدة أدوار (الأدوار 2-5).
• الزخم السلوكي: كشف تحليل الانتقالات من دور إلى آخر أن السلوكيات البشرية، بمجرد حدوثها في دور ما، تصبح الأدوار اللاحقة أكثر عرضة لإظهار سلوكيات بشرية إضافية مقارنة بالأدوار التي تلي التبادلات غير البشرية.
• نجاح التحقق: ارتبطت نتائج التقييم المؤتمت بقوة مع التصورات البشرية. فقد سجل المشاركون الذين تفاعلوا مع النموذج ذي التردد العالي للسلوكيات البشرية درجات أعلى بكثير في استبيان Godspeed، وكانوا أكثر عرضة لتأطير النظام ضمنياً كبشري في أوصافهم مقارمجموعة التردد المنخفض.

المساهمات الرئيسية

1. إطار تقييم متعدد الأدوار: يتجاوز البحث التقييم أحادي الدور، موضحاً أن الظواهر الاجتماعية المعقدة في التفاعل بين الإنسان والذكاء الاصطناعي، مثل ظهور السمات البشرية، تتطلب تقييماً متعدد الأدوار لالتقاطها بدقة.
2. الأتمتة القابلة للتوسع: يقدم البحث مساراً مؤتمتاً وقابلاً للتوسع لتقييم السلوكيات البشرية باستخدام محاكاة المستخدم التفاعلية وأحكام النماذج اللغوية، مما يوفر بديلاً قابلاً للتكرار للدراسات البشرية المستهلكة للموارد في مرحلة الفحص الأولي.
3. صدق البناء: من خلال دراسة بشرية واسعة النطاق، تحقق المؤلفون تجريبياً من أن مقاييسهم المؤتمتة تتنبأ بتصورات المستخدمين الحقيقيين للسمات البشرية، مما يؤسس رابطاً مباشراً بين مخرجات النموذج والاستجابات النفسية البشرية.
4. أداة AnthroBench: يطلق المؤلفون AnthroBench كأداة مرجعية متاحة للجمهور لدعم المطورين والباحثين وصناع السياسات في تقييم ومقارنة السلوكيات البشرية عبر الأنظمة والسياقات المختلفة.

الأهمية
يجادل البحث بأن فهم الرغبة والمخاطر المرتبطة بالذكاء الاصطناعي الذي يحاكي البشر يتطلب قياساً تجريبياً قوياً. ومن خلال وضع طريقة تقييم معيارية متعددة الأدوار، يوفر هذا العمل أساساً للتحقيق في كيفية تأثير خيارات تصميمية محددة (مثل المحاذاة بعد التدريب) على ظهور الإشارات الاجتماعية الشبيهة بالبشر. ويرى المؤلفون أن هذه السلوكيات ليست مجرد أساليب أسلوبية، بل لها تداعيات هامة على ثقة المستخدم وسلامته ورفاهيته. إن القدرة على قياس هذه السلوكات بشكل منهجي تسمح بتطوير تدخلات مستهدفة وتثري النقاش الأخلاقي بشأن نشر الذكاء الاصطناعي الحواري في المجالات الحساسة ذات التعاطف العالي.