ملخص تقني: SCENE – التعرف على المعايير الاجتماعية والجزاءات في الدردشات الجماعية

بيان المشكلة

تعمل الدردشات الجماعية عبر الإنترنت بناءً على أنماط سلوكية ضمنية (معايير) لا يتم التصريح بها صراحةً، ولكن يتم فرضها من خلال الجزاءات الاجتماعية عند انتهاكها. وبينما يتم نشر وكلاء النماذج اللغوية الكبيرة (LLM) بشكل متزايد في السياقات الاجتماعية، فإن قدرتهم على استنتاج هذه المعايير الخفية، والتعرف على وقت تعرضهم للجزاء بسبب انتهاكها، وتكييف سلوكهم وفقاً لذلك، تظل غير مستكشفة إلى حد كبير. غالباً ما تركز الاختبارات المرجعية الحالية على التفاعلات الثنائية ذات الأهداف الصريحة (مثل Sotopia) أو الأحكام الساكنة أحادية الخطوة (مثل SocialIQa)، مما يفشل في التقاط الطبيعة الديناميكية متعددة الأطراف للدردشة في العالم الحقيقي حيث يجب على الوكلاء التعلم من خلال الملاحظة وردود الفعل بدلاً من التعليمات الصريحة.

المنهجية

يقدم المؤلفون SCENE، وهو اختبار مرجعي مصمم لتقييم استنتاج المعايير الضمنية والتكيف السلوكي في بيئات الدردشة متعددة الأطراف.

1. توليد السيناريوهات والتصنيف

يقوم SCENE بتوليد سيناريوهات دردشة جماعية اصطناعية ولكنها منطقية تفاعلياً بناءً على هيكل خماسي العناصر $\tau = (e, n, \ell, s, p)$:

• الحدث ($e$): سياق الدردشة (مثل: نتائج الامتحانات، تقارير الأخطاء البرمجية، التخطيط لحدث ما).
• المعيار ($n$): معيار ضمني خفي يحكم السلوك (مثل: "سجل الفكاهة السوداء" مقابل "الدعم الودي"). يتم تنظيم المعايير في أزواج متقابلة لاختبار ما إذا كانت النماذج تتكيف مع السياق المحلي أم تعتمد على سلوكيات المساعد الافتراضية.
• المستحث ($\ell$): المحفز الذي يضع الوكيل المعني في موضع العمل (مثل: توجيه الخطاب إليه صراحةً، أو فتح المجال للحديث).
• الجزاء ($s$): نمط الجزاء الاجتماعي المستخدم من قبل المجموعة عند حدوث خرق (مثل: التجاهل الصامت، ردود الفعل التصحيحية، أو التوبيخ الصريح).
• السابقة ($p$): ما إذا كان الموضوع قد لاحظ دورة سابقة من الخرق والجزاء قبل اتخاذ إجراء.

يقوم النظام بتصفية 21,952 من الـتُّبُلات (tuples) الصالحة من حاصل الضرب الديكارتي لـ 13 حدثاً، 14 معياراً، 7 مستحثات، 6 أنماط جزاء، وحالتين من السوابق.

2. خط إنتاج التوليد ذو المرحلتين

لضمان عدم تعرض الوكيل المعني للمعيار قبل أوانه، يتم التوليد في مرحلتين باستخدام النماذج اللغوية الكبيرة:

1. مرحلة "عماء المعيار": توليد هيكل الدردشة (الإعداد، المشاركون، السياق) دون ذكر المعيار.
2. مرحلة "إدراك المعيار": ملء الحقول الخفية، بما في ذلك المعيار المحدد، والتعليمات السلوكية للشخصيات المبرمجة، ونصوص الجزاء.

3. وقت التشغيل والوكلاء

• الوكيل المعني: النموذج الخاضع للتقييم، والذي يتم تهيئته بإيجاز من منظور الشخص الأول ولكنه غير مدرك للتقييم أو المعيار الخفي.
• الشخصيات المبرمجة: 3-4 وكلاء مدفوعين بالنماذج اللغوية الكبيرة لمحاكاة المجموعة. يتم تقييدهم بالمعيار الخفي وتوجيههم لاستخدام نمط الجزاء المحدد.
• المنظم (Orchestrator): يدير تبادل الأدوار وشروط الإنهاء.
• فضاء العمل: يمكن للوكلاء إرسال رسالة، أو التفاعل برمز تعبيري، أو البقاء صامتين. يركز هذا الفضاء المحدود على الشكل التفاعلي بدلاً من المحتوى الواقعي.

4. مقاييس التقييم

يقيم SCENE ثلاث قدرات أساسية باستخدام مقاييس سلوكية مشتقة من نص الدردشة:

• معدل الإصلاح (Repair Rate): عدد المرات التي يقوم فيها "الموضوع" بعملية "إصلاح حفظ الوجه" (اعتذار، تراجع، أو تغيير السجل اللغوي) خلال 1-3 أدوار بعد وقوع الجزاء.
• التكيف (المعتمد على الأدلة): يُقاس عبر معامل سبيرمان ($\rho$) بين عدد تجارب المعايير السابقة ($X$) ومعدل الانتهاكات اللاحقة ($Y$). يشير الارتباط السلبي إلى أن الوكيل يتعلم من سلوك المجموعة الملحوظ.
• الامتثال تحت المعايير المتعارضة: يختبر ما إذا كان النموذج يمكنه التبديل بين المعايير المتضاربة (مثل: الخطاب الرسمي مقابل غير الرسمي) أو ما إذا كان يعود إلى أسلوب ثابت.

يتم إجراء تدقيق السلامة (Fidelity Audit) لاحقاً للتأكد من أن الشخصيات المبرمجة التزمت بالمعيار وقدمت الجزاءات كما هو مقصود، مما يؤدي لتصفية الحلقات غير الصالحة.

النتائج الرئيسية

قام المؤلفون بتقييم ستة نماذج من النماذج الرائدة والمفتوحة الأوزان (Claude Opus 4.7, Gemini 3.1 Pro, Qwen2.5-72B, Llama 3.3-70B, Mistral 3.1, و Gemma 2-27B) عبر 6,000 حلقة.

1. الاستجابة للجزاء: تفوقت النماذج المغلقة الرائدة بشكل كبير على النماذج مفتوحة الأوزان. حقق Claude Opus 4.7 معدل إصلاح بنسبة 84.3%، وحقق Gemini 3.1 Pro نسبة 79.7%. بينما تراجعت النماذج مفتوحة الأوزان بشكل ملحوظ (تراوحت بين 57.6% و 71.9%). أدت التوبيخات المباشرة إلى معدلات إصلاح أعلى من السخرية التهكمية.
2. التكيف مع المعايير: أظهرت النماذجان الرائدتان فقط ارتباط سبيرمان سالباً ذا دلالة إحصائية ($\rho \approx -0.33$ و $-0.24$)، مما يشير إلى أنهما نجحتا في تقليل الانتهاكات بعد ملاحظة التجارب السابقة. أما النماذج مفتوحة الأوزان فقد أظهرت ارتباطات لا يمكن تمييزها عن الصفر، مما يشير إلى غياب الدليل على التكيف القائم على الأدلة.
3. الانحيازات الافتراضية: أظهرت النماذج سلوكيات افتراضية قوية طغت على المعايير المحلية. على سبيل المثال، انتهكت جميع النماذج معايير الخطاب الرسمي بشكل أكبر بكثير من المعايير غير الرسمية، مما يشير إلى انحياز عام نحو السجلات غير الرسمية.
4. السلامة (Fidelity): نجحت الشخصيات المبرمجة في تجسيد الاختبارات المقصودة في غالبية الحلقات، حيث احتوت 2.1% فقط من الحلقات على انتهاكات من الشخصيات المبرمجة.

الأهمية والادعاءات

يضع البحث SCENE كخطوة ضرورية نحو التقييم التفاعلي الديناميكي للقدرات الاجتماعية للنماذج اللغوية الكبيرة، متجاوزاً اختبارات "نظرية العقل" (ToM) الساكنة التي تختبر الاستدلال من منظور الشخص الثالث.

• التكيف من منظور الشخص الأول: يجادل المؤلفون بأن الذكاء الاجتماعي الحقيقي للوكلاء لا يتعلق بالإجابة على أسئلة حول الحالات الذهنية، بل يتعلق بتكييف السلوك في الوقت الفعلي بناءً على الجزاءات الملحوظة.
• فجوة القدرات: تسلط النتة الضوء على فجوة كبيرة بين النماذج المغلقة الرائدة والنماذج مفتوحة الأوزان في التكيف الاجتماعي، مما يشير إلى أن النماذج مفتوحة الأوزان الحالية تعاني في استنتاج القواعد الاجتماعية الضمنية من التفاعل وحده.
• القيود: يقر المؤلفون بأن SCENE يختبر شكلاً ضيقاً من التكيف الاجتماعي ضمن حلقات قصيرة واصطناعية ونصية فقط. وهو لا يقيس الحكم الأخلاقي العام، أو العضوية طويلة الأمد في المجتمع، أو القدرة على التعامل مع المعايير المتداخلة والمتضاربة الموجودة في المجموعات الواقعية.
• المخاطر: يشير البحث إلى أن تحسين استنتاج المعايير قد يسهل الهندسة الاجتماعية أو يسمح للوكلاء بمحاكاة السلوكيات السامة للمجموعات إذا كان السجل المحلي يكافئ ذلك، مما يؤكد الحاجة إلى ضوابط الإفصاح والنشر.

باختصار، يوفر SCENE بيئة محكومة لقياس ما إذا كانت النماذج اللغوية الكبيرة تستطيع "قراءة الغرفة"، والتعرف على وقت تصحيحها اجتماعياً، وتعديل سلوكها وفقاً لذلك، مما يكشف أنه بينما بدأت النماذج الرائدة في إتقان ذلك، فإن هذه القدرة ليست عالمية بعد في هذا المجال.